TW202336690A - 以波段用於超頻譜檢測物件影像之方法 - Google Patents

以波段用於超頻譜檢測物件影像之方法 Download PDF

Info

Publication number
TW202336690A
TW202336690A TW111108093A TW111108093A TW202336690A TW 202336690 A TW202336690 A TW 202336690A TW 111108093 A TW111108093 A TW 111108093A TW 111108093 A TW111108093 A TW 111108093A TW 202336690 A TW202336690 A TW 202336690A
Authority
TW
Taiwan
Prior art keywords
image
host
hyperspectral
images
convolution
Prior art date
Application number
TW111108093A
Other languages
English (en)
Other versions
TWI796156B (zh
Inventor
王祥辰
紀宇盛
曹育銘
史弦鋐
Original Assignee
國立中正大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立中正大學 filed Critical 國立中正大學
Priority to TW111108093A priority Critical patent/TWI796156B/zh
Priority to US18/162,083 priority patent/US20230281818A1/en
Priority to JP2023015049A priority patent/JP7449004B2/ja
Application granted granted Critical
Publication of TWI796156B publication Critical patent/TWI796156B/zh
Publication of TW202336690A publication Critical patent/TW202336690A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2733—Oesophagoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18114—Extraction of features or characteristics of the image involving specific hyperspectral computations of features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Endoscopes (AREA)

Abstract

本發明係有關一種以波段用於超頻譜檢測物件影像之方法，其先依據參考影像取得一超頻譜影像資訊，再藉此將輸入影像轉換出對應之超頻譜影像，以取得對應之特徵值，並依據一波段選擇，以進行主成分分析，以簡化特徵值，然後透過卷積核取得特徵影像，再將特徵影像中以一預測框搭配一邊界框定位出一待測物件影像，經比對樣本影像，而將該待測物件影像分類為一目標物件影像或一非目標物件影像。藉此，透過卷積神經網路檢測影像擷取裝置所輸入之輸入影像是否為目標物件影像，因而輔助醫生判讀食道影像。

Description

以波段用於超頻譜檢測物件影像之方法
本發明係有關一種影像處理之方法，尤其是一種以波段用於超頻譜檢測物件影像之方法。
目前以內視鏡影像作為工具對消化系統疾病診斷相當常見，特別是食道癌檢測，因早期的食道癌不太會有症狀，絕大多數病人都是因發生吞嚥問題才得以發現，而臨床上食道癌的診斷通常透過食道內視鏡 。
食道為一連接咽部及胃部的管狀器官[2]，主要負責將口腔吞入的食物輸送至胃，正常食道黏膜有多層的鱗狀上皮細胞，厚度約200至500μm，由表面往下可分成以下幾層，分別是黏膜上皮層(EP)、黏膜固有層(LPM)、黏膜肌層(MM)、黏膜下層(SM)及固有肌層(MP)，食道癌是全球第八大常見癌症，而源於上皮組織的惡性腫瘤稱為癌症，另外，惡性腫瘤(Cancer，又稱為Malignant tumor)，一般會影響生理功能，更包括肉瘤(Sarcoma)、淋巴瘤(lymphoma)、白血病(leukemia)、黑色素瘤(melanoma)、癌肉瘤(carcinosarcoma)、惡性神經膠質瘤(Malignant glioma)。
其中，發生於結締組織的惡性腫瘤稱為肉瘤，所稱之結締組織包括纖維組織、脂肪(脂)組織、肌肉、血管、骨骼和軟骨。另外，淋巴瘤及白血病發生於造血組織。黑色素瘤發生於皮膚細胞。同時發生於上皮組織和結締組織的惡性腫瘤則稱為癌肉瘤。此外，惡性神經膠質瘤是發生在神經組織之惡性腫瘤。而食道癌之惡性腫瘤不僅僅浸潤於食道上的上皮組織，甚至是後期會浸潤至結締組織。
目前的疾病診斷技術通常依賴于單一的宏觀資料和資訊，如體溫、血壓、身體掃描圖像。例如，檢測癌症這類重大疾病，現在用於常用儀器大多是基於影像技術的設備，包括X-射線、CT掃描和核磁共振(NMR)成像技術。當這些診斷設備組合使用時，對疾病的診斷在不同程度上的有用的。然而，當這些設備單獨使用時都不能在重大疾病發病的早期進行準確的、可信的、高效的、經濟的檢測。另外，很多這些現有設備體型較大且具有侵入性，如X-射線、CT掃描或核磁共振(NMR)成像技術。遂針對消化器官之病灶觀察發展出內視鏡檢查，以檢查消化器官上是否存在病灶。
另外，早期的食道癌卻不容易診斷，除了早期幾乎沒有任何症狀之外，即便是接受食道內視鏡檢查，還是有一部分的早期食道癌會看不出來，因為這些病灶的變化都很細微，往往只有些許顏色的改變，所以若是使用傳統內視鏡做檢測，則會有大量早期食道癌病變被忽略而延誤治療。因而針對不易察覺之病灶發展出碘染色內視鏡(Lugol chromoendoscopy)、窄帶影像技術(Narrow Band Image， NBI)、放大內視鏡(Magnifying Endoscopy)。詳述如下，內視鏡可以分為：
白光內視鏡影像（White Light Imaging, WLI）：這是一種傳統的內視鏡技術，利用白光照射到食道黏膜組織，並經過反射獲得食道中的影像，可是並沒有突顯早期病灶的能力，只能看出後期食道癌那種明顯的病灶，也是因為這個原因才衍生了其他許多內視鏡技術，為了使得影像中的特徵更加明顯，輔助醫生進行判斷。
窄帶內視鏡影像（Narrow-band Imaging, NBI） ：NBI可以突顯出IPCL血管的變化，利用經過選擇的415nm、540nm的光線，對血管、細胞內組織的散射與吸收，血管內的血球蛋白吸收了藍光與綠光，故淺層的微血管會呈現出棕色；其他較粗的血管則會呈現青色，比起傳統的白光顯得更有優勢。
色素內視鏡（Chromoendoscopy）除了對光源的替換之外，也會利用癌症對細胞產生的變化，藉由染色的方式，以判斷病灶的位置，因為存在誤吸入的風險，所以對食道的染色需要特別小心。比較常用的是碘染色內視鏡（Lugol chromoendoscopy），利用碘液會將肝醣染色成棕色，但癌細胞則是會將肝醣化為能量，因此不會被染上顏色的原理，發現極大可能會是病灶的位置，對其進行切片，以確認是否有染癌的情形，但碘染色可能會造成胸部不適，並可能造成患者過敏反應。
放大內視鏡（Magnifying endoscopy, ME）：有別於其他內視鏡技術，ME主要藉由變焦技術，在維持影像品質的情況下，將影像放大，藉以觀察病灶的微小變化。如果再配合NBI等其他影像增強技術，就可以針對IPCL的形狀進行分期，判斷癌症的浸潤程度。
然而，內視鏡操作甚為複雜，既是需要醫護人員擁有內視鏡相關之專業證照，方可進行內視鏡檢測，更是要醫護人員一邊操作內視鏡並一邊分辨病灶，即使內視鏡檢測方式經過許多方式進行改良，但是仍不可避免遭遇到人工操作疏失，或者是內視鏡影像仍然不容易辨識。
另外，對於較新型的內視鏡，如膠囊內視鏡，為了進入身體的方便性，讓病人不適感降低，而犧牲了具有窄帶影像的功能，僅具有白光影像的功能，更是提高了醫生對影像判讀的困難性。
因此， 這就需要一種改進食道癌診斷過程之方法，而電腦輔助診斷技術(Computer-Aided Diagnosis， CAD)則成為了生物醫學研究的重點，使用電腦輔助診斷醫學影像可以幫助醫生準確判斷疾病的類型以及病灶的區域，並提高閱片效率。而應用卷積神經網路於電腦視覺(Computer Vision，CV) 領域更是目前技術趨勢，其中有幾種應用方式：
1.影像分類(Image Classification)，將影像進行類別篩選，透過深度學習方法辨識圖片屬於哪種分類類別，其重點在於一張圖像只包含一種分類類別，即使該影像內容可能有多個標的，故單純影像分類的應用並不普遍。但由於單一標的辨識對深度學習演算法來說正確率最高，所以實務上應用會透過物件偵測方法找到該標的，再縮小擷取影像範圍進行影像分類，所以只要是物件偵測可應用範圍，通常也使用影像分類方法。
2.物件偵測(Object Detection)，一張影像內可有一或多個標的物，標的物也可以是屬於不同類別。演算法主要能達兩目的：找到標的座標及識別標的類別。物件偵測應用非常普遍，包含人臉辨識相關技術結合應用，或是製造業方面的瑕疵檢測，甚至醫院用於X光、超音波進行特定身體部位的病況檢測等。物件偵測的基礎可想像為在影像分類上增加標示位置的功能，故也不離影像分類的基礎。不過物件偵測所標示的座標通常為矩形或方形，僅知道標的所在位置，並無法針對標的的邊緣進行描繪，所以常用見的應用通常會以「知道標的位置即可」作為目標。
對於口腔癌病灶之檢測通常只需判斷某處有或沒有該病灶，而使用物件偵測判斷病灶之位置及病灶之範圍則非常合適，故，開發一種物件偵測之方法乃亟待解決之問題。
基於上述之問題，本發明提供一種以波段用於超頻譜檢測物件影像之方法，其藉由主機執行卷積運算，以將輸入影像套用卷積神經網路之運算，而獲得特徵影像並依據波段篩選，遂推算出待測物件影像，進一步透過待測物件影像比較樣本影像，以將待測物件影像分類為一目標物件影像或或一非目標物件影像，以避免人工影像辨識上的困難，也可以使僅具有白光影像功能之內視鏡，能夠產生模擬窄帶影像而輔助辨識。
本發明之主要目的，提供一種以波段用於超頻譜檢測物件影像之方法，其藉由卷積神經網路之運算，而獲得特徵影像並依據波段篩選，遂推算出待測物件影像，進一步透過待測物件影像比較樣本影像，以將待測物件影像分類為一目標物件影像或或一非目標物件影像。
為達上述之目的，本發明揭示了一種以波段用於超頻譜檢測物件影像之方法，先取得將一參考影像轉換成一超頻譜參考影像之一超頻譜影像資訊，一影像擷取單元提供一輸入影像至一主機，該輸入影像包含至少一待測物件影像與一背景影像；然後，該主機依據該超頻譜影像資訊轉換該輸入影像，以取得一超頻譜影像，該主機依據該超頻譜影像進行分析，以取得複數個第一超頻特徵值；接續，該主機對該些個第一超頻特徵值依據一細胞之一波段選擇並進行一主成分分析運算，以產生對應之複數個第二特徵值，然後，該主機依據複數個卷積核用以對該些個第二特徵值進行至少一層卷積運算，取得一卷積結果，用以依據該卷積結果與該至少一待測物件影像取得至少一選取影像，其中，該些個卷積核包含複數個選取特徵值以及複數周邊特徵值，該至少一待測物件影像包含複數個周邊影像與該至少一選取影像，該些個周邊影像環繞於該至少一選取影像，該至少一選取影像對應於該些個選取特徵值，該些個周邊影像對應於該些個周邊特徵值；接著，該主機依據該至少一選取影像之邊緣產生至少一預測框，並擷取該輸入影像之一邊界框，進而讓該主機依據該預測框之一第一中心點比對該輸入影像之一邊界框之一第二中心點，以獲得該預測框與該邊界框之一中心偏移量，因而讓該主機依據該中心偏移量進行一回歸運算，以對位該預測框內之該待測物件影像，使該預測框與該邊界框之中心點疊合併連帶該選取影像往邊界框之中心點移動；最後由該主機依據該待測物件影像與至少一樣本影像進行比較，以產生一比較結果，藉此該主機依據該比較結果分類該輸入影像為一目標物件影像或或一非目標物件影像。藉此，本發明對於目標物件影像可由該主機以波段篩選並卷積進行特徵偵測，再讓該主機依據該樣本影像作比對預測框所框選之待測物件影像，以分類輸入影像為目標物件影像或非目標物件影像，如此既可自動化辨識又可避免不易辨識的問題，還提供了產生模擬窄帶影像之功能。
本發明提供一實施例，其中於該主機以複數個卷積核比對該些個第二特徵值之步驟中，該主機設定該些個卷積核為m×n×p並正規化該輸入影像之複數個像素值為複數個像素正規值，以該些個卷積核乘以該些個像素正規值，而於一卷積層擷取該些個第二特徵值，且m=n，m為1、3、5、10、19或38。
本發明提供一實施例，其中於依據該卷積結果與該至少一待測物件影像取得至少一選取影像之步驟中，該主機整合該些個選取特徵值所在區域而在該輸入影像上取得該至少一分佈區域，並以該至少一分佈區域建立該預測框。
本發明提供一實施例，其中於該主機轉換該輸入影像為複數個特徵值並以複數個卷積核偵測該些個特徵值之步驟中，該主機依據一單次多框目標檢測器模型分別對該輸入影像之每一像素進行卷積，以偵測該些個第二特徵值。
本發明提供一實施例，其中於該主機依據該中心偏移量進行一回歸運算之步驟中，該主機以該預測框之一第一位置、該邊界框之一第二位置與一縮放因子進行該回歸運算，而定位該待測物件影像。
本發明提供一實施例，其中於該主機依據該待測物件影像與至少一樣本影像進行比較之步驟中，該主機於一完全連接層進行該待測物件影像與該至少一樣本影像之分類比較。
本發明提供一實施例，其中於依據一比較結果分類該輸入影像為一目標物件影像或一非目標物件影像之步驟中，當該主機未能針對該預測框中的該待測物件影像辨識出匹配於該至少一樣本影像時，該主機將該輸入影像分類至該非目標物件影像，反之，該主機將該輸入影像分類至該目標物件影像。
本發明提供一實施例，其中於依據一比較結果分類該輸入影像為一目標物件影像或一非目標物件影像之步驟中，當該主機將該輸入影像分類至該非目標物件影像時，該主機第二次比對該至少一樣本影像與該待測物件影像，當該主機判斷該待測物件影像之一近似度大於一近似閥值時，該主機將該輸入影像分類至該目標物件影像，反之，該主機將該輸入影像分類至該非目標物件影像。
本發明提供一實施例，其中該超頻譜影像資訊為對應於複數個白光影像與複數個窄帶影像，並包含複數個配色函數、一校正矩陣與一轉換矩陣
本發明提供一實施例，其中該細胞為食道癌細胞。
本發明提供一實施例，其中該波段為415奈米及540奈米。
本發明提供一實施例，其中於該主機對該些個第一超頻特徵值依據一細胞之一波段選擇並進行一主成分分析運算，以簡化該超頻譜影像而產生對應之複數個第二特徵值之步驟後，該主機對該些個第一超頻特徵值依據該波段選擇並依據該超頻譜影像資訊轉換為一模擬影像。
為使　貴審查委員對本發明之特徵及所達成之功效有更進一步之瞭解與認識，謹佐以實施例及配合說明，說明如後：
有鑑於習知內視鏡操作複雜所導致之人工操作疏失或者影像不容易辨識，據此，本發明遂提出一種以波段用於超頻譜檢測物件影像之方法，以解決習知內視鏡技術所造成之人工操作疏失或者影像不容易辨識之問題。
以下，將進一步說明本發明揭示一種以波段用於超頻譜檢測物件影像之方法所提供之特性、所搭配之系統：
首先，請參閱第一圖，其為本發明之一方法流程圖。如圖所示，本發明之以波段用於超頻譜檢測物件影像之方法的步驟包含:
步驟S05:取得將參考影像轉換為超頻譜參考影像之超頻譜影像資訊；
步驟S10: 影像擷取單元擷取輸入影像至主機；
步驟S15: 依據超頻譜影像資訊轉換輸入影像，以取得超頻譜影像；
步驟S20:依據超頻譜影像進行分析，以取得第一超頻特徵值；
步驟S25: 對第一超頻特徵值依據細胞對應之波段選擇並進行主成分分析運算，以產生對應之第二特徵值；
步驟S30: 依據卷積核用以對第二特徵值進行卷積運算，取得卷積結果，用以依據卷積結果與待測物件影像取得選取影像；
步驟S35:主機依據選取影像之邊緣產生預測框；以及
步驟S40: 主機擷取輸入影像之邊界框用以比對預測框之第一中心點與邊界框之第二中心點，以獲得預測框與邊界框之中心偏移量；
步驟S45: 主機依據中心偏移量進行回歸運算，取得回歸運算結果；
步驟S50: 主機依據回歸運算結果與預測框用以對待測物件影像進行對位調整，使第一中心點往第二中心點移動時，連帶將選取影像移至第二中心點；
步驟S55:主機依據待測物件影像與樣本影像進行比較，以產生比較結果；以及
步驟S60:主機依據比較結果分類輸入影像為目標物件影像或非目標物件影像。
請一併參閱第二A圖至第二H圖，其為本發明之以波段用於超頻譜檢測物件影像之方法所搭配之檢測系統1，其包含一主機10與一影像擷取單元20，本實施例係以一主機10為具有一處理單元12、一記憶體14與一儲存單元16之電腦主機作為舉例，但並非僅限於此，更可為伺服器、筆記型電腦、平板電腦或具備運算能力基礎之電子裝置皆為本發明所指之主機10，資料庫30為建立於儲存單元16，但不限於此，更可為主機10之外接儲存單元；其中主機10藉由處理單元12執行一卷積程式P，對應建立一卷積神經網路CNN。此外，影像擷取單元20於本實施例為一內視鏡，應用探查體內器官組織，例如: 膀胱鏡、胃鏡、大腸鏡、支氣管鏡、腹腔鏡。
於步驟S05中，如第二A圖所示，該主機10為讀取影像擷取單元20所對應之一參考影像REF，該參考影像REF包含至少一物件參考影像O1R與一背景參考影像BGR，其中該輸入影像REF可為儲存於資料庫30之白光影像(White light image)與窄帶影像(Narrow band image)，或由影像擷取單元20擷取於24色塊之參考色塊，本實施例之影像擷取單元20係以白光內視鏡OLYMPUS  EVIS  LUCERA CV-260 SL取得對應之該白光參考影像，並以窄帶內視鏡OLYMPUS EVIS LUCERA CLV-260取得對應之該窄帶參考影像，也就是說該至少一物件參考影像O1R與該背景參考影像BGR分別存在於該參考影像REF之白光參考影像與窄帶參考影像中。
復參閱第二A圖所示，該主機10依據該參考影像REF取得一超頻譜影像資訊HSA，也就是藉由可 見 光 超 頻 譜 技 術 (Visible Hyperspectral Algorithm, VIS-HSA)針對影像擷取單元20所擷取之輸入影像進行運算，以求得轉換一般影像色域空間(即擷取影像之色域空間)至XYZ色域空間(CIE 1931 XYZ color space) (例如:從sRGB色域空間轉換至XYZ色域空間) 的轉換方程式，其中本發明之該超頻譜影像資訊為對應於可見光超頻譜技術之可見光波段超頻譜，並對應於24色塊(X-Rite Classic, 24 Color Checkers)，且該24 色塊中包含自然界中常見的主要顏色(紅、綠、藍、灰)。該超頻譜影像資訊HSA為對應於上述之複數個白光影像與複數個窄帶影像，並包含複數個配色函數(Color  matching functions,  CMF)、一校正矩陣C與一轉換矩陣M。
承接上述，轉換首步需將參考影像REF和光譜儀(Ocean Optics-QE65000)轉換至相同的 XYZ 色域空間；參考影像REF的轉換公式如下: 式(一)
其中， 式(二) 式(三) 式(四)
為gamma 函數，能將sRGB值轉換成線性 RGB 值；T為轉換矩陣， 為色適應轉換矩陣，根據式(一)能將線性 RGB 值轉換至 XYZ 色域空間所規範的 XYZ 值(XYZ Endoscope)。
光譜儀所擷取之反射頻譜數據轉換至XYZ色域空間之公式如下: 式(五) 式(六) 式(七)
其中，k如下式(八): 式(九)
、 、 為配色函數(Color matching functions,CMF)， 為內視鏡拍攝的光源頻譜，因 XYZ 色域空間的 Y 值與亮度成正比關係，因此藉由式(九)取得光源頻譜 Y 值的最大亮度(飽和亮度)，再透過對 Y 值上限規範為 100，以此獲得亮度的規範比例 k，因而利用式(五)至式(七)將反射頻譜數據轉換至 XYZ 色域空間所規範的 XYZ 值[𝑋𝑌𝑍 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚]。
此外，更可進一步透過下式(十)之校正矩陣 C進行內視鏡影像校正: [𝐶] = [𝑋𝑌𝑍 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚] ×  𝑝𝑖𝑛𝑣 ([𝑉])   式(十)
其中，變數矩陣 [V]  是透過分析內視鏡可能造成誤差的因素所獲得，導致誤差產生的因素分別為：內視鏡非線性響應、內視鏡暗電流、濾色片分色不精確與色彩偏移(例如：白平衡)，藉此校正XYZ值[𝑋𝑌𝑍 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚]。
其中，由於窄帶影像與白光影像在三階運算之運算結果為近似，因此非線性響應修正採用三階方程式進行，校正內視鏡非線性響應為採用下式(十一): 𝑉 𝑁𝑜𝑛 − 𝑙𝑖𝑛𝑒𝑎𝑟= [𝑋 3𝑌 3𝑍 3𝑋 2𝑌 2𝑍 2𝑋 𝑌 𝑍 1] T式(十一)
一般在內視鏡中的暗電流為一固定值，不會隨進光量的變化而產生大幅度的改變，故將暗電流之影響視為常數，並將暗電流的校正變數定義為VDark，並以下式(十二)校正暗電流之影響:
V Dark=[α]      式(十二)
濾色片分色不精確與色彩偏移的校正變數定義為𝑉 𝐶𝑜𝑙𝑜𝑟， 、 、 為RGB 色域空間轉至 XYZ 色域空間之配色函數，因而依據 、 、 三者之間的關聯性將X、Y、Z之間的可能性以排列組合的方式列出下式(十三)，以校正內視鏡影像於濾色片分色不精確與色彩偏移:
𝑉 𝐶𝑜𝑙𝑜𝑟=[ XYZ XY XZ YZ X Y Z] T式(十三)
藉由上述式(十一)至式(十三)，推得下式(十四)校正之變數矩陣V: V= [𝑋 3𝑌 3𝑍 3𝑋 2Y 𝑋 2Z 𝑌 2Z XY 2X𝑍 2Y𝑍 2XYZ 𝑋 2𝑌 2𝑍 2XY XZ YZ X Y Z α] T式(十四)
藉由上述變數矩陣V搭配校正矩陣 C，因而獲得校正後之X、Y、Z值[XYZ Correct]，如下式(十五): [XYZ Correct]=[C] × [V]        式(十五)
白光影像於[XYZ Correct]與[𝑋𝑌𝑍 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚]之平均誤差值為1.40，窄帶影像於[XYZ Correct]與[𝑋𝑌𝑍 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚]之平均誤差值為2.39。
由於上述之計算為採用可見光波段380奈米至780奈米之光波長波段，因此內視鏡的校正結果須以色差表示，其中[XYZ Correct]與[𝑋𝑌𝑍 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚]轉換至CIE DE2000對應之Lab色域空間(Lab color space)，色域空間轉換函式如下式(十六)至式(十八): 式(十六) 式(十七) 式(十八)
其中， 如下式(十九): 式(十九)
白光影像於校正前平均色差值達到11.60，經校正後平均色差值為2.84，而窄帶影像於校正前平均色差值達到29.14，經校正後平均色差值為2.58。
於步驟S10中，如第二B圖所示，主機10自影像擷取單元20取得一輸入影像IMG，其中該輸入影像IMG可如同參考影像REF具有白光影像與窄帶影像，其中本實施例之影像擷取單元20係以白光內視鏡OLYMPUS  EVIS  LUCERA CV-260 SL對應之該白光影像，並以窄帶內視鏡OLYMPUS EVIS LUCERA CLV-260對應之該窄帶影像；於步驟S15中，主機10依據該輸入影像IMG之解析度符合一解析度門檻，例如:10奈米，判斷該輸入影像IMG為符合超頻譜影像(hyperspectral image)之解析度門檻，因此依據步驟S05所得之超頻譜影像資訊HSA將輸入影像IMG轉換為超頻譜影像HYI，而接續執行步驟S20。
接續上述，於步驟S20中，該主機依據該超頻譜影像HYI取出對應之複數個第一超頻特徵值F1。於步驟S25中，該主機10於步驟S20中取得之該些個第一超頻特徵值F1，對該些個第一超頻特徵值F1依據一細胞CELL之一波段BND進行選擇(Band selection)以進行主成分分析(Principal components analysis，PCA)之運算，為簡化運算結果，以濾除較低變化量之特徵值，因而簡化該超頻譜影像HYI並產生複數個第二特徵值F2。
PCA之運算式如下式(二十): …….. 式(二十)
而 至 為表示第一個至第 n 個波段BND的頻譜強度值； 至 為表示第一個至第  n  個波段BND的頻譜期望值(平均頻譜強度值)，𝑎 𝑗 1至𝑎 𝑗𝑛為表示頻譜進行共變異數計算之共變異數矩陣的特徵向量係數。經過主成分分析對 401 維度頻譜資訊降維後僅需求得前三維，以減少運算複雜度。本實施例中共取2個波段分別為415nm 及 540 nm的頻譜強度值。
其中，對於波段BND做選擇之原理為，當紅光被不同深淺血管內的血紅素吸收，在淺層黏膜組織的微血管為棕色、黏膜下組織的血管為綠色，可以造成強烈的層次感，更利於辨別黏膜組織病變，故，於本實施例自超頻譜影像HYI中選擇相關食道癌細胞檢測之血球蛋白之波段 415nm 及 540 nm，而對於不同細胞可以選用不同波段，不在此限。再者，先藉由上述所獲得之校正值[XYZ Correct]搭配上述24色塊對應之反射頻譜數據[R 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚]，經運算求得對應之轉換矩陣M，pinv[V]為矩陣V之虛反矩陣，如下式(二十一): [𝑀]=   [S𝑐𝑜𝑟𝑒] × 𝑝𝑖𝑛𝑣 ([𝑉 𝐶𝑜𝑙𝑜𝑟])      式(二十一) [𝑆 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚] 380−780=   [𝐸𝑉][𝑀][𝑉 𝐶 𝑜𝑙𝑜 𝑟]      式(二十二)
其中，透過反射頻譜數據[R 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚]經主成分分析，而求得複數組主成分(EV)，根據取用主成分取得主成分分數[𝑆𝑐𝑜𝑟𝑒]，本實施例係以其中10組解釋能力(權重百分比88.0417%、8.2212%、2.6422%、0.609%、0.22382%、0.10432%、0.054658%、0.0472%、0.02638%、0.012184%)較佳之主成分進行降維運算，因而獲得模擬頻譜[S 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚] 380-780，而模擬頻譜[S 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚] 380-780與輸入影像IMG對應之[𝑋𝑌𝑍 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚]的誤差於白光影像上從11.60修正為2.85，於窄帶影像上從29.14修正為2.60，因而達成肉眼無法輕易辨識出之顏色誤差，方便於使用者有色彩再現需求時，可獲得較佳之色彩再現效能，因而模擬出可見光波段範圍內較佳的超頻譜影像。
於步驟S30中，如第二C圖與第三圖所示，該主機10將該輸入影像IMG經步驟S20至步驟S25所得之第二特徵值F2，特別是在0與1之間，利用複數個卷積核C偵測該輸入影像IMG對應之複數個第二特徵值F2，而該些個卷積核C包含該至少一待測物件影像O2之複數個選取影像O2對應之選取特徵值F22與該至少一待測物件影像O1之相鄰周邊影像BGI對應之周邊特徵值F24，以篩選掉未包含待測物件影像O1之背景影像BG，其中，該主機依據一單次多框目標檢測器 (Single Shot Multibox Detector) 模型分別對該輸入影像之每一像素單元進行卷積，以偵測該些個特徵值，該些個卷積核C對應於該至少一待測物件影像O1之複數個選取影像O2對應之選取特徵值F22與相鄰邊緣之周邊影像BGI對應之周邊特徵值F24。
復參閱第二C圖與第三圖所示，該輸入影像IMG為m×n像素單元，並透過P個通道做特徵萃取，因此該些個卷積核O1為m×m×p單元，且m=n，例如: 1×1×p 、3×3×p、5×5×p、10×10×p、19×19×p或38×38×p，因而透過卷積核C偵測該輸入影像IMG上的待測物件影像O1與該背景影像BG，以濾除該背景影像BG，因而減少對該背景影像BG於後續步驟中處理，該輸入影像IMG對應之第二特徵值F2為經由處理單元12轉換為對應之選取特徵值F22與周邊特徵值F24，處理單元12透過卷積核C與該輸入影像IMG對應之第二特徵值F2相乘，而獲得不同卷積結果R，而獲得相同為1，相異為-1的值，因而將非相關之背景影像BG過濾掉，而如第四圖所示，在輸入影像IMG對應之第二特徵值F2取得部分該些個選取特徵值F22所對應之局部或全部該至少一待測物件影像O1，因而獲得局部或全部該至少一待測物件影像O1的所在區域A。
於步驟S35中，如第二D圖與第五圖所示，主機10依據該至少一待測物件影像O1的所在區域A取得至少一選取影像O2，也就是由卷積程式P取得選取特徵值F22與周邊特徵值F24並對應建立至少一預測框D，且如第六圖所示，相對於該輸入影像IMG之邊緣即為初始之邊界框B，其中預測框D的邊長尺寸 = ，最大邊長 ， ；於下式式(二三)求得邊長尺寸 : = + ( k 1), k [1,m]………………………. 式(二三)
同時藉由下式(二四)、式(二五)而依據邊長尺寸 運算出高與寬: = ……………………. 式(二四) = ……………………. 式(二五)
其中 表示第k個特徵圖的矩形先驗框高的尺度， 表示矩形先驗框寬的尺度，而 表示預測框D之長寬比， 為大於0。
於步驟S40中，如第二F圖與第六圖所示，主機10藉由處理單元12擷取輸入影像IMG對應之邊界框B並執行卷積程式P，因而擷取該預測框D之一第一中心點Dc與該輸入影像IMG之一邊界框B之一第二中心點Bc，並針對第一中心點Dc與第二中心點Bc獲得對應之中心點偏移量DIS，接續於步驟S45中，如第二E圖與第七圖所示，主機10於處理單元12進一步依據該預測框D與該邊界框B之中心點偏移量DIS進行回歸運算LOOP，其運算如下: 預測框D位置 d= ( )……………………………. 式(二六) 邊界框B位置 b= ( ) ………………….式(二七) 縮放因子 l= ( ) …………….式(二八) = + 式(二九) = + 式(三十) = exp( )                   式(三一) = exp( )                   式(三二)
先將邊界框B的中心座標對齊預測框D的中心座標，意思是將邊界框B的中心點「先平移」至預測框D的中心點，即第六圖之第一中心點Dc與第二中心點Bc重疊，如式(二九)與式(三十)，再將邊界框的尺寸大小「後縮放」至接近預測框D，如式(三一)與式(三二)，經由上述的平移變換與尺度縮放，可以使邊界框B無限接近預測框D的位置，藉此於步驟S50中，主機10藉由處理單元12執行之卷積程式P所搭配之卷積神經網路CNN，不斷地回歸運算至邊界框B的尺寸大小無限接近預測框D的位置，藉此將待測物件影像O1相對於預測框D與邊界框B疊合，因而精確定義待測物件影像O1之位置，也就是使該第一中心點Dc往該第二中心點Bc移動時，連帶將該選取影像(即預測框D內之影像)移至該第二中心點Bc。
此外，為了較精確地定義待測物件影像O1之位置，更進一步搭配損失方程式，如下式(三三): = ( )……....式(三三)
因而驗證預測預測框D之位置與待測物件影像O1之位置的誤差。
於步驟S55中，如第二G圖所示，主機10於處理單元12定位出待測物件影像O1之位置後，將待測物件影像O1與資料庫30中的樣本影像SA進行第一次比對，因而獲得一比較結果R，接續於步驟S60中，如第二H圖所示，主機10透過處理單元12所執行之卷積程式P依據比較結果R將該輸入影像IMG分類至一目標物件影像TA或一非目標物件影像NTA，例如:惡性腫瘤，當該主機10之處理單元12所執行之卷積程式P未能針對該預測框D中的該待測物件影像O1辨識出匹配於該至少一樣本影像SA時，該主機10將該輸入影像IMG分類至該非目標物件影像NTA，反之，該主機10之處理單元12所執行之卷積程式P將該輸入影像分類至該目標物件影像TA，再者，當該主機10之處理單元12所執行之卷積程式P將該輸入影像IMG分類至該非目標物件影像NTA時，卷積程式P會接續執行第二次比對該至少一樣本影像SA與該待測物件影像O1，當卷積程式P判斷該待測物件影像O1之比較結果R對於該目標物件影像TA之一近似度大於一近似閥值(例如: 近似度0至1之間，而取0.5作為近似閥值)時，卷積程式P將該輸入影像IMG分類至該目標物件影像TA，反之，卷積程式P將該輸入影像IMG分類至該非目標物件影像NTA。卷積程式P並依據 Intersection over Union（IOU）將該目標物件影像TA之該近似度較大者對於該目標物件影像TA之該近似度較小者之一交集度大於一交集閥值(例如: 交集度0至1之間，而取0.5作為交集閥值)時，卷積程式P將該目標物件影像TA之該近似度較小者排除於該目標物件影像TA。
如第八圖所示，其為本發明於一實施例之示意圖，其中，輸入影像IMG為一食道內視鏡影像，針對輸入影像IMG經本發明之以波段用於超頻譜檢測物件影像之方法，疊加了預測框D與邊界框B，並進行樣本影像(化生不良(Dysplasia)區域之食道內視鏡影像)之比對，而獲得比較結果R，準確率可達93.0%。
本發明之以波段用於超頻譜檢測物件影像之方法，係將超頻譜影像HYI進行波段選擇，由於超頻譜影像HYI能辨識構成可視顏色之不同波段(本實施例中為380nm-780nm共401個波段)之頻譜強度，而對於多個維度之超頻譜影像HYI濾出所需要之波段(本實施例中為415nm及540nm共2個波段)降維(由401個波段降為2個波段之資料)以進行後續運算，以卷積神經網路進行目標物件影像與非目標物件影像之分類，在1780筆之食道內視鏡影像之判斷結果中，本發明對比以輸入影像IMG為白光影像(WLI)或窄帶影像(NBI)判斷是否有病灶之準確度，經由波段BND篩選後之超頻譜影像HYI對於化生不良(Dysplasia)區域判斷準確度可提升至98%(白光影像(WLI)判斷準確度：96%，窄帶影像(NBI)判斷準確度：85%)，經由波段BND篩選後之超頻譜影像HYI對於食道癌(SCC)區域判斷準確度提升至93%(白光影像(WLI)判斷準確度：92%，窄帶影像(NBI)判斷準確度：82%)，使醫療人員可以使用本發明做為症狀判斷之輔助證據，本發明並非對輸入影像IMG之色彩調整，而是過濾產生色彩之光。
再提供一實施例說明本發明將超頻譜影像HYI以波段篩選後輸出為一般影像，於步驟S25後還包含：
步驟S28：將第一超頻特徵值依據波段選擇並依據超頻譜影像資訊轉換為模擬影像。
本發明還提供一實施例，如第2I圖所示，於步驟S28中，該主機10對該些個第一超頻特徵值F1依據該波段BND進行選擇(Band selection)並依據步驟S05所得之超頻譜影像資訊HSA轉換為一模擬影像SIM。
其中，於步驟S25透過反射頻譜數據[R 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚]經主成分分析降維運算而取得模擬頻譜[S 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚] 380-780，於步驟S28中，依據步驟S05之式(五)至式(七)將模擬頻譜[S 𝑆𝑝𝑒𝑐𝑡𝑟𝑢𝑚] 380-780數據轉換至 XYZ 色域空間所規範之 XYZ 值，再依據式(二三)轉換為模擬影像SIM。 ...式(二三)
在該實施例中，能將降維後之資料轉換至一般影像(RGB影像)使醫療人員檢視，一實施例中，其選擇波段為 415nm 與 540 nm，產生模擬影像SIM近似於窄帶影像(Narrow band image)，由於不同波長光線對於組織穿透力不同，當紅光被不同深淺血管內之血紅素吸收，在淺層黏膜組織的微血管為棕色、黏膜下組織的血管為綠色，而本發明所產生之選擇波段之模擬影像SIM，係將401個波段之白光影像(WLI)篩選其中2個波段而產生之新影像，使原本與背景顏色相似的病灶處(目標物件影像TA)變得十分突顯，提升了與背景影像BG的對比度。
此處提供本發明之一具體實施例，如第九A圖、第九B圖、第十A圖及第十B圖所示，其為本發明之具體實施例之影像示意圖，如：有一食道內視鏡白光影像(WLI影像)欲進行辨識是否符合食道癌，主機擷取為輸入影像IMG，將該輸入影像IMG以超頻譜影像資訊HSA取得超頻譜影像HYI，其中超頻譜影像HYI具有380nm-780nm共401個波段，故選擇以波段BND為415nm及540nm篩選並卷積運算，而框選出待測物件影像之位置並進行樣本影像之比較取得預測框D與邊界框B並獲得比較結果R，並依超頻譜影像資訊HSA輸出模擬影像SIM，模擬影像SIM為一模擬窄帶(NBI)影像，其中，第九A圖為比對樣本影像為化生不良(Dysplasia)區域之白光影像，第十A圖為比對樣本影像為食道癌(SCC)區域之白光影像，第九B圖及第十B圖為前述白光影像經本發明之方法後所輸出之模擬NBI影像，可以明顯看出本發明之模擬NBI影像在病灶處(目標物件影像TA)較為明顯，提升了與背景影像BG的對比度，使醫療人員便於觀察。
綜上所述，本發明之以波段用於超頻譜檢測物件影像之方法，其提供主機取得超頻譜影像資訊，再依據超頻譜影像資訊將輸入影像轉換為超頻譜影像，接著將超頻譜影像依據波段選擇，以接續執行卷積程式，並讓主機建構卷積神經網路，以對影像擷取單元之輸入影像進行卷積，而篩選出欲偵測之篩選區域，藉此設立預測框於輸入影像上，並透過回歸運算以邊界框定位出待測物件影像之位置，最後進行樣本影像之比較，以利用比較結果進行目標物件影像與非目標物件影像之分類，達到以超頻譜技術輔助辨識物件影像之目的。
故本發明實為一具有新穎性、進步性及可供產業上利用者，應符合我國專利法專利申請要件無疑，爰依法提出發明專利申請，祈  鈞局早日賜准專利，至感為禱。
惟以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍，舉凡依本發明申請專利範圍所述之形狀、構造、特徵及精神所為之均等變化與修飾，均應包括於本發明之申請專利範圍內。
1:檢測系統 10:主機 12:處理單元 14:記憶體 16:儲存單元 20:影像擷取單元 30:資料庫 B:邊界框 BAND:波段 Bc:第二中心點 BG:背景影像 BGI:周邊影像 C:卷積核 CELL:細胞 CNN:卷積神經網路 D:預測框 Dc:第一中心點 F1:第一超頻特徵值 F2:第二特徵值 HSA:超頻譜影像資訊 HYI:超頻譜影像 IMG:輸入影像 O1:待測物件影像 O1R:物件參考影像 O2:選取影像 P:卷積程式 R:比較結果 REF:參考影像 SA:樣本影像 SIM:模擬影像 TA:目標物件影像 NTA:非目標物件影像 S10至S42:步驟
第一圖：其為本發明之一實施例之方法流程圖； 第二A圖至第二I圖：其為本發明之一實施例之部分步驟示意圖； 第三圖：其為本發明之一實施例之卷積核與輸入影像之示意圖； 第四圖：其為本發明之一實施例之所在區域之示意圖； 第五圖：其為本發明之一實施例之建立預測框之示意圖； 第六圖：其為本發明之一實施例之中心點位移之示意圖； 第七圖：其為本發明之一實施例之預測框與邊界框對位之示意圖； 第八圖：其為本發明之一實施例之影像示意圖； 第九A圖至第九B圖：其為本發明之一具體實施例之影像示意圖；以及 第十A圖至第十B圖：其為本發明之一具體實施例之影像示意圖。
S05至S60:步驟

Claims (13)

  1. 一種以波段用於超頻譜檢測物件影像之方法，其步驟包含: 取得將一參考影像轉換為一超頻譜參考影像之一超頻譜影像資訊，該參考影像包含至少一物件參考影像與一背景參考影像； 一影像擷取單元擷取一輸入影像至一主機，該輸入影像包含至少一待測物件影像與一背景影像； 該主機依據該超頻譜影像資訊轉換該輸入影像，以取得一超頻譜影像； 該主機依據該超頻譜影像進行分析，以取得複數個第一超頻特徵值； 該主機對該些個第一超頻特徵值依據一細胞對應之一波段選擇並進行一主成分分析運算，以簡化該超頻譜影像而產生對應之複數個第二特徵值； 該主機依據複數個卷積核用以對該些個第二特徵值進行至少一層卷積運算，以濾除該背景影像而取得一卷積結果，用以依據該卷積結果與該至少一待測物件影像取得至少一選取影像，其中，該些個卷積核包含複數個選取特徵值以及複數周邊特徵值，該至少一待測物件影像包含複數個周邊影像與該至少一選取影像，該些個周邊影像環繞於該至少一選取影像，該至少一選取影像對應於該些個選取特徵值，該些個周邊影像對應於該些個周邊特徵值； 該主機依據該至少一選取影像之邊緣產生至少一預測框； 該主機擷取該輸入影像之一邊界框用以比對該預測框之一第一中心點與該邊界框之一第二中心點，以獲得該預測框與該邊界框之一中心偏移量，其中該邊界框對應於該輸入影像之一邊緣； 該主機依據該中心偏移量進行一回歸運算，取得一回歸運算結果； 該主機依據該回歸運算結果與該預測框用以對該待測物件影像進行對位調整，使該第一中心點往該第二中心點移動時，連帶將該選取影像移至該第二中心點； 該主機依據對位調整後之該待測物件影像與至少一樣本影像進行匹配比較，以產生一比較結果；以及 該主機依據該比較結果判斷該輸入影像為一目標物件影像。
  2. 如請求項1所述之以波段用於超頻譜檢測物件影像之方法，其中於該主機依據複數個卷積核用以對該些個第二特徵值進行至少一層卷積運算之步驟中，該主機設定該些個卷積核為m×n×p並正規化該輸入影像之複數個像素值為複數個像素正規值，用以該些個卷積核乘以該些個像素正規值，而於一卷積層擷取該些個第二特徵值，且m=n，m為1、3、5、10、19或38。
  3. 如請求項1所述之以超頻譜檢測物件影像之方法，其中於依據該卷積結果與該至少一待測物件影像取得至少一選取影像之步驟中，該主機整合該些個選取特徵值所在區域而在該輸入影像上取得該至少一分佈區域。
  4. 如請求項1所述之以波段用於超頻譜檢測物件影像之方法，其中於該主機依據複數個卷積核用以對該些個第二特徵值進行至少一層卷積運算之步驟中，該主機依據一單次多框目標檢測器模型分別對該輸入影像之每一像素進行卷積，以偵測該些個第二特徵值。
  5. 如請求項1所述之以波段用於超頻譜檢測物件影像之方法，其中於該主機依據該中心偏移量進行一回歸運算之步驟中，該主機以該預測框之一第一位置、該邊界框之一第二位置與一縮放因子進行該回歸運算，而定位該待測物件影像。
  6. 如請求項1所述之以波段用於超頻譜檢測物件影像之方法，其中於該主機依據該待測物件影像與至少一樣本影像進行匹配比較之步驟中，該主機於一完全連接層進行該待測物件影像與該至少一樣本影像之匹配比較。
  7. 如請求項1所述之以波段用於超頻譜檢測物件影像之方法，其中於依據一比較結果判斷該輸入影像為一目標物件影像之步驟中，當該主機無法依據該至少一樣本影像判斷該輸入影像為一目標物件影像時，該主機依據該至少一樣本影像對該待測物件影像進行近似比較。
  8. 如請求項7所述之以波段用於超頻譜檢測物件影像之方法，其中於該主機依據該至少一樣本影像對該待測物件影像進行近似比較之步驟中，當該主機判斷該待測物件影像之一近似度大於一近似門檻值時，該主機將該輸入影像判斷為該目標物件影像。
  9. 如請求項1所述之以波段用於超頻譜檢測物件影像之方法，其中該超頻譜影像資訊為對應於該輸入影像之複數個白光影像與複數個窄帶影像，並包含複數個配色函數、一校正矩陣與一轉換矩陣。
  10. 如請求項1所述之以波段用於超頻譜檢測物件影像之方法，其中於該主機依據對位後之該待測物件影像與至少一樣本影像進行匹配比較之步驟中，該主機自一資料庫讀取該至少一樣本影像，以依據對位後之該待測物件影像進行該匹配比較。
  11. 如請求項1所述之以波段用於超頻譜檢測物件影像之方法，其中於該主機對該些個第一超頻特徵值依據一細胞之一波段選擇並進行一主成分分析運算，以簡化該超頻譜影像而產生對應之複數個第二特徵值之步驟後，該主機對該些個第一超頻特徵值依據該波段選擇並依據該超頻譜影像資訊轉換為一模擬影像。
  12. 如請求項1所述之以波段用於超頻譜檢測物件影像之方法，其中該細胞為食道癌細胞。
  13. 如請求項1所述之以波段用於超頻譜檢測物件影像之方法，其中該波段為415奈米及540奈米。
TW111108093A 2022-03-04 2022-03-04 以波段用於超頻譜檢測物件影像之方法 TWI796156B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111108093A TWI796156B (zh) 2022-03-04 2022-03-04 以波段用於超頻譜檢測物件影像之方法
US18/162,083 US20230281818A1 (en) 2022-03-04 2023-01-31 Method for detecting object image using hyperspectral imaging by band selection
JP2023015049A JP7449004B2 (ja) 2022-03-04 2023-02-03 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111108093A TWI796156B (zh) 2022-03-04 2022-03-04 以波段用於超頻譜檢測物件影像之方法

Publications (2)

Publication Number Publication Date
TWI796156B TWI796156B (zh) 2023-03-11
TW202336690A true TW202336690A (zh) 2023-09-16

Family

ID=86692329

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111108093A TWI796156B (zh) 2022-03-04 2022-03-04 以波段用於超頻譜檢測物件影像之方法

Country Status (3)

Country Link
US (1) US20230281818A1 (zh)
JP (1) JP7449004B2 (zh)
TW (1) TWI796156B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6556076B2 (ja) 2016-03-10 2019-08-07 富士フイルム株式会社 内視鏡画像信号処理装置および方法並びにプログラム
US9895112B2 (en) 2016-05-04 2018-02-20 National Chung Cheng University Cancerous lesion identifying method via hyper-spectral imaging technique
BR112020008774A2 (pt) 2017-10-30 2020-12-22 Japanese Foundation For Cancer Research Aparelho para auxiliar no diagnóstico por imagem, método para a coleta de dados, método para auxiliar no diagnóstico por imagem e programa para auxiliar no diagnóstico por imagem
CN111670000A (zh) 2018-02-05 2020-09-15 索尼公司 成像装置和成像方法以及程序
CN112055555A (zh) 2018-05-14 2020-12-08 富士胶片株式会社 医疗图像处理装置、医疗图像处理方法及内窥镜系统
US11257213B2 (en) 2018-10-25 2022-02-22 Koninklijke Philips N.V. Tumor boundary reconstruction using hyperspectral imaging
TWI732544B (zh) 2020-05-05 2021-07-01 國立中正大學 二維材料薄膜檢測方法及二維材料薄膜檢測系統
CN112766199B (zh) 2021-01-26 2022-04-29 武汉大学 基于自适应多尺度特征提取模型的高光谱图像分类方法

Also Published As

Publication number Publication date
JP2023129277A (ja) 2023-09-14
US20230281818A1 (en) 2023-09-07
JP7449004B2 (ja) 2024-03-13
TWI796156B (zh) 2023-03-11

Similar Documents

Publication Publication Date Title
Clancy et al. Surgical spectral imaging
US8472682B2 (en) Medical image processing
US8401258B2 (en) Method to provide automated quality feedback to imaging devices to achieve standardized imaging data
US8131054B2 (en) Computerized image analysis for acetic acid induced cervical intraepithelial neoplasia
WO2019054045A1 (ja) 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
WO2008115547A1 (en) A method of automated image color calibration
Nouri et al. Hyperspectral interventional imaging for enhanced tissue visualization and discrimination combining band selection methods
TWI738367B (zh) 以卷積神經網路檢測物件影像之方法
CN115049666B (zh) 基于彩色小波协方差深度图模型的内镜虚拟活检装置
Haddad et al. Image analysis model for skin disease detection: framework
WO2020184257A1 (ja) 医用画像処理装置及び方法
Ali et al. Color-based template selection for detection of gastric abnormalities in video endoscopy
TWI820624B (zh) 基於語義分割於影像辨識之方法
Akbari et al. Hyperspectral imaging and diagnosis of intestinal ischemia
TWI796156B (zh) 以波段用於超頻譜檢測物件影像之方法
Akbari et al. Wavelet-based compression and segmentation of hyperspectral images in surgery
TWI762388B (zh) 以超頻譜檢測物件影像之方法
Meyer-Veit et al. Hyperspectral endoscopy using deep learning for laryngeal cancer segmentation
TWI803223B (zh) 於超頻譜影像之物件偵測方法
TWI821149B (zh) 內視鏡冗餘影像除去方法
Akbari et al. Hyperspectral image segmentation and its application in abdominal surgery
Finkšt et al. Autofluorescence bronchoscopy image processing in the selected colour spaces
Andrade A Portable System for Screening of Cervical Cancer
Abdullah et al. Computer-aided diseases diagnosis system based on tongue color analysis: A review
Bountris et al. Detection and classification of suspicious areas in autofluorescence bronchoscopy