TWI432168B - 內視鏡導航方法以及內視鏡導航系統 - Google Patents

內視鏡導航方法以及內視鏡導航系統 Download PDF

Info

Publication number
TWI432168B
TWI432168B TW098146317A TW98146317A TWI432168B TW I432168 B TWI432168 B TW I432168B TW 098146317 A TW098146317 A TW 098146317A TW 98146317 A TW98146317 A TW 98146317A TW I432168 B TWI432168 B TW I432168B
Authority
TW
Taiwan
Prior art keywords
image
predetermined
dark
ratio
area
Prior art date
Application number
TW098146317A
Other languages
English (en)
Other versions
TW201121489A (en
Inventor
Tsung Chun Lee
Syu Jyun Peng
Hsuan Ting Chang
Hsiu Po Wang
Original Assignee
Univ Nat Yunlin Sci & Tech
Tsung Chun Lee
Hsiu Po Wang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Yunlin Sci & Tech, Tsung Chun Lee, Hsiu Po Wang filed Critical Univ Nat Yunlin Sci & Tech
Priority to TW098146317A priority Critical patent/TWI432168B/zh
Priority to US12/821,091 priority patent/US8553953B2/en
Priority to JP2010224307A priority patent/JP5599687B2/ja
Publication of TW201121489A publication Critical patent/TW201121489A/zh
Application granted granted Critical
Publication of TWI432168B publication Critical patent/TWI432168B/zh

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Description

內視鏡導航方法以及內視鏡導航系統
本發明係有關於一種內視鏡導航方法以及內視鏡導航系統。
近年來由於影像監控與電子監控盛行,電子式視訊大腸檢查已廣泛應用於臨床與實驗,其包含可即時於大腸道中擷取彩色影像的微型電荷耦合元件。利用電子式視訊大腸鏡量化及評估大腸疾病的正確狀態是重要議題之一。因此,大腸內視鏡的電腦輔助診斷受到越來越多注意。於電腦輔助診斷時,需擷取大腸鏡影像中有意義的特徵。然而最有意義的特徵莫過於空腔邊界,其和醫師搜尋大腸中可能異常的部位可能是相符的。通常醫師根據大腸鏡所擷取到的大腸影像配合經驗判斷空腔所在而操作大腸鏡。一般大腸鏡影像暗處包含多樣斑點而且介於空腔與腸壁之間的摺皺頻繁地散佈,當空腔不是同質區域時,有時出現較腸壁明亮的反射,造成擷取空腔邊界相對地困難與重要。
另外,於內視鏡尖端使用數個光源照射大腸內部,因照射距離的限制,腸壁表面靠近光源處比遠處來得亮。因此,於內視鏡影像中最低亮度的區域通常為空腔區域。不過空腔區域並非固定的,其會依照腔體大小、形狀、背景照度與反射特性有所變化使得醫師難以準確判斷空腔方向。此外,大腸有許多轉折部位造成空腔位置模糊。假如大腸鏡插入沒有跟隨空腔位置,將可能造成大腸鏡頂端碰撞腸壁,除了引起病患疼痛外,有可能增加腸壁貫穿的風險,更嚴重者會導致患者死亡。
因此,為解決上述不易辨識空腔區域的問題,本發明提供一種利用特定影像處理之內視鏡導航方法。
本發明提供一種內視鏡導航方法,方法包括:自一內視鏡系統的一攝影裝置接收腔體內的一影像;對影像實施分類以決定影像是否可用;對影像實施一第一影像處理以過濾出影像的暗色區域以產生一第一處理的影像;實施一第一判斷程序以識別第一處理的影像的暗色區域;根據暗色區域產生指示腔體方向的一第一結果影像;當影像不存在暗色區域時,對影像實施一第二影像處理以過濾出影像的摺皺曲線以產生一第二處理的影像;實施一第二判斷程序以識別第二處理的影像的摺皺曲線;根據摺皺曲線產生指示腔體方向的一第二結果影像;以及輸出第一結果影像或第二結果影像至內視鏡系統的一顯示裝置以輔助使用者操作位於腔體內的攝影裝置。
本發明提供一種內視鏡導航系統,包括:一攝影裝置,用於接收腔體內的一影像;一影像分類模組,擷取攝影裝置所接收的影像,以及對影像實施分類以決定影像是否可用;一第一影像處理模組,用於對影像實施一第一影像處理以過濾出影像的暗色區域以產生一第一處理的影像、實施一第一判斷程序以識別第一處理的影像的暗色區域,以及根據暗色區域產生指示腔體方向的一第一結果影像;一第二影像處理模組,用於對影像實施一第二影像處理以產生一第二處理的影像、實施一第二判斷程序以過濾出影像的摺皺曲線以識別第二處理的影像的摺皺曲線,以及根據摺皺曲線產生指示腔體方向的一第二結果影像;以及一顯示裝置,用於顯示第一結果影像或第二結果影像以輔助使用者操作位於腔體內的攝影裝置。
本發明運用影像畫面明暗的差異性以及大腸摺皺的特性,透過影像分析演算法詳細地分析大腸影像以準確判斷大腸空腔位置所在,進而正確地導引使用者操作內視鏡系統的攝影裝置。如此將使得臨床上醫生診斷或治療病人時,可以根據分析過的影像之指示順利地操作內視鏡插入而減緩病人的疼痛。
為使本發明之上述目的、特徵和優點能更明顯易懂,下文特舉較佳實施例,並配合所附圖式,作詳細說明如下:第1圖根據本發明係內視鏡導航方法100的流程圖。於實施例中,本發明使用訓練膠塑模型來模擬真實人體大腸,以內視鏡儀器檢查訓練模型的內部結構並錄製成視訊影片,然後分割成一張一張大腸模型內視鏡影像,再針對影像進一步分析以判斷空腔位置。一般來說,醫師是根據目前內視鏡系統的顯示裝置所呈現的大腸影像現場操作內視鏡攝影裝置。臨床上,本發明的方法係能即時接收影像即時分析即時呈現以快速正確地導引醫師操作內視鏡系統的攝影裝置。
流程圖100詳細描述如何利用影像處理即時分析目前病患的大腸內部腔體的影像,以達到導引使用者可更順利地操作內視鏡系統的目的。在步驟102,自插入於大腸腔體的攝影裝置例如微型電荷耦合元件,接收腔體內的影像。此影像係已經被即時地從視訊轉換成一系列單張影像。在步驟104,實施影像的分類。內視鏡拍攝時由於位置與角度的變化因素,使得影像包含各種型態。一般可分為四類:亮度很亮、亮度很暗、雙重曝光以及清晰。影像分類係根據影像在一特定色彩空間,例如HSV色彩空間的參數的數值,例如色調、飽和度與亮度。於本實施例中,使用者可依需求設定用於分類影像的參數範圍,影像根據所落入的範圍被歸類為上述的四種類別。
更詳細的分類程序可參照圖式第2圖。在步驟1042,首先將原本擷取的影像轉換到其他特定色彩空間,例如將RGB色彩空間的影像轉換成HSV色彩空間的影像。在步驟1044實施第一階段分類。舉例來說,當影像中亮度值小於第一既定亮度的像素數目D與影像尺寸(M*N)之比例大於既定比例值時,歸類影像為太暗的影像。於本實施例中,第一既定亮度設定為0.22單位,既定比例值設定為0.4。也就是說,當亮度小於0.22單位的像素數目佔據整張影像超過40%時,其歸類為太暗的影像,此影像是不可用的,不再進行後續處理。
在步驟1048實施第二階段分類。舉例來說,當影像中亮度大於第二既定亮度值的像素數目D與影像尺寸(M*N)之比例大於既定比例值時,歸類影像為太亮的影像。於本實施例中,第二既定亮度值設定為0.7單位,既定比例值仍為0.4。亦就是說,當亮度大於0.7單位的像素數目佔據整張影像超過40%時,其歸類為太亮的影像,此影像是不可用的,不再進行後續處理。
在步驟1052實施第三階段分類。舉例來說,當影像中色調小於第一既定色調值或大於第二既定色調值,以及飽和度大於既定飽和值之像素數目DE與影像尺寸(M*N)之比例大於既定比例值時,歸類影像為雙重曝光的影像。於本實施例中,第一既定色調值設定為0.01單位,第二既定色調值設定為0.1單位,既定飽和值設定為0.75單位。亦就是說,當色調值小於0.01單位且飽和值大於0.75單位,或色調值大於0.1單位且飽和值大於0.75單位的像素數目佔據影像超過40%時,其歸類為雙曝光的影像,此影像是不可用的,也不再進行後續處理。
最後,當影像不歸類為太暗的影像、太亮的影像或雙重曝光的影像之一時,其歸類為清晰的影像。經過分類程序的篩選,如果沒有歸類為不可用影像,保留下的影像則為清晰的影像,此影像是可用的,往後將進行後續影像處理。
回到第1圖,在實施影像分類104之後,假如影像係可用的則流程進行到步驟108。在步驟108,實施影像前置處理。主要目的是過濾出以及強化一張影像圖中真正呈現腔體結構的影像部份,以利於往後的分析處理。第3A圖係未處理前的影像,第3B圖是經過前置處理後的影像。影像前置處理包含實施灰階化,實施平均濾波以及實施遮罩。
回到第1圖,接著,在步驟110,實施第一影像處理。主要目的是過濾出影像的暗色區域,以作為往後判斷程序識別之用。其包括對已經進行前置處理的影像如3B圖的影像實施二進位化、標籤濾波及中值濾波。第3C圖的影像係經過第一影像處理的影像。大腸空腔之影像亮度相對周圍來說比較暗,中值濾波可以濾除小區域並且加強空腔區域的暗度。然後以標籤濾波計數暗色區域數目。根據第一處理過的影像,如第3C圖所示,於本實施例中,暗色區域的數目為4。
在步驟110實施第一影像處理之後,會先判斷是否存在暗色區域,若影像不存在暗色區域,則流程前往步驟120,若影像存在暗色區域,則流程前進到步驟114。
在步驟114,實施第一判斷程序以識別影像的暗色區域。如第4A圖的流程圖所示。當暗色區域的數目為1時,接著判斷暗色區域之邊緣像素數目(EPS)是否小於既定像素數目。於本實施例中,設定既定像素數目為700。於一實施中,如第4B圖所示的影像,其邊緣像素數目為876,大於700,因此不符合第一判斷程序。假如影像的邊緣像素數目小於700,則接著判斷暗色區域對第一處理的影像面積之比例(AR)是否介於一既定比例範圍。於本實施例中,既定比例範圍設定為0.02與0.5之間。亦即是,當暗色區域佔據影像面積的比例不在2%與50%之間的範圍時,不符合第一判斷程序。假如暗色區域的比例在範圍內,則接著判斷暗色區域中色調值介於既定色調範圍的面積對暗色區域的比例(HR)是否小於既定色調面積比例。於本實施例中,既定色調範圍是0-1之間,既定色調面積比例是0.4。亦就是說,當暗色區域中介於色調值0-1之間的像素數目佔據暗色區域的面積小於40%時,可確定符合第一判斷程序。
另外,當暗色區域的數目大於1時,所實施的判斷程序將不同於暗色區域數目為1時的判斷程序。首先,判斷暗色區域之邊緣像素數目(EPS)是否小於一既定像素數目。於本實施例中,設定既定像素數目為700。如第3C圖所示,所有暗色區域的邊緣像素數目小於700。接著判斷處理的影像中第一大暗色區域與第二大暗色區域的夾角r是否小於既定角度。於本實施例中,設定既定角度為120度。於一實施例中,如第4C圖所示,二暗色區域分佈的夾角r超過120度,因此不符合第一判斷程序。假如符合,例如第3C圖所示的暗色區域,則接著判斷第二暗色區域與第一暗色區域的比例(APR)是否小於既定比例值。於本實施例中,既定比例設定為0.25。亦就是說,當第二大的暗色區域的面積與第一大的暗色區域的面積之比例小於25%時,則符合判斷條件,例如第3C圖。
接著,判斷暗色區域與第一處理的影像面積之比例是否介於既定比例範圍。於本實施例中,該既定比例範圍設定為0.02與0.5之間。亦即是,當全部暗色區域佔據影像面積的比例在2%與50%之間的範圍時符合判斷。接著判斷暗色區域中色調值介於既定色調範圍的面積與暗色區域的比例(HR)是否小於既定色調面積比例。於本實施例中,既定色調範圍是0-1之間,既定色調面積比例是0.4。亦就是說,當總暗色區域中介於色調值0-1之間的像素數目佔據總暗色區域的面積小於40%時,可確定符合第一判斷程序,反之,不符合第一判斷程序。
當符合第一判斷程序時,如第3C圖所示的影像。流程進行到步驟118。否則流程前往步驟120,實施第二影像處理。
回到第1圖,在步驟118,產生指示腔體方向的第一結果影像。經過第一判斷程序之後,確定影像的暗色區域可能是大腸腔體內的空腔部位,因此接著計算暗色區域的幾何中心,亦即是空腔的中心。若是有複數個暗色區域,則以最大暗色區域為主計算其幾何中心。由影像的中心產生一指示符號,例如箭頭,指向暗色區域的中心,如第5A圖所示。然後將指示符號的位置與方向映射到最初的影像,即可產生具有指示方向的結果影像,如第5B圖所示。箭頭所指去的方向即為空腔位置。
前述的暗色偵測演算法不一定能正確判斷空腔方位,臨床上,醫師還會依據經驗藉助大腸摺皺判斷空腔位置。一般而言,垂直於大腸摺皺的方向為空腔所在方向,以此特徵,發展出以下所述的摺皺偵測演算法。回到第1圖的流程,當影像不存在暗色區域或者不符合第一判斷時,流程會進行步驟120。在步驟120,實施第二影像處理。主要目的是過濾出影像的皺摺曲線,以作為往後判斷程序識別之用。其包括對已經進行前置處理的影像實施拉普拉式濾波、肯尼邊緣偵測、邊緣遮罩以及標籤濾波。如第6A-6B圖所示。6A圖係一張未處理的影像,第6B圖係經過前置處理以及第一影像處理之後的影像。拉普拉式濾波增加摺皺對比度,肯尼邊緣偵測可以偵測所有可能的折皺曲線,邊緣遮罩則去除內視鏡影像邊緣,以得到僅存大腸摺皺的影像。最後在以標籤濾波方式計數摺皺曲線的數量與長度。然後流程前往步驟122。
在步驟122,實施第二判斷程序以識別摺皺曲線。參考第7圖的流程圖。首先判斷褶皺曲線是否介於既定長度範圍。於本實施例中,設定既定長度範圍在90-450單位之間。也就是說,當摺皺曲線的長度LF沒有落在此區間,則不符合第二判斷程序,摺皺曲線視為無效。若是長度符合,接著判斷褶皺曲線的色調介於既定色調範圍的像素數目的比例FDE是否大於既定像素數目比例。於本實施例中,既定色調範圍設定為小於0.01單位與大於0.1單位的範圍,既定像素數目比例設定為0.4。亦即是,這條摺皺曲線的像素色調在範圍內的像素數目佔據摺皺曲線超過40%時,這條摺皺曲線可用於往後分析,否則不符合第二判斷程序,摺皺曲線視為無效。接著判斷褶皺曲線的亮度大於既定亮度的像素數目比例FD是否大於既定像素數目比例。於本實施例中,既定亮度設定為0.7單位。亦即是,當摺皺曲線中亮度大於0.7單位的像素數目佔據摺皺曲線大於40%時,這條摺皺曲線可用於往後分析,否則不符合第二判斷程序,摺皺曲線視為無效。
接著,判斷摺皺曲線是否為預設的圓弧摺皺曲線。其中包含以兩向量夾角判定是否為圓弧摺皺。舉例來說,將摺皺曲線等分取11點分成10等份。兩相鄰點可形成一向量,再根據兩相鄰向量夾角判斷曲線是否變化過大。因此,以本例來說,總共會有9個向量夾角。針對每一個向量夾角設定一個既定向量夾角值,當所有向量夾角皆大於該等既定向量夾角值時,表示測試的摺皺曲線不是圓弧型,否則歸類為圓弧摺皺曲線。於本實施例中,如第8A所示,對摺皺曲線進行編號分段,並設定向量夾角θ1-θ3以及θ7-θ9的既定向量夾角為60度,θ4-θ6的既定向量夾角設定為75度。也就是說,當摺皺曲線的向量夾角θ1-θ3以及θ7-θ9大於60度以及向量夾角θ4-θ6大於75度時,才將摺皺曲線視為非圓弧。如第8B圖所示之摺皺為圓弧摺皺曲線,而第8C圖所示的摺皺為非圓弧摺皺。當摺皺曲線亦為圓弧型時,則摺皺曲線確定符合第二判斷程序。流程進行到步驟126。
在步驟126,產生指示腔體方向的第二結果影像。以摺皺曲線之幾何中心與線段中點判斷摺皺曲線開口方向。一般而言,垂直於摺皺曲線的方向即為空腔所在位置。因此,為了可顯示正確指示,例如箭頭,於本實施例中,參考幾何中心與線段中點產生指示方向的箭頭,如第9A圖所示。然後將指示符號的位置與方向映射到最初的影像,即可產生具有指示方向的結果影像,如第9B圖所示。箭頭所指的方向即為空腔位置。最後,在步驟128,輸出結果影像至顯示裝置以輔助使用者操作位在腔體內的攝影裝置。
第10圖係本發明的內視鏡導航系統的方塊圖。內視鏡系統1000包括攝影裝置1010、影像分類模組1020、影像前置處理模組1030、第一影像處理模組1040、第二影像處理模組1050以及顯示裝置1060。其中影像分類模組1020、影像前置處理模組1030、第一影像處理模組1040及第二影像處理模組1050係可整合於一積體電路,例如晶片組或微處理器。
攝影裝置1010,例如微型電荷耦合元件,主要用來接收腔體內的影像,例如人體大腸內的影像。影像分類模組1020係用於擷取攝影裝置所接收到的腔體內的影像,以及對影像實施分類以決定影像是否可用。影像前置處理模組1030用於對影像實施灰階化、中值與平均濾波以及遮罩。
第一影像處理模組1030除了對影像實施第一影像處理以過濾出影像的暗色區域以產生一第一處理的影像外,又實施第一判斷程序以識別第一處理的影像的暗色區域,以及根據暗色區域產生指示腔體方向的一第一結果影像。其中第一判斷程序包括兩部份。第一部份包含判斷第一處理的影像是否具有一暗色區域、暗色區域之邊緣像素數目是否小於一既定像素數目、暗色區域對第一處理的影像面積之比例是否介於一既定比例範圍,以及暗色區域中色調值介於一既定色調範圍的面積對暗色區域的比例是否小於一既定色調面積比例。第二部份包含判斷第一處理的影像是否具有至少二暗色區域、暗色區域之邊緣像素數目是否小於一既定像素數目、處理的影像中第一大暗色區域與第二大暗色區域的夾角是否小於一既定角度、第二暗色區域與第一暗色區域的比例是否小於一既定比例值、暗色區域與第一處理的影像面積之比例是否介於既定比例範圍,以及該等暗色區域中色調值介於既定色調範圍的面積與該等暗色區域的比例是否小於既定色調面積比例。
第二影像處理模組1050除了對影像實施一第二影像處理以產生一第二處理的影像外,又實施一第二判斷程序以過濾出影像的摺皺曲線以識別第二處理的影像的摺皺曲線,以及根據摺皺曲線產生指示腔體方向的一第二結果影像。其中第二判斷程序包含判斷褶皺曲線是否介於既定長度範圍、褶皺曲線的色調介於既定色調範圍的像素數目是否大於既定像素數目、褶皺曲線的亮度大於既定亮度的像素數目是否大於既定像素數目以及摺皺曲線是否為圓弧摺皺曲線。
顯示裝置1060係用於顯示第一結果影像或第二結果影像以輔助使用者操作位於腔體內的攝影裝置。當在第一影像處理模組中判斷出空腔位置而產生指示空腔方向的第一結果影像時,影像不再傳往第二影像處理模組,而輸出第一結果影像至顯示裝置1060。若第一影像處理模組無法識別空腔位置,影像才送往第二影像處理模組進行摺皺識別。若在第二影像處理模組中判斷出空腔位置而產生指示空腔方向的第二結果影像,則最後是輸出第二結果影像至顯示裝置1060。
最後,熟此技藝者可體認到他們可以輕易地使用揭露的觀念以及特定實施例為基礎而變更及設計可以實施同樣目的之其他結構且不脫離本發明以及申請專利範圍。
102、104、106、108、110、112、114、116、118、120、122、124、126、128...流程步驟
1042、1044、1046、1048、1050、1052、1054、1056、1140、1142、1144、1146、1148、1150、1152、1154、1156、1158、1160、1162、1164、1166、1220、1222、1224、1226、1228、1230、1232...流程步驟
1000...內視鏡系統
1010...攝影裝置
1020...影像分類模組
1030...影像前置處理模組
1040...第一影像處理模組
1050...第二影像處理模組
1060...顯示裝置
第1圖根據本發明係內視鏡導航方法的流程圖;
第2圖根據本發明係內視鏡導航方法之實施影像分類的步驟的流程圖;
第3A圖是本發明具體實施例中未處理的影像;
第3B圖是本發明具體實施例中經過影像前置處理的影像;
第3C圖是本發明具體實施例中經過第一影像處理的影像;
第4A圖根據本發明係內視鏡導航方法之實施第一判斷程序的流程圖;
第4B圖是本發明的另一實施例中不符合第一判斷程序之的影像;
第4C圖是本發明的另一實施例中不符合第一判斷程序的影像;
第5A圖是本發明的實施例中符合第一判斷程序而產生指示符號之影像;
第5B圖是本發明的實施例中具有指示符號的第一結果影像;
第6A圖是本發明具體實施例中未處理的影像;
第6B圖是本發明具體實施例中經過前置影像處理及第二影像處理的影像;
第7圖根據本發明係內視鏡導航方法之實施第二判斷程序的流程圖;
第8A圖是本發明具體實施例中藉由分割摺皺曲線根據向量夾角判斷圓弧摺皺曲線的示意圖;
第8B圖是本發明具體實施例中符合條件的圓弧摺皺曲線;
第8C圖是本發明具體實施例中不符合條件的非圓弧摺皺曲線;
第9A圖是本發明的實施例中符合第二判斷程序而產生指示符號之影像;
第9B圖是本發明的實施例中具有指示符號的第二結果影像;以及
第10圖係本發明的內視鏡系統的方塊圖。
102、104、106、108、110、112、114、116、118、120、122、124、126、128...流程步驟

Claims (16)

  1. 一種內視鏡導航方法,該方法包括:自一內視鏡系統的一攝影裝置接收腔體內的一影像;對該影像實施分類以決定該影像是否可用;對該影像實施一第一影像處理以過濾出該影像的暗色區域以產生一第一處理的影像;實施一第一判斷程序以識別該第一處理的影像的該暗色區域;根據該暗色區域產生指示腔體方向的一第一結果影像;當該影像不存在暗色區域時或該暗色區域不符合該第一判斷程序時,對該影像實施一第二影像處理以過濾出該影像的摺皺曲線以產生一第二處理的影像;實施一第二判斷程序以識別該第二處理的影像的該摺皺曲線,其中實施該第二判斷程序包含:判斷該褶皺曲線是否介於一既定長度範圍;判斷該褶皺曲線的色調介於一既定色調範圍的像素數目的比例是否大於一既定像素數目比例;判斷該褶皺曲線的亮度大於一既定亮度的像素數目的比例是否大於該既定像素數目比例;以及判斷該摺皺曲線是否為預設的圓弧摺皺曲線;根據該摺皺曲線產生指示腔體方向的一第二結果影像;以及輸出該第一結果影像或該第二結果影像至該內視鏡系 統的一顯示裝置以輔助使用者操作位於腔體內的該攝影裝置。
  2. 如申請專利範圍第1項所述之內視鏡導航方法,其中對該影像實施分類更包含:根據在一特定色彩空間的該影像的參數決定該影像的類別;其中當該影像被歸類為清晰的影像時,該影像係可用的。
  3. 如申請專利範圍第2項所述之內視鏡導航方法,其中決定該影像的類別包含:當該影像中亮度值小於一第一既定亮度的像素數目與影像尺寸之比例大於一既定比例值時,歸類該影像為太暗的影像;當該影像中亮度大於一第二既定亮度值的像素數目與影像尺寸之比例大於該既定比例值時,歸類該影像為太亮的影像;當該影像中色調小於一第一既定色調值或大於一第二既定色調值,以及飽和度大於一既定飽和值之像素數目與影像尺寸之比例大於該既定比例值時,歸類該影像為雙重曝光的影像;以及當該影像不歸類為太暗的影像、太亮的影像或雙重曝光的影像之一時,歸類該影像為清晰的影像。
  4. 如申請專利範圍第1項所述之內視鏡導航方法,更包括對可用的該影像實施一影像前置處理。
  5. 如申請專利範圍第4項所述之內視鏡導航方法,其 中實施該影像前置處理包括:對該影像實施灰階化、中值與平均濾波以及遮罩。
  6. 如申請專利範圍第1項所述之內視鏡導航方法,其中實施該第一影像處理包括:對該影像實施二進位化、標籤濾波及中值濾波;以及決定該影像的暗色區塊的數目。
  7. 如申請專利範圍第1項所述之內視鏡導航方法,其中實施該第一判斷程序包含:判斷該第一處理的影像是否具有一暗色區域;判斷該暗色區域之邊緣像素數目是否小於一既定像素數目;判斷該暗色區域對該第一處理的影像面積之比例是否介於一既定比例範圍;以及判斷該暗色區域中色調值介於一既定色調範圍的面積對該暗色區域的比例是否小於一既定色調面積比例。
  8. 如申請專利範圍第1項所述之內視鏡導航方法,其中實施該第一判斷程序包含:判斷該第一處理的影像是否具有至少二暗色區域;判斷該暗色區域之邊緣像素數目是否小於一既定像素數目;判斷該處理的影像中該第一大暗色區域與該第二大暗色區域的夾角是否小於一既定角度;判斷該第二暗色區域與該第一暗色區域的比例是否小於一既定比例值;判斷該暗色區域與該第一處理的影像面積之比例是否 介於一既定比例範圍;以及判斷該暗色區域中色調值介於一既定色調範圍的面積與該暗色區域的比例是否小於一既定色調面積比例。
  9. 如申請專利範圍第1項所述之內視鏡導航方法,其中產生指示腔體方向的該第一結果影像包含:根據最大的暗色區域之幾何中心以及該第一處理的影像之幾何中心產生指示符號於該影像中以形成該第一結果影像。
  10. 如申請專利範圍第1項所述之內視鏡導航方法,其中實施該第二影像處理包括:對該影像實施拉普拉斯濾波、邊緣偵測、邊緣遮罩以及標籤濾波;以及決定該影像的褶皺曲線之數量與長度。
  11. 如申請專利範圍第1項所述之內視鏡導航方法,其中產生指示腔體方向的該第二結果影像包含:根據該摺皺曲線的開口方向產生指示符號於該影像中以形成該第二結果影像。
  12. 如申請專利範圍第10項所述之內視鏡導航方法,其中產生指示腔體方向的該第二結果影像包含:根據該摺皺曲線的中點及幾何中心產生指示符號於該影像中以形成該第二結果影像。
  13. 一種內視鏡導航系統,包括:一攝影裝置,用於接收腔體內的一影像;一影像分類模組,擷取該攝影裝置所接收的該影像,以及對該影像實施分類以決定該影像是否可用; 一第一影像處理模組,用於對該影像實施一第一影像處理以過濾出該影像的暗色區域以產生一第一處理的影像、實施一第一判斷程序以識別該第一處理的影像的該暗色區域,以及根據該暗色區域產生指示腔體方向的一第一結果影像;一第二影像處理模組,用於對該影像實施一第二影像處理以產生一第二處理的影像、實施一第二判斷程序以過濾出該影像的摺皺曲線以識別該第二處理的影像的該摺皺曲線,以及根據該摺皺曲線產生指示腔體方向的一第二結果影像,其中該第二判斷程序包括:該褶皺曲線是否介於一既定長度範圍;該褶皺曲線的色調介於一既定色調範圍的像素數目是否大於該既定像素數目;該褶皺曲線的亮度大於一既定亮度的像素數目是否大於一既定像素數目;以及該摺皺曲線是否為圓弧摺皺曲線;以及一顯示裝置,用於顯示該第一結果影像或該第二結果影像以輔助使用者操作位於腔體內的該攝影裝置。
  14. 如申請專利範圍第13項所述之內視鏡導航系統,更包括一影像前置處理模組,用於對該影像實施灰階化、中值與平均濾波以及遮罩。
  15. 如申請專利範圍第13項所述之內視鏡導航系統,其中該第一判斷程序包括:該第一處理的影像是否具有一暗色區域;該暗色區域之邊緣像素數目是否小於一既定像素數 目;該暗色區域對該第一處理的影像面積之比例是否介於一既定比例範圍;以及該暗色區域中色調值介於一既定色調範圍的面積對該暗色區域的比例是否小於一既定色調面積比例。
  16. 如申請專利範圍第13項所述之內視鏡導航系統,其中該第一判斷程序包括:該第一處理的影像是否具有至少二暗色區域;該暗色區域之邊緣像素數目是否小於一既定像素數目;該處理的影像中該第一大暗色區域與該第二大暗色區域的夾角是否小於一既定角度;該第二暗色區域與該第一暗色區域的比例是否小於一既定比例值;該等暗色區域與該第一處理的影像面積之比例是否介於一既定比例範圍;以及該等暗色區域中色調值介於一既定色調範圍的面積與該等暗色區域的比例是否小於一既定色調面積比例。
TW098146317A 2009-12-31 2009-12-31 內視鏡導航方法以及內視鏡導航系統 TWI432168B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW098146317A TWI432168B (zh) 2009-12-31 2009-12-31 內視鏡導航方法以及內視鏡導航系統
US12/821,091 US8553953B2 (en) 2009-12-31 2010-06-22 Endoscopic navigation method and endoscopic navigation system
JP2010224307A JP5599687B2 (ja) 2009-12-31 2010-10-01 内視鏡ナビゲーションシステムの作動方法、及び、内視鏡ナビゲーションシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098146317A TWI432168B (zh) 2009-12-31 2009-12-31 內視鏡導航方法以及內視鏡導航系統

Publications (2)

Publication Number Publication Date
TW201121489A TW201121489A (en) 2011-07-01
TWI432168B true TWI432168B (zh) 2014-04-01

Family

ID=44188341

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098146317A TWI432168B (zh) 2009-12-31 2009-12-31 內視鏡導航方法以及內視鏡導航系統

Country Status (3)

Country Link
US (1) US8553953B2 (zh)
JP (1) JP5599687B2 (zh)
TW (1) TWI432168B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016175098A1 (ja) * 2015-04-27 2016-11-03 オリンパス株式会社 画像解析装置、画像解析システム、画像解析装置の作動方法
WO2016194200A1 (ja) * 2015-06-04 2016-12-08 オリンパス株式会社 可撓管挿入装置
TWI572186B (zh) * 2015-12-04 2017-02-21 國立雲林科技大學 內視鏡影像鏡面反射去除之自適應修補方法
CN105769109B (zh) * 2016-04-28 2017-07-18 深圳市鹏瑞智能图像有限公司 一种内窥镜扫描控制方法及系统
JP6873740B2 (ja) * 2017-02-24 2021-05-19 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置及びエッジ検出方法
TWI639975B (zh) * 2017-06-30 2018-11-01 明基電通股份有限公司 影像增強方法及影像增強裝置
CN110533659A (zh) * 2019-09-03 2019-12-03 安翰科技(武汉)股份有限公司 消化道图像判断方法及包括其的消化道清洁程度判断方法及其计算机设备和可读存储介质
JP7374224B2 (ja) * 2021-01-14 2023-11-06 コ,ジファン 内視鏡を用いた大腸検査ガイド装置
KR102517232B1 (ko) * 2021-08-02 2023-03-31 가천대학교 산학협력단 머신러닝 기반의 의료 영상에 대한 반사광 제거 방법 및 이를 이용한 장치
TWI811162B (zh) * 2022-11-22 2023-08-01 達擎股份有限公司 影像資料轉換裝置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2225188B (en) * 1988-11-16 1993-05-12 Olympus Optical Co Methods of detecting endoscope insertion direction
GB8830465D0 (en) * 1988-12-31 1989-03-01 Olympus Optical Co Methods of detecting endoscope insertion direction
JP3217343B2 (ja) * 1989-03-23 2001-10-09 オリンパス光学工業株式会社 画像処理装置
JP2836863B2 (ja) * 1989-02-21 1998-12-14 オリンパス光学工業株式会社 内視鏡の挿入制御装置
US6671405B1 (en) * 1999-12-14 2003-12-30 Eastman Kodak Company Method for automatic assessment of emphasis and appeal in consumer images
JP4450973B2 (ja) * 2000-11-30 2010-04-14 オリンパス株式会社 診断支援装置
JP4885388B2 (ja) * 2001-09-25 2012-02-29 オリンパス株式会社 内視鏡挿入方向検出方法
JP4077716B2 (ja) * 2002-11-20 2008-04-23 オリンパス株式会社 内視鏡挿入方向検出装置
JP4409166B2 (ja) * 2002-12-05 2010-02-03 オリンパス株式会社 画像処理装置
JP4109224B2 (ja) * 2004-07-01 2008-07-02 ザイオソフト株式会社 展開画像投影方法、展開画像投影プログラム、展開画像投影装置
KR100891766B1 (ko) * 2004-12-10 2009-04-07 올림푸스 가부시키가이샤 의용 화상 처리 장치
EP1875855B1 (en) * 2005-04-27 2012-05-02 Olympus Medical Systems Corp. Image processing apparatus, image processing method, and image processing program
US7894648B2 (en) * 2005-06-17 2011-02-22 Mayo Foundation For Medical Education And Research Colonoscopy video processing for quality metrics determination
US7751622B2 (en) * 2005-08-22 2010-07-06 Carestream Health, Inc. Method and system for detection of undesirable images
JP4891636B2 (ja) * 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
JP5094036B2 (ja) * 2006-04-17 2012-12-12 オリンパスメディカルシステムズ株式会社 内視鏡挿入方向検出装置
JP4994737B2 (ja) * 2006-07-27 2012-08-08 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理方法
WO2008024419A1 (en) * 2006-08-21 2008-02-28 Sti Medical Systems, Llc Computer aided analysis using video from endoscopes
JP4855868B2 (ja) * 2006-08-24 2012-01-18 オリンパスメディカルシステムズ株式会社 医療用画像処理装置
WO2008041401A1 (fr) * 2006-10-02 2008-04-10 Olympus Corporation Dispositif, procédé et programme de traitement d'image
US8064666B2 (en) * 2007-04-10 2011-11-22 Avantis Medical Systems, Inc. Method and device for examining or imaging an interior surface of a cavity
JP4959445B2 (ja) * 2007-07-04 2012-06-20 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5153787B2 (ja) * 2007-11-29 2013-02-27 オリンパスメディカルシステムズ株式会社 内視鏡湾曲制御装置及び内視鏡システム
JP5296396B2 (ja) * 2008-03-05 2013-09-25 オリンパスメディカルシステムズ株式会社 生体内画像取得装置、生体内画像受信装置、生体内画像表示装置およびノイズ除去方法
JP2009261798A (ja) * 2008-04-28 2009-11-12 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP5281826B2 (ja) * 2008-06-05 2013-09-04 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
US20100046816A1 (en) * 2008-08-19 2010-02-25 Igual-Munoz Laura Method for automatic classification of in vivo images
JP5117353B2 (ja) * 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5305850B2 (ja) * 2008-11-14 2013-10-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5374135B2 (ja) * 2008-12-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
JP2011136150A (ja) 2011-07-14
US20110160534A1 (en) 2011-06-30
TW201121489A (en) 2011-07-01
JP5599687B2 (ja) 2014-10-01
US8553953B2 (en) 2013-10-08

Similar Documents

Publication Publication Date Title
TWI432168B (zh) 內視鏡導航方法以及內視鏡導航系統
US11145053B2 (en) Image processing apparatus and computer-readable storage medium storing instructions for specifying lesion portion and performing differentiation classification in response to judging that differentiation classification operation is engaged based on signal from endoscope
JP5094036B2 (ja) 内視鏡挿入方向検出装置
JP5576782B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2021147429A1 (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
CN113573654A (zh) 用于检测并测定病灶尺寸的ai系统
JP2008234208A (ja) 顔部位検出装置及びプログラム
CN109635871B (zh) 一种基于多特征融合的胶囊内窥镜图像分类方法
WO2023103467A1 (zh) 图像处理方法、装置及设备
CN107529963B (zh) 图像处理装置、图像处理方法和存储介质
CN117481579A (zh) 内窥镜系统及其工作方法
KR101875004B1 (ko) 캡슐 내시경 영상을 이용한 자동 출혈 감지 방법 및 컴퓨터 프로그램
CN113164023A (zh) 内窥镜系统和内窥镜用图像处理方法、以及内窥镜用图像处理程序
JP4077716B2 (ja) 内視鏡挿入方向検出装置
JP5018652B2 (ja) 物体存在判定装置
CN116402735A (zh) 基于多方向视角标定的内窥镜图像重构方法
JP2016150024A (ja) 器官画像撮影装置
JP2016151584A (ja) 器官画像撮影装置
Gadermayr et al. Getting one step closer to fully automatized celiac disease diagnosis
EP3061395A1 (en) Organ image capture device
US20160242678A1 (en) Organ image photographing apparatus
CN109978811A (zh) 医疗图像差异比对方法及其系统
JP2008226189A (ja) 特徴点検出装置及びプログラム
JP7384772B2 (ja) 顔認識装置及び顔認識方法
WO2015068495A1 (ja) 器官画像撮影装置