TWM584008U - 利用電腦視覺與深度學習技術之氣管模型重建系統 - Google Patents

利用電腦視覺與深度學習技術之氣管模型重建系統 Download PDF

Info

Publication number
TWM584008U
TWM584008U TW108201580U TW108201580U TWM584008U TW M584008 U TWM584008 U TW M584008U TW 108201580 U TW108201580 U TW 108201580U TW 108201580 U TW108201580 U TW 108201580U TW M584008 U TWM584008 U TW M584008U
Authority
TW
Taiwan
Prior art keywords
image
module
feature points
trachea
endoscope lens
Prior art date
Application number
TW108201580U
Other languages
English (en)
Inventor
盧昭全
王友光
陳威廷
許斐凱
Original Assignee
許斐凱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 許斐凱 filed Critical 許斐凱
Priority to TW108201580U priority Critical patent/TWM584008U/zh
Priority to CN201910334929.0A priority patent/CN111508057A/zh
Publication of TWM584008U publication Critical patent/TWM584008U/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

本創作係為一種利用電腦視覺與深度學習技術之氣管模型重建系統，係與內視鏡鏡頭連接，包含有一圖資載入模組、影像處理模組、影像特徵擷取模組、位姿估算演算法模組、與三維模型重建模組；藉以對內視鏡鏡頭所拍攝之影像進行影像處理、特徵擷取，並輔以影像比對、位置與姿勢估算演算取得影像之對應空間資訊後，俾提供一種可正確、快速地重建並記錄立體三維氣管模型之氣管模型重建系統。

Description

利用電腦視覺與深度學習技術之氣管模型重建系統
本創作係為一種利用電腦視覺與深度學習技術之氣管模型重建系統，特別是一種可正確、快速地重建及記錄立體三維氣管模型之氣管模型重建系統。
按，當病患在手術中進行全身麻醉、心肺復甦術或病患無法自行呼吸時，則須對病患進行插管治療，以將人工氣道插入氣管內，使醫療用氣體順利送入病患氣管內。而當進行插管治療時，由於醫護人員並無法直接目視、調整人工氣道，僅能仰賴醫療人員的觸感及過往經驗來操作，以避免刺傷病患氣管，造成需操作多次才能成功，並有拖延建立通暢氣道的時間。因此，快速、正確的建立三維氣管模型以供醫療人員輔助插管，實為目前急欲解決之課題。
本創作之目的，即在於改善上述之缺失，俾提供一種可正確、快速地重建及記錄立體三維氣管模型之氣管模型重建系統。
為達到上述目的，本創作之利用電腦視覺與深度學習技術之氣管模型重建系統，係與內視鏡鏡頭連接，包含有一圖資載入模組、影像處理模組、影像特徵擷取模組、影像比對模組、位姿估算演算法模組與三 維模型重建模組；其中：圖資載入模組，係與內視鏡鏡頭連接，用以載入、儲存內視鏡鏡頭從口腔進入氣管所拍攝擷取之連續影像以供後續處理；影像處理模組，係與圖資載入模組連接，用以接收圖資載入模組所載入之連續影像，以對該些連續影像作去雜訊與降噪處理，並利用影像增強技術強調影像細節，以獲得清晰影像；影像特徵擷取模組，係與影像處理模組連接，用以將經影像處理模組處理後之清晰影像透過區域極值之特徵擷取方式對影像作特徵點擷取與篩選，並儲存該些擷取、篩選後之影像特徵點；影像比對模組，係與影像特徵擷取模組連接，用以接收影像特徵擷取模組所擷取、篩選之影像特徵點，並對兩兩相連之連續影像進行影像特徵點比對，找出所含有之共同影像特徵點並予以紀錄儲存；位姿估算演算法模組，係與影像比對模組連接，具有深度學習功能，用以接收影像比對模組所找出之共同影像特徵點，同時利用深度學習模型達到輔助辨識，而可依據連續影像中之共同特徵點估算出內視鏡鏡頭拍攝擷取影像時所到達氣管在三維空間中之位置與姿勢，進而可換算出內視鏡鏡頭伸入氣管拍攝影像之深度與角度的空間資訊；三維模型重建模組，係與影像比對模組及位姿估算演算法模組連接，用以接收影像比對模組所找出之共同影像特徵點，及接收位姿估算演算法模組所換算出之空間資訊，藉以將所有影像特徵點投影至三維空間，並輔以位姿估算演算法模組所得之空間資訊，而可重建及記錄完整之立體三維氣管模型； 藉此，俾提供一種可正確、快速地重建及記錄立體三維氣管模型，以供後續之醫療研究或使用之氣管模型重建系統。
10‧‧‧圖資載入模組
20‧‧‧影像處理模組
30‧‧‧影像特徵擷取模組
40‧‧‧影像比對模組
50‧‧‧位姿估算演算法模組
60‧‧‧三維模型重建模組
70‧‧‧內視鏡鏡頭
第1圖係本創作之系統方塊圖。
第2圖係本創作結合內視鏡鏡頭之系統方塊圖。
第3圖係本創作之步驟流程圖。
有關本創作為達到目的所應用之技術手段及其構造，茲謹再配合第1圖至第3圖所示之實施例，詳細說明如下：
如第1圖所示，實施例中之利用電腦視覺與深度學習技術之氣管模型重建系統，係與內視鏡鏡頭連接，包含有一圖資載入模組10、影像處理模組20、影像特徵擷取模組30、影像比對模組40、位姿估算演算法模組50與三維模型重建模組60；其中：
圖資載入模組10(請同時參閱第2圖所示)，係與內視鏡鏡頭70連接，用以載入、儲存內視鏡鏡頭70從口腔進入氣管所拍攝擷取之連續影像以供後續處理。
影像處理模組20(請同時參閱第2圖所示)，係與圖資載入模組10連接，用以接收圖資載入模組10所載入之連續影像，以對該些連續影像作去雜訊與降噪處理，並利用影像增強技術強調影像細節，以獲得清晰影像。
影像特徵擷取模組30(請同時參閱第2圖所示)，係與影像 處理模組20連接，用以將經影像處理模組20處理後之清晰影像透過區域極值之特徵擷取方式對影像作特徵點擷取與篩選，並儲存該些擷取、篩選後之影像特徵點。
承上述，該種區域極值之特徵擷取方式可為尺度不變特徵轉換(Scale-invariant feature transform，簡稱SIFT)、加速穩健特徵(Speeded Up Robust Features，簡稱SURF)、快速特徵點提取和描述(Oriented FAST and Rotated BRIEF，簡稱ORB)、…等方式。
影像比對模組40(請同時參閱第2圖所示)，係與影像特徵擷取模組30連接，用以接收影像特徵擷取模組30所擷取、篩選之影像特徵點，並對兩兩相連之連續影像進行影像特徵點比對，找出所含有之共同影像特徵點並予以紀錄儲存。
位姿估算演算法模組50(請同時參閱第2圖所示)，係與影像比對模組40連接，具有深度學習功能，用以接收影像比對模組40所找出之共同影像特徵點，同時利用深度學習模型達到輔助辨識，而可依據連續影像中之共同特徵點估算出內視鏡鏡頭70拍攝擷取影像時所到達氣管在三維空間中之位置與姿勢，進而可換算出內視鏡鏡頭70伸入氣管拍攝影像之深度與角度的空間資訊。
三維模型重建模組60(請同時參閱第2圖所示)，係與影像比對模組40及位姿估算演算法模組50連接，用以接收影像比對模組40所找出之共同影像特徵點，及接收位姿估算演算法模組50所換算出之空間資訊，藉以將所有影像特徵點投影至三維空間，並輔以位姿估算演算法模組50所得之空間資訊，而可重建及記錄完整之立體三維氣管模型。
藉由上述裝置，並配合第3圖所示之步驟流程圖，詳細說明實施方法如下：
取得氣管管壁之影像：利用內視鏡鏡頭70對口腔至氣管拍攝擷取連續影像。
圖資載入：載入儲存內視鏡鏡頭70所拍攝擷取之連續影像，以供後續處理使用。
影像處理：對所拍攝擷取之連續影像進行去雜訊與降噪處理，並經影像增強處理以強調影像細節，以獲得清晰影像。
影像特徵擷取：對經影像處理步驟後之清晰影像透過區域極值之特徵擷取方式(如：SIFT、SURF、ORB、…等)對影像作特徵點擷取與篩選，然後儲存該些擷取、篩選後之影像特徵點。
影像比對：對經影像特徵擷取處理後兩兩相連之連續影像進行影像特徵點比對，找出所含有之共同影像特徵點並予以紀錄儲存。
位姿估算及空間換算：將共同影像特徵點利用深度學習達到輔助辨識，以估算出內視鏡鏡頭70拍攝共同影像特徵點時所達氣管之三維空間中之位置與姿勢，並換算出內視鏡鏡頭70伸入氣管拍攝時之深度與角度的空間資訊。
形成三維氣管模型：將經影像比對步驟處理後之共同影像特徵點投影至三維空間，並配合位姿估算與空間換算步驟中所得之內視鏡鏡頭70拍攝深度與角度之空間資訊，重建及紀錄成實際的立體三維氣管模型。
藉此，即可快速、正確地重建形成三維氣管模型，進而可輔助人員進行插管處理。
另，該位姿估算演算模組50及位姿估算及空間換算步驟中，係將許多患者之氣管影像資料進行拍攝擷取以取得影像特徵點，並將該些影像特徵點與所拍攝之影像輸入至深度學習模型中，該深度學習模型可選自監督式學習、非監督式學習、半監督式學習及增強學習等類型(如：神經網路、隨機森林、支援向量機SVM、決策樹或集群、…等)，藉由透過深度學習模型來辨識內視鏡鏡頭伸入氣管之深度、角度、行徑位置及方向，並可辨識氣管管壁之特徵與形狀。
藉此，本創作利用內視鏡鏡頭拍攝連續影像後，再經去雜訊、降噪與強化影像細節處理後，經由影像特徵點擷取、比對共同特徵點後，利用具深度學習模型功能之位姿估算以取得連續影像之位置與姿勢資訊，進而獲得內視鏡鏡頭伸入氣管之深度與角度資訊後，可描繪出內視鏡鏡頭之移動軌跡，實現利用電腦視覺與視覺測距(Visual Odometry)之特徵擷取方式來正確、快速地重建形成立體三維氣管模型，以供插管輔助及後續之醫療研究或使用。
由是，從以上所述可知，本創作相較於先前技術，確具有顯著之進步性，且其構造確為未曾有過，誠已符合新型專利之要件，爰依法提出專利申請，並祈賜專利為禱，至感德便。
惟以上所述，僅為本創作之可行實施例，該實施例主要僅在於用以舉例說明本創作為達到目的所運用之技術手段及其構造，因此並不能以之限定本創作之保護範圍，舉凡依本創作說明書及申請專利範圍所為之等效變化或修飾，皆應仍屬本創作所涵蓋之保護範圍者。

Claims (1)

  1. 一種利用電腦視覺與深度學習技術之氣管模型重建系統，係與內視鏡鏡頭連接，包含有一圖資載入模組、影像處理模組、影像特徵擷取模組、影像比對模組、位姿估算演算法模組與三維模型重建模組；其中：圖資載入模組，係與內視鏡鏡頭連接，用以載入、儲存內視鏡鏡頭從口腔進入氣管所拍攝擷取之連續影像以供後續處理；影像處理模組，係與圖資載入模組連接，用以接收圖資載入模組所載入之連續影像，以對該些連續影像作去雜訊與降噪處理，並利用影像增強技術強調影像細節，以獲得清晰影像；影像特徵擷取模組，係與影像處理模組連接，用以將經影像處理模組處理後之連續影像透過區域極值之特徵擷取方式對影像作特徵點擷取與篩選，並儲存該些擷取、篩選後之影像特徵點；影像比對模組，係與影像特徵擷取模組連接，用以接收影像特徵擷取模組所擷取、篩選之影像特徵點，並對兩兩相連之連續影像進行影像特徵點比對，找出所含有之共同影像特徵點予以紀錄儲存；位姿估算演算法模組，係與影像比對模組連接，具有深度學習功能，用以接收影像比對模組所找出之共同影像特徵點，同時利用深度學習達到輔助辨識，而可依據連續影像中之共同特徵點估算出內視鏡鏡頭拍攝擷取影像時所到達氣管在三維空間中之位置與姿勢，進而可換算出內視鏡鏡頭伸入氣管拍攝影像之深度與角度的空間資訊；三維模型重建模組，係與影像比對模組及位姿估算演算法模組連接，用以接收影像比對模組所找出之共同影像特徵點，及接收位姿估算演算 法模組所換算出之空間資訊，藉以將所有影像特徵點投影至三維空間，並輔以位姿估算演算法模組所得之空間資訊，而可重建及記錄完整之立體三維氣管模型。
TW108201580U 2019-01-31 2019-01-31 利用電腦視覺與深度學習技術之氣管模型重建系統 TWM584008U (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108201580U TWM584008U (zh) 2019-01-31 2019-01-31 利用電腦視覺與深度學習技術之氣管模型重建系統
CN201910334929.0A CN111508057A (zh) 2019-01-31 2019-04-24 利用电脑视觉与深度学习技术的气管模型重建方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108201580U TWM584008U (zh) 2019-01-31 2019-01-31 利用電腦視覺與深度學習技術之氣管模型重建系統

Publications (1)

Publication Number Publication Date
TWM584008U true TWM584008U (zh) 2019-09-21

Family

ID=68620096

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108201580U TWM584008U (zh) 2019-01-31 2019-01-31 利用電腦視覺與深度學習技術之氣管模型重建系統

Country Status (2)

Country Link
CN (1) CN111508057A (zh)
TW (1) TWM584008U (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5713159B2 (ja) * 2010-03-24 2015-05-07 独立行政法人産業技術総合研究所 ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム
CN103412401B (zh) * 2013-06-07 2015-05-13 中国科学院上海光学精密机械研究所 内窥镜和管道内壁三维图像重建方法
CN103371870B (zh) * 2013-07-16 2015-07-29 深圳先进技术研究院 一种基于多模影像的外科手术导航系统
CN108363387B (zh) * 2018-01-11 2021-04-16 驭势科技（北京）有限公司 传感器控制方法及装置
CN108534782B (zh) * 2018-04-16 2021-08-17 电子科技大学 一种基于双目视觉系统的地标地图车辆即时定位方法

Also Published As

Publication number Publication date
CN111508057A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
Guo et al. Ad-nerf: Audio driven neural radiance fields for talking head synthesis
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
KR20190129985A (ko) 파트 기반 키 프레임들 및 선험적 모델을 사용한 견고한 메시 트래킹 및 융합
CN107392852B (zh) 深度图像的超分辨率重建方法、装置、设备及存储介质
Shen et al. Accurate point cloud registration with robust optimal transport
WO2021120810A1 (zh) 三维人脸模型的生成方法、装置、设备及介质
US20190380781A1 (en) Airway model generation system and intubation assistance system
Ling et al. Virtual contour guided video object inpainting using posture mapping and retrieval
US10127719B2 (en) Creating a synthetic model with organic veracity
JP2009157767A (ja) 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
Wu et al. Continuous emotion recognition in videos by fusing facial expression, head pose and eye gaze
Wang et al. Progressive disentangled representation learning for fine-grained controllable talking head synthesis
JP2018510419A (ja) ３ｄシーンを３ｄモデルとして再構成する方法
JP2022100299A (ja) 画像処理の方法、デバイス及びコンピュータ可読記憶媒体
US20200305847A1 (en) Method and system thereof for reconstructing trachea model using computer-vision and deep-learning techniques
TWM584008U (zh) 利用電腦視覺與深度學習技術之氣管模型重建系統
WO2023241298A1 (zh) 一种视频生成方法、装置、存储介质及电子设备
CN115496864B (zh) 模型构建方法、重建方法、装置、电子设备及存储介质
Liu et al. Sparse-to-dense coarse-to-fine depth estimation for colonoscopy
CN111160208B (zh) 基于多帧点云融合与可变模型的三维人脸超分辨率方法
CN113256541B (zh) 利用机器学习对钻井平台监控画面进行去水雾的方法
US20200305846A1 (en) Method and system for reconstructing trachea model using ultrasonic and deep-learning techniques
CN115222878A (zh) 一种应用于肺支气管镜手术机器人的场景重建方法
Abdal et al. Video2stylegan: Disentangling local and global variations in a video
TW202000119A (zh) 氣道模型生成系統及插管輔助系統

Legal Events

Date Code Title Description
MM4K Annulment or lapse of a utility model due to non-payment of fees