TWI786667B - 人體骨骼關節立體影像數據生成方法與裝置 - Google Patents

人體骨骼關節立體影像數據生成方法與裝置 Download PDF

Info

Publication number
TWI786667B
TWI786667B TW110120781A TW110120781A TWI786667B TW I786667 B TWI786667 B TW I786667B TW 110120781 A TW110120781 A TW 110120781A TW 110120781 A TW110120781 A TW 110120781A TW I786667 B TWI786667 B TW I786667B
Authority
TW
Taiwan
Prior art keywords
image
image data
ray
ray plane
joints
Prior art date
Application number
TW110120781A
Other languages
English (en)
Other versions
TW202248962A (zh
Inventor
李文豪
賴岳群
Original Assignee
采風智匯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 采風智匯股份有限公司 filed Critical 采風智匯股份有限公司
Priority to TW110120781A priority Critical patent/TWI786667B/zh
Priority to US17/835,950 priority patent/US20220392149A1/en
Application granted granted Critical
Publication of TWI786667B publication Critical patent/TWI786667B/zh
Publication of TW202248962A publication Critical patent/TW202248962A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本發明係有關於一種人體骨骼關節立體影像數據生成方法與裝置，應用於一人體骨骼關節，方法包含下列步驟：提供分別從一第一角度與第二角度對該人體骨骼關節所拍攝之一第一X光平面影像以及一第二X光平面影像；去除該第一第一X光平面影像中由一非骨骼物體所造成的一干擾影像；以及將去除干擾影像後之該第一X光平面影像與該第二X光平面影像送入一影像處理引擎進行一影像處理，該影像處理根據去除干擾影像後之該第一X光平面影像、該第二X光平面影像來生成一立體影像數據檔案。

Description

人體骨骼關節立體影像數據生成方法與裝置
本案係為一種立體影像數據生成方法與裝置，尤指應用於人體骨骼關節立體影像數據生成方法與裝置。
現今醫學中，3D影像重建(reconstruction of 3D images)是對於骨骼相關疾病進行診斷時所常用的重要工具。而目前最效果最準確和且被廣泛使用的3D成像技術(3D imaging technology)是電腦斷層掃描(Computed Tomography，簡稱CT)。電腦斷層掃描是一種精確的3D成像技術，可產生高分辨率的人體內部結構信息。但是，電腦斷層掃描的多次X光照射過程會給患者帶來較高的輻射劑量，而且電腦斷層掃描儀的價格相對昂貴，體積大而無法移動。
而如何解決上述傳統設備所造成之困擾，係為發展本案技術手段之主要目的。本發明主要係有關於一種人體骨骼關節立體影像數據生成方法，應用於一人體骨骼關節，其包含下列步驟：提供分別從一第一角度與第二角度對該人體骨骼關節所拍攝之一第一X光平面影像以及一第二X光平面影像；去除該第 一X光平面影像中由非骨骼物體所造成的一第一干擾影像；以及將去除該第一干擾影像後之該第一X光平面影像與該第二X光平面影像送入一影像處理引擎進行一影像處理，該影像處理根據去除該第一干擾影像後之該第一X光平面影像、該第二X光平面影像來生成一立體影像數據檔案。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成方法，其中非骨骼物體為軟組織或非人體組織，該影像處理更包含下列步驟：去除該第二X光平面影像中由非骨骼物體所造成的一第二干擾影像；根據該第一X光平面影像來估算出一組第一骨骼關節姿態數據；以及根據該第二X光平面影像來估算出一組第二骨骼關節姿態數據，並根據去除該第一干擾影像後之該第一X光平面影像、去除該第二干擾影像後之該第二X光平面影像、該組第一骨骼關節姿態數據以及該組第二骨骼關節姿態數據來生成該立體影像數據檔案。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成方法，其中該立體影像數據檔案為可以呈現組織密度之一體素集合，該影像處理中更根據該第一X光平面影像之該第一角度、該第二X光平面影像之該第二角度、該組第一骨骼關節姿態數據以及該組第二骨骼關節姿態數據來生成該立體影像數據檔案。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成方法，其中該組第一骨骼關節姿態數據與該組第二骨骼關節姿態數據係皆包含有股骨與脛骨間之關節彎曲角度與膝蓋關節本身的三軸旋轉角度。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成方法，其中利用可以呈現組織密度之該體素集合或是以該體素集合所投影出之一具密度分佈狀態的二維影像，來估算出該骨骼關節處之骨質強度或骨折風險。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成方法，其中該影像處理引擎係利用一機器學習演算法、一已知的3D物件檔案以及以該已知的3D物件檔案所投影出來的複數個訓練用平面影像來進行能力優化，而該複數個訓練用平面影像之任一平面影像係為一包含有骨骼關節姿態數據之X光平面影像。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成方法，其中該機器學習演算法所使用的多個訓練用平面影像，係由一已知的立體影像數據檔案設定在不同角度所生成。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成方法，其中該影像處理引擎所利用之該機器學習演算法為一迭代式卷積神經網路演算法。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成方法，其中更包含下列步驟：利用該立體影像數據檔案來推估出該骨骼關節之一生理解剖特徵、於三維空間中之一位置或一相對幾何關係，可用於疾病之診斷、手術評估或輔具設計。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成方法，其中該骨骼關節之相對幾何關係為一膝蓋間距數據。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成方法，其中該立體影像檔案中的每個像素點包含有一組三維座標數據以及一特徵值。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成方法，其中該特徵值為一組織密度，而該立體影像檔案中包含有一組所屬骨骼模型標註。
本案之另一方面係為一種人體骨骼關節立體影像數據生成裝置，應用於一人體骨骼關節，其包含：一影像處理器，接收分別從一第一角度與第二角度對該人體骨骼關節所拍攝之一第一X光平面影像以及一第二X光平面影像，然後去除該第一X光平面影像中由非骨骼物體所造成的一第一干擾影像，再將去除該第一干擾影像後之該第一X光平面影像與該第二X光平面影像進行一影像處理，該影像處理根據去除該第一干擾影像後之該第一X光平面影像、該第二X光平面影像來生成一立體影像數據檔案或再由該立體影像數據檔案來產生複數個不同角度的平面影像；以及一影像顯示器，信號連接該影像處理器，用以接收由該立體影像數據檔案或再由該立體影像數據檔案來產生複數個不同角度的平面影像來進行顯示。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成裝置，其中該影像顯示器為一平面顯示器，用以(切換或同時)顯示由該立體影像數據檔案再產生之該複數個不同角度的平面影像。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成裝置，其中該影像顯示器為一虛擬實境顯示器或一擴增實境顯示器，並由該立體影像數據檔案再產生複數個不同角度的平面影像。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成裝置，其中更包含一立體物件成型裝置，信號連接該影像處理器，用以接收並根據該立體影像數據檔案而製作出一立體物件。
根據上述構想，本案所述之人體骨骼關節立體影像數據生成裝置，其中非骨骼物體為軟組織或非人體組織，該影像處理器所進行之該影像處理更包含下列步驟：去除該第二X光平面影像中由非骨骼物體所造成的一第二干擾影 像；根據該第一X光平面影像來估算出一組第一骨骼關節姿態數據；以及根據該第二X光平面影像來估算出一組第二骨骼關節姿態數據，並根據去除該第一干擾影像後之該第一X光平面影像、去除該第二干擾影像後之該第二X光平面影像、該組第一骨骼關節姿態數據以及該組第二骨骼關節姿態數據來生成該立體影像數據檔案。
為了能對本發明之上述構想有更清楚的理解，下文特舉出多個實施例，並配合對應圖式詳細說明如下。
10:影像處理器
11:影像顯示器
131:第一X光平面影像
132:第二X光平面影像
1310:第一干擾影像
1320:第二干擾影像
133:骨骼平面影像
141、142:箭頭
步驟21~24:流程步驟
30:股骨
31:脛骨
19:立體物件成形裝置
Θ:角度
X、Y、Z:座標
圖1A，其係本案所發展出來的立體影像數據生成裝置的較佳實施例功能方塊示意圖。
圖1B，其係本案所定義之第一角度的示意圖。
圖1C，其係本案所定義之第二角度的示意圖。
圖1D，其係本案所產生的畫面較乾淨的骨骼平面X光影像示意圖。
圖2，其係本案所發展出來的骨骼關節立體影像數據生成方法的步驟流程圖。
圖3A，其係本案之姿態數據中關於關節彎曲角度的示意圖。
圖3B，其係本案之姿態數據中關於膝蓋關節本身的三軸旋轉角度x、y、z的示意圖。
圖4，其係本案所發展出來的立體影像數據生成裝置的另一較佳實施例功能方塊示意圖。
為了解決上述的問題，本案係發展出一種立體影像數據生成裝置與方法，其裝置的較佳實施例的功能方塊示意圖係如圖1A之所示。本案所揭露之立體影像數據生成裝置，主要可應用於人體骨骼關節的立體影像與密度的重建，其主要包含影像處理器10以及影像顯示器11。其中影像處理器10可以完成如圖2所示流程圖的骨骼關節立體影像數據生成方法，其中步驟21用以接收分別從一第一角度與第二角度對該人體骨骼關節所拍攝之一第一X光平面影像131以及一第二X光平面影像132，而該第一角度與該第二角度係指對該人體骨骼關節進行拍攝之一特定角度(例如圖1B與圖1C中所分別示出的箭頭141、142與右腳膝蓋的正面所分別形成的兩個角度)，而該第一角度與該第二角度間的角度最佳是90度，當然也可以是其他角度。當然，除了接收從兩個不同角度的X光平面影像之外，當然也可以是再接收不同角度的第三X光平面影像甚至更多，但如此會增加曝光次數與運算時間，故不再此贅述。
至於步驟22則是去除該第一X光平面影像131中由非骨骼物體所造成的一第一干擾影像1310與去除該第二X光平面影像132中由非骨骼物體所造成的一第二干擾影像1320，而上述非骨骼物體大多為軟組織(例如人體肌肉)或或非人體組織(例如衣物或手術植入物)，而步驟22中用以去除該第一與第二X光平面影像131、132中由非骨骼物體所造成干擾影像的方法，可以是現存的影像處理方法(例如影像去背演算法)，用以自動將非骨骼物體所產生的影像予以剔除，進而產生畫面較乾淨的骨骼平面影像(如圖1D之所示之骨骼平面影像133)。而且此一干擾影像去除方法(例如影像去背演算法)也可以利用人工智慧技術來進行訓練，用以增加其準確度。
步驟23則是將去除第一干擾影像後之該第一X光平面影像與去除第二干擾影像後之該第二X光平面影像進行一影像處理，該影像處理可根據去除該第一干擾影像後之該第一X光平面影像、去除該第二干擾影像後之該第二X光平面影像來生成一立體影像數據檔案，並可由該立體影像數據檔案再產生複數個不同角度的平面影像(步驟24)。至於影像顯示器11則可以信號連接該影像處理器10，用以接收由該立體影像數據檔案所產生之該複數個不同角度的平面影像並分別進行顯示，而讓觀看者觀看到具有立體感的影像。當然，為了降低運算資源的負擔，也可僅從該第一X光平面影像與該第二X光平面影像中僅擇一來去除其相對應的第一干擾影像1310或第二干擾影像1320，而另一X光平面影像則未去除其干擾影像。即使如此，送入上述步驟進行影像處理後，仍可以得到效果較習知技術為佳的立體影像數據檔案。
而上述步驟23中之影像處理，在本案中可選擇由一影像處理引擎來進行，本案所使用的影像處理引擎，較佳選擇的樣態可以是一種人工智慧影像處理引擎，係利用一機器學習演算法、一已知的3D物件檔案以及以該已知的3D物件檔案所投影出來的複數個訓練用平面影像來進行能力優化。而上述機器學習演算法可以是迭代式卷積神經網路演算法，至於上述提到的複數個訓練用平面影像，其中之任一平面影像係為包含有骨骼關節姿態數據之X光平面影像。舉例來說，該訓練用的X光平面影像可以是一般X光機所曝光產生的X光平面影像(例如醫院的病歷影像)，但在將其輸入至影像處理引擎進行機器學習前，本案提出可以先對該訓練用的X光平面影像進行一影像辨識而估算出對應該骨骼關節的姿態數據，此姿態數據代表該骨骼關節的姿態變異程度。例如圖3A與圖3B之所示，當該骨骼關節為膝蓋關節時，該姿態數據可以是包含有股骨(femur)30與 脛骨(tibia)31間之關節彎曲角度θ(圖3A之所示)與膝蓋關節本身的三軸旋轉角度x、y、z(圖3B之所示)。如此一來，機器學習演算法會同時根據X光平面影像以及各種姿態數據來同時進行訓練，如此將可以更佳優化該影像處理引擎生成該立體影像數據檔案的能力。另外，該機器學習演算法所使用的多個訓練用的X光平面影像，也可以由一已知的立體影像數據檔案而設定在不同角度所生成，而該已知的立體影像數據檔案可以是已任何方式(例如電腦斷層掃描或是本案方法)所完成的立體影像數據檔案。
承上，本案在步驟23中之影像處理便可包含下列步驟：根據該第一X光平面影像來估算出一組第一骨骼關節姿態數據，以及根據該第二X光平面影像來估算出一組第二骨骼關節姿態數據，並再根據該第一X光平面影像、該第二X光平面影像、該組第一骨骼關節姿態數據以及該組第二骨骼關節姿態數據來生成該立體影像數據檔案。同樣的，該第一、第二X光平面影像會先被進行影像辨識而算出對應該骨骼關節的姿態數據，例如圖3A與圖3B之所示，當該骨骼關節為膝蓋關節時，該姿態數據可以是包含有股骨(femur)30與脛骨(tibia)31間之關節彎曲角度θ(圖3A之所示)與膝蓋關節本身的三軸旋轉角度x、y、z(圖3B之所示)。由上述可知，該影像處理也可以同時根據X光平面影像以及姿態數據來生成一立體影像數據檔案，而此立體影像數據檔案將更接近真實的樣貌。
再者，由於如圖1D所示之X光平面影像中，每一個像素點的亮度大小係代表該點的組織密度，所以利用第一、第二X光平面影像以及上述方法與裝置所重建完成之立體影像數據檔案，便可以是可呈現組織密度之一體素(Voxel)集合，也就是每個立體像素點的三維座標(X、Y、Z)上還對應有一個強度值(I)。
由於本案所重建完成的影像檔案是一個立體影像數據檔案，所以圖1中所示之影像顯示器11可以是一般的平面顯示器，而影像處理器10可再由該立體影像數據檔案來產生複數個不同角度的平面影像，而平面顯示器便可用以切換顯示上述複數個不同角度的平面影像，進而讓觀看者有立體的觀感(各種角度的旋轉展示)。另外，影像顯示器11也可以是虛擬實境顯示器或擴增實境顯示器等裝置，其係可用以接收該立體影像數據檔案來直接顯示出具立體感的3D影像。如此一來，本案的裝置便可以讓醫生與病人可以藉此充份溝通病情。另外，本案方法更可包含下列步驟：利用該立體影像數據檔案來推估出該骨骼關節之一生理解剖特徵(例如骨骼的尺寸)、於三維空間中之一位置或一相對幾何關係，可用於疾病之診斷、手術評估或輔具設計。舉例來說，該骨骼關節之相對幾何關係可以是一關節間骨骼間距數據或一組特定骨骼的比例大小，上述關節間骨骼間距數據可以是膝關節間距數據，而該組特定骨骼的比例大小則可以是膝關節中之股骨、脛骨、髕骨以及腓骨的比例大小，而根據該關節間骨骼間距數據或膝關節中之股骨、脛骨、髕骨以及腓骨的比例大小，醫生便可以據以明確判斷出該膝蓋關節的磨損等級而給予病患適當地建議和處置。
再者，本案所推估出來的立體影像數據檔案中的每個像素點可包含有一組三維座標數據以及一特徵值，而該特徵值可以代表組織密度，而且該立體影像檔案經過影像辨識處理後還可以定義出一組所屬骨骼模型標註(例如將該立體影像檔案中某一部份自動標註成某一塊骨骼的名稱)。如此一來，本案還可以如圖4所示，更包含有一立體物件成型裝置(例如3D印表機)19，其係信號連接該影像處理器10，用以接收並根據該立體影像數據檔案中之骨骼模型標註而製作出具有可還原其組織密度的立體物件(例如骨骼關節中的某一塊骨骼或是修 補用的零件)。另外，該可以呈現組織密度之該體素集合還可投影出一具密度分佈狀態的二維影像，而利用可以呈現組織密度之該體素集合或是以該體素集合所投影出之一具密度分佈狀態的二維影像，都可以用來估算出該骨骼關節處之骨質強度或骨折風險。
綜上所述，雖然本發明以實施例揭露如上，但並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之技術精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍請求項所界定者為準。

Claims (17)

  1. 一種人體骨骼關節立體影像數據生成方法，應用於一人體骨骼關節，其包含下列步驟：提供分別從一第一角度與第二角度對該人體骨骼關節所拍攝之一第一X光平面影像以及一第二X光平面影像；去除該第一X光平面影像中由非骨骼物體所造成的一第一干擾影像；去除該第二X光平面影像中由非骨骼物體所造成的一第二干擾影像；根據該第一X光平面影像來估算出一組第一骨骼關節姿態數據；根據該第二X光平面影像來估算出一組第二骨骼關節姿態數據；以及將去除該第一干擾影像後之該第一X光平面影像與該第二X光平面影像送入一影像處理引擎進行一影像處理，該影像處理根據去除該第一干擾影像後之該第一X光平面影像、去除該第二干擾影像後之該第二X光平面影像、該組第一骨骼關節姿態數據以及該組第二骨骼關節姿態數據來生成一立體影像數據檔案。
  2. 如請求項1所述之人體骨骼關節立體影像數據生成方法，其中非骨骼物體為軟組織或非人體組織。
  3. 如請求項2所述之人體骨骼關節立體影像數據生成方法，其中該立體影像數據檔案為可以呈現組織密度之一體素集合，該影像處理中更根據該第一X光平面影像之該第一角度、該第二X光平面影像之該第二角度、該組第一骨骼關節姿態數據以及該組第二骨骼關節姿態數據來生成該立體影像數據檔案。
  4. 如請求項3所述之人體骨骼關節立體影像數據生成方法，其中該組第一骨骼關節姿態數據與該組第二骨骼關節姿態數據係皆包含有股骨與脛骨間之關節彎曲角度與膝蓋關節本身的三軸旋轉角度。
  5. 如請求項3所述之人體骨骼關節立體影像數據生成方法，其中利用可以呈現組織密度之該體素集合或是以該體素集合所投影出之一具密度分佈狀態的二維影像，來估算出該骨骼關節處之骨質強度或骨折風險。
  6. 如請求項1所述之人體骨骼關節立體影像數據生成方法，其中該影像處理引擎係利用一機器學習演算法、一已知的3D物件檔案以及以該已知的3D物件檔案所投影出來的複數個訓練用平面影像來進行能力優化，而該複數個訓練用平面影像之任一平面影像係為一包含有骨骼關節姿態數據之X光平面影像。
  7. 如請求項6所述之人體骨骼關節立體影像數據生成方法，其中該機器學習演算法所使用的多個訓練用平面影像，係由一已知的立體影像數據檔案設定在不同角度所生成。
  8. 請求項6所述之人體骨骼關節立體影像數據生成方法，其中該影像處理引擎所利用之該機器學習演算法為一迭代式卷積神經網路演算法。
  9. 如請求項1所述之人體骨骼關節立體影像數據生成方法，其中更包含下列步驟：利用該立體影像數據檔案來推估出該骨骼關節之一生理解剖特徵、於三維空間中之一位置或一相對幾何關係，可用於疾病之診斷、手術評估或輔具設計。
  10. 如請求項9所述之人體骨骼關節立體影像數據生成方法，其中該骨骼關節之相對幾何關係為一膝蓋間距數據。
  11. 如請求項1所述之人體骨骼關節立體影像數據生成方法，其中該立體影像檔案中的每個像素點包含有一組三維座標數據以及一特徵值。
  12. 一種人體骨骼關節立體影像數據生成方法，應用於一人體骨骼關節，其包含下列步驟：提供分別從一第一角度與第二角度對該人體骨骼關節所拍攝之一第一X光平面影像以及一第二X光平面影像；去除該第一X光平面影像中由非骨骼物體所造成的一第一干擾影像；以及將去除該第一干擾影像後之該第一X光平面影像與該第二X光平面影像送入一影像處理引擎進行一影像處理，該影像處理根據去除該第一干擾影像後之該第一X光平面影像、該第二X光平面影像來生成一立體影像數據檔案，該立體影像檔案中的每個像素點包含有一特徵值，該特徵值為一組織密度，而該立體影像檔案中包含有一組所屬骨骼模型標註。
  13. 一種人體骨骼關節立體影像數據生成裝置，應用於一人體骨骼關節，其包含：一影像處理器，接收分別從一第一角度與第二角度對該人體骨骼關節所拍攝之一第一X光平面影像以及一第二X光平面影像，然後去除該第一X光平面影像中由非骨骼物體所造成的一第一干擾影像，去除該第二X光平面影像中由非骨骼物體所造成的一第二干擾影像，根據該第一X光平面影像來估算出一組第一骨骼關節姿態數據，根據該第二X光平面影像來估算出一組第二骨骼關節姿態數據，再將去除該第一干擾影像後之該第一X光平面影像與該第二X光平面影像進行一影像處理，該影像處理根據去除該第一干擾影像後之該第一X光平面影像、去除該第二干擾影像後之該第二X光平面影像、該組第一骨骼關節姿態數據以及該組第二骨骼關節姿態數據來生成一立體影像數據檔案或再由該立體影像數據檔案來產生複數個不同角度的平面影像；以及一影像顯示器，信號連接該影像處理器，用以接收由該立體影像數據檔案或再由該立體影像數據檔案來產生複數個不同角度的平面影像來進行顯示。
  14. 如請求項13所述之人體骨骼關節立體影像數據生成裝置，其中該影像顯示器為一平面顯示器，用以切換顯示由該立體影像數據檔案再產生之該複數個不同角度的平面影像。
  15. 如請求項13所述之人體骨骼關節立體影像數據生成裝置，其中該影像顯示器為一虛擬實境顯示器或一擴增實境顯示器，並由該立體影像數據檔案再產生複數個不同角度的平面影像。
  16. 如請求項13所述之人體骨骼關節立體影像數據生成裝置，其中更包含一立體物件成型裝置，信號連接該影像處理器，用以接收並根據該立體影像數據檔案而製作出一立體物件。
  17. 如請求項13所述之人體骨骼關節立體影像數據生成裝置，其中非骨骼物體為軟組織或非人體組織。
TW110120781A 2021-06-08 2021-06-08 人體骨骼關節立體影像數據生成方法與裝置 TWI786667B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110120781A TWI786667B (zh) 2021-06-08 2021-06-08 人體骨骼關節立體影像數據生成方法與裝置
US17/835,950 US20220392149A1 (en) 2021-06-08 2022-06-08 Methods for generating three-dimensional image data of human bones

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110120781A TWI786667B (zh) 2021-06-08 2021-06-08 人體骨骼關節立體影像數據生成方法與裝置

Publications (2)

Publication Number Publication Date
TWI786667B true TWI786667B (zh) 2022-12-11
TW202248962A TW202248962A (zh) 2022-12-16

Family

ID=84284306

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110120781A TWI786667B (zh) 2021-06-08 2021-06-08 人體骨骼關節立體影像數據生成方法與裝置

Country Status (2)

Country Link
US (1) US20220392149A1 (zh)
TW (1) TWI786667B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663309A (zh) * 2014-07-03 2017-05-10 西门子产品生命周期管理软件公司 用于医学成像的骨骼分段中的用户引导的形状变体
CN108451656A (zh) * 2018-04-04 2018-08-28 北京医院 脊柱三维定位方法
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
TWI693922B (zh) * 2018-11-30 2020-05-21 財團法人金屬工業研究發展中心 骨缺損補骨導引器具之製備方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140087213A (ko) * 2012-12-28 2014-07-09 삼성전자주식회사 엑스선 촬영 장치 및 입체 영상 생성 방법
US10667867B2 (en) * 2017-05-03 2020-06-02 Stryker European Holdings I, Llc Methods of pose estimation of three-dimensional bone models in surgical planning a total ankle replacement
US11386990B1 (en) * 2018-04-17 2022-07-12 Smith & Nephew, Inc. Three-dimensional selective bone matching
US11430176B2 (en) * 2020-05-20 2022-08-30 International Business Machines Corporation Generating volume predictions of three-dimensional volumes using slice features

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663309A (zh) * 2014-07-03 2017-05-10 西门子产品生命周期管理软件公司 用于医学成像的骨骼分段中的用户引导的形状变体
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
CN108451656A (zh) * 2018-04-04 2018-08-28 北京医院 脊柱三维定位方法
TWI693922B (zh) * 2018-11-30 2020-05-21 財團法人金屬工業研究發展中心 骨缺損補骨導引器具之製備方法

Also Published As

Publication number Publication date
US20220392149A1 (en) 2022-12-08
TW202248962A (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
Xia et al. Three-dimensional virtual-reality surgical planning and soft-tissue prediction for orthognathic surgery
Schendel et al. Three-dimensional imaging and computer simulation for office-based surgery
JP5866346B2 (ja) 運動パターンを使用して関節骨の奇形切除を判定する方法
Jiang et al. Registration technology of augmented reality in oral medicine: A review
Schendel et al. 3D orthognathic surgery simulation using image fusion
Ma et al. 3D visualization and augmented reality for orthopedics
Muhit et al. Image-assisted non-invasive and dynamic biomechanical analysis of human joints
Schendel et al. Image fusion in preoperative planning
Santhanam et al. Modeling real-time 3-D lung deformations for medical visualization
Zhou et al. Transfer learning from an artificial radiograph-landmark dataset for registration of the anatomic skull model to dual fluoroscopic X-ray images
Morooka et al. A survey on statistical modeling and machine learning approaches to computer assisted medical intervention: Intraoperative anatomy modeling and optimization of interventional procedures
Schmid et al. Musculoskeletal simulation model generation from MRI data sets and motion capture data
TWI786667B (zh) 人體骨骼關節立體影像數據生成方法與裝置
Robb VR assisted surgery planning
WO2022229816A1 (en) 3d reconstruction of anatomical images
JP2019126654A (ja) 画像処理装置、画像処理方法、及びプログラム
Zeng et al. Low‐dose three‐dimensional reconstruction of the femur with unit free‐form deformation
Gao et al. Design and Development of A Knee Surgery Planning System
Nakao Medical Image Synthesis and Statistical Reconstruction Methods
Penney et al. Deforming a preoperative volume to represent the intraoperative scene
CN110428483B (zh) 一种图像处理方法及计算设备
Rasool et al. Image-driven haptic simulation of arthroscopic surgery
US20230071033A1 (en) Method for obtaining a ct-like representation and virtual x-ray images in arbitrary views from a two-dimensional x-ray image
US11430203B2 (en) Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image
US20240185509A1 (en) 3d reconstruction of anatomical images