TWI375544B - - Google Patents

Download PDF

Info

Publication number
TWI375544B
TWI375544B TW098131298A TW98131298A TWI375544B TW I375544 B TWI375544 B TW I375544B TW 098131298 A TW098131298 A TW 098131298A TW 98131298 A TW98131298 A TW 98131298A TW I375544 B TWI375544 B TW I375544B
Authority
TW
Taiwan
Prior art keywords
image
image processing
processing unit
light
light sources
Prior art date
Application number
TW098131298A
Other languages
English (en)
Other versions
TW201110928A (en
Inventor
Shih Tseng Lee
Yau Zen Chang
Chan Peng Lo
Original Assignee
Univ Chang Gung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Chang Gung filed Critical Univ Chang Gung
Priority to TW098131298A priority Critical patent/TW201110928A/zh
Priority to US12/689,555 priority patent/US8229167B2/en
Publication of TW201110928A publication Critical patent/TW201110928A/zh
Application granted granted Critical
Publication of TWI375544B publication Critical patent/TWI375544B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/034Recognition of patterns in medical or anatomical images of medical instruments
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00Surgery
    • Y10S128/92Computer assisted medical diagnostics
    • Y10S128/922Computer assisted medical diagnostics including image analysis

Description

1375544 六、發明說明: 【發明所屬之技術領域】 航之技術領域 本發明係有關於一種光學追蹤裝置及其定位方 特別是有關於利用攝影機追蹤主動式光源以進行手術導 【先前技術】 • 目前’手術導航通常是結合載具及定位系統以實現 準確開刀的目的。當载具為手術刀時’外科醫生可 持手術刀以進行開刀手術。藉由定位系統回傳影像資料 至顯示介面,醫生將可觀看顯示介面顯示的晝面 灶進行修補或切除的動作。 習知技術中,定位系統可包含電磁式及光學式兩 種。對於電磁式的定位系統而言,會因為收發電磁波而 干擾到正在使㈣醫療設備,此舉將導致醫療設備的靈 •敏度降低。對於光學式的定位系統而言,細p〇laris 公司提出-種光學追蹤系統(〇ptical Traddng々⑽), 係利用雷射發出紅外光,侧裝置透過侧紅外線的方 式以判斷載具之位置’❹】裝置具有固定視角,故偵測 範圍具有-定的視野,當載具離開此偵測範圍時,光學 追縱系統將失去導航的功能,此舉對於正在手術的醫生 將造成不便性。 1375544 【發明内容】 有鑑於上述習知技藝之問題,本發明之目的就是在 提供一種光學追蹤裝置及其定位方法,以達到手術導航 的目的。 根據本發明之目的,提出一種光學追蹤裝置,其包 含複數個發光單元、複數個影像追蹤單元、影像處理單 元、分析單元及計算單元。複數個發光單元以幾何關係 對應設置於載具上,複數個發光單元定義一平面,並提 供複數個光源,複數個光源為不同顏色。複數個影像追 蹤單元獨立上下左右擺動以追蹤複數個光源,並擷取複 數個影像。影像處理單元連接複數個影像追蹤單元,影 像處理單元對複數個影像進行影像處理,以得到每一影 像中對應複數個光源的光源影像。分析單元連接影像處 理單元分析光源影像以得到複數個發光單元對應之位置 及複數個發光單元對應之顏色。計算單元連接分析單 元,計算單元根據位置及顏色以建立複數個發光單元對 應之複數個三維座標,並根據複數個三維座標以計算載 具之位置。 其中,複數個光源可為紅色光源、綠色光源及藍色 光源。 其中,校正單元利用類神經網路演算法以校正複數 個影像追縱單元。 其中,計算單元根據立體視覺演算法以取得複數個 三維座標。 其中,當影像處理單元利用影像二值化以進行影像 處理時’則影像處理單元對每1像保留亮度較高之影 像。 其中’當影像處理單7L利用偽關閉(pseud〇_cl〇sing) 以進行影像處理時,則影像處理單元對每—影像去除# 複數個光源所產生之亮點。 其中,當影像處理單元利用影像分群以進行影像處 理時,則影像處理單元劃分每一影像為複數個區域 (Region Of Interest,ROI)影像以進行運算。 其中’當影像處理單元利用色彩辨識以進行影像處 理時,則影像處理單元根據複數個光源對應之色彩區域 以判斷每一區域影像。 其中,當每-光源為圓形光源時,則影像處理單元 利用影像梯度圓形偵測法對每一光源進行圓形偵測。 其中,計算單元利用辛普列斯演算法:8响 algorithm)以計算載具之座標或向量。 根據本發明之目的’提出—種光學定位方法包含 下列步驟。首先’利用複數個發光單元以提供複數個光 源’複數個光源為不同顏色。接著,藉由複數個影像追 蹤單元追蹤複數個光源,並操取複數個影像。接著,藉 由影像處理單元對複數個影像進行影像處理,以得到每 二影像中對應複數個光源的光源影像。接著,利用分析 單元分析光源影像以得到複數個發光單元對應之位置及 複數個發光單元對應之顏色。接著,根據位置及顏色計 1375544 :早數個發光單元對應之複數個三維座標。最 後根據複數個三維座標,計算單元定位載具之位置 光源。、I數個光源可為紅色光源、綠色光源及藍色 個景 ::蹤=單元利用類神經網路演算法以校正複數· 三維H計算單元根據立體視覺演算法以取得複數個 虛採ί中目’丨當影像處理單元洲影像二值化以進行影像Φ 處理時》則影像虛播留— 、1豕 像。 早几對母一影像保留亮度較高之影 ni 、中田以像處理單元利用偽關閉以進行影像處理 時,則影像處理單元A 疋玎心像處理 生之亮點。 謂母—㈣去除非複數個光源所產 神主,、中田〜像處理單元利用影像分群以進行y傻卢 理時,則影像處理單元叫分备一&你*听進仃如像處 以進行運算。 “刀母一衫像為複數個區域影像· 其^ 像處理單元利用色 理時,則影像處理單元根攄递丨 运仃衫像處 以判斷每-區域^據减個光源對應之色彩區域 /、中田每光源為圓形光源時,則會傻声。 利用影像梯度1U彡偵測法對每 、^像處理早元 丁母先源進行圓形偵測。 其中,计算單元利用辛普 』斯决异法以計算載具之 1375544 座標或向量。 承上所述’依本發明之光學追蹤襞置及其定位方 法,其可具有一或多個下述優點: ' (1) 此光學追蹤裝置之影像追蹤單元可獨立上下左 右以追蹤主動式光源。 (2) 此光學追縱裝置及其定位方法可應用於手術導 航上以輔佐外科醫生進行病灶診斷。 • (3)此光學追蹤裝置及其定位方法可根據主動式光 源之位置及主動式光源之顏色以計算載具之位置。 【實施方式】 請參閱第1圖,其係為本發明之光學追蹤裝置之方 塊圖。圖中,光學追縱裝置1包含複數個發光單元U、 複數個影像追蹤單元12、影像處理單元13、分析單元 14及計算單元15。複數個發光單元u可為多個發光二 _極體,以提供複數個光源U1。複數個影像追蹤單X元= .可為多台攝影機,藉由多台攝影機獨立上下左右擺動以 -追蹤複數個光源111 ’並擷取複數個影像121。影像處理 單元13可連接多台攝影機,故影像處理單元可對多 台攝影機所擷取的複數個影像121進行影像處理ΐ3ι, 因此影像處理單元13可藉由影像處理131得到光源影像 132,此光源影像為發光二極體發出光源之影像。 ,分析單元14連接影像處理單元13,分析單元^分 析光源影像132,以得到複數個光源對應之顏色i4i及 1375544 複數個光源對應之位置142。以上述為例,分析單元14 可得到多個發光二極體之對應位置及對應顏色。計算單 元15連接分析單元14,計算單元15根據多個發光二極 體對應之顏色及三個發光二極體對應之位置以建立每一 個發光二極體之三維座標,並根據每一發光二極體之三 維座標以計算載具之位置。其中,以幾何關係設置多個 發光二極體於載具上,故本發明之光學追蹤裝置可藉由 追蹤多個發光二極體發出之光源進而取得載具之位置。 請參閱第2圖,其係為本發明之發光單元設置於載 具之示意圖。當發光單元為發光二極體時,可利用三個 發光二極體以定義一平面。三個發光二極體可提供三個 不同顏色之光源,其顏色可為紅色(R)、綠色(G)及藍色 (B),故三個發光二極體可由紅色發光二極體、綠色發光 二極體及藍色發光二極體所構成,故光源影像132為紅 色、藍色及綠色發光二極體發出光源之影像。 攝影機校正方法主要分為三維參考物件校正法、二 維平面校正法及自我校正法三大類。本發明使用張 (Zhang)校正法,其出處於”A flexible new technique for camera calibration’’, IEEE Transcations on Pattern Analysis and Machine Intelligence(TPAMI), Vol.22, Issue 11,pp. 1330-1334, Nov.2000,利用張校正法同時對兩台 攝影機作校正,如此才可得知兩台攝影機相對的幾何關 係,以下列出攝影機校正之步驟: 1.製作校正版:列印棋盤圖形,並將圖平貼於平板 I375M4 上 2. 左右攝影機同時拍攝不同姿態之校正版, 攝的影像大小為640x480 pixels。 3. 利用影像偵測每張影像中棋盤交會點座標。 據^公式依序求解左、右攝影機所有參數矩陣 並來仵兩攝影機座標系統之轉換關係。 若已由兩張同一時刻相對應二維影像取 二維平面座標,便可計算此目標物在三維空間中 位置’首先定義世界座標與影像座標的齊次轉換關係, 並以左攝影機鏡頭中心為世界座標原點,如式所示, f中(u,v)為理想的影像座標’ A為攝影機内部參數矩 P ,R、T為攝影機外部參數矩陣,p為透視投影矩陣, 由於本發明制二部攝f彡機取像故設定左 投影矩陣為乃4110],右摄與捣夕,#、s Μ俄之迓視 Pr=AlRlJ 右攝衫機之透視投影矩陣為 ^ ^ ’(Rs,ts)則代表兩攝影機座標系統的轉換關係。
-- ~x' u =P Y x丨= V 1 z = 4Λ|Γ] X Y Z P = A[R\T] (1) 將式(1)表示成: X Y z
Pu P\2 Pn p|4 Pi\ Pn Pn p1A Pn Pn P33 pM 9 (2) 1375544 則, (3) puX + ρηΥ + pX3Z + pu ^ P33^ + Pi4 P2iX + />;2^ + P2i^ + Pu p3lX + pnY + p33Z + piA 將式(3)以矩陣的形式表示: PW-P'i Ρη^-Ρχ7 Pnu~Pn 'X' Y Pl4- ~P34U P3lU~P2l Pnu~Pi2 P33U~P23. z .^24- -P34' ⑷ 聯立左右兩攝影機所建立的(4)式,使聯立的矩陣成 為一個過定(Over-determined)的線性方程:4/ = 1, 其最小平方誤差解:x = ,即可求得所對應的空 間中三維座標。 基於上述理論執行校正的方式如下,每次校正時左 右攝影機各十張不同角度的校正版影像,計算攝影機的 内部及外部參數,外部參數如表1所示,並且使用這些 參數重建攝影機與校正版的三維空間圖。
Ts 0.9864-0.0030 0.1640 0.0035 1.0000 0.0027 0.1640-0.0032 0.9864 -221.5 -1.7 -27.7 表1.二攝影機幾何關係 完成校正後,即可利用此組參數準確計算目標物在 空間的座標。然而後期要加入自動追蹤目標物的功能, 亦即攝影機能自動調整角度追蹤目標物,使目標保持在 攝影機可視範圍内。一旦攝影機角度改變,外部參數隨 即產生變動即必須重新執行校正,步驟過於繁複。為解 決此問題,本發明使用類神經網路的技術。因為外部參 I375M4 數的變化與兩台攝影機之間的角度有相關性,因此校正 •單元可以用類神經網路計算攝影機的何種角度關係會產 生何種的外部參數。 本發明設計的類神經網路架構是倒傳遞類神經網路 (back propagation),輸入層個數為4,輸出層個數為3, 隱藏層二層個數為8x8,形成一 4 X 8 X 8 X 3的結構,活 化函數皆為雙曲正切(hyperbolic tangent)函數。接著攝影 機在100組各個不同角度下執行校正,得到内、外部參 籲數。 其中要給予網路做訓練的參數及代表意義如(表2)。
參數 維度 代表含意 輸入值 Panleft 1 左攝影機的旋轉角度 Tiltjeft 1 左攝影機的傾斜角度 Panright 1 右攝影機的旋轉角度 Tilt_right 1 右攝影機的傾斜角度 目標輸出 om 3x1 外部參數R的旋轉向量 目標輸出 T 3x1 外部參數T 表2.神經網路訓練參數 值得注意的是因為攝影機角度對外部參數R的關 係,與對外部參數T的關係並非一致,為避免訓練時無 法收斂所以將兩個外部參數分開訓練,只是恰巧這兩個 參數都是3x1的維度,因此網路結構完全相同。訓練方 式採用批次訓練,訓練條件設定如下:(1)誤差均方根 (RMS)容忍值為0.001,(2)最大訓練次數200000次,達 上述任一條件即終止訓練。訓練完成之後的網路結構即 1375544 可使用在本發明之光學追蹤裝置,只要將兩台攝機的角 度現態給予網路輸入,立即就能得到攝影機在此角度下 的校正值,正確計算目標物的空間位置。 當兩台攝影機進行校正後,即可用以追蹤發光單 元,本發明使用LED做為標記,其目的是由於LED為 主動式光源,較容易由影像中搜尋到光源的特徵,三種 LED顏色分別為紅色、藍色、綠色,因為此三種顏色差 異性大,故在影像處理時,能區分三個標記的不同。 在兩台攝影機擷取多個影像後,則影像處理單元進 行影像處理的動作,影像處理可包含影像二值化、偽關 閉、影像分群、色彩辨識或圓形偵測的方式。當影像處 理單元進行影像二值化時,則對每一影像保留亮度較高 的部分。當影像處理單元進行偽關閉時,則對每一影像 去除非主動式光源所產生的亮點(去除雜點)。當影像處 理單元進行影像分群時,則影像處理單元劃分每一影像 為複數個區域以加快影像處理速度。當影處理單元進行 色彩辨識時,則影像處理單元根據主動式光源對應之色 彩區域以判斷影像。當每一光源為圓形光源時,則進行 影像梯度圓形偵測法對每一光源進行圓形偵測。 數學形態學(Mathematical Morphology)是一門建立 在格論和拓樸學基礎之上的圖像分析學科,為數學形態 學圖像處理的基礎理論。上述之偽關閉為數學形態學之 基本運算之一。 請參閱第3圖,其係為本發明之色彩空間之分佈示 12 1375544 意圖。圖中,影像處理單元辨識ROI影像中的色彩是否 -屬於發光單元的色彩區域。為了辨識ROI影像的色彩, 將ROI裡的影像從RGB色彩空間轉換為色調(Hue,H)、 飽和度(Saturation, S)及亮度(Brightness Value, V)的色彩 空間,如圖所示。本發明可明顯的區分各個發光單元之 色彩(R、G、B)與一般較亮色彩(L)在分布上的差異。根 據這樣的方式,就能排除非發光單元色彩的亮源,並且 辨識發光單元的顏色。 • 請參閱第4圖,其係為本發明之圓形影像及影像梯 度示意圖。在排除非發光單元的色彩區域之後,接著要 進一步對ROI影像做「圓形偵測」,所使用的方法是「影 像梯度圓形偵測法」,顧名思義就是利用影像的梯度來偵 測圓形,以及計算其圓心、半徑。此法最大的優點是計 算速度快,缺點則是若單一 ROI中包含一個以上的圓, 則須做後續的分類處理。本發明使用三個發光單元作為 標記,故單一 ROI影像中並不會有太多個圓的情況發 • 生,所以非常適合使用這個方法。這個方法的概念就利 用圓形影像其影像梯度的對稱性。如圖所示,其為一圓 .形影像以及影像梯度,很明顯看的出來圓形不管在任何 位置上的梯度向量都是對稱的。 * 請參閱第5圖,其係為本發明之發光單元在空間位 * 置之示意圖。當分析單元對光源影像進行分析後,可找 到發光單元在影像上的位置與顏色。當發光單元為 LED,光源顏色為紅色(R)、綠色(G)及藍色(B)時,可在 圖中對應出R、G及B的位置。計算單元進一步透過攝 13 1375544 影機校正參數利用三角相似法重建發光單元在空間中的 三維座標。 請參閱第6圖,其係為本發明之發光單元與載具座 標之示意圖。本發明設置發光單元於載具上,此時載具 可為手術刀或定位筆。當設置三個LED於定位筆時,藉 由攝影機追蹤LED光源,再由三個LED的座標推算筆 尖的座標與向量,這個部份可以透過「Simplex最佳化演 算法」解決。由於三個LED與筆尖位置的關係是固定不 變的,因此不管定位筆的LED在哪裡,筆尖_與LED的 相對位置也不會改變。所以筆尖的座標為建立在三個 LED所構成的座標系上。本發明將筆尖固定在一點,然 後旋轉定位筆,同時記錄LED的三維座標資料。此時筆 尖的位置理論上的不動的,因此筆尖位置的變動量可做 為Simplex最佳化演算的目標函數,計算後即可求得筆 尖對LED的相對位置。最後就能計算筆尖在空間上的位 置與向量。 請參閱第7圖,其係為本發明之光學定位方法之步 驟流程圖。圖中,步驟S71,利用複數個發光單元以提 供複數個光源,複數個光源為不同顏色。步驟S72,藉 由複數個影像追蹤單元追蹤複數個光源,並擷取複數個 影像。步驟S73,藉甴影像處理單元對複數個影像進行 影像處理,以得到每一影像中對應複數個光源的光源影 像。步驟S74,利用分析單元分析光源影像以得到複數 個發光單元對應之位置及複數個發光單元對應之顏色。 步驟S75,根據位置及顏色計算單元建立複數個發光單 1375544 元對應之複數個三維座標。步驟S76,根據複數個三維 •座標計算單元定位載具之位置。 請參閱第8圖,其係為本發明之光學定位方法之第 一實施例流程圖。圖中,步驟S81,擷取影像。步驟S82, 進行影像處理。步驟S831,回傳LED標記點在兩個影 像平面的二維座標。步驟S832,自動調整攝影機角度, 同時將攝影機角度數據同時將攝影機角度數據代入訓練 好的類神經網路結構,即時更新攝影機的外部參數。步 籲驟S84,三維座標重建,利用立體視覺理論,代入二維 座標與攝影機内外部參數,得三個LED標記點的三維座 標。步驟S85,筆尖定位,由上三個LED標記點的三維 座標推算出筆尖的三維座標。步驟S86,回傳筆尖座標。 請參閱第9圖,其係為本發明之類神經網路求攝影 機外部參數之步驟流程圖。圖中,步驟S91,立體視覺 及攝影機校正,攝影機在不同的角度組合下做校正,產 生不同的外部參數,記錄所有數據。步驟S92,將數據 ® 代入網路訓練,網路輸入為兩台攝影機的旋轉(Pan)角度 和傾斜(Tilt)角度,目標輸出為攝影機參數(om, T)。步驟 S93,利用此網路結構,輸入攝影機的旋轉角度和傾斜角 度,卽可得到此狀態下的攝影機校正參數。藉此參數實 現三維座標重建。 請參閱第10圖,其係為本發明之使用Simplex演算 法求筆尖座標之實施例流程圖。圖中,步驟S101,實驗 設計,筆尖固定於一點,LED端則隨意畫圓,利用此變 15 1375544 動的LED座標,推算固定的筆尖座標。步驟S102,記 錄LED座標數據,當定位筆尖固定LED端隨意晝圓時, LED的座標不斷變化,記錄此期間内LED座標。步驟 S103,進行辛普列斯演算法,定位筆三個LED位置即可 建立定位筆本身的座標系,筆尖在此座標系上的三維座 標為固定值。利用最佳化演算即可求得此解。價值函數 (Cost Function)為LED晝圓時,在此座標系上某點的變 化量,因此當價值(Cost)最小的時候,得到得點座標即為 定位筆座標系上筆尖的位置。步驟S104,筆尖座標,LED 的三維座標是在攝影機座標系上,而Simplex求得的筆 尖位置是在定位筆座標系。最後將筆尖的座標由定位筆 座標系轉換為攝影機座標糸,即完成筆尖定位。 請參閱第11圖,其係為本發明之影像處理之實施例 流程圖。圖中,步驟S111,藉由影像追蹤單元擷取影像。 步驟S112,利用影像處理單元進行影像二值化。步驟 S113,利用影像處理單元進行偽關閉以去除影像之雜 點。步驟S114,利用影像處理單元進行影像分群,當進 行影像分群後,則進行步驟S115,逐群各別處理。 請參閱第12圖,其係為本發明之逐群各別處理之實 施例流程圖。步驟S121,影像處理單元進行影像分群 後,則影像處理單元劃分每一影像為複數個區域影像 (R0I影像)。步驟S122,將每一 ROI影像從RGB色彩空 間轉換為HSV色彩空間,步驟S123,對每一 R0I影像 進行色彩判斷,當影像處理單元判斷R0I影像屬於LED 色彩時,則進行步驟S124,色彩歸類。當影像處理單元 1375544 判斷ROI影像不屬於LED色彩時,則進行步驟SI231, 下一個ROI影像之色彩判斷。步驟S125,計算ROI影 像的影像梯度。步驟S126,進行圓形偵測及圓心計算。 接著,步驟S127,判斷ROI影像是否為圓,若是,則進 行步驟S128,記錄圓心位置其色彩。若否,則進行 S1271,進行下一個ROI影像之圓形判斷。步驟S129, 下一個ROI影像。 以上所述僅為舉例性,而非為限制性者。任何未脫 • 離本發明之精神與範疇,而對其進行之等效修改或變 更,均應包含於後附之申請專利範圍中。 【圖式簡單說明】 第1圖係為本發明之光學追蹤裝置之方塊圖; 第2圖係為本發明之發光單元設置於載具之示意圖; 第3圖係為本發明之色彩空間之分佈示意圖; 參第4圖係為本發明之圓形影像及影像梯度示意圖; 第5圖係為本發明之發光單元在空間位置之示意圖; 第6圖係為本發明之發光單元與載具座標之示意圖; 第7圖係為本發明之光學定位方法之步驟流程圖; 第8圖係為本發明之光學定位方法之第一實施例流程 圖, 第9圖係為本發明之類神經網路求攝影機外部參數之 步驟流程圖; 17 1375544 第ίο圖係為本發明之使用辛普列斯演算法求筆尖座標 之實施例流程圖; 第11圖係為本發明之影像處理之實施例流程圖;以及 第12圖係為本發明之逐群各別處理之實施例流程圖。 【主要元件符號說明】 I :光源追蹤裝置。 II :複數個發光單元。 III :複數個光源。 12 :複數個影像追蹤單元。 121 :複數個影像。 13 :影像處理單完。 131 :影像處理。 132 :光源影像。 14 :分析單元。 141 :複數個光源對應之顏色。 142 :複數個光源對應之位置。 15 :計算單元。 R :紅色。 G :綠色。 B :藍色。 S71-S76 、 S81-S86 、 S91-S93 、 S101-S104 、 S111-S115 、 S121-S129 :步驟。

Claims (1)

1375544 七、申請專利範圍: * 1. 一種光學追蹤裝置,其包含: 複數個發光單元,係以一幾何關係對應設置於一載 具上,該複數個發光單元係定義一平面,並提供複 數個光源,該複數個光源係為不同顏色; 複數個影像追蹤單元,係獨立上下左右擺動以追蹤 該複數個光源,並擷取複數個影像; Φ 一影像處理單元,係連接該複數個影像追蹤單元, 該影像處理單元係對該複數個影像進行一影像處 理,以得到每一該影像中對應該複數個光源的一光 源影像, 一分析單元,係連接該影像處理單元,係分析該光 源影像以得到該複數個發光單元對應之位置及該 複數個發光單元對應之顏色;以及 一計算單元,係連接該分析單元,該計算單元係根 • 據該位置及該顏色以建立該複數個發光單元對應 之複數個三維座標,並根據該複數個三維座標以計 算該載具之位置。 2. 如申請專利範圍第1項所述之光學追蹤裝置,其中 該複數個光源係為一紅色光源、綠色光源及藍色光 源。 3. 如申請專利範圍第1項所述之光學追蹤裝置,其中 一校正單元利用一類神經網路演算法以校正該複 19 1375544 數個影像追蹤單元。 4. 如申請專利範圍第1項所述之光學追蹤裝置,其中 ' 該計算單元係根據一立體視覺演算法以取得該複 數個三維座標。 5. 如申請專利範圍第1項所述之光學追蹤裝置,其中 當該影像處理單元係利用影像二值化以進行該影 像處理時,則該影像處理單元係對每一該影像保留 亮度較高之影像。 6. 如申請專利範圍第1項所述之光學追蹤裝置,其中 當該影像處理單元係利用偽關閉(Pseudo-Closing) 以進行該影像處理時,則該影像處理單元對每一該 影像去除非該複數個光源所產生之亮點。 7. 如申請專利範圍第1項所述之光學追蹤裝置,其中 當該影像處理單元係利用一影像分群以進行該影 像處理時,則該影像處理單元係劃分每一該影像為 複數個區域(Region Of Interest,ROI)影像以進行運 春 算。 8. 如申請專利範圍第7項所述之光學追蹤裝置,其中 當該影像處理單元係利用一色彩辨識以進行該影 像處理時,則該影像處理單元係根據該複數個光源 對應之色彩區域以判斷每一該區域影像。 9. 如申請專利範圍第1項所述之光學追蹤裝置,其中 當每一該光源係為一圓形光源時,該影像處理單元 利用一影像梯度圓形偵測法對每一該光源進行圓 20 1375.544 形偵測。 i〇.如申利範圍第1項所述之光學追蹤裝置,其尹 該什算單70係利用一辛普列斯演算法(Simplex aig〇rithm)以計算該载具之座標或向量。 IK種光學定位方法,包含下列步驟: 利用複數個發光單元以提供複數個光源,該複數個 光源係為不同顏色; 藉由複數個影像追縱單元追縱該複數個光源,並擷 取複數個影像,· 藉由一影像處理單元對該複數個影像進行一影像 處理,以得到每-該影像中對應該複數個光源的一 光源影像; 利用:分析單元分析該光源影像以得到該複數個 發光單元對應之位置及該複數個發光單元對應之 顏色; ~ 根據該位置及該顏色-計算單元建立該複數個發 光單元對應之複數個三維座標;以及 根據該複數個三維座標該計算單元定位該載具之 位 。 12·如申請專利範圍第11項所述之光學定位方法,其 中該複數個光源係為-紅色光源、綠色光源及藍色 光源。 13.如申請專利範圍第U項所述之光學定位方法,其 中校正單元利用一類神經網路演算法以校正琴 複數個影像追蹤單元。 Μ 14.如申請專利範圍第11項所述之光學定位方法,其 中根據—立體親覺演算法該計算單元取得該複i 個三維座標。 15·如=請專利範H第11項所述之光學定位方法,其 :當該影像處理單元係利用影像二值化以進行^ 影像處理時,則該影像處理單元係對每一該影像保 留亮度較高之影像。 16·如申請專利範圍第u項所述之光學定位方法,其 中當該影像處理單元係利用偽關閉 (P^udo-Closing)以進行該影像處理時,則該影像處 理單元對每一該影像去除非該複數個光源所產生 之亮點。 17‘如申請專利範圍第U項所述之光學定位方法,其 :當該影像處理單元係利用一影像分群以進行該 影像處理時,則該影像處理單元係劃分每一該影像 為複數個區域(Region 〇f interest,R〇i)影像以進杆 運算。 18_如申請專利範圍第17項所述之光學定位方法,其 中當該影像處理單元係利用一色彩辨識以進行該 影像處理時,則該影像處理單元係根據該複數個光 源對應之色彩區域以判斷每一該區域影像。 19.如申請專利範圍第U項所述之光學定位方法,其 22 該影像處理翠 一該光源進行 中當每一該光源係為一圓形光源時, 元利用一影像梯度圓形偵測法對每 圓形偵測。 如申請專利範圍第u項所述之光學定位方法其 中該計算單元係利用+ I列斯演算法(Simplex algorithm)以計算該载具之座標或向量。
TW098131298A 2009-09-16 2009-09-16 Optical tracking apparatus and its positioning method TW201110928A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098131298A TW201110928A (en) 2009-09-16 2009-09-16 Optical tracking apparatus and its positioning method
US12/689,555 US8229167B2 (en) 2009-09-16 2010-01-19 Optical tracking device and positioning method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098131298A TW201110928A (en) 2009-09-16 2009-09-16 Optical tracking apparatus and its positioning method

Publications (2)

Publication Number Publication Date
TW201110928A TW201110928A (en) 2011-04-01
TWI375544B true TWI375544B (zh) 2012-11-01

Family

ID=43730580

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098131298A TW201110928A (en) 2009-09-16 2009-09-16 Optical tracking apparatus and its positioning method

Country Status (2)

Country Link
US (1) US8229167B2 (zh)
TW (1) TW201110928A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI823256B (zh) * 2022-02-16 2023-11-21 新加坡商光寶科技新加坡私人有限公司 光源顏色座標估計系統及其深度學習方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI624248B (zh) * 2017-01-17 2018-05-21 Univ Chang Gung Nerve injury zone detection board, nerve assessment system and nerve assessment law
CN111238494B (zh) 2018-11-29 2022-07-19 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
US10866658B2 (en) 2018-12-20 2020-12-15 Industrial Technology Research Institute Indicator device, mixed reality device and operation method thereof
US11644682B2 (en) * 2020-06-11 2023-05-09 Carnegie Mellon University Systems and methods for diffraction line imaging
CN113554700B (zh) * 2021-07-26 2022-10-25 贵州电网有限责任公司 一种不可见光瞄准方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495429A (en) * 1993-02-12 1996-02-27 West Virginia University Method and apparatus for measuring the color of three dimensional objects
US6858826B2 (en) * 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
GB2329292A (en) * 1997-09-12 1999-03-17 Orad Hi Tec Systems Ltd Camera position sensing system
US6377249B1 (en) * 1997-11-12 2002-04-23 Excel Tech Electronic light pen system
US6584339B2 (en) * 2001-06-27 2003-06-24 Vanderbilt University Method and apparatus for collecting and processing physical space data for use while performing image-guided surgery
US7352892B2 (en) * 2003-03-20 2008-04-01 Micron Technology, Inc. System and method for shape reconstruction from optical images
CN101523408B (zh) * 2006-01-23 2013-11-20 数字标记公司 一种识别物品的方法
US8077914B1 (en) * 2006-08-07 2011-12-13 Arkady Kaplan Optical tracking apparatus using six degrees of freedom
US9147174B2 (en) * 2008-08-08 2015-09-29 Snap-On Incorporated Image-based inventory control system using advanced image recognition
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI823256B (zh) * 2022-02-16 2023-11-21 新加坡商光寶科技新加坡私人有限公司 光源顏色座標估計系統及其深度學習方法

Also Published As

Publication number Publication date
US8229167B2 (en) 2012-07-24
TW201110928A (en) 2011-04-01
US20110064270A1 (en) 2011-03-17

Similar Documents

Publication Publication Date Title
TWI375544B (zh)
US10267627B2 (en) Multi-line array laser three-dimensional scanning system, and multi-line array laser three-dimensional scanning method
JP6360260B2 (ja) 受動マーカーに基づく光学追跡方法およびシステム
KR101984339B1 (ko) 신발 부품의 자동 식별
CN111009007B (zh) 一种指部多特征全面三维重建方法
US9087258B2 (en) Method for counting objects and apparatus using a plurality of sensors
US20140003738A1 (en) Method and apparatus for gaze point mapping
US20080049185A1 (en) Eye location and gaze detection system and method
CN107657639A (zh) 一种快速定位目标的方法和装置
KR20220132617A (ko) 포즈 검출 및 측정을 위한 시스템들 및 방법들
JP2018518750A (ja) 反射マップ表現による奥行きマップ表現の増補
CN106537217B (zh) 宽视野深度成像
CN108288289B (zh) 一种用于可见光定位的led视觉检测方法及其系统
JP2012215394A (ja) 三次元計測装置および三次元計測方法
CN106779042A (zh) 一种水产养殖鱼群聚集指数计算装置及计算方法
CN110308817A (zh) 一种触控动作识别方法及触控投影系统
CN106530315B (zh) 中小型物体全角度下目标提取系统及方法
JP2014112043A (ja) 立体形状認識装置及び立体形状認識装置の光源位置推定方法
KR101310405B1 (ko) 맥동 위치 추정 및 맥센서 위치 제어 장치 및 방법
CN110097540A (zh) 多边形工件的视觉检测方法及装置
JP6555707B2 (ja) 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム
CN101666621B (zh) 一种与光照无关的标记点提取方法
CN114577805A (zh) 一种MiniLED背光面板缺陷检测方法及装置
CN110974241A (zh) 一种基于视觉的柔性外骨骼手指关节的运动轨迹测量装置
JP5375479B2 (ja) 三次元測定システムおよび三次元測定方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees