TWI499985B

TWI499985B - 影像特徵點自動點選方法和對應系統

Info

Publication number: TWI499985B
Application number: TW103115623A
Authority: TW
Inventors: Chingwei Wang; Chunghsing Li
Original assignee: Univ Nat Taiwan Science Tech; Nat Defense Medical Ct
Priority date: 2014-04-30
Filing date: 2014-04-30
Publication date: 2015-09-11
Also published as: TW201541370A

Description

影像特徵點自動點選方法和對應系統

本發明涉及一種選擇影像特徵點方法，尤其涉及一種可自動點選影像特徵點的方法和其對應系統。

測顱X光影像被廣泛的應用在齒顎矯正學分析。在進行齒顎矯正前，會使用患者的測顱X光影像進行分析，來描述患者顱顏特徵及訂定治療計畫。傳統上，在進行測顱分析時，會先由醫生以手動點選方式，在測顱X光影像中，將關鍵之特徵點點選出來。所謂「特徵點」係指從解剖學觀點所定義之用於標定解剖結構的許多特徵點，這些特徵點可用於分析解剖結構的幾何特徵，如特徵點S、Po、Na、PNS、UIA、ANS、A、MI、LIE、UIE、LIA、B、Pog、Gn和Me等。這些特徵點的定義係習於此技藝者所熟知，故不在此贅述。

各類的測顱分析法便是參考這些特徵點位置，定義幾何相關參數用以表達所需的頭顱形態特徵，如距離與角度等數據。然而，這樣的人工點選過程相當費力耗時，因此，需要提供一種測顱片的影像分析方法，藉以有效率地將測顱片中之特徵點點選出來，來克服習知技術的缺點。

鑑於上述，本發明之一態樣在提供一種影像特徵點自動點選方法。首先擷取一影像的邊界數據，其中該邊界數據至少包含複數個不同方向的邊界資料。之後，進行距離轉換，根據該些個不同方向的邊界資料分別計算該影像中每一畫素與一最近邊界間之距離，以形成一轉換後邊界資料。接著，進行一凹槽(Chamfer)匹配，將該轉換後的邊界資料與一模板(Template)的邊界資料進行比對以計算一匹配成本，其中係根據該模板邊界資料的方向選擇該轉換後的邊界資料。並根據該匹配成本選擇該影像和該模板對應的區域來形成該匹配後影像。最後在該匹配後影像上，根據該模板上的特徵點位置形成該至少一特徵點。

根據本發明之一實施例，係由一坎尼邊界偵測器擷取該影像邊界數據。

根據本發明之一實施例，擷取一影像的邊界數據，更包括分割該影像為複數個區域，以及擷取每一該些區域的該影像的邊界數據。

根據本發明之一實施例，進行一凹槽匹配，更包括：將該影像一區域以掃描之方式從左至右，由上而下，依序和該模板的對應區域進行該凹槽匹配，以分別計算和該模板上對應區域的匹配成本，以及選擇該些匹配成本中最小的作為匹配該模板的區域。

根據本發明之一實施例，根據該模板邊界資料的方向選擇該轉換後的邊界資料，更包括：當該模板邊界資料的方向和該些個不同方向的邊界資料其中一方向相同，選擇具該模板邊界資料方向的一轉換後邊界資料，來和該模板邊界資料計算該匹配成本。

根據本發明之一實施例，根據該模板邊界資料的方向選擇該轉換後的邊界資料，更包括：當該模板邊界資料的方向和該些個不同方向的邊界資料的方向均不相同時，選擇鄰近該模板邊界資料方向的兩個轉換後邊界資料，來和該模板邊界資料分別計算一匹配成本；以及選擇該兩匹配成本中較小的作為該匹配成本。

根據本發明之一實施例，影像為一測顱頭影像。

根據本發明之一實施例，更包括對該邊界數據進行雜訊移除。

本發明之另一態樣在提供一種影像特徵點自動點選系統，具有一邊界偵測器、一距離轉換器、一匹配器以及一特徵點形成器。邊界偵測器，用以擷取一影像的邊界數據，其中該邊界數據至少包含複數個不同方向的邊界資料。距離轉換器，用以根據該些個不同方向的邊界資料分別計算該影像中每一畫素與一最近邊界間之距離，以形成一轉換後邊界資料。匹配器，進行一凹槽(Chamfer)匹配，將該轉換後的邊界資料與一模板(Template)的邊界資料進行比對以計算一匹配成本，根據該匹配成本選擇該影像和該模板對應的區域來形成該匹配後影像，其中係根據該模板邊界資料的方向選擇該轉換後的邊界資料。特徵點形成器，在該匹配後影像上，根據該模板上的特徵點位置形成該至少一特徵點。

根據本發明之一實施例，邊界偵測器為一坎尼邊界偵測器。

根據本發明之一實施例，影像為一測顱頭影像。

根據本發明之一實施例，更包括一雜訊移除裝置，對該邊界數據進行雜訊移除。

綜上所述，本發明藉由引入邊界的方向，提供較佳的chamfer匹配精確度，使得根據此匹配方法後形成的待驗測顱影像和標準測顱影像間具有較佳的相似性，並依此提供更準確的特徵點位置。

101~111‧‧‧步驟

400‧‧‧系統

401‧‧‧邊界偵測器

402‧‧‧距離轉換器

403‧‧‧匹配器

404‧‧‧特徵點形成器

405‧‧‧雜訊移除裝置

第1圖係繪示依據本發明一實施例以邊緣之方向性為基礎進行影像比對以定位特徵點之方法流程圖。

第2圖所示為根據本發明一實施例一待驗影像之示意圖。

第3圖所示為根據本發明一實施例之檢測一邊界數據的方向概略示意圖。

第4圖係繪示依據本發明一實施例用以定位檢測特徵點之概略系統圖。

第5圖所示則為以不同顏色來表示不同方向的邊界的結果圖。

第6圖所示為根據第5圖8種不同方向(共四組，包含(0度-180度),(45度-225度),(90度-270度),(135度-315度))的邊界數據示意圖。

第7圖所示為根據第5圖8種不同方向(共四組，包含(0度-180度),(45度-225度),(90度-270度),(135度-315度))的邊界數據分別進行距離轉換後示意圖。

以下為本發明較佳具體實施例以所附圖示加以詳細說明，下列之說明及圖示使用相同之參考數字以表示相同或類似元件，並且在重複描述相同或類似元件時則予省略。

第1圖係繪示依據本發明一實施例以邊緣之方向性為基礎進行影像比對以定位特徵點之方法流程圖，在本實施例中係以定位測顱特徵點為例來說明本發明之應用，然在其他之實施例中亦可應用在其他影像之比對和特徵點定位中。操作流程將說明於下。

首先，於步驟101，擷取影像的邊界數據，其中此邊界數據包括多個邊界畫素，每一邊界畫素包括複數個不同方向的邊界資料，包括灰階變化度(強度)和對應方向。邊界(edge)是影像中灰階突然改變的地方，邊界偵測的目的就是將灰度值變化較大的點搜尋出來，這些點連接起來就構成了邊界，這些邊界就可以稱為圖的輪廓。搜尋邊界點的方法相當多，本發明是利用坎尼邊界偵測器(Canny Edge Detector)來進行多尺度的邊界偵測(multiscale edge detection)，以搜尋出邊界數據。在一實施中，如第2圖所示，對輸入之待驗測顱影像200進行影像邊界偵測來擷取每一畫素之邊界數據。由於圖像中的邊界可能會指向不同的方向，所以坎尼邊界偵測器會檢測水平、垂直以及對角線方向的邊界。在此實施例中，輸入的待測顱影像200每個畫素在進行不同方向的邊界數據檢測時，對應產生的邊界灰階變化值以及檢測的邊界方向均會被紀錄下來。因此，每個畫素的邊界數據將具有4組不同方向的邊界和對應的灰階變化值，如第3圖所示，邊界方向分別包括水平(0度和180度)、垂直(90度和270度)以及對角線(包括45度和225度以及135度和315度)。第5圖所示為根據本發明一實施例以不同顏色來表示四組，包含(0度-180度),(45度-225度),(90度-270度),(135度-315度)，不同方向邊界數據的示意圖，例如以藍色、紅色、黃色和綠色來表示四組不同方向邊界數據。第6圖所示為根據第5圖4組不同方向的邊界數據示意圖，其中係將第5圖中藍色、紅色、黃色和綠色所表示之邊界數據以不同圖示分別表示之。第7圖所示為根據第6圖4組不同方向的邊界數據分別進行距離轉換後示意圖，其中係將第6圖中藍色、紅色、黃色和綠色所表示之邊界數據分別進行距離轉換後以不同圖示表示。接著，在後續比對程序中，待測顱影像200會與一模板(Template)進行比對。

之後，於步驟103進行擷取數據之雜訊移除，藉以讓邊界在一小範圍內變動。藉由雜訊之移除，可避免所擷取之邊界數據值受雜訊影響，造成相鄰畫素的邊界值變異過大。

接著，於步驟105，進行距離轉換，計算測顱影像200中每一畫素與最近邊界畫素間之距離。在此實施例中，會對每個畫素的4組不同方向的邊界分別進行距離轉換，來獲得對應之距離轉換值。第7圖所示為根據第6圖4組不同方向的邊界數據分別進行距離轉換後示意圖，其中係將第6圖中藍色、紅色、黃色和綠色所表示之邊界數據分別進行距離轉換後以不同圖示表示。其中，距離轉換是計算影像中每一畫素與最近的邊界畫素間的距離，邊界上的畫素的距離值被設置為零。非特徵畫素的距離值被設置為無窮大。依此所形成的圖像被稱為距離圖像。做距離轉變換時，從邊界點出發，沿遠離邊界點方向按所謂的3-4法則逐漸增大畫素。亦即即對於任一畫素，其水平，垂直方向的四個鄰接畫素的距離值每次增加3，而另四個領域畫素的距離值則每次增加4。其中，進行距離轉換有兩種方法，一種是平行(parallel)方式一種是依序(sequential)方式。兩種方法在開始計算前都必須先將邊界畫素之距離值設為零，非特徵畫素的距離值設為無窮大。其中平行算法的計算公式為：式中是座標為(I,j)的畫素在第k次迴圈時的距離值。迴圈一直持續到沒有畫素值更改時為止。迴圈的次數正比於圖像中出現的最大距離值。而依序(sequential)方式演算法迴圈兩次便完成距離轉換。第一次是"前向"迴：從左至右、從上至下，第二次是"反向"迴圈：從右至左、從下至上。其計算公式為：

前向：

for i=2,..,rows for j=2,..,columns-1 v _i,j=minimum(v _i-1,j-1+4,v _i-1,j+3,v _i-1,j+1+4,v _i,j-1+3,v _i,j)

後向：

for i=rows-1,...,1 for j=columns-1,...,1

然後於步驟107，進行凹槽(Chamfer)匹配，來與一設定之模板(Template)進行比對。當兩幅影像進行匹配時，其中之一幅影像作為模板影像，會從中擷取出即將用於匹配的邊界點，並將其轉化為一組坐標值。這一組座標值即稱為模板。藉由計算和模板影像邊界的距離，可評估該幅影像和模板影像間的匹配程度。在本實施例中，一具有經醫生點選特徵點的測顱影像被作為標準測顱影像，當作模板影像。此標準測顱影像會先經由上述的坎尼邊界偵測器搜尋出邊界數據，並紀錄所使用邊界之對應方向，接著進行此邊界之距離轉換。在進行Chamfer匹配時，距離轉換後的待驗測顱影像200之每一區域會和此標準測顱影像的邊界進行邊界距離之計算，以求得一匹配成本(chamfer matching cost)，在一實施例中，是以掃描之方式從左至右，由上而下，將待驗測顱影像200之每一區域依序和標準測顱影像進行Chamfer匹配。本發明與習知Chamfer匹配不同處在於，傳統Chamfer匹配方法，是藉由計算2幅影像邊界距離的方法，來評估它們的相似性。當邊界距離的值越小，匹配成本越小。2個邊界相似度越高，當2幅影像邊界是完全相同的邊緣時，邊界距離的值為零，匹配成本等於0。然而本案之方法，在進行Chamfer匹配時，更考慮邊界的方向性。也就是說，本案標準測顱影像的邊界數據包括此邊界的方向性，因此，在進行Chamfer匹配時，本發明會根據標準測顱影像的邊界方向，選取待驗測顱影像的對應邊界來進行Chamfer匹配。例如，若標準測顱影像的邊界方向為45度，此時選擇的待驗測顱影像的邊界即選用45度的邊界，來計算和標準測顱影像間的邊界距離值，亦即匹配成本。若標準測顱影像的邊界方向為20度，此時選擇的待驗測顱影像的邊界即選用最接近的0度和45度的邊界，來分別計算和標準測顱影像邊界間的匹配成本，並選取其中匹配成本最小的，作為待驗測顱影像間於該區域的邊界。其中選用邊界距離值的標準如下：其中u為所使用之標準測顱影像座標，θ為邊界點(x,y)的方向。在進行匹配時，待驗測顱影像200的每一區域，會根據標準測顱影像的邊界方向，以掃描之方式從左至右，由上而下，依序和標準測顱影像對應區域進行Chamfer匹配，計算和標準測顱影像間的邊界距離值，亦即匹配成本。其中，匹配成本最小的為和標準測顱影像匹配的區域。

於步驟109，形成一匹配影像。當待驗測顱影像200和標準測顱影像完成Chamfer匹配後，會取其中邊界距離值最小的，亦即匹配成本最小的做為匹配的區域。例如，當待驗測顱影像200的每一區域，以掃描之方式從左至右，由上而下，依序和標準測顱影像對應區域進行Chamfer匹配，並分別形成一匹配成本後，此時會選擇該些成本中最小的作為和標準測顱影像對應區域匹配的區域。最後於步驟111，形成特徵點。當完成匹配後，會根據標準測顱影像上的特徵點位置，在待驗測顱的匹配後影像上形成對應的特徵點。

第4圖係繪示依據本發明一實施例用以定位檢測特徵點之概略系統圖。其中本系統是以邊界之方向性為基礎來進行影像比對以定位特徵點。系統400包括一邊界偵測器401、一距離轉換器402、一匹配器403以及一特徵點形成器404。

其中邊界偵測器401是用以偵測一影像的邊界數據，將灰階值變化較大的點搜尋出來，這些點連接起來就構成了邊界，這些邊界就可以稱為一影像的輪廓。其中此邊界數據包括多個邊界畫素，每一邊界畫素包括複數個不同方向的邊界資料，包括灰階變化度(強度)和對應方向。在本實施例中，邊界偵測器401為一坎尼邊界偵測器，藉以對如第2圖所示被分割為多個區域之待驗測顱影像200進行一影像邊界偵測，以擷取每一畫素之邊界數據。其中，坎尼邊界偵測器會檢測水平、垂直以及對角線方向的邊界。在此實施例中，輸入測顱影像每個畫素在進行不同方向的邊界數據檢測時，對應產生的邊界灰階變化值以及檢測的邊界方向均會被紀錄下來。因此，每個畫素的邊界數據將具有4個不同方向的邊界和對應的灰階變化值，如第3圖所示，邊界方向分別包括水平(0度和180度)、垂直(90度和270度)以及對角線(包括45度和225度以及135度和315度)。

之後，可選擇使用一雜訊移除裝置405將擷取之邊界數據進行雜訊移除，藉以讓邊界在一小範圍內變動。接著，邊界數據被傳送至距離轉換器402，進行距離轉換，計算測顱影像中每一畫素與最近邊界畫素間之距離。在此實施例中，會對每個畫素的4個不同方向的邊界數據分別進行距離轉換，來獲得對應之距離轉換值。其中，距離轉換器402會計算影像中每一畫素與最近的邊界畫素間的距離，邊界上的畫素的距離值被設置為零。非特徵畫素的距離值被設置為無窮大。其中距離轉換器402可依上述步驟105所述之方法進行距離轉換計算，在此不再贅述。

匹配器403執行一凹槽(Chamfer)匹配，將完成距離轉換後待驗測顱影像的邊界數據和一設定之模板(Template)進行比對。藉由計算和模板影像邊界的距離，可評估一影像和模板影像間的匹配程度。在本實施例中，一具有經醫生點選特徵點的測顱影像為一標準測顱影像，被當作模板影像。而此標準測顱影像會先經由坎尼邊界偵測器搜尋出邊界數據，並紀錄所使用邊界之一對應方向，並經由距離轉換器進行邊界之距離轉換後，來和待驗測顱影像的邊界數據進行Chamfer匹配。其中，匹配器403會將待驗測顱影像200和標準測顱影像的邊界分別計算邊界距離，即匹配成本。其中匹配器403在進行Chamfer匹配時，會根據標準測顱影像的邊界方向，選取待驗測顱影像的對應邊界來進行Chamfer匹配。例如，若標準測顱影像的邊界方向為45度，此時匹配器403選擇待驗測顱影像的45度邊界數據，來計算和標準測顱影像間的匹配成本。若標準測顱影像的邊界方向為20度，此時匹配器403選擇待驗測顱影像0度和45度的邊界數據，來分別計算和標準測顱影像邊界間的匹配成本，並選取其中匹配成本最小的，作為待驗測顱影像在該區域的邊界。其中在進行匹配計算時，匹配器403會依序計算待驗測顱影像200和標準測顱影像間的匹配成本。例如，以掃描之方式從左至右，由上而下，依序和標準測顱影像對應區域進行Chamfer匹配並計算匹配成本。匹配器403會取其中匹配成本最小的做為和標準測顱影像匹配的區域。當所有區域均完成匹配後，匹配器403產生一匹配後影像。特徵點形成器404會根據標準測顱影像上的特徵點位置，在待驗測顱的匹配後影像上形成對應的特徵點。

綜上所述，本發明提出一種改進chamfer匹配之方法，藉由引入邊界的方向，提供較佳的匹配精確度，使得根據此匹配方法後形成的待驗測顱影像和標準測顱影像間具有較佳的相似性，並依此提供更準確的特徵點位置。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

101~111‧‧‧步驟

Claims

一種影像特徵點自動點選方法，至少包含：擷取一影像的邊界數據，其中該邊界數據至少包含複數個不同方向的邊界資料；進行距離轉換，根據該些個不同方向的邊界資料分別計算該影像中每一畫素與一最近邊界間之距離，以形成複數個不同方向的轉換後邊界資料，其中該些個不同方向包括水平(0度和180度)方向、垂直(90度和270度)方向以及對角線(包括45度和225度以及135度和315度)方向；進行一凹槽(Chamfer)匹配，根據一模板邊界資料的方向選擇該些轉換後邊界資料中之至少一個來與該模板(Template)的邊界資料進行比對以計算一匹配成本；形成一匹配後影像，根據該匹配成本決定該影像匹配該模板的區域來形成該匹配後影像；以及形成至少一特徵點，在該匹配後影像上，根據該模板上的特徵點位置形成該至少一特徵點。
如請求項第1項所述之影像特徵點自動點選方法，其中係由一坎尼邊界偵測器擷取該影像邊界數據。
如請求項第1項所述之影像特徵點自動點選方法，其中擷取一影像的邊界數據，更包括擷取該影像每一畫素的邊界數據。
如請求項第1項所述之影像特徵點自動點選方法，其中進行一凹槽匹配，更包括：將該影像一區域以掃描之方式從左至右，由上而下，依序和該模板的對應區域進行該凹槽匹配，以分別計算和該模板上對應區域的匹配成本，以及選擇該些匹配成本中最小的作為匹配該模板的區域。
如請求項第1項所述之影像特徵點自動點選方法，其中根據該模板邊界資料的方向選擇該些轉換後邊界資料中之至少一個，更包括：當該模板邊界資料的方向和該些個不同方向的轉換後邊界資料其中一方向相同，選擇具該模板邊界資料方向的一轉換後邊界資料，來和該模板邊界資料計算該匹配成本。
如請求項第1項所述之影像特徵點自動點選方法，其中根據該模板邊界資料的方向選擇該些轉換後邊界資料中之至少一個，更包括：當該模板邊界資料的方向和該些個不同方向的轉換後邊界資料的方向均不相同時，選擇鄰近該模板邊界資料方向的兩個轉換後邊界資料，來和該模板邊界資料分別計算一匹配成本；以及選擇該兩匹配成本中較小的作為該匹配成本。
如請求項第1項所述之影像特徵點自動點選方法，其中該影像為一測顱頭影像。
如請求項第1項所述之影像特徵點自動點選方法，更包括對該邊界數據進行雜訊移除。
一種影像特徵點自動點選系統，至少包含：一邊界偵測器，用以擷取一影像的邊界數據，其中該邊界數據至少包含複數個不同方向的邊界資料；一距離轉換器，用以根據該些個不同方向的邊界資料分別計算該影像中每一畫素與一最近邊界間之距離，以形成複數個轉換後邊界資料，其中該些個不同方向包括水平(0度和180度)方向、垂直(90度和270度)方向以及對角線(包括45度和225度以及135度和315度)方向；一匹配器，進行一凹槽(Chamfer)匹配，根據一模板邊界資料的方向選擇該些轉換後邊界資料中之至少一個來與該模板(Template)的邊界資料進行比對以計算一匹配成本，根據該匹配成本決定該影像匹配該模板的區域來形成一匹配後影像；以及一特徵點形成器，在該匹配後影像上，根據該模板上的特徵點位置形成該至少一特徵點。
如請求項第9項所述之影像特徵點自動點選系統，其中該邊界偵測器為一坎尼邊界偵測器。
如請求項第9項所述之影像特徵點自動點選系統，其中該影像為一測顱頭影像。
如請求項第9項所述之影像特徵點自動點選系統，更包括一雜訊移除裝置，對該邊界數據進行雜訊移除。