TW385360B - 3D imaging system - Google Patents

Description

發明背景 1 ·發明領域： 本發明係有關於一種三維表面輪廓成像和測量的 置。更具體的說，是一種通過物體反射回來 ： 徵影像來得到物體的三維資料。 - 一維（以後稱3D或3-D)成像和測量系統是為了獲得一 t體的三維形狀資料。這樣的系統基本上被分成兩類： 1)表面接觸測量系統；2)光學系統。光學系統又進一步 成雷射三角，結構化光源，莫爾（Moir 和傳播時間測量等不同的系統。 成像 莫爾干涉的方法準確，但昂責且耗時；雙視成像的方 法需要對兩個照相機或進行兩次拍照取得的影像進行比 較，來得到物體的三維資料；傳播時間測量法測量雷射光 從物體反射的時間，它需要有昂貴的雷射掃瞄裝置和接收 器0 本發明是一個基於結構化特徵光源的光學系統。待測 物體被一特徵光源照明，照相機獲取經物體反射的特徵光 源影像’在影像上特徵光源可以被清晰識別的地方可得 到物艘的三維資料。將反射的特徵光源的影像的平移與投 射到一個參考面上的同一特徵光源的反射影像進行比較， 就可得到”z"距離或叫深度。 2 ·習知描述： 三維成像和測量系統及方法已有報導。例如以下專利 就描述了不同種類的這些裝置：美國專利號358981 5，

五、發明說明（2)

Hosterman ;美國專利號4935635，0’Harra ;美國專利號 3625618，Bickel ;美國專利號4979815，Tsikos ;美國專 利號4247177，Marks et al ;美國專利號4983043，

Harding ；美國專利號4299491，Thornton et al ;美國 專利號5189493，Harding ;美國專利號4375921， iiorander ;美國專利號6367378，Boehnlein et al ;美國 專利號4473750，Isoda et al ; 美國專利號 5500737 ’Donaldson et al ;美國專利號4494874， DiMatteo et al ;美國專利號5568263，Hanna ;美國專利 號4532723 ’Kellie et al ;美國專利號5646733，

Bieman ;美國專利號4594001，Dimatte o et al ;美國專 利號5661667 ’Bordignon et al ;美國專利號4764016， Johansson ;美國專利號5675407，Geng。 不同的學術刊物也刊登了三維測量這一課題。為獲得 快速運動物體的三維影像’有人提出用彩色編碼結構化光 源的方法。如K. L. Boyer和A. C. Kak的論文"用於快速運動 測量的彩色編碼結構光源（Color-encoded structured light for rapid active ranging)刊登於IEEE 的模式分 析和機器智能版IEEE Transactions on pattern analysis and machine intel1igence) ， 1997年ΡΑΜΙ-9卷 的14 - 2 8頁°彩色的結構化光源的顏色是為了便於識 紋的位置’從而減少解釋資料時的不確定性。 從彩色編碼結構化光源被提出時起，就有不同的研究 組致力於研究不同的三維測量編碼方法。如】Tajha， 第6頁 五、發明說明（3) M. Iwakawa的"彩虹範圍探測的3_D資料獲得，l(3_D data acquisition by Rainbow range finder) ’ 此論文刊登在 1990年第十界國際模式識別會議論文集第3〇9_313頁上 (Proc. Of the 10th international conference on pattern recognition，PP.309-31 3 ’1 990)。一個相似的 應用彩色CCD照相機和一個線性變化波長濾波器且只需一 次拍照的彩色編碼方法由Z. j. G e n g提出，稱為，，彩虹三維 照相機：高速三維視覺系統的新概念，'，刊登於光學工程 雜達11 9 9 6 年 3 5 卷第 3 7 6 - 3 8 3 頁（0 p t i c i c a 1 E n g i n e e r i n g，

Vol 決照 而受 35 ’pp376-383， 1 996) °Geng系統的測量精確度取 相機的顏色分辨能力，並且會因為顏色間的交叉串擾 到傷害。 C. ffust和D. W. Capson提出一種不同的系統。此系統的 彩色編碼使用三個疊加的正弦彩色條紋，它具備G eng系統 快速1且只需一次成像的優點’但同樣只有有限的精確度。 此系統"應用彩色條紋投射的表面輪廓測量'，（surface profile measurement using color fringe pro ject ion)，刊登於”機器視覺和應用雜誌"1991年第4期 的193 到203 頁（Machine Vision and Application ，4 ， PP,193-203 ， 1991)。 應用彩色編碼結構化光源的其它實驗結果報告有：1. T.P.Monks ’J.N.Carter 和 C.H.Shadie 提出的"應用於 實時三維數位化的彩色編碼光源"’刊登於1 9 9 2年4月7到9 號在荷蘭Maastricht召開的第四季度國際ieee影像處理

第7頁 五、發明說明（4) 年會（IEEE 4th International Conference On Image Processing) ; 2，T.P.Monks 和J.N.Carter 提出的"彩色 編碼結構光源的改進條紋匹配”（Improved stripe matching for color encoded structured light)，刊登 於1 993年計算機影像和模式分析國際預備會議第二476到 此為485 頁（Proceedingsof International Conference on computer analysis of images and Patterns > PP.476-485 ， 1993)。 為改進使用特徵光源的三維影像系統的精確度，可以 應用一些校準方法，如E. Trucco，R. B. Fisher， A. ff· Fitzgibbon和D. K. Naidu在他們的論文"雷射條紋測量 中的校準’資料一致性及數模獲取"（calibrati〇n，data consistency and model acquisition with laser stripers)中所討論的方法，該論文發表於丨998年國際電 滕集成制造雜總11卷的第293-310頁（Int. J.computer

Integrated manufacturing ， 11 ， pp.293-310 ， 1998)。 有應用不同彩色編碼技術組合的報告，也將它們與其 他技術進行組合，如E.Schubert，H.Rath，J.Klicker 的 論文"應用彩色編碼相位變化原理和彩色編碼三角的快速 二維物體識別"（fast 3D object recognition using a combination of color-coded phase-shift principle and color-coded triangulation)，發表於 1994 年 SPIE 雜 tt、2247 卷第 202 到213 頁；C.chen，Y.Hung，C.Chiang 和 J.

Wu的論文"應用彩色結構光源和立體視覺的距離測量

第8頁 五、發明說明（5) — (range data acquisition using color stuctured lighting and stereo vision)，1997 年影像和視覺計算 雜誌15卷第445到456頁。這些組合可改進橫向空間的分辨 率’但相對雜訊位準太高，一般大於5%。 8以上所述系統常常不夠精確，或是需要昂責的設備， 或是需要通過多次曝光來獲得令人滿意的精確度。因此就 需要發展一種既精確又易於使用且不很昂責的三維影像系 統。 發明概述 本發明提出了一個三維影像系統，它只需一次拍照， 且只需一個普通的民用相機和一個結構化光源；本三維影 像系統生產成本低，且易於使用；本系統還可以使用紅外 光，紫外線或是可見光的結構化光源進行三維影像測量； 同時，本發明可減少彩色結構化光源反射時的交又干擾， 本發明因可使用任何彩色結構化光源的組合，從算法上增 強了原始資料即結構化光源的反射影像和參考影像間= 的精確度。 本發明允許使用像照相機閃光燈那樣的脈 進一步說 •一…πq 硬那依的胍 衝光源，也可是連續光源來進行三維成像和測量；本發明 給出一個光學裝置，它可使用與一個民用數位照相機同步+ 的閃光燈，並由該照相機得到三維影像需要的資料丨本發* 明允許使用結構化光源來進行成像，此光源調節光強 光譜來提供黑白或複數色的結構光式；本發明提供了一種 將結構化光源投射到物體的方法，也應用改進的彩色光柵 第：9頁 i、發明說明（6) 來進行三維成像；本發明給出了一個可應用於將影像投射 到物體的三維影像系統’也可應用於運動的或是有生命的 物體；本系統的照相機和光源可集成一體；本發明也可使 用兩幅不同的反射影像來對具有彩色紋理的物體進行精確 的三維成像和測量。 通過使用改進的結構光源和資料處理算法，本發明可 使用任何數位相機，進行一次拍照來對物體進行精確的三 維測量。結構化光源也可通過在一般的閃光燈前加上一個 很簡單的模式投射裝置來獲得。本發明的所有改進如都一 起應用將會實現本發明的所有優點。但也可放棄一些單個九 的改進措施’且仍然能得到不錯的三雒影像資訊。通過分 離彩色影像和使用一般閃光燈來改進結構化光源。影像資 料處理算法減少了彩色交又的影響，提高了峰值光強度的 檢測’增強了系統的校準’並進一步提高了識別相鄰光條 位置時的精確度。

根據本發明的原理而構造的一個用於獲取物體三維資 訊的二維成像測量系統具有一個結構化光源，它用來將光 通過黑白或彩色光栅投射到物體。光栅包括事先確定的可 透光的區域或是縫隙，典型的是一些彼此分開一定距離的 平行的透光條。根據具體的情況，光栅可在不同的顏色條 紋間夾雜一個不透明的區域。成像測量系統也包括一個照 相機或是別的影像獲得裝置來獲得從物體反射的結構光源 的反射光影像。照相機可採用短的曝光時間或是減少閃光 燈在曝光時的閃爍這樣甚至可得到運動和有生命的物

五、發明說明（7) 影像。如照相機不能直接得到數位影像， i影像進行數位化的部，，以利於進行計 :機可採用本發明的一種傾斜調節光中心峰值 來加強㈣影像的精確度4系統㈣ 測的影像和由本系絲設置的耒老尜诒定通過將檢 ,似& ^ ^不糸統汉置的參考影像進行比較來減少誤 。；複數色光栅，本系統要麼通過使用在光柵的顏色 間添加不透明區域，要麼是採用顏色補償算法或是將兩者 結合來減少顏色交又誤差，其中顏色補償算法是一個一定 的顏色交叉矩陣的逆矩陣。本發明的令心權線性平均算法 對^複數色光栅也特別有用。根據本發明原理構造和使用 的二維成像測量系統將應用以上機械的和算法的方面的組 合，加上現在已有的非常好的對影像資料的處理技術，本 系統就可確定物體的三維的資訊。 圖式簡單說明 圈1圖示應用CCD錄相機進行三維成像的結構化特徵光 源 圖2圖示一種三維影像系統的一些細節。 圖3是一種改進的用於三維影像系統的光柵。 圖4圖示結構化光源經物體反射後的物體影像。 Λ 圖5是一幅根據圖形4資料得到的三維影像的側面影 像 圖6顯示一個決定區域是否是某一特定顏色的方法t 圖7 a是一幅反射一色結構化光源影像的一個部分。 圖7b是根據圖7a測量出的一個彩色強度圖。

第11頁 五、發明說明（8) 圖8是彩色_擾補償影像處理過程的流程圖》 圖9是影像7a經顏色補償後的強度分布。 圖1 0圖示偏置調節中心峰值檢測。 圖11是系統校準過程的流程圖。 圖1 2圖示帶系統校準的三維影像系統的細節。 圖13a-e顯示不斷改進精確度的影像。 圖14a顯示一張人臉。 圖14b顯示經結構化光照射後得到的人臉影像。 圖14c顯示人臉三維影像的重構。 圓14d顯示人臉三維影像的剖面。 發明詳細說明 囷1顯示了一個三維成像測量系統（見參考文獻10)， 圓2更仔細地顯示了一個改進的三維影像系統（見參考文獻 12) ’圖3顯示了一個光柵（見參考文獻14)。 圖1三維影像系統顯示結構化光源〗6將結構化光投射 到物艘18.光源的模式可以是彩色編碼的或不是彩色編碼 的，也可以是任何可識別的模式。一個簡單而又常用的模 式是帶平行光條的光^ 光源模式20顧示了一個從結構化光源16通過垂直於紙 平面的平面0-X而到達物體18的光源模式。實際上，光源 模式20根據物體18的表面輪廓進行反射，照相機3〇就會獲 得一幅這個反射光的影像，如32所示。物艘18只是一個橫 2 $整個的物體*維納斯女神的臉。圖4顯示從照相機 3〇看到的影像32。在圖4的影像裏，可看到從結構化光源

五、發明說明（10) 最普遍。在圖1裏，光條24可以是紅色，光條26可以是綠 色’光條28可以是藍色。但它們總是以一定的事先確定的 順序排列。 在本發明中，光源的顏色不一定要是可見光，只要結 構化光源可提供在那個顏色的光源模式，並且影像獲取裝 置能得到這個顏色的光。從紅外光到紫外光都在本發明的 可應用的範圍内。 結構化光源光栅 系統10包括結構化光源16。光栅14在圖1裏沒有畫 出’它包括在結構化光源16裏，並且它決定了投射到物體 18的光的模式《圓2顯示了具體的光源16。從光源34出來 的光被透鏡36平行化’再通過光栅14，得到結構化光，結 構化光通過投射透鏡38聚焦，這樣可通過照相機44得到從 物艘40反射來的結構化光的影像42。代表物體影像42的資 料48被傳到處理器46進行計算得到物體的三維影像。 光柵14可以採取事先確定的任何模式。但條件是模式 要有足夠的獨特性和可識別性，在經物體反射後可被識 別◊常採用平行光條來作結構化光源，以下有具體描述。 參照圖3，光栅14包括重複出現的平行縫隙4，6，8， ϋ種模=間的距離5事先確定。這裏的縫隙是光柵上的透 光條’匕相對於不透明的區域。光栅的縫隙可透過不同的 顏色的光。採用不同顏色的結構化光源稱彩色編碼的光 源。光柵調節了光的顏色。 光拇14也可透過單一顏色的光。（這襄任何特定頻率

五、發明說明（11) 的光的組合都稱為一種顏色，所以如果所有的縫隙都透過 白光，它不被看成是透過複數色光）。如光柵並不改變或 調節光的顏色，那麼它至少調節光的強度，這樣就可投射 . 一個可識別的光源模式。 參照圖3來看一下光柵14的細節，不透明的區域（寬度 標為7)相間在相鄰的缝隙4，6，8之間。每一個缝隙的寬 標為9。盡管複數種顏色的光並不是必需的，但一個較好 的方法是使用紅綠藍三種顏色的光。當用三種顏色時，間 隔距離（圖中標為1)是指相同顏色縫隙之間的寬度。不透 明區域中心的間隔距離（圖中標為3 )與相鄰的缝隙中心距 \ 離相等。這些距離加上投射聚焦以及目標距離就可控制投 射光的範圍，如圖1所示》 為了更清楚得顯示’圖1裏的周期21，23和圖3光柵的 間隔距離3 ’1被放大了。這些間隙都是變量，與不同的顏 色數量’實際應用的顏色’光條的維數和光栅的大小相 關。為了產生如下所述的結構化光源，在成像透鏡的聚焦 特性已知時’光柵14的實際空隙就可確定。在L距離25等 於1000毫米的情況下’ 一個理想的用於複數色光栅的缝隙 距離5是使得光條間距23為1. 5到2毫米，對於單色光柵， 光條間距23為4毫米。對於複數色光栅，不透明區域2的宽、 度7以2/3的缝隙間距5為佳。對於不用複數色光的光柵， 則是4/5的缝隙間距5 »只有改變或調節光的某種特性後才 能識別它。在不用複數色光的系統裏.通常調節光的強度 來產生一個可識別的光的模式。這樣的模式不能太接近，

第15頁 上變成 。這樣 的調節 精確的 不同的 的目的 每個顏 數，甚 這些不 或可重 它比單 開來產 色的影 同的顏色 疊，因此 色光有更 生可識別 像，照相 近似連續 即使光的 可產生一 區別不同 顏色區域 ，像同時 色都可作 至一種顏 分布》 強度是 個可識 的顏色 的影像 得到具 特徵定 色光的 影像仍 不同顏 好的分 的特徵 機就可 五、發明說明（12) 否則反射光在空間 的顏色來分別特徵 強度調節，但顏色 例如，若照相機能 像就可分成複數個 區域的影像有實際 的影像，影像中的 總個的光強度為常 光的模式重疊時， 同顏色的光可連續 更緊密放置，這樣 靠用暗的區域分隔 緊密放置的不同顏 模式。 也可通過調節光 個常數，沒有光 別的邊界特徵. ，那麼總個的影 。得到不同顏色 有三種不同顏色 位分析用。即使 模式和另一顏色 然可被區分。不 色的影像特徵可 辨性。單色光要 邊界。通過區別 識別高分辨率的 對於典型的拍攝運動物體的照相機3〇和數位照相機 44 ’區別紅綠㈣特性最^分辨複數色編碼結構化光源 顏色的能力決定放置模式的距離且能被分辨出來。一般 的，紅綠藍三顏色常被用於複數色結構化光源的編碼。但 $可用更多或較少的顏色’也可根據特定照相機對顏色的 響應選擇性來調節顏色的數量。如果用膠卷膠卷影像必 須數位化來提供計算機可處理的資料。數位化儀一般也是 具有最強的分別紅綠藍的能力。 記取 為抽取資訊如反映深度資訊的光模式的變化，將影像 五、發明說明（13) 上的部分和結構光源上部分對應起來很重要。判定影像上 光模式的位置通常叫記取。精確的記取是必要的它可阻止 因不知道影像上從物體反射的光模式的位置而產生的空間 不確定性。 為注冊平行光條模式，一個方法是讓一個中心線可識 別’然後從那襄開始數光條的數目在彩色編碼系統裏， 可同過將中心線做成白色來識別，以與別的不同的顏色區 別.在非複數色光編碼系統襄，需用另外一個標記，如周 期性的加"梯步"’垂直的縫隙經過模式剩余部分的不透明 區域.另外，一個不同顏色的光條也可當作記取用。從一 定的被識別的光條’其他的光條通過數來記取。當三維輪 廓非常陡的時候’經物體反射的投射光條會變得很靠近， 甚至不見了或難於分別。這會干擾記取。 在記取裏’彩色編碼平行光條具有優勢，因為它易於 數光條.在使用三色時’既是兩個相鄰的線無法分別，仍 然不干擾數光條（這樣就可記取）^ 一般來說，對於N種顏 色，N-1條相鄰的線消失也不影響記取。因此彩色編碼系 統一般有較強的穩定性。 ' 根據本發明構造的結構化光源的應用，加上為了產生 暗區域而在光柵14的彩色條4，6，8間失雜的不透明區域 2，使得對物體22的一次曝光，就可用一般的民用照相機 s己錄下反射影像32的資訊，且沒有不必要的交叉干擾，這 樣就可對光條進行檢測和記取’之後就可得到實際的三維 影像·本發明原理適應不同的結構化光源和照相機，每一0 五、發明說明（14) ΠίΐΪΪ照相機都有不同的特性。不同的結構光源、會 ，/像的差異，明暗區域光強度的不同以及顏多 用= Ϊ的差別。照相機要麼是用膠卷的，這就^ 叙办沾ί式將膠卷影像轉化為數位影像。照相機也可县 、，它可直接提供數位資訊。不同的數位 :艮”不同’如，處所述，有些相機具有很小m 而具有很局的區別不同顏色的能力。對於= =單色⑽接受器來處理每一個色素的照相機多部二個 疋這樣。一些其它的照相機採用寬帶CCD接受器，並 内部資料操作來決定物體的顏色，這可能是外部所無法 變的.本三維影像測量系統可以根據所使用的特定照相機 和特定的結構光源，只使用發明的一部分特性和不同的 面。下面的部分描述了一個算法步驟，它可用來增強 本發明獲得的三維影像的精確度。 區域檢測和顏色交擾（交又串擾）補償 無論是應用一個顏色還是複數個顏色的光，在最後的 影像上要麼是明的區域，要麼是暗的區域.因為影像上^ 條的位置要被用來計算三維資料，所以亮條的中心位置°要 盡可能的準確，要實現這一點，就要盡量消除雜訊和干 擾·對於用於三維測量的彩色編碼，一個主要的雜訊源是 顏色交擾雜訊，它來自複數色光柵14，也來自物截顏色和 照相機30或44裏的顏色探測器（或是在膠卷影像數位化時 產生的）。因此，可應用一個特殊的步驟來分配顏色區 域’此方法可使顏色交擾補償去掉大部分的不必要的干 第18頁 五、發明說明（15) 擾。 通過檢查由照相機獲得的顏色編碼光的強度，就可了 解顏色交叉串擾.首先要了解產生顏色模式的光栅。圖7& 顯示了 一個包括紅綠藍三色的彩色光柵，它是圖3光栅14 的一個最佳的顏色分布.真正的彩色光栅是用一個可產生 滑槽的工具（像超高分別率的雷射圖形馬克[[丨號，分辨率 為8000X16000)在高分辨率的膠卷（像富士彩虹velVIA)上 寫下設計的彩色圖案。為了檢測這個人造光柵的的彩色光 譜’可用一個統一的白光（即至少在可見光範圍内具有同 一的光強度）來照亮光柵’用一個數位相機（像D〇I)AK DC260)來得到一幅光柵的影像。從分析圖7b顯示的數位影 像的彩色線條的光強度分布，就可得到光柵的彩色光譜。 圓7b顯示了嚴重的不同顏色之間的顏色交擾，例如，在綠 線位置上（由綠峰73顯示）出現藍峰71，它與真正的藍岭75 相近.顏色交擾雜訊（即一個檢測到的明顯的但是不應該存 在在那襄的錯誤的顏色）與顏色信號的位準相當。這會導 致錯誤的檢測，例如這襄會檢測到一條不存在的藍線。在 這個例子襄，典型的紅顏色峰77不會導致與其它顏色的混 清°然而’即使當交擾雜訊足夠的低於信號，可以避免錯 誤的線記取時，顏色交擾會改變顏色光條峰值的實際位 置.因為峰值位置的改變將導致深度計算的錯誤，所以補 =這種改變的影窨就比較重要.為了有效的補償顏色交 ，首先，彩色光柵的顏色譜要通過不同物體的圖片和不 同的數位相機來收集。物體包括中性顏色的物體和輕顏色

五、發明說明（16) 的物體。中性顏色的物體例如白板，白球和白的柱狀物， 輕顏色的物體例如不同廣色的人臉，包括白色黃色和專 色.好幾種不同的照相機像Nikon CoolPix 900，Alg〇fa、 1280 ’Kodak DC260，Fuji 300，和Minolta RD175 都被 測試過.在這些相機裏，綠色光條實際上從不在別的顏子色 的位置上有峰值.圖7b的峰值73是一個典型的綠色峰二它 準確的處於綠顏色的位置上，在圖7b裏沒有看到綠峰出 在別的位置上。因為綠色峰很少出現在別的位置上而引 錯誤，所以綠色是最可靠的顏色.因此顏色補償算法從綠 色光條為起點，如在別的相機襄通過測試別的顏色最可 靠’那麼也可採用別的顏色作起點。在綠色之後通 況下紅色最可靠，其次是藍色^其他顏色的編 j 處理峰值錯誤的順序。 ，落要選擇 圖6顯示可見光的強度圖形，其中的連續線表示 個像素點或點連接的理想化。在實際當中，區域以中 會只有三個像素超過了臨限值位準61，只要這個概余理 了’那麼顯示連續光強度的圖形就可被理解。圈8 補償算法的流程圖，將會參照圖6進行描述。 步驟81 :捕獲物體反射顏色編碼結構光源的 影像資料。作為一個特殊情況（步驟83)，顏色補償 j

第20頁 常一次只應用於影像的一部分《會是一個覆蓋十根/ : 條的正方形區域。區域的大小是個變量。因此算法 步称要重複多次來進行每個子區域的分析。 ' 步驟8 2 :對於每一個顏色’檢測峰值6 9。 五、發明說明（17) 步驟83 :顏色臨限值位準（TL) 61約相當於被分析影像 峰值的75 %。當分析的影像區域太大，有反射光強度的巨 大變化時，那麼TL將不適用於區域内的所有峰值，這就可 採取步驟81的分割影像的方法。 步驟84 :在光強度超過TL61的地方臨時設為峰值區 域。 步驟85 :如果區域被分給了其它的顏色，那麼在這個 區域的臨時性峰值就要變成無效，並且要跳過步驟的分 配步称。 步驟86 :對於從屬顏色的臨時性的峰值區域，如果它丄 們不在以前分配給另外的顏色的區域内，那麼這個區域就 分給這個從屬的顏色。 步驟87 :重複步驟84到86直到從屬顏色分配的完成為 止0 試過 步驊88 :重複步驟82到87直到每一 個編碼顏色都被測 步驟8 9 .計算影像或子影像的顏色交擾矩陣，對於三 種不同的顏色’是3X3的矩陣’它也可被調整到有 色 的N X N的矩陣，CCM被定義為： $ CCM- k ^ At A. *w -Ait Aif (l) 其中’K是一個歸一化常數 五、發明說明（18) (encoding colors，e.g.r，g，b)]定義為： 〜--以- (2) number of pixels in jcotor regions 代表i顏色在j顏色區域的光強度。 步驟90 :對於顏色交擾的補償可用CCM的逆矩陣來實 現，定義為： ·， g| b' = [CCii]~1 g b· (3) r’ ’g’ ’b’分別代表顏色交擾補償後的顏色，像第89步所 提示的，矩陣可以被調整到N種顏色，這裏的例子是紅綠 藍三種顏色。 圖9顯示了用同樣的光栅和同樣的照相機得到的圖7b 經過顏色交擾補償後的顏色光譜。通過比較圖9和圖？b， 可以清楚的看見顏色交擾雜訊被明顯的減弱了，圖9中典 型的紅綠藍峰93，95，95在強度上幾乎相等，圖7b中的、伊 誤峰值71實際上被消除了。 曰 偏差調整中心峰值檢測方法 為了降低3D影像測量的雜訊’精確地定位編竭光條的 中心位置彳艮重要，由於顏色交擾和物體本身的顏色，編碼 光條的中心位置可能會被移動，因此檢測到的峰值位置可 能不^實際的位置，通過分析超過5〇〇幅的顏色編碼的資 料而得到的峰值位置，用常用的中心檢測方法，在相鄰光 條距離為5個像素點的情況下，峰值位置的平均檢測誤差c

第22頁

大約是〇。4個像素。根據本發明 用偏差調整中心檢測法來決定光模式統可以應 的光強度用連續線描述，但實際當中，=和:盡管圖中 立像素點上，處理是處理區域内每一 去，、在一些分 下的算法裏’在被認為是顏色強度峰值：區=的：加’以 三個或更複數個的像素點或資料點。 £域，最好存在 步驟1:掃猫通常垂直於結構影像光條的資料行，找 到分配給每一個特定顏色的區域的強度影像100的起始點 和結束點。這-步最好是一個一個區域的做，如圖8的步 驟81到88相同，步驟81到88最好以分開的方式對 交擾補償的資料進行操作，正如上所述。在任何情況$， 因為起始點102和結束點出1〇4實際上是離散的像素點資 料’盡管兩點都高於臨限值TL，但仍然一點會比另外一點 高0 步驟2 :用以下的定義公式找到偏置位準106 : base =max( Intensity of start intensity of end)(4) 步驟3 .細調估計的影像中心，在像素點間内插點並 用偏差調節中心法計算每一光條的中心（RC)。如下公式：

Okd (5) 2 > Intm^tyix) - base > 0} (lntensity{x) - base) * RC·· start_______ ^ [for, lntendty{x) - base > 0} {Inte?2dty{x) - base) 其中Inentsity(x)代表位置X處的強度。

第23頁 五、發明說明（20) 步驟4 :對於每個顏色，重複步驟1到3。根據以前所 述的500幅顏色蝙碼資料，rc的平均錯誤是0。2個像素 點，相當於C(不使用偏差調節中心法）的錯誤户1/2。這會 使基於RC的3D測量的精峰度增加一倍。 選擇性平滑 一個濾波算 偏差。因為 的，且在不 線條的中心位置可能被平滑過，使用任何 法過濾每個點的位置來減少它與其它臨近點的 參考影像的光條應該是平滑的，重濾波是需要j - _ _____ 損害精確度的情況下，減少雜訊。考慮從物反射回來的 結構光條’過度的濾波可能會損害精確度，因此，發現反 射影像的結構光條上的不連續點是可取的，然後在對這些 不連績點之間的連續部分進行適當的濾波。 系統校準 為了補償系統模型的誤差，在基於本發明的測量系統 襄’應使用一個逐線的校準過程。以下詳細描述了投影儀 及照相機成像透鏡的像差和因物體深度差別造成的散焦效 應：三維資料常從比較物體反射結構光源影像點的位置和 理論上從一個參考平面發射的預定結構光源影像點的位置 來推算出來，理論上的預定位置基於一些假設來計算，這 些假設包括結構光源完全根據設想來制造，並且被完美的 投射和準確的被照相機獲得^因為結構光源及照相2取景 器在制造上的允許公差，和透鏡的慧差像差和包差偏差， 這些假設在實際當中都存在一定程度的錯誤，這會引起各 種的誤差，導致結構光條的實際位置偏離理論值，其 第24頁 五、發明說明（21) 像散焦和顏色交擾影響會進一步造成在檢測結構光源位置 時的誤差。因此，比較物體反射結構光源影像點位置和經 過仔細測 的影像 過程。同 量的從精確的參考平面反射回來的實際結構光源 就可提高3D測量的精確度。圖12描述了這一校準 時所討論的原理也可幫助讀者明白一般的用於獲 得3D資tri的三角方法 在圖12裏’Z軸是光軸121，它垂直於參考平面123， 基線124平行於參考平面123，它是光源16的透鏡主平面中 心（1 2 6 )和照相機從平面的中心（1 2 5)連線^ X軸的方向平 行於基線124 ’ Y軸122垂直與基線1 24和光軸121構成的平 上 面。D是結構光源16點（125)和數位照相機44點（124)之間 的距離，L是基線144和白色表面參考平面之間的距離。物 艘上點130(P(X&jeet，yQbject 9 ^object ))是物體上要測量的點《物 艘上點130投影到點129(?’（叉。_，〇,2。1^))，該點（129)位 於垂直於Y轴122且包括光軸121的平面γ=〇上。在照相機 44襄，點130具有一個X坐標值，轉換到參考面123為 Xc 128，通過點130的結構光源在參考平面123上的具有X值 Xp 127 ’通過三角關系’就可根據給定的距離推算出物體 130的Z值。 圖11是一個逐線校準的一般資料處理步驟的流程圖， 一些其他的增加精確度的方法如以下敘述： 步称112 :用像如圖12所示的裝置獲得一個完美的白 色參考面1 2 3的參考影像。經過數位化處理（如果必要）， 輪出數位化影像資料到一個處理系統。

五'發明說明（22) 步驟113 :同步驟112襄同樣設置的系統來得到物體一 幅影像。只要系統的設置與獲取參考影像的一致，可以用 這一系統來得到複數個物體的影像而無需再獲取新的參考 影像。 步驟114 :對物體和參考資料進行顏色交擾補償處 理。 步驟115 :對物體的光條進行偏差調整中心峰值檢 測，並選擇性的對光條不連續點之間進行平滑處理。 步驟116 :對參考影像的光條進行偏差調整中心峰值 檢測，來細調中心峰值的位置，並可對這些光條進行重濾 波0 步驟117 :物體反射的每一光條的X位置與參考影像中 同一光條的X位置有一定差別，通過以上差距的三角關系 來決定每一反射結構光源線上的每一點的系統校準高度。 步驟118 :用中心加權平均在一定的以立置上相鄰的三 =構光條的高度。如已知相鄰結構光條不連續則不做 臨限值，則相鄰的光條就度別超過設計的 -臨限值設置毫米就看成疋不連續的。在圖12裏，這 中心加權線平均 3D影像的波動誤差可以 小。本發明對被調節影像點 ：相鄰的點的Z值來減 地’用垂直於結構光條的資#，取：取中心權平均。特別 Z值加權平均很重要，遗 '個相鄰的結構光條的 用權方程（U，1，0.5)。為了

避免錯誤的平滑不連續或陡峭變化立 點上都作加，平均。特別地，當任何臨近的三點中用作平 句的兩點的尚度差別大於一個臨限值時就不對它們進行 平均（臨限值是一個設計變量，圖12裏，它的一個較好的 值是2毫_米），這個加權技術可提高精度0.3/0. 1到3成，比 $ f的一點平均方法只提高1 · 7 3成要好。這項技術對於根 發明制作的所有光柵都有效，但不同顏色間的誤差相 互獨立，相同顏色間的誤差部分相關這項加權平均技術 對於相鄰的不同顏色比相鄰的相同的顏色更有效。 最佳的實現和結果 Λ 本發明的原理提供準確的物體的三維測量，且只需一 ^照相機和一個與照相機空間關系已知的結構光源，只需 幅物體反射結構光源的影像，光源可由一個閃光燈提 供、，因為閃光燈的持續時間短，實際上使運動靜止化了， 所以它可用來對運動的物體成像。一個較好的例子使用一 個標準的民用照相機閃光燈來作照明光源，閃光燈是分開 的，但它與數位照相機同步，在閃光燈前簡單的放置一個 2柵和一個或複數個聚焦透鏡，閃光燈就可將結構光源投 射到物體。只需處理數位相機所獲得的影像就可得 相對的3D影像》如果結構光源，照相機和物體之間的位 已知，那麼就可得到物體的絕對3D測量資訊和影 明可用膠卷照相機，但結構光源影像要數位化才可 行處理而得到3D影像資料。 選 物體顏色的重構 發明說明（24) 本發明的另一個優點是可實現物體顏色的重建，如人 臉。應用兩次曝光，一次用結構光源，另一次用白光。一 幅3D影像和一幅二維影像幾乎在同一時刻分別得到。由3D ，像資訊可構造一個模型，原物體的顏色資料可被投射到 這個模型上’通過匹配物體和影像的特徵來實現顏色影像 的权準。在這個例子裏，兩幅影像在時間上要彼此接近， 結構光源可以是彩色編碼的也可不是，它朝著離照相機一 定距離的物體的方向，以上有詳細描述。從那裏得到的資 料被用來進行處理而得到物體的3D資料。非結構的白光影 像在其他影像之前或之後獲得。實質上獲得同一影像的顏 色資料。非結構光源可以是嵌在照相機裏的閃光燈。但它 也可以包括不同方向的照明，來減少陰影。理想情況下， 兩幅影像幾乎在同一時刻獲得，且曝光時間短，與閃光燈 照明光源同步’這樣可得到有生命的或運動的物體的3D彩 色影像。這可使用兩個照相機來完成。 可使用兩個同樣型號的照相機（KODAK DC 260 )，通 過外在的電子輸入來對曝光初始化，並有一個閃光燈觸發 輸出。第一個照相機驅動一個閃光燈，且閃光燈的控制信 號輸入到一個電路，經一個延遲後，輸出一個閃光燈初始 化信號到第二個照相機，第二個照相機控制第二個閃光 燈’閃光燈間的延遲大約為20到30毫秒》考慮閃光燈和開 關的持續時間以及抖動，延遲時間是取決於物體的移動和 照相機特徵的一個設計參數。 另外的實現是用單個的具有連續曝光模式的照相機。

第28頁

η 在連續曝光模式下，單個的照相機在足夠短的時間内多次 曝光’現在這樣的曝光時間間隔可小到〗〇〇毫秒如果這 樣的照相機只具有單個的閃光燈輸出，那麼就必需加另\ 的裝置來控制兩個分立的閃光燈單元.^ 一個方法是將閃光 燈控制信號由照相機連接到一個電子開關電路，這個電路 用來引導閃光燈控制信號首先控制第一個閃光燈，再去控 制第二個閃光燈，不管通過什麼方法，這對於電子領域的 人來說都很簡單。這個實現方法有兩個優勢：第一，只需 一個照相機，這使得安裝容易，第二，兩次拍照的定ς也 是一致的。但兩次曝光的間隔較長，並且現在這樣的連續 曝光式照相機比其它的照相機要貴的多，所以這種方法並 不是現在的較好的方法0 本測量物體3D輪廓的發明原理包括結構光柵的不透明 部分，顏色補償，偏置調節中心檢測，校準，濾波和高度 的加權平均。所有的這些原理組合在一起就可實現高精度 的3D輪廓測量，且只需一般的民用影像獲取裝置，如一般 的數位相機和一般兼容的分離的閃光燈再加上一個結構 ，學，置和一個影像資料處理程序。在省去本發明的一部 :要求下，仍然可得到在多數情況下質量較好的⑽影像， 因^ ,本發明被看成只在部分要求滿足的情況下使用。以Λ, 广測試驗證了本發明。實驗中，我們使用一個 一 c 260數位照相機。為了做測試，拍攝一個已知 =一=形物體的影像。物體是25ΜΜ高，25ΜΜ厚，125ΜΜ 。fK0DAD DC 260照相機有ι 536χ1 024個像素點，但 五、發明說明（26) 由於照相機可變焦距透鏡的限制，測試物體只佔了 6 0 0X5 70個像素點。結構光源在三個分離的顏色光條之間 用不透明的部分來填充。 本系統選擇的參數如下：（DD是基線124上點125到 126的距離，D = 230mm ; (2)物體距離L= 1 0 00關。圖13a顯示 了由基本測試系統得到的一維資料。最壞的測試誤差大約 是1. 5ππη ’因此相對誤差大概是〗5/25_69(^這一精確度與 其它研究組織報告的用單色編碼的結果相當。基於照相機 分辨率的理論上的測量精確度由方程（6)的微分確 定。因為D > xP_Xc，Azth由簡單的公式Δζ^ L/ π Δζ確 疋。是橫坐標X的最大誤差。125 mm的物體用580像素 點表示’約等於是〇.22fflin/pixel。由於照相機的分辨率的 有限而造成的最大橫切誤差約為1/2個像素點，△ zth = 0.11mm，將D = 230mm，L = 1 000mm，Δζ^Ο.ΐΐιηιυ 帶入方 程（Ό ’得到△ zth« 〇. 4 8mm (注意本發明的平均和遽波的方 法能減少中心位置的誤差到小於〇. 5像素點）因為測量誤差 遠大於因照相機分辨率而造成的誤差’因此檢測誤差主要 不是因照相機的分辨率造成的。 圖13b顯示用以上所述的交擾補償方法處理影像資料 的結果’它可減小測量誤差到〇. 8mm，相當於在測量精破 度裏有1.9成的改進。 圖13c顯示了對顏色補偾資料增加逐行參考平面校準 的結果。最大測量誤差被減小到〇. 5mm ’相當於改進了 1

五'發明說明（27) 成’總共在精確度上改進了 3成。圖13d顯示在交擾補償和 逐線校準資料的情況下增加偏置調整中心峰值檢測的結 果’最大誤差可減小到〇 25mm，相當於2成的改進，總共 有6成的改進。因此，測量精確度超過基於照相機分辨率 誤差估計的2成。 _ 圖1 3 d顯示加權平均後的測量輪靡，平均相鄰的光條 資料會人為地改進照相機分辨率’並且加權平均比一致平 均有更大的改進。因此，照相機的分辨率並不限制在基本 的0.5個像素點。可以.看到，最大誤差減小到〇 lmm相當於 2.5成的改進，總共在精確度上有15倍（1.5咖/〇」随）的改 進。 圖14a顯不了一個人臉，圖14b顯示了用三色結構光源 照亮後的-人臉，圖14c顯示經系統處理後的人臉的重構。 圖1 4d顯示了一個高度輪廓的橫截面。本發明已就一個實 例進行了細致的顯示。描述。本領域的專家知道在不偏離 明二，原理和範圍的情況下，可作其它的一些變化和 調整，這在以下所附的申請專利範圍。 符號說明： 間隔距離；2〜不透明區域；5〜距離；4 縫U傻寬.I’ 1〇系統；14〜光栅；16'结構化光源；45 #& f/祕Λ 物體；20〜光源模式；21、23〜距離；22. ^听^6 ’读4於26、28〜光條；25〜距離；30〜照相機；3< 處m 38〜投射透鏡；4〇〜物體；44〜照相機卜 〜處理器’6卜臨限值位準；63〜區域；69〜檢測峰值 五、發明說明（28) 75〜藍峰；73〜綠峰；77〜紅顏色峰；93，95，95〜紅綠藍峰 ;124~基線；121〜光軸；123〜參考平面；129、130'點。 Λ

第32頁

Claims (1)

1. 六、申請專利範圍 1. 一種三維 括： 一結 一影 像資料獲 獲取裝置 和參考光 2. 如 該物體是 3. 如 該物體至 4. 如 該結構光 5. 如 該投射的 光，並且 補償來提 6. 如 該處理器 影像資料 7. 如 該影像資 較。 8. 如 構光源 像資料 取系統 和資料 源來決 申請專 運動的 申請專 少是人 申請專 源投射 申請專 結構光 影像資 南〇 申請專 通過算 的精確 申請專 料要與 影像系統’獲取物體靜態三維影像，包 ’投射模式光到物體； 系統，獲取從物體反射回來的模式光，影 包括一個與結構光源空間位置已知的影^ 處理器’它比較從物體反射回來的結構光 定物體反射結構光上點的三維資料。 利範圍第1項所述的三維影像系統，其中 利範圍

   所述的三維影像系統，其中 的一部分Npg 利範圍第 平行的光條’ 利範圍第1項所述的三維影像系統，其中 源包括複數種顏色的被暗的區域分隔的 料的精確度通過對原始資料實施顏色交擾 利範圍第1項所述的三維影像系統，其中 法上調節檢測到的光條的中心位置來提高 度。 利範圍第1項所述的三維影像系統，其中 參考平面反射結構光源得到的資料進行比 述的三維影像系統，其中 申清專利範圍第1項所述的三維影像系統，其中

   第33頁 六、申請專利範圍 上的 該三維影像：料的精確度通過對物體反射 點選擇性的實施中心加權平均來提高精確度。模式 9* :申a月專利範圍第i項所述的三維影像 =結；光源至少包括-個識別特徵來進行結構光上所有中點 的正確記取。 丹疋上所有點 10.如申請專利範圍第9項所述的三維影像系統 該結構光源包括一個重複的不同顏色的光條，且白； 用來替代一個顏色光條做識別特徵用。 Π. 一種獲得物體三維影像的方法，包括下列步驟： 物體用在不同的顏色先條間放入暗區域的結構光源來照亮 獲取一幅物體反射結構光源的影像； 從獲得的圖形得出計算機可處理的資料；以及 處理獲得的資料來得到物體的三維資料，資 括計算影像上點的距離。 1 2.如申請專利範圍第11項三維影像系統，其中該模 式光源包括重複的平行光條。 1 3.如申請專利範圍第11項所述的三維影像系統，其 中該資料處理步驟包括通過顏色交繞補償來提高影 的精確度》 14. 如申請專利範圍第n項所述的三維影像系統其 中該資料處理步驟包括通過算法上調節光條的中心位置來 提高精確度。 15. 如申請專利範圍第丨丨項所述的三維影像系統，其

   第34頁 申請專利範圍 中該資料處理包括提高距離計算的赭 像資料與從參考平面反射的結構來=過比較影 16. 如申請專利範圍第11項所述的三維影像且 ::維：像精確度通過選擇性的實施對不連續點之間的資 枓進仃平均來提高。 17. —種獲取物體靜態三維影像的方法，包括下列步 驟： 提供一個譜遍存在的’具有適當功能的彩色數位照相 機’此照相機要有外在的閃光燈控制輸出； 提供可廣泛獲得的閃光燈； 在閃光燈的前面放置一個光結構裝置來投射結構光源 到物體； 獲取一幅從物體反射的結構光源的影像； 處理獲得的影像資料，增強物體影像上結構影像特徵 的位置；以及 用增強的物體影像的結構影像特徵的位置計算三維輪 廓。 18. 如申請專利範圍第17項所述的方法’其中運用單 個的照相機，單個的光源，單個的物體影像。 19. 如申請專利範圍第18項所述的方法’其中該物體 ' 是運動的物體。 20.如申請專利範圍第17項所述的方法’其中該光結 構裝置包括一個一定光結構的光柵’光栅包括由暗區域分 隔開的複數個不同顏色的光的縫隙。

   六、申請專利範圍 21.如申請專利範圍第丨7項所述的方法，其中處理影 像資料的步驟包括進行顏色交擾補償。 2 2.如申請專利範圍第丨7項所述的方法，其中該三維 輪廓是由比較增強的物體影像結構影像特徵的位置和期望 的特徵位置計舁出來的，期望的特微位置由反射結構光模 式的參考千面決定的。 23. 如申請專利範圍第17項所述的方法，其中該三維 輪廓通過對不是明顯不連續的點施加中心加權平均來進_ 步的細調。 24. 如申請專利範圍第17項所述的方法，其中該算法 上的加強包括物體影像的結構影像特徵的偏置調節中心確 定。 25. —種三維影像裝置，包括： 一照相機’獲取在結構光照明下物體的彩色影像； 一結構光源，投射已知結構的彩色編碼光到物體； 栅包括透光的縫隙和不透光的區域；以及 一處理器，處理彩色影像資料，處理器進行基本的 料處理’同時也進行增強精確度的算法步驟包括下列= 群· 顏色補償； 偏差調節中心檢測；以及 中心加權距離計算平均。

   第36頁