TW533355B - Method and apparatus for capturing stereoscopic images using image sensors - Google Patents

Method and apparatus for capturing stereoscopic images using image sensors Download PDF

Info

Publication number
TW533355B
TW533355B TW088110573A TW88110573A TW533355B TW 533355 B TW533355 B TW 533355B TW 088110573 A TW088110573 A TW 088110573A TW 88110573 A TW88110573 A TW 88110573A TW 533355 B TW533355 B TW 533355B
Authority
TW
Taiwan
Prior art keywords
image
light
target object
structured light
texture data
Prior art date
Application number
TW088110573A
Other languages
English (en)
Inventor
Walter J Mack
Jean-Charles Korta
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Application granted granted Critical
Publication of TW533355B publication Critical patent/TW533355B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Description

533355 A7B7 五、發明說明（ 經 濟 部 智 慧 財 產 局 消 費 合 作 社 印製 發明之背景 1 ·發明之範圍 本發明一般係關於三維（3-D)模型，特別係關於捕捉立體 影像而將其處理成爲3-D物體模型之方法及裝置。 2 ·相關技術之説明 建立3-D物體模型以便使此等模型可自很多不同角度對 其觀看’而不同於二維（2_D)模型僅可自一角度對其觀看。 一種建立3-D模型之方法爲自不同位置對眞實物體取得其 眾多影像及利用此等物體之投影之差別。此等眾多影像可 適合產生物體之3-D模型。一旦產生一 3-D模型，此模型可 置於一虛擬環境或與其他攝影或電視類似裝置共享。具體 言之’ 3-D模型之適用性在娛樂界，廣告界及模擬工業方 面特別顯著。 建立物體3-D模型之可取之處及優點很易於瞭解，迄今 已開發出很多產生3-D模型之工具。舉例而言，有如 Kinetix，San Francisco, CA 之 3D Studio MAX 之 3-D軟體可使 用户與藝術家使用一塊黏土塑造一物體之極爲相似方式塑 造一物體，但僅使用數位方法。舉例而言，例如，賦予參 考參數之球體，亦即屬於"元球，，(metabaU)之工具，係使之 融合在一起以形成所需要之物體。對於更複雜之物體言， 例如用以界定需建立之物體之一小部分之三角形或形 之多角形均可以使用。另外一實例可爲具曲線之，，曲線板二 以其界足需建立之一表面區域。利用軟體建立模型之 詳細説可見於George Maestri之"數位人物動畫，，二⑽ -4- 本紙張尺度過用，國家標準（CNS)A4規格⑵〇 X 297公釐） (請先閱讀背面之注意事項再填寫本頁)
1 I I I I I %, 經濟部智慧財產局員工 533355 A7 _____B7 五、發明說明（2 )
Riders Publishing，1996)。然而，由於產生3-D模型之複雜 及困難性，除非在此方面專精之人士之外，否則其他有很 多人均遭受挫折。例如，使用者可能需同時具有藝術及技 術觀念。此外，可能需要多年之經驗方能掌握3_D模型製 作之技術。由於有此等障礙，一般之消費者無法使用3 軟體以產生3-D模型。 3-D之產生相對而T係較緩慢，有如上述，對於一般消 費者而言，係屬費時並且困難。使用可捕捉隨後可用以產 生3 -D資料之物體影像之3 -D成像裝置系統，可使消費者無 需特別專門技術即可以快速及容易方式產生眞實物體之3 _ D模型。因此本發明係關於使用成像裝置捕捉立體影像之 方法及裝置，此種成像裝置隨後可用以產生3-D資料，然 後再使用此3-D資料產生目標物體之3-D模型。 發明之簡述 本發明揭示一種捕捉立體影像之方法及裝置。本發明提 仏光源’此光源具有將結構性光投射至一目標物體上之 一折射裝置。設置多個成像裝置以捕捉目標物體之影像。 圖式之簡要説明 用於本發明之方法及裝置之目的，特點及優點可自以下 説明而顯然易見，於圖式中： 圖1例示一示範性3-D成像裝置系統； 圖2例示另一示範性3-D成像裝置系統； 圖3 a例示將使其接受立體成像處理之一目標物體，圖3 b 、Ά目標物體之一立體影像’圖3 c例示抽取之3 資 -5- 目國家標準（CNS)A4規格（210 X 297公釐） (請先閱讀背面之注意事項再填寫本頁) ▼裝--------訂--------- 533355 A7 B7 五、發明說明（3 料，及圖一3d例示根據圖3_d資料所形成之表面結構； 圖4例不使用可見光源及本文資料而捕捉—目標物體之 結構性光資料之一示範性方法； 、圖5㈣使用非可見光源及本文資料而捕捉—目標物體 (結構性光資料之一示範性方法； 圖6例示一示範性校驗程序； 圖7例示根據一選定之座標系統校驗之一成像裝置： 。圖8 a例不一不範性校驗目標及圖讣_84例示當影像感測 器正在校驗時’自影像感測器所看到之校驗目標之圖； 圖9爲決定需予以校驗之一成像裝置之針孔長度之示範 性儀器； 圖10爲一校準目標之另一示範性具體實例； 圖1 1例示根據一物體之立體影像之一示範性3_D資料之 抽取程序；及 圖1 2例示一示範性3-D資料抽取程序之另一圖。 發明之細诚 當產生眞貫物體之3-D模型時，係自不同位置取得眞實 物體之眾多影像以利用物體投影之差別。此等多個影像例 如可藉一攝像記綠器或具有一影像感測器之一數位照像機 之成像裝置而被捕捉。影像感測器一般包括一光敏像素陣 列，陣列中之每一像素捕捉落於其上之一入射光線。因 此’此像素陣列中之像素組合能捕捉得自入射光之影像。 一般而a，需重建之一 3 -D模型之物體之一表面應最少以 二影像表現，因爲此重建係根據二影像之表面相交之故. 6 - 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公爱） (請先閱讀背面之注意事項再填寫本頁) ▼裝--------訂--------- 經濟部智慧財產局員工消費合作社印製 533355 A7 B7 五、發明說明（4 ) 具有上述特性之物體之此二個或更多之影像（亦即立體影 像）適合隨後處理成3-D模型。 (請先閱讀背面之注意事項再填寫本頁) 在取得一物體之立體影像方面，有數項問題需予考慮。 第一，在取得影像時，物體不應改變其位置或型狀。第 二，物體表面上之特徵就所有影像言應位於相同位置。但 是當成像裝置位置改變時，此種説法在特徵改變位置之情 況下之單向反射即不適用。第三，光線之路徑對本發明言 實質上爲直線以便有適當功能。換言之，影像之投射不應 由於在其路徑上之修正而變形。舉例而言，由於玻璃可能 使光線路徑彎曲，玻璃不應位於投射之影像之路徑中。然 而，熟諳於本行技術人士將可認知如果於立體影像捕捉期 間存在有上述情況，影像之不符要求處可能會得到補償。 經濟部智慧財產局員工消費合作社印製 圖3a-3c例示自一目標物體抽取3-D資料之一實例。於此 舉例中，圖3 a中之目標物體爲一面孔。藉使用一成像裝置 自不同位置捕捉影像，即可如圖3 b中所例示捕捉面孔3 3 及面孔3 4之一立體影像。吾人可證實由成像裝置所捕捉之 面孔投影可以預測方式隨成像裝置位置之改變而改變。惟 可注意到由成像裝置所捕捉之影像包含二維（2 -D)資料， 此係因爲每一影像均包含於影像感測器之二維平面中。然 而，當有一面孔表面之得自二不同位置之至少二影像之一 相交線時，即可就一影像中之每一點獲得一 Z深度之數 値，且此每一點於另一影像中，相對於具有X，Y，Z座 標之一任意座標系統，具有一相應之點，此一相對應之點 爲二影像感測器共用。此外，於此二影像感測器中以影像 -7- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） W3355 五、發明說明（5 ) 平面中X，γ·座標表示之二相對應點之位置可予以合併， 以產生可爲3_D資料中諸點中之-點之-3韻（亦即X， 因此，3_D資料爲位於一座標系統中所識別之 3侧中之多個點，以其形成目標物體之一 3_〇點影像， 例如万；圖3 c中所例示者。如何獲取目標物體中之一點之 $ : Y ’ Z値將於後文中説明。現將説明用於捕捉立體影 像之3-D成像裝置之實例。 圖1例T 3-D成像裝置系統之實例。圖中所示之成 像裝置系統1〇具有二成像裝置，此二裝置爲易於瞭解本發 月起見係以左方成像裝置丨2及右方成像裝置丨3表示。此 項識別於本又中始終如此稱呼，然而熟諸本行技術者，於 閱讀本發明時將會看出此種識別可相互交換，本發明適用 於使用夕於一個成像裝置情況或在適當情況下僅使用一成 像裝置1每一成像裝置12及13均包括能捕捉一目標物體 之影像感測器14及15。此3_D成像裝置系統1〇包括一計算 裝置1 9以將由成像裝置1 2及1 3所捕捉之立體影像處理使 爲3-D資料。此計算裝置可爲一微處理器，一算術邏 輯單位（ALU)或任何其他能處理資料資訊之裝置。於一具 體實例中，計算裝置19甚至可根據其基本之軟體之複雜性 而將3 0^料處理成3_d模型。舉例而言，3-D資料可爲，，三 角形型式，，（亦即藉使用弘D資料之每三個點形成三角形而 形成物體之表面，此種三角形化係藉使用例如Delaunayi 演算法之傳統演算法而達成。熟諳本行技術者，將可看出 可使用包括其他適當之幾何結構之演算法。三角形化之一 -8 - 本紙張尺度適用中國國家標準（CNS)A4規格（210 x 297公釐） (請先閱讀背面之注意事項再填寫本頁) -裝--------訂------ 經濟部智慧財產局員工消費合作社印製 533355 A7 B7 經濟部智慧財產局員工消費合作社印製 五、發明說明（6 ) 實例經例示於圖3 d中。本文資料可藉使用一種稱作眞實空 間（True Space)之軟體而用之於三角形結構，此種軟體可購 自 Caligary，Mountain View，California。一般而言，本文資 料包括例如爲一物體之實體表面特性及亦包括物體之彩色 資訊。一種代替方式爲影像可將其儲存於成像裝置1 2及 1 3中以供隨後處理，如此可於3-〇成像裝置系統中無需使 用一計算裝置。在一般情況下，有關於3-D成像裝置系統 1 〇之"校驗"資訊（此將於後文中進一步説明），係儲存於一 記憶器裝置中，此記憶器裝置可連同計算裝置1 9使用或爲 此計算裝置之一部分。然而於不使用計算裝置丨9之成 像系統1 0中，系統1 〇可包括一記憶裝置以其儲存校驗裝 置或者此校驗資訊可與系統分開及當立體影像轉換爲3 資料時予以引入。 3-D成像裝置系統10可另外包括一發光裝置16以投射 起始光束及包括一折射裝置17以將光束分裂成適當之由 條，點，柵格狀構成之圖案或任何其他幾何型狀之圖案。 此折射裝置例如可自位於Charl〇tte，N〇nh Car〇Hna之數位 光學公司或位於Rochester, New York之R0chester Ph〇t〇nics 公司購得。"結構性光•，一詞之意義可理解爲包括由一光 所產生之線，條，分段之線，柵格，點等之結構。使用 構性光之用意爲對目標物體提供由一計算裝置易於辨識 目標物體。換言之’計算裝置很難僅靠使用自目標物體 天然特徵所獲得之資訊而使一影像中之一點與另一影像 之相對應之一點相匹配。舉例而言，如果一個人之面孔
D 線 源 結 之 之 中 爲 (請先閱讀背面之注意事項再填寫本頁) ，裝--------訂------ •9- 本紙張尺度適用中關家標準（CNS)A4規格⑵〇 X 297公f 533355 A7 五、發明說明（ 一需予以形成3-D模型之物體及其眼晴爲需予以匹配之 徵’則此計算裝置可能發生錯誤，因爲其無法在另一相對 應之影像中分辨二眼間或特徵間不同之處。然而，藉使用 結構，物體之輪廓例如可藉計算裝置輕易以垂直線位 置而得參考才艮據一具體貫例，結構性光中之每一垂直線 可予以編碼以辨別一垂直線與另一垂直線間之差異。例如 當目標物體之輪廓致使垂直線出現時，編碼即有其需要。 在此種情況下，計算裝置可能因此垂直線跳至另—垂Μ 而發生錯誤。由於藉每一線提供一代碼，知道此垂直線代 碼（計算裝置在當此線之代碼正被掃描時將會檢測出—誤 差及可能重新返回掃描以改正此誤差。此等線可藉使用例 如與折射裝置17之一端搞合之一適當之滤波器"編碼。 例如，此代碼可爲將垂直線分段而成不同於其他緊鄰之垂 直線所成之圖案。滤波器18可製有能使垂直線形狀之社構 性光發射之柵隙，但是於此等柵隙中可有對應於所需之 段之垂直線圖案之阻擋部分。 光源16之一具體實施例可爲一雷射發射器。光源μ 折射裝置17可將例如垂直線之雷射光投射於目標物體上 有關垂直線之説明不應解釋爲對於本發明之範園之=制 例如，亦可使用水平線，惟需視照相機之方向而定。 外，其亦可爲由點或分段之線所構成之柵等構形。圖4 示使用可見光源捕捉目標物體之立體影像及捕捉本文@資 之一實例。方塊41例示由一光源16投射於目標物體: 結構光線。方塊42例示藉3_D成像裝置系統1〇之左方"η 訂 分 及 此 例 料 之 及 本紙張尺度適用中國國家標準（CNS)A4規格⑵G X 297公爱） 533355 經濟部智慧財產局員工消費合作社印製 A7 五、發明說明（8 ) 右万1 3 <成像裝置所捕捉之物體立體影像連同有經投射之 結構性光。-旦物體之立體影像連同結構性光（=結 性光資料）被捕捉之後，方塊43例示光源16即被關斷。方 塊44例不一影像同時或儘可能接近同時被左方成像裝冒 12與右方成像裝置13中之一裝置捕捉以獲致本文資料Τ 雖f可藉左方成像裝置1 2及右方裝置1 3取得多重影像以 獲仵本又資料，一般而言，自一成像裝置取得一單一影像 ^可夠用。同時捕捉之理由爲使具有結構性光資料之:體 影像儘可能與具有本文資料之影像相匹配。惟可注意者當 3-D成像裝置系統丨〇與目標物體相對而言爲固定時，同時 取得即不再認爲重要。此外，根據一具體實例，本文資料 可與立體影像無關，例如，當本文資料使用傳統方法以電 腦產生時，即無需本文影像。 根據另一具體實例，光源1 6可發射紅外線區域中之光線 (一般係認爲其爲大於780毫微米之波長之光線）。於本實 例中，成像裝置1 2，1 3之影像感測器丨4，i 5可予以設計 以使其能同時捕捉可見光線本文資料及紅外線結構性光資 料。影像感測器1 4，1 5使其經由適當使用彩色濾波器而 月匕夠同時捕捉可見光線及紅外線光。舉一例而言，可藉使 用現有商用之「彩色濾波器陣列」（CFA)材料，利用此等 材料對於紅外線IR輻射爲透明之優點，而產生由一 2χ2平 方圖案之紅，綠，藍（RGB)及一紅外線（IR)像素之一影像 感測器。藉使用二CFA彩色（例如r，B )之簡單重疊以其於 光讀中之可見部分無重疊發射，即可能產生能阻擋可見光 11 :297公釐） (請先閱讀背面之注意事項再填寫本頁) ----^------ 秦- 533355 A7 五、發明說明（9 ) 線及僅發射IR之-複合滤波器元件。如果使用二濟波哭以 形成此複合m ’則此二滤波器中每—濾波器均有彼此 不相交之可使可見輻射通過之光譜，因此在實質上血可見 光線經過由二滤波器合併形成之此複合濾波器。如果使用 多於二個之ϋ波器’則每-滤波器均有__使可見輕射通過 之光譜，以致此結果所得之複合濾波器實質上對於可見光 線爲不透日月。此種複合滤波器元件因此爲一IR通過滤波 器，因爲用以形成複合濾波器每一組成濾波器均實質上對 於IR爲透明。沈積CFA之工作係由半導體工業中所熟知之 光蝕刻法完成。有關RGB及IR影像感測器之進一步資料可 見於同在申請程序中之申請案，其名稱爲「紅外線像素感 測器及紅外線信號改正」，其序號爲^_，且係於 ^ 提出申請。 ^' 圖5例示使用非可見光源捕捉目標物體之結構性光資料 及捕捉本文資料之一實例。方塊51例示將結構性光舢 目標物體上之非可見光源。方塊52例示由左方成像裝置 12及右方成像裝置13所取得之一立體影像。方塊”例^ 成像裝置12，13中之至少一裝置產生彩色輸出（例如紅， 藍，綠）以供本文資料之用及二成像裝置丨2，丨3產生非可 見光線輸出（例如紅外線）以供處理結構性光資料之用。 消 訂 根據另一具體實例，成像裝置系統丨〇包括例如黑白成像 裝置之單色裝置及彩色成像裝置之組合。一般言之，當彩 色成像裝置用以捕捉目標物體之本文資料及結構性光資料 時，結構性光資料之解析度即受損。此係起源於一般由三 -12- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 533355 經濟部智慧財產局員工消費合作社印製 A7 B7 五、發明說明（1〇 ) 個或多個像素（例如紅，綠，藍）所界定之彩色，此像素亦 用以界定特徵中之一點，因此位置資訊係展開於一組像素 上。如能使用一像素界定特徵中之一點位置，則可獲致較 高之解析度。於使用單色成像裝置以捕捉特徵中之位置資 訊時，可達到較高之精確度。 圖2例示上述之3-D成像裝置系統之一具體實例。此3_D 成像裝置系統2 0可包括一對以左方單色成像裝置2 2及右 方單色成像裝置23所代表之單色成像裝置。此對單色成像 裝置2 2，2 3捕捉包括物體之結構性光資料之一目標物體 之立體影像。結構性光由一光源1 6及一折射裝置1 7以有 如上述方法產生。當結構性光需要編碼時，一適當之濾波 器1 8可使之與折射裝置1 7耦合。3-D成像裝置系統2 〇另外 包括捕捉目標物體之本文資料之一彩色成像裝置。當本文 資料將被獲得時，如果光線係在可見光譜，則光源16即被 阻止發射結構性光。然而，如果光線係在非可見光譜中， 單色成像裝置22,23及彩色成像裝置24可同時取得目標物 體之影像。，在此實例中，單色影像裝置應使其適合捕捉由 非可見光清中所產生之光線。舉例而言，當非可見光源爲 如前文所述之一紅外線發射器時，此等單色成像裝置即可 爲-紅外線成像裝置。需注意者，所有此等三個成像裝置 22，23，24應就所選擇之座標系統予以校驗，如此可使 由成像裝置22,23，24所獲得之捕捉到之位置資訊可愈彩 色成像裝置24之本文資料合併，以形成具有高度解析度之 - 3-D模型。在任何立體影像之前，所有3_d成像裝置系統
本紙張尺度適用中國國家標準（CNS)A4規格（21〇 X 一----------------訂--------- (請先閱讀背面之注意事項再填寫本頁) -13- 533355 A7 經濟部智慧財產局員工消費合作社印製 五、發明說明（11 ) 中之成像裝置均應予以校驗，此將於後文中明白看出。 A見〃看圖1以其作爲一實例，於捕捉到任何立體影像之 則二先對成像裝置12及13實施校驗，以便決定成像裝置 、 ： 及方向。精實施校驗而有如後文中進一步説明 =成像裝置置於m座標系統中，以使所使用之計 算裝置產生3-D :貝料以便知道成像裝置在選定座標系統中 、'相對仫置田成成像裝置之位置爲已知時，可將捕捉到 之1體影像之特徵使之在一起相關聯以形成一合併之輸 ^ ’俾便形成供3-D模型用之3_D資料。爲能例示此點，可 假想於3-D空間中有二成像裝置攝取同一物體之影像以形 成爲物體之立體影像之一左方影I及一纟方影像。由於此 二影像之差別，遂可發生立體匹配。於立體匹配過程中， 於一影像中之一點特徵係使之與另一影像中之一相對應點 特徵相匹配。人類之目視系統能方便檢測出左方影像及右 方影像中之各種不同特徵及能使二影像在一起產生關聯， 但對於具有此一相似功能之一計算裝置而言，則可能需要 以一座標系統中之座標方式界定各種不同特徵。此項工作 之相關貝釩爲用以決定影像中之特徵位置之一組座標供每 一影像使用。所有影像中之此等特徵之座標組，連同取得 每一影像之成像裝置然後可用以決定經識別之3-d空間中 之原始位置。 圖6例示實施校驗之一具體實例。爲能達成校驗目的， 總共可能需要至少6個位置値以供就一經選定之座標系統 對於一成像裝置之位置及方向有一完整之説明。需注音者 (請先閱讀背面之注意事項再填寫本頁) ΜΓ衣
.^1 ϋ ϋ 一：口、_ ^1 1· I I %,
本紙張尺度適用中國國家標準（CNS)A4規格（210 X -14- 經濟部智慧財產局員工消費合作社印製 533355 A7 B7 五、發明說明（12 ) 位置値係就3 -D成像裝置系統中之每一成像裝置作決定。 根據一具體實例’成像裝置可界定爲具有一針孔p之一影 像感測器1 5 ’此針孔有如圖7所例示自中心及正交於影像 感測器1 5而以預定之長度突出此長度即針孔長度，將於後 文中進一步説明）。成像裝置之一針孔爲空間中一虛擬之 點，此點距影像感測器之中心有一固定之距離並且垂直於 此中心，於此點處所有對應於一影像之入射光線進入此成 像裝置以將影像投射於影像感測器上。成像裝置之位置由 所選定之座標系統中針孔位置所決定。根據一具體實例， 所選擇之座標系統可爲笛卡兒座標系統，具有任意指定之 原點及X ’ Y ’ Z軸’因此，三位置値可爲對應於經選定 之座標系統中針孔位置之X，γ，Z。根據另一具體實 例，極座標系統可予以使用，同樣具有任意指定之原點及 半徑’緯度角度’經度角度參考，因此，針孔位置可以所 選定之座標系統中之半徑，經度角度，緯度角度界定。 成像裝置之方向可由成像感測器對於所選定之座標系統 之方向而決定。在決定影像感測器之方向時，每一成像裝 置均可指定一成像位置座標系統。舉例而言，成像裝置系 統之原點可爲成像裝置之針孔。成像裝置座標系統之2，軸 可爲通過成像感測器之針孔及中心之軸線。成像裝置座標 系統之X，軸及Y’軸可分別與影像感測器之水平及垂直側平 行。熟諳本行技術人士將可認知軸線之不同原點及方向可 供成像裝置座標系統之用。根據一具體實例，可使用一極 座標，於最初可將一需校驗之成像裝置置於經選定之座標 -15- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） ：--------裝--------訂---------^9. (請先閱讀背面之注意事項再填寫本頁) 533355 A7 五、發明說明（13 系Ί中之方向；^此座標系統中針孔可位於其原點處， 影像感測器之中心可位於經選定之座標系統之⑽線處， 影像感測器於針孔長度之一距離處與冗軸相交。影像感測 器之X·軸及Y，軸可分別與經選定之座標系統之x軸及丫轴 相平行㈤針孔/口半徑，經度角度，緯度角度移至經選定 之座H充中之*貫位置時，影像感測器亦可自起始方向 移至經選定之座標系統中指定爲參考方向之一已知方向。 影像感測器之此眞實方向可予以測量以#作對於參考方向 之偏差。根據一具體實例，此項偏差可經由與cx，及 轉動相對應 < 其餘三位置値而決定，此將於後文中有更詳 盡之説明。需注意此方向爲如此之情形，即影像平面中心 係位於如上述之經選擇之座標系統之原點及針孔位置所形 成之軸線上。 根據一具體實例，可使用一校驗目標以決定經選擇之座 標系統中之成像裝置之位置及方向。爲例示起見，係使用 :厓標系統。有如圖以中所例示，可使用一示範性校驗目 標7 5，以其包括於每一角隅7 6及中心7 7上之一點，總共 爲5點所代表之一菱形。然而，熟諳本行技術之人士可明 白看出亦可使用其他之組態及型狀以達成所希望之結果。 需指出，丄校驗目標可爲一圖式或一張紙上之成組之點或 可爲眞貪物體。如使用一眞實物體，則此物體之特徵可 用烏參考點。舉例而言，可使用一立方體之一表面當作校 驗物體，使用此表面之角隅當作參考點，連同另一可能之 參考點，此參考點由二對角之虛線之交點界定於中心處， (請先閱讀背面之注咅？事項再填寫本頁) 裝--------訂--- 經濟部智慧財產局員工消費合作社印製 -16- 533355 A7 心 藉 孔 五、發明說明（14 母對角虛線連接表面之二角隅。 現再返回參看圖7，成像裝置13之針孔p之座標可根據 一所選擇之座標系統予以界^H统之原點例如可爲校 驗目標75之中心，如例示，其一χ軸可與校驗目標成水 平二其Y軸可與校驗目標成垂直，及z軸可與校驗目標成 正X。需〉王意者，所選擇之座標系統應與需於一 成像 裝置系統中將予以校驗之所有成像裝置相同，如此每一成 像裝置均可有一共同之經選擇之座標系統。針孔p之座標 可以與就校驗目標7 5之中心點7 7而對應於三位置値之半 徑，緯度角度，經度角度而予以界定。半徑，緯度角度， 及經度角度可易於由傳統之χ，γ，z軸所界定之笛卡兒 座標系統中之位置説明而產生。 影像感測器1 5之方向可由其中心72相對於一軸線M決 定，此中心係由校準目標75及針孔p之座標界定。位於軸 線Μ上之校驗目標7 5之中心點7 7將於影像感測器丨5上成 像，以其代表以軸線Μ爲準，距離影像感測器丨5之中 7 2之偏差7 4。自此偏差7 4，影像感測器1 5之中心7 2可 使影像感測器1 5相對於上述成像裝置座標系統中之針 P ’而繞X，軸線（Cx)及Y，軸線（Cy)旋轉直至對應於中心72 之位置爲止，以與軸線Μ校準。C χ及C y之角度値對應於 其餘位置値中之二數値。影像感測器丨5之轉動界定成像感 測為1 5在影像裝置座標系統中z ·軸線上之旋轉方向。轉動 例如可藉使影像感測器1 5沿Z，軸旋轉，直至座標之γ軸自 影像感測器看去已經與影像感測器γ ·軸平行爲止，因而得 ^ ----*t--------IT--------- (請先閲讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 -17- A7
533355 五、發明說明（15 ) 到補償。轉動之角度値對應於最後保留之位置値。 需注意者，示範之6位置値可根據應用此等數値之順序 而決定。換言之，在一順序中之位置値，可能不能與在另 一順序之位置値相互交換。例如，用於C X，c y，轉動， 緯度，經度，半徑所獲得之位置値，可不同於用於轉動， Cx，Cy，經度，緯度，半徑所獲得之位置値。因此，位 置値係與所取得之位置値之順序相一致。 現再返回看圖6 ’需注意者所例示之順序不能解釋爲有 限制之意義，熟請本行技術者將可認知亦可使用其他順 序。方塊6 1例示決定針孔之長度，此長度爲垂直於影像感 測器及對於此感測器係位於中心之針孔之長度距離。用於 3-D成像裝置系統中之每一成像裝置之針孔長度應予以決 定。此針孔長度（有時稱爲焦點長度）一般於製造廠商之成 像裝置之説明書中已有説明。爲能獲致用於個別成像裝置 之更精確之針孔長度，可使用下述有如圖9中所例示之儀 器。 針孔長度P L之精確性有其重要性，因爲可將針孔長度， 目標物體之樣本點轉換成影像感測器上之座標。爲例示起 見’現使用右方之成像裝置1 3。成像裝置丨3之針孔長度 p L可藉將成像裝置1 3設置於一軌條9 1上而決定，此軌條 具有二長方形塊9 3，9 5沿軌條9 1之軸線往返滑動。現將 此二長方形塊93，95指定爲第一長方形塊93及第二長方 形塊9 5。此外，一長方形塊之至少一界定長度（一般稱之 爲水平或垂直長度）對於每一長方形塊爲已知。於本實例 -18- 本紙張尺度翻 X 297公釐） il·--------裝---- (請先閱讀背面之注意事項再填寫本頁) 訂--- 經濟部智慧財產局員Η消費合作社印製 533355 經濟部智慧財產局員工消費合作社印製 A7 五、發明說明（16 ) 中，第二長方形塊95水平辜長度稱之爲A及第一長方形塊 9 3之水平拳·長度稱之爲B。水平辜長度B應使之小於水平 辜長度A。此値R然後即爲水平車長度B除以水平辜長度 A。二長方形塊均應予以安裝，如此軌條9 1之中心線方可 正交於二長方形塊。再者，長方形塊9 3，9 5之中心應與 軌條91之中心重合。第一長方形塊93與第二長方形塊95 應進一步彼此平行。第一長方形塊9 3應進一步爲可滑動及 始終符合上列之要求。藉使第一長方形塊9 3沿成像裝置 1 3方向滑動，同時使第二長方形塊9 5，自影像感測器i 5 看去，係在執條9 1上之某一距離處維持固定，此時長方形 塊界定長度之投影將會於影像感測器上重合。在此時，第 一長方形塊93之水平長度B之影像及第二長方形塊95之水 平長度A之影像，如圖6所示，通過針孔P以將同樣長度χ 投影在影像感測器1 5之同樣位置。當已經知遒第一長方形 塊9 3與第二長方形塊9 5之間之距離（此距離爲在軌條9丄上 所量出之C )及投影在影像感測器上以X所計量之長度，針 孔長度PL可由以下公式界定： PL=X*C/(A*(1-R)) 一般情況下，影像裝置内部之測量係以像素單位決定。 需注意針孔長度PL之尺寸係獲自投影X。既然投影又係以 像素單位計量，針孔長度PL亦以像素單位計量，此爲適 當之措施。 現在再返回參看圖6，方塊6 2例示決定影像感測器之c 及Cy。圖8b例示由影像感測器1 5捕捉校驗目標75之影 本紙張尺度適用中國國家標準（CNS)A4規格（210 χ — 1^---------•裝--------訂--------- (請先閱讀背面之注意事項再填寫本頁) -19- 533355 經濟部智慧財產局員工消費合作社印製 A7 ---- ~ -—?7 —__ 五、發明說明（17 ) 像〜像感測器1 5根據所捕捉之影像以計算方式移動，以 使影像感測器之中心72與校驗目標75之影像中心77重 合。像素單位沿χ,軸線及γ，軸線相對於成像裝置座標之移 動分別對應於cx及Cy。一種代替方式爲由於針孔長度有 如刖述爲已知，C χ及C y亦可以沿χ，軸線及γ，軸線之相對 方；針孔Ρ之角旋轉而予以界定。當目標中心7 7與影像感測 器1 5之中心7 2重合時，此影像之中心與通過針孔之軸線 Μ (見圖7 )及所選定之座標系統之原點校準。經由〔χ及 Cy，影像感測器15之方向可相對於軸線Μ及針孔ρ而予以 決走。當权驗目標7 7自影像感測器看去係移至影像感測器 1 5义中心7 2時，代表校驗目標之角隅點7 6亦以計算方式 私動以代表影像感測器在其新位置之所看到之形像。遷移 之权驗目標由圖8 c例示。 以下爲例示上述説明之在Visual Basic中之一示範性分段 程式。 對於此實例而言，需要以下之定義： VERTEX2D説明影像之一點。其相關之成員爲χ及y座標 (# 艮P dx ， dy); VTXLIST2D爲VERTEX2D物體之一列表連同有相關之内 務處理儲存（亦即校驗目標，其中成員〇爲中心點，成員卫 爲頂邵點’成員2爲底部點，成員3爲左方點，成員4爲右 方點）； VERTEX3D説明3D空間中之一點。其相關成員爲χ， y，及 ζ 座標（dx，dy，dz);及 -20- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (請先閱讀背面之注意事項再填寫本頁) 裝-----—訂---------· 533355 A7 B7 五、發明說明（18 ) VTXLIST3D 爲 VERTEX3D物體之一列表。 (請先閱讀背面之注意事項再填寫本頁)
Public Sub gs_UndoCoxCoyWjm(InVec As VTXLIST2D， res As VTXLIST2D, Coff As VERTEX2D) '偏置量返回於Coff Dim vl As VERTEX3D Dim v2 As VERTEX3D Dim v3 As VERTEX3D Dim vtx2tmpl As VERTEX2D Dim vRot As VERTEX3D Dim dCosAngle As Double Dim dAngle As Double Dim i As Integer 1計算x及y之偏置量 Coff.dx = v2.dx Coff.dy = v2.dy ’進行模擬取消成像裝置之偏心之效應 •取得垂直及旋轉角度 vl.dx = 0 vl .dy = 0 經濟部智慧財產局員工消費合作社印製
vl.dz = f2_dCAMF v2.dx = InVec.vx2A(0).dx v2.dy = InVec.vx2A(0).dy v2.dz = f2_dCAMF
Call gs_CosAngle3(vl，v2，dCosAngle)’取得 vl 與 v2 間之 -21 - 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 經濟部智慧財產局員工消費合作社印製 533355 A7 B7 五、發明說明（19 ) 餘弦角度
Call gs_ArcCos(dCosAngle，dAngle)·自餘弦取得角度 Call gs_orth3(vl，v2，vRot)1取得正交於vl與v2所跨越之 平面之一向量。此即爲畫面必須圍繞其旋轉之向量以使中 心點進入影像平面中心。 ’使所有在目標頂點列表中之向量旋轉以取消C X及C y效 應
For i = 0 To InVec.lNum Vertex - 1 vl.dx = InVec.vx2A(i).dx vl.dy = InVec.vx2A(i).dy vl.dz = dCAMF ’dCAMF爲自影像感測器至針孔位置之距 離（以像素爲單位）
Call gs_rot3dVec(dAngle? vRot? vl? v2)
Call gs_project3Planar(f2_dCAMF? v2, v3) res.vx2A(i).dx = v3.dx res.vx2A(i).dy = v3.dy res.vx2A(i).bFlag = True
Next i
End Sub 圖6之方塊6 3例示決定影像感測器之轉動。此項轉動爲 影像感測器繞成像裝置座標系統之Z'軸之旋轉，在本實例 中，Z |軸對應於通過針孔P之軸線Μ及影像感測器1 5之中 心7 2。現參看圖8 c，一旦影像感測器重定位以使影像感 測器中心7 2與目標中心7 7重合，目標7 5之Υ軸在影像感 -22- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (請先閱讀背面之注意事項再填寫本頁) ^1 11 ϋ i»i n i·— «^1 一-口、I ^1 I ϋ n I— 533355 A7 B7 五、發明說明（2〇 ) (請先閱讀背面之注意事項再填寫本頁) 測器上之投影即與自影像感測器看去係通過影像感測器1 5 之中心並且平行於其垂直側之Y '軸相比較。Y軸與Y ·軸之 間之角度偏差即爲影像器之轉動。此項轉動係以計算方式 使影像感測器沿軸Μ旋轉直至校驗目標之Y軸與影像感測 器之Υ ’軸平行而得補償。當轉動已得到補償時，代表校驗 目標之角隅點亦以計算方式移動以化表自影像感測器看到 之由於轉動補償所產生之形像。補償之校驗目標7 5經例示 於圖8 d中。 以下爲例示上述之Visual Basic中之一示範程式：
Public Sub gs一UndoRollWjm(src As VTXLIST2D，res As VTXLIST2D，dTwist As Double) 'dTwist 爲經驗測之轉動角 度， 1當成像裝置之方向業經就C x，C y予以改正之後取消轉動
Dim dalphal As Double
Dim dalpha2 As Double
Dim dAlpha As Double
Dim vl As VERTEX3D
Dim v2 As VERTEX3D
Dim i As Integer 經濟部智慧財產局員工消費合作社印製 1以atn x/y界定之角度繞Z軸旋轉 dalphal = Atn(src.vx2A(l).dx / src.vx2A( 1 ).dy) dalpha2 = Atn(src.vx2A(2).dx / src.vx2A(2).dy) dAlpha = (dalphal + dalpha2) / 2 '取算術平均値
dTwist = -dAlpha * 190 / const PI -23- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） A7 A7
五、發明說明（21 ) '模擬取消就影像之5校驗點之轉動
For i = LBound(src.vx2A) To UBound(src.vx2A) vl.dx = src.vx2A(i).dx vl.dy = src.vx2A(i).dy v 1 .dz = 0
Call gs一rot3dZ(dAlpha，vl，v2) res.vx2A(i).dx = v2.dx res.vx2A(i).dy = v2.dy Next i End Sub 圖6之方塊6 4例示決定針孔之緯度位置。緯度決定針孔 相對於校驗目標之垂直位置。針孔之緯度由校驗目標之頂 郅點與中心點之間之長度及其底部點與中心點之間之長度 決定。影像感測器於由γ軸及針孔位置所界定之一平面中 繞校驗目標之中心點以計算方式以徑向移動。成像装置之 方向維持於影像感測器保持位於由校準目標之中心及重定 位針孔所界定之軸上之情況。使影像感測器移動，直至頂 邵點與中心點之間之長度及底部點與中心點之間之長度， 自影像感測器看去爲相等爲止。於此時，針孔業已以計算 方式移進X-Z平面及影像感測器業已以計算方式移動之角 度爲緯度。代表校驗目標之角隅點係以計算方式轉換以代 表由於影像感測器之位置改變之自影像感測器看到之形 像。 以下爲例示上述説明之Visual Basic中一示範性程式： -24- 本紙張尺度義中國國家標準（CNS)A4規格⑽x 297公釐） ---1*---------^裝--------訂---------^wi (請先閱讀背面之注音？事項再填寫本頁} 經濟部智慧財產局員工消費合作社印製 533355 A7 B7 五、發明說明（22 )
Public Sub gs_UndoLatitudeWjm(src As VTXLIST2D? res As VTXLIST3D, proj As VTXLIST2D，dLatitude As Double) (請先閱讀背面之注意事項再填寫本頁) •經由自y之二方向之中點之角度之比較找出緯度
Dim dml As Double
Dim dm2 As Double
Dim dm3 As Double
Dim vl As VERTEX3D
Dim v2 As VERTEX3D
Dim v3 As VERTEX3D
Dim v4 As VERTEX3D
Dim i As Integer
Dim dAlpha As Double
dml = src.vx2A(l).dy / f2_dCAMF
dm2 = src.vx2A(2).dy / f2_dCAMF
If Abs(dml + dm2) > 0.000000000001 Then dm3 = 2 * dml * dm2 / (dml + dm2) dAlpha = Atn(dm3) - const PI / 2
Else 經濟部智慧財產局員工消費合作社印製 dm3 = 1E+100 dAlpha = 0 End If
•dalpha之範圍在-90°至+90°之間 If dAlpha < -const PI / 2 Then dAlpha = dAlpha + constPI -25- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 經濟部智慧財產局員工消費合作社印製 533355 A7 B7 五、發明說明（23)
End If
dLatitude = dAlpha * 190 / const PI
Dim vpLatVec As VERTEX3D
Dim vpl As VERTEX3D
Dim vp2 As VERTEX3D
Dim vp3 As VERTEX3D
Dim vp4 As VERTEX3D
Dim vp5 As VERTEX3D
Dim vll As VERTEX3D
Dim vl2 As VERTEX3D
Dim vPt As VERTEX3D 7夂正顯示： •產生向緯度方向傾斜之一向量 vpLatVec.dx = 0 vpLatVec.dy = Cos(dAlpha) vpLatVec.dz = Sin(dAlpha) vp 1 .dx = 0 vp 1 .dy = 0 vpl .dz = 0
Call gs_vec3ToNormalPlane(vpLatVec? vp2? vp3) yp4.dx = 1 vp4.dy = 0 vp4.dz = 0 vp5.dx = vpLatVec.dx -26- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (請先閱讀背面之注意事項再填寫本頁) 裝 ----訂---------. 經濟部智慧財產局員工消費合作社印製 533355 A7 B7 五、發明說明（24) vp5.dy = vpLatVec.dy vp5.dz = vpLatVec.dz •使平面自針孔移至ccd之中心 vpl.dz = vpl.dz - f2_dCAMF vp2.dz = vp2.dz - f2_dCAMF vp3.dz = vp3.dz - f2_dCAMF vp4.dz = vp4.dz - f2_dCAMF vp5.dz = vp5.dz - f2_dCAMF vl 1 .dx = 0 vl 1 .dy = 0 vl 1 .dz = 0 res.vx3 A(0).dx = src.vx2A(0).dx res.vx3 A(0).dy = src.vx2A(0).dy res.vx3 A(0).dz = -f2_dCAMF ’模擬取消緯度 For i = 1 To 4 vl2.dx = src.vx2A(i).dx vl2.dy = src.vx2A(i).dy vl2.dz = -f2_dCAMF If i < 3 Then
Call gf_bPlaneLineIntersection(vpl，vp4, vp5，vll，vl2，vPt) Else
Call gf_bPlaneLineIntersection(vp 1 ? vp2? vp3? vl25 vPt)
End If -27- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (請先閱讀背面之注意事項再填寫本頁) 裝--------訂---------· 533355 A7 B7 五、發明說明（25) \繞X軸旋轉 (請先閱讀背面之注意事項再填寫本頁) vPt.dz = vPt.dz + f2_dCAMF Call gs_rot3dX(-dAlpha? vPt5 v3) ，將每一事項移回f距離
v3.dz = v3.dz - f2_dCAMF res.vx3A(i) = v3 ’投影於影像感測器平面
Call gs_project3Planar(-f2_dCAMF5 v3? v4) proj .vx2A(i).dx = v4.dx proj .vx2A(i).dy = v4.dy
Next i
End Sub 經濟部智慧財產局員工消費合作社印製 圖6之方塊6 5例示決定針孔之經度位置。經度決定針孔 在X軸上相對於所選定之座標系統之位置。經度決定於成 像於影像感測器中之校驗目標之左方點與中心點間之長度 及右方點與中心點間之長度。影像感測器以計算方式以徑 向圍繞乂_冗平面中之校驗目標移動。成像裝置之方向係予 以改變，以使影像感測器之中心保持於由校準目標之中心 及重定位針孔所界定之軸上。影像感測器使之移動，直至 自影像感測器看去左方點與中心點之間之長度等於右方點 與中心點之間之長度爲止。此時，針孔業已移動之角度爲 經度。代表校準目標之角隅點可以計算方式轉換以代表由 於影像感測器之位置改變自影像感測器所看到之形像。 以下爲例示上述説明之Visual Basic中之一示範性程式： -28- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 533355 經濟部智慧財產局員工消費合作社印製 A7 B7 五、發明說明（26)
Public Sub gs_UndoLongitudeWjm(src As VTXLIST3D, res As VTXLIST3D，proj As VTXLIST2D, dLongitude As Double) '經由對於x之二方向之中點之角度之比較找出經度 Dim dml As Double Dim dm2 As Double Dim dm3 As Double Dim vl As VERTEX3D Dim v2 As VERTEX3D Dim v3 As VERTEX3D Dim v4 As VERTEX3D Dim i As Integer Dim dA As Double Dim dAlpha As Double •首先取得點3在y z平面中之投影 Call gs_project3Planar(-f2_dCAMF? src.vx3A(3)? vl)
Call gs_project3Planar(-f2_dCAMF5 src.vx3A(4)? v2) 其次找出在xz平面中自0點至點3乏角度爲何 dml = vl .dx / vl .dz dm2 = v2.dx / v2.dz If Abs(dml + dm2) > 0.000001 Then dm3 = 2 * dml * dm2 / (dml + dm2)
Else dm3 = 1000000 End If -29- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (請先閱讀背面之注意事項再填寫本頁) 裝--------訂---------· 533355 A7 B7 五、發明說明（27) dAlpha = const_PI / 2 - Atn(dm3) (請先閱讀背面之注意事項再填寫本頁)
If dAlpha > const PI / 2 Then dAlpha = dAlpha - const PI / 2 dLongitude = dAlpha * 190 / const PI •模擬經度之取消 For i = 0 To 4 v2 = src.vx3A(i) ，藉做成z 0而模擬移至針孔平面 v2.dz = v2.dz + f2_dCAMF •繞y軸旋轉
Call gs_rot3dY(dAlpha? v25 v3) ，將每一事項移回f距離
v3.dz = v3.dz -f2_dCAMF res.vx3A(i) = v3 '投影於影像感測器平面
Call gs_project3Planar(-f2_dCAMF，v3，v4) proj .vx2A(i).dx = v4.dx proj .vx2A(i).dy = v4.dy
Next i
End Sub 經濟部智慧財產局員工消費合作社印製 圖6之方塊6 6例示決定針孔之半徑。此半徑爲針孔與所 選擇之座標系統之原點之間之距離。此半徑例如可以下述 方式決定。由校驗目標可得知校驗目標之角隅點與中心點 之間之距離。由影像感測器可以像素爲單位計量校驗目標 之影像角隅點及中心點。由於針孔長度爲已知，因此半徑 -30- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 533355 A7 B7 五、發明說明（28) 可以下式界定
Radius^PL^AVX') (請先閱讀背面之注意事項再填寫本頁) 式中V爲校驗目標之一角隅點與一中心點之距離及X，爲 在影像感測器處之角隅點及中心點之影像距離.
以下爲例示上述説明之Visual Basic中之一示範性程式： Public Sub gs_DetermineDistanceWjm(src As VTXLIST3D res As VTXLIST3D，proj As VTXLIST2D, dDistance As
Double) res =src End Sub 經濟部智慧財產局員工消費合作社印製 在當對應於校驗目標7 5之相對點之長度改變爲較爲不重 要時，則有需要設置一額外之校驗點，此校驗點突出於校 準目標7 5所在之平面之外，以其相對於其餘之目標點 7 6，7 7言爲更靠近影像感測器。由於此額外之點較靠近 影像感測器，因此，此額外之點較之校驗目標7 5上之點 7 6，7 7更易受到影像感測器之方向改變之影響。圖1 〇例 示具有一菱形之示範性校驗目標1 〇 1，其一點108以正常方 式自校驗目標101之平面突出。如圖中所示，此係藉自校 驗目標101之平面突出之一三角形平面而達成。突出之角 度可爲45 ° 。一校驗點1〇8係使之位於此突出之三角形 上，以便使點108與校驗目標101之左方點1〇2及右方點1〇4 相對準。 現再返回參看對於圖6中方塊64之緯度之決定，具有相 對於校驗目標101之緯度之影像感測器將會檢測高於或低 -31 - 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） 533355 、發明說明（31 (請先閱讀背面之注音？事項再填寫本頁) 下’諸點之間之距離係以像素單位測量，例如，垂直線上 之點可由每一組5個像素組成。需注意者，藉控制相關 =直線數目及自每一垂直線轉換爲點之數目，可獲致3_D '貝料中所需之資料點之數目。方塊122例示決定自垂直線 轉換爻點之數目及將一第二計數器設定爲丨，以其表示此 吹疋之點爲第一點。方塊124例示計算源自此指定點及通 過右方成像裝置之針孔之一「視線」以將此視線投射於3_ D二間中。於視線之某一點處，其座標爲未知，此某一點 將與目標物體中之一垂直線相交，而此一垂直線係與產生 ‘定點之該垂直線相關。目標物體處之相交點亦與右方影 像感測器中之指定點之位置相對應。根據一具體實例，右 方影像感測器之視線可以下述方式產生。 經濟部智慧財產局員工消費合作社印製 現參看圖7，右方成像裝置15之針孔P之位置由於右方 成像裝置之校驗，而於所選定之座標系統中爲已知。需注 意者’針孔P係位於距中心之一固定距離p L處並且與影像 感測器成正交。根據本實例，現設定影像感測器1 5包括 640x480像素陣列。然而，熟諳本行技術者將可看出亦可 使用其他尺寸之像素陣列。當使用針孔p作爲一成像裝置 座標系統之原點時，影像感測器1 5中之每一點位置均可以 針孔P爲參考，而以像素値，△ Y,，PL)表示，式中 △ X·爲指定之點距離影像感測器1 5在X I軸位置之偏差， △ Yf爲指定之點距影像中心1 5在Y，軸位置之偏差，PL爲 一已知之固定値，其爲在Z，軸之一固定距離，所有三個數 値均以像素單位測量。由於使用此座標及對應於指定點之 -34- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐）
533355 五、發明說明（32 ) 數値（AX’，ΛΥ，，PL)，因而使針孔座標在所選擇之座標系 統中爲已知’因而可產生對應於用於指定點視線之一方程 式。圖1 2例示一視線l 1以其代表右方影像感測器丨5之指 定點。 方塊126例示決定左方影像感測器丨4之相關垂直線中相 對於右方影像感測器丨5之指定點。一旦決定對應之點，由 於左方針孔之座標經由校驗而於所選擇之座標系統中爲已 知，及該點之位置値可以上節所説明之方式決定，遂可獲 致代表對應點視線之一方程式。圖丨2例示代表左方影像感 測器1 4之對應點之一視線l 2。根據一具體實例，左方影 像1 4中之對應點可藉使右方影像感測器丨5之視線L1"掃描，, 至左方影像感測器1 4上而決定。由於左方及右方影像感測 器中之相關垂直線對應於目標物體中之相同之垂直線，右 方影像感測器之視線與目標物體之由左方影像感測器看去 之垂直線二者之交點遂可爲對於右方影像感測器之指定點 之對應點。方塊126可以類似方式解釋以有助於對此程序 之暸解。 現假足垂直線中成像於右方影像丨5之指定點D i能發射 光L1之光束’且此光束能通過成像裝置13之右方針孔pR 及通過空間。左方成像裝置丨2可於其影像感測器丨4上自 其視野檢測此L 1光束。經檢測之l 1光束與左方感測器丄4 之交點可予以決定，而後者之垂直線則與產生指定點之右 方影像感測器1 5中之垂直線相關聯。交點〇 2可爲左方影 像感測备中指定點D 1之對應點。自交點d 2，一光束L 2可 -35- 本紙張尺度巾_家標準（CNS)A4規格（210 X 297公釐） ——l·--------钃裝---- (請先閱讀背面之注意事項再填寫本頁) 111111. 經濟部智慧財產局員工消費合作社印製 533355 A7 B7 五、發明說明（33) (請先閱讀背面之注意事項再填寫本頁) 被投射以其通過左方成像感測器之左方針孔P L及與光束 L 1相交。二光束L 1與L 2之交點將爲目標物體中對應於右 方感測器中之指定點之一點之所選擇之座標系統中之X， Y，Z座標，此一點即爲目標物體之3-D資料中之一點。當 然，在事實上，上述説明係以數學方式實施。
以下爲一示範程式，係以Visual Basic形式寫出，用以例 示實施上述説明之數學程序。 tc MakeLineOfSight vx2A? ln3A? objA •上述第一程序例示自右方影像感測器產生一右方視線， 其中右方視線之座標對應於根據校驗之所選擇之座標系統· tc_Ln30bjMakeLn2 1η3Α? 1η2Α? objB •上述第二程序例示將得自所選擇之座標系統右方影像感 測器之右方視線轉化爲一左方之成像裝置座標系統。右方 視線經掃描至左方影像感測器|
If gf_bContourLineIntersection(ln2A? cn2B? vx2B) *上述之第三程序例示找出左方影像感測器上之經掃描之 右方視線與成像於左方影像感測器上之垂直線之交點，而 此後者之垂直線係與產生右方視線之右方影像感測器上之 垂直線相關聯1 經濟部智慧財產局員工消費合作社印製
Call tc_MakeLine0fSight(Vx2B? ln3B, objB) •上述之第四程序例示產生左方影像感測器之交點處之左 方視線及所選擇座標系統中左方針孔之座標'
If gf_bLineDistance3D(ln3Α? 1η3Β? νχ3Α5 dDist) = False Then’產生 vx3A -36- 本紙張尺度適用中國國家標準（CNS)A4規格（210 x 297公釐） 533355 A7 B7 五、發明說明（34 ) (請先閱讀背面之注意事項再填寫本頁) •上述之第五程序例示右方與左方視線之交點，其中如果 無交點，則右方視線與右方視線最靠近之點被指定爲交點· 以下之子程式以更詳盡方式例示第一程序：
Public Sub tc_MakeLineOfSight(vx2In As VERTEX2D， ln30ut As LINE3D，obj2D As Object)
Dim vx2A As VERTEX2D Dim dDist As Double dDist = 50 vx2A.dx = vx2In.dx obj2D-f2_iCAMCx / 2’ obj2D '決定
影像感測#之中心XU vx2A.dy = vx2In.dy obj2D.f2_iCAMCy / 2 I決定影像感測 器之中心Υ·軸，
•上述二條線例示決定右方影像感測器之中心及指定右方 成像裝置座標系統中之座標（0,0)· ln30ut.vx3A.dx = obj2D.f2_dLOSStart * vx2A.dx / obj2D. f2_dCAMF
ln30ut.vx3A.dy = obj2D.f2_dLOSStart * vx2A.dy / obj2D. f2_dCAMF
In30ut.vx3 A.dz = -obj2D.f2_dLOSStart 經濟部智慧財產局員工消費合作社印製 •上述三條線例示指定右方視線之一起點，界定於右方成 像裝置座標系統中之座標’
ln30ut.vx3B.dx = obj2D.f2_dLOSEnd * vx2A.dx / obj2D. f2_dCAMF ln30ut.vx3B.dy = obj2D.f2_dLOSEnd * vx2A.dy / obj2D. -37- 本紙張尺度適用中國國家標準（CNS)A4規格（210 x 297公釐） 一 533355 A7 _____B7__ 五、發明說明（35 )
f2—dCAMF ln30ut.vx3B.dz = obj2D.f2_dLOSEnd (請先閱讀背面之注意事項再填寫本頁) •上述三條線例示指定右方視線之一終點，界定於右方成 像裝置座標系統中之座標* •需注意該等起點及終點可由使用者界定，如此起點與終 點之間之距離可充分與目標物體相交。舉一例而言，如果 目標物體距右方影像感測器爲4呎，起點可指定爲0.5呎處 及終點可指定爲6呎處·
Call gx_XformCameraToWorld(ln30ut.vx3A? In30ut.vx3A， obj2D)
Call gx_XformCameraToWorld(ln30ut.vx3B，ln30ut_vx3B， obj2D) •將起點與終點之座標自右方成像座標系統轉換爲所選定 之座標系統中之座標|
End Sub 1以下之子常式例示將成像裝置座標系統中之點轉換爲所 選擇之座標系統中之座標1
Public Sub gs_XformCameraToWorldWjm(vx3In As VERTEX3D，vx30ut As VERTEX3D，obj2D As Object) 經濟部智慧財產局員工消費合作社印製
Dim vl As VERTEX3D Dim v2 As VERTEX3D Dim vRot As VERTEX3D Dim dCosAngle As Double Dim dAngle As Double -38- 本紙張尺度適用中國國家標準（CNS)A4規格（210 x 297公釐） 經濟部智慧財產局員工消費合作社印製 533355 Α7 Β7 五、發明說明（36)
Dim dTwist As Double Dim dLongitude As Double Dim dLatitude As Double Dim dDistance As Double
Call gs_rot3dCOxCOyWjm(vx3In5 obj2D5 False, v2) vl = v2 ，上述之呼叫常式對於影像感測器之方向C x及C y値予以 補償，以將右方成像裝置座標系統轉換爲所選擇之座標系 統，Cy値可藉在X*軸中之一角旋轉而獲致，此角旋轉係 用爲改變Y Z '平面之位置。右方視線之起點及終點亦係 藉角旋轉而得補償，其旋轉之數量可供Υ^Ζ'平面之改變。 C X數値之補償可藉對於Υ '軸之角旋轉獲致，此角旋轉改 變Χ’-Ζ'平面之位置。視線之起點及終點係由可供Υ'-Ζ'平面 改變之角旋轉量而得補償。當方向C X及C y係就右方成像 裝置而被補償時，右方成像感測器之中心係與右方成像裝 置之針孔及所選擇之座標系統之原點相對準。右方視線之 起點及終點之新位置反映右方影像感測器之改變後之位置 之觀點。’ dTwist = obj2D.f2_dCAMTtwist * const PI / 190 Call gs_rot3dZ(-dTwist，vl，v2) vl = v2 ，上述之呼叫常式對於右方影像感測器之相對於所選擇之 座標系統之轉動提供補償。轉動値之補償可藉角旋轉而獲 致，此角旋轉改變Χ，·Υ'平面之位置。右方視線之起點及終 -39- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (請先閱讀背面之注意事項再填寫本頁) 裝--------訂---------. 經濟部智慧財產局員工消費合作社印製 533355 A7 B7 五、發明說明（37) 點係由可供又，_^平面改變之角旋轉量而得補償。右方視線 之起點及終點之新位置反映右方影像感測器之改變後之位 置之觀點。’ 1沿子軸移動f而進入眞實世界之中心 dDistance = obj2D.f2_dCAMZ vl.dZ = vl.dZ + dDistance •上述三條線例示對於經轉換之右方成像裝置座標系統之 半徑予以補償。需注意一旦C X，C y及轉動業已受到補 償，右方成像裝置座標系統係與原點在右方成像裝置之針 孔處之所選擇之座標系統相校準。藉使針孔之原點移至所 選擇之座標系統之原點，右方視線之起點及終點之位置反 映右方影像感測器在原點處之觀點。此係藉對於右方成像 裝置座標系統之半徑，緯度角度及經度角度之補償使座標 系統成爲所選擇之座標系統而得實施。* dLatitude = obj2D.f2_dCAMTlat * const PI / 190 Call gs_rot3dX(-dLatitude? vl5 v2) vl = v2 •上述三條線例示對於緯度角度之補償。· dLongitude = obj2D.f2_dCAMTlong * const PI / 190 Call gs_rot3dY(dLongitude，vl，v2) vl = v2 ，上述三條線例示對於經度角度之補償。I vx30ut = v2 End Sub -40- 本紙張尺度適用中國國家標準（CNS)A4規格（210 x 297公釐） -------------裝--------訂·-------- (請先閱讀背面之注意事項再填寫本頁) 533355 A7 ____B7_ 五、發明說明（38 ) (請先閱讀背面之注意事項再填寫本頁) 以下爲供次常式呼叫用之示範性代碼以補償影像感測器 之方向C X及C y數値，以將右方成像裝置座標系統轉換爲 所選擇座標系統。*
Public Sub gs_rot3dC0xC0yWjm(vx3In As VERTEX3D, obj2D As Object, forward As Boolean, vx30ut As VERTEX3D)
Dim vx2vl As VERTEX2D Dim vx2v2 As VERTEX2D Dim vx3vl As VERTEX3D Dim vx3v2 As VERTEX3D Dim vx3Rot As VERTEX3D Dim dCosAngle As Double Dim dAngle As Double *產生經改正之2 d座標 vx2vl.dx = obj2D.f2_iCAMC0x - obj2D.f2_iCAMCx / 2 vx2vl.dy = obj2D.f2_iCAMC0y - obj2D.f2_iCAMCy / 2 '經由圍繞由針孔，cox，coy，及針孔，0,0((x，y，z)爲單位 向量）而跨越之法線之旋轉而取消cox，CO〆。 經濟部智慧財產局員工消費合作社印製 *就二已知點而建立3 d向量 vx3vl.dx = 0 vx3vl.dy = 0
vx3vl.dZ = obj2D.f2_dCAMF vx3v2.dx = vx2v2.dx vx3v2.dy = vx2v2.dy vx3v2.dZ = obj2D.f2_dCAMF -41 - 本紙張尺度適用中國國家標準（CNS)A4規格（210 x 297公釐） 經濟部智慧財產局員工消費合作社印製 533355 A7 B7 五、發明說明（39) ，取得旋轉角及正交向量
Call gs_CosAngle3(vx3vl? vx3v2? dCosAngle)
Call gs_ArcCos(dCosAngle5 dAngle)
If bForward = False Then dAngle =-dAngle End If
Call gs_orth3(vx3vl? vx3v2? vx3Rot)
Call gs_rot3dVec(dAngle，vx3Rot，vx3In，vx30ut) 1下列之子常式進一步詳細例示第二程序’
Public Sub tc_Ln30bjMakeLn2(ln3A As LINE3D, ln2A As LINE2D, obj2D As Object)
Dim vx2A as VERTEX2D Dim vx2B as VERTEX2D Dim vx3AWorld As VERTEX3D Dim vx3ACam As VERTEX3D Dim vx3BWorld As VERTEX3D Dim vx3BCam As VERTEX3D *將3D線轉換爲攝影機座標 vx3AWorld = 1η3Α.νχ3Α vx3BWorld = 1η3Α.νχ3Β
Call gs_XformWorldToCamera(vx3 AWorld, vx3 ACame， vx2A，obj2D) *上述之呼叫常式將所選擇之座標系統中右方視線之起點 轉換爲左方成像裝置座標系統中左方影像感測器中之一座 -42- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (請先閱讀背面之注意事項再填寫本頁) · 11-----訂-------- 經濟部智慧財產局員工消費合作社印製 533355 A7 B7 五、發明說明（4〇 ) 標，
Call gs_XformWorldToCamera(vx3B World, vx3BCame， Vx2B，obj2D) •上述呼叫常式將經選擇之座標系統中之右方視線終點轉 換爲左方成像裝置座標系統中之左方影像感測器平面中之 一座標。· 1η2Α.νχ2Α = νχ2Α 1η2Α.νχ2Β = vx2B End Sub 以下爲將經選擇之座標系統中之一點轉換爲成像裝置座 標系統中之一點之一示範性呼叫常式。以下之常式可應用 於右方視線之起點及終點。’
Public Sub gs_XformWorldToCameraWjm(vx3In As VERTEX3D, vx30ut As VERTEX3D, obj2D As Object)
Dim dAlpha As Double Dim dBeta As Double Dim dF As Double Dim dDistance As Double Dim dLongitude As Double Dim dLatitude As Double Dim dTwist As Double Dim vx3Rot As VERTEX3D Dim iCOx As Integer Dim iCOy As Integer -43- 本紙張尺度適用中國國家標準（CNS)A4規格（210 x 297公釐） (請先閱讀背面之注意事項再填寫本頁) 裝--------訂--- 經濟部智慧財產局員工消費合作社印製 533355 A7 B7 五、發明說明（41 )
Dim iCx As Integer Dim iCy As Integer Dim vx3vl As VERTEX3D Dim vx3v2 As VERTEX3D dLongitude = obj2D.f2_dCAMTlong * 3.1415926 / 180 dLatitude = obj2D.f2_dCAMTlat * 3.1415926 / 180 dTwist = obj2D.f2_dCAMTtwist * 3.1415926 / 180 dF = obj2D.f2_dCAMF dDistance = obj2D.f2_dCAMZ Call gs_rot3dY(-dLongitude? vx3In? vx3v2) ，上述呼叫常式將左方成像裝置之針孔之經度角度應用於 所選擇之座標系統中之一點。1 vx3vl = vx3v2
Call gs_rot3dX(dLatitude5 vx3vl? vx3v2) '上述呼叫常式將左方成像裝置之針孔之緯度角度應用於 所選擇之座標系統中之一點。| vx3vl = vx3v2 vx3vl.dZ = vx3vl.dZ -dDistance ，上述呼叫常式將左方成像裝置之針孔之半徑應用於所選 擇之座標系統中之一點。|
Call gs_rot3dZ(dTwist? vx3vl? vx3v2) •上述呼叫常式將左方影像感測器應用於所選擇之座標系 統中之一點。· vx3vl = vx3v2 -44- 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (請先閱讀背面之注意事項再填寫本頁) 裝--------訂---------· 533355 經濟部智慧財產局員工消費合作社印製 A7 ________ Β7 _ ------_ 五、發明說明（42 ) 'apply cOx?cOy
Call gs一rot3dC0xC0yWjm(vx3vl，obj2D，True，νχ3ν2) •上述呼叫常式將影像感測器之Cx及Cy應用於所選擇之 座標系統之一點。’ vx3vl = vx3y2 vx30ut = vx3v2 End Sub 需注意者，一旦右方成像裝置座標系統中之起點及終點 之座標業已轉換爲左方成像裝置座標系統中之座標，可妒 爲左方成像裝置座標系統之原點之左方成像裝置之針孔， 可用以將經轉換之起點及終點投影於左方成像感測器上。 換T之’自左方成像裝置座標系統中之起點及終點之已知 座標，左方針孔之已知座標，有關通過針孔及影像感測器 之二方程式可予以決定，此二方程式對應於起點及終點之 視線。自左方成像裝置之已知針孔長度，可決定左方影像 感測器位置上之二點。自此位置之二點，可有一線掃=於 左方影像感測器上，此一線對應於由左方影像感測器所看 到之第一成像裝置之視線。 於方塊126，計算裝置決定位於左方影像感測器14之對 應點D 2 (見圖1 2 )及使用經由校驗所決定之左方針孔p l之 已知X Y，Z座“，即導出代表通過對應點d 2及左方針 孔PL之一方程式。方塊128例示使用自方塊124及方塊 導出之方私式计算裝置计算對應於右方影像感測器之指定 點處之物體上一點之X，γ，z座標。需注意者此等方程 -45- 本紙張尺度顧巾關家標準（CNS)A4規格（210 x 297公釐^ ί請先閱讀背面之>i音？事項再填寫本頁) 裝 訂i —

Claims (1)

  1. A8 B8 C8 D8 573號專利申請案 中读利範圍替換本(92年3月） 申請專利範圍 1· 一種捕捉立體影像之裝置，其包括： 一有折射元件之光源在目標物件上投射一結構化光； 一與該折射元件耦合之濾波器用來將被投射在該目標 物件上之該結構化光編碼，其中該結構化光之編碼讓 該結構化光之一第一組件與該結構化光之一第二組件 被區別；以及 複數個成像元件用來捕捉該目標物件之影像，其中該 複數個成像元件收集·· 該目標物件表面之至少一 該目標物件表面之至少一 目標物件相關之紋理資料； 部分之一第一影像； 部分之一第二影像；及與該 該1數個成像Tt件包括至少二單色之成像幻牛用來收 集茲第-影| &第二影像以及i少一 $色成像元件用 來收集該紋理資料。 2·如中請專利f丨項之的裝置’其中該裝置進一步用該 第-影像和第二影像形成一該目標物件之至少一部分 之立體影像。 3. 如申：專利帛i項之裝置，更包括一計算元件用來處 理孩第一影像，第二影像和紋理資料並且用來產生的 -該目標物件之至少-部分之三度空間模型。 4. 如申請專利$ 3項之裝置，其中該目標物件之至少一 部分之三度空間模型之產生包括： 從该第一影像和第二影像中取出對應之三度空間資料 複數個點；及 本紙張尺度適用中國国豕標準(CNS) A4規格(210 X 297公袭)
    A8 B8 C8 D8 申請專利範園 根據一預定運算法則在複數個點之間形成線群用來形 成該目標物件部分之一表面結構。 5. 如申請專利第1項之裝置，其中該光源產生該結構化 光在非可見光譜中放射光。 6. 如申請專利第4項之裝置，其中該第一、第二影像及 紋理資料同時發生地被捕捉。 7·如申請專利第5項之裝置，其中捕捉該第一影像和第 二影像之該成像元件被調適用來捕捉已被該光源放射 出之不可見之反射光。 8·如申請專利第1項之裝置，其中產生該結構化光之該 光源在可見光譜中放射光。 9.如申請專利第8項之裝置，其中該結構化光在該紋理 資料被捕捉之前是不連續的。 10·如申請專利第1項之裝置，其中該結構化光包括至少 一線群，網格集，點集，或線段集。 H.如申請專利第1項之裝置，其中該結構化光被包括在 光線群之中，及該結構化光編碼更進一步包括將該光 線群編碼進一光線段之内以致於一光線段和一連續的 光線段有不同的分段結構。 12·如申請專利第i項之裝置，其中每一該複數個成像元 件是一手提攝影機或一數位相機。 13·如申請專利第1項之裝置，更包括一記憶體元件用來 儲存被該複數個成像元件產生之資料。 14· 一種捕捉立體影像之裝置，其包括： -2- 本紙張尺度適用中國國家標準(CNs) A4規格(210X297公釐)
    A B c D 六、申請專利範圍 一有折射元件之光源在目標物件上投射一結構化光； 一與該折射元件耦合之濾波器用來將被投射在該目標 物件上之該結構化光編碼，其中該結構化光之編碼讓 該結構化光之一第一組件與該結構化光之一第二組件 被區別；該光源產生於非可見光譜中放射光之該結構 化光；以及 複數個成像元件用來捕捉該目標物件之影像，其中該 複數個成像元件收集： 該目標物件表面之至少一部分之一第一影像； 該目標物件表面之至少一部分之一第二影像；及與該 目標物件相關之紋理資料；該第一影像及第二影像及 該紋理資料是被同時地捕捉。 15·如申請專利第1 4項之的裝置，其中該裝置進一步用該 第一影像和第二影像形成一該目標物件之至少一部分 之立體影像。 16·如申請專利第14 ^之裝置，更包括—計算元件用來處理 孩第一影像，第二影像和紋理資料並且用來產生的一該目 標物件之至少一部分之三度空間模型。 Π_如申請專利第16J員之裝置’其中該目標物件之至少一部 分之三度$間模型之產生包括： 從該第-影像和第二影像中取出對應之三 複數個點；及 根據-預定運算法則在複數個點之間形成線群用來形 成孩目標物件部分之一表面結構。
    18·如申請專利第1 4項之裝置，其中捕捉該第一影像和第 二影像之該成像元件被調適用來捕捉已被該光源放射 出之不可見之反射光。 19.如申請專利第1 4項之裝置，其中該結構化光包括至少 —線群，網格集，點集，或線段集。 2〇·如申請專利第1 4項之裝置，其中該結構化光被包括在 光線群之中，及該結構化光編碼更進一步包括將該光 線群編碼進一光線段之内以致於一光線段和一連續的 光線段有不同的分段結構。 21. 如申請專利第1 4項之裝置，其中每一該複數個成像元 件是一手提攝影機或一數位相機。 22. 如申請專利第1 4項之裝置，更包括一記憶體元件用來 儲存被該複數個成像元件產生之資料。 23· —種捕捉立體影像之方法，其包括： 投射一編碼之結構化光於一目標物件上，其中該結構 化光之編碼讓 該結構化光之一第一組件與該結構化光之一第二組件 被區別； 藉由捕捉該目標物件之一第一影像及一第二影像以產 生該目標物件 至少一部分的一立體影像，該第一影像和第二影像被 至少二單色之 成像元件所捕捉；及 捕捉與該目標物件相關之紋理資料，該紋理資料被至 -4- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐)
    少一彩色成 像元件所捕捉。 24. 如申請專利第23項之方法，其中該第—影像和第二影 像重疊。 ' 25. 如申請專利帛23項之方法’更包括一計算元件用來處理 该互體影像及孩紋理資料並且用來產生的一該目標物件之 至少一部分之三度空間模型。 26·如申請專利第2 5項之方法，其中該目標物件之一部分 之三度空間模型之產生包括： ” k该第一影像和第二影像中取出對應之三度空間資料 複數個點；及 根據一預定運算法則在複數個點之間形成線群用來形成 該目標物件部分之一表面結構。 27.如申印專利弟2 3項之方法，其中該結構化光在非可見 光譜中放射光。 28·如申請專利第2 7項之方法，其中該第一、第二影像及 紋理資料同時發生地被捕捉。 29·如申請專利第2 7項之方法，其中捕捉該第一影像和第 二影像之複數個成像元件及該複數個成像元件被調適 用來捕捉已被該光源放射出之不可見之反射光。 30. 如申請專利第2 3項之方法，其中該結構化光在可見光 譜中放射光。 31. 如申請專利第3 0項之方法，其中該結構化光在該紋理資 料被捕捉之前是不連續的。 -5- 本紙張尺度適用中國國家標準(CNS) A4規格(210X297公釐) 533355
    A8 B8 C8 D8 申請專利範圍 32·如中請專利第2 3項之方法’其中該結構化光包括至少 一線群，網格集，點集，或線段集。 33·如申請專利第2 3項之方法，其中該結構化光被包括在 光線群（中’及該結構化光編碼更進一步包括將該光 線群編碼進一光線段之内以致於一光線段和一連續的 光線段有不同的分段結構。 34·如申請專利第2 3項之方法，其中該第一、第二影像及 紋理資料是被一複數個成像元件所捕捉且每一該複數 個成像元件是一手提攝影機或一數位相機。 35· —種捕捉立體影像之方法，其包括： 投射一編碼之結構化光於一目標物件上，其中該結構 化光之編碼讓 該結構化光之一第一組件與該結構化光之一第二組件 被區別；該結 構化光被在非可見光譜中放射； 藉由捕捉該目標物件之一第一影像及一第二影像以產 生該目標物件 至少一部分的一立體影像；及 捕捉與該目標物件相關之紋理資料，該第一影像、第 二影像及紋 理資料同時地被捕捉。 36·如申請專利第3 5項之方法，其中該第一影像和第二影像 重疊。 37·如申請專利第3 5項之方法，更包括一計算元件用來處理 -6- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐)
    該立體影像及該紋理資料並且用來產生的一該目標物件之 至少一部分之三度空間模型。 38·如申凊專利第3 7項之方法，纟中該目標物件之一部分 之三度空間模型之產生包括： 從該第一影像和第二影像中取出對應之三度空間資料 複數個點；及 根據一預足運算法則在複數個點之間形成線群用來形成 該目標物件部分之一表面結構。 39·如申請專利第3 5項之方法，纟中捕捉該第—影像和第 一影像之複數個成像元件及該複數個成像元件被調適 用來捕捉已被該光源放射出之不可見之反射光。 4〇·如申請專利第35項之方法，其中該結構化光包括至少 一線群，網格集，點集，或線段集。 41·如申請專利第33項之方法，纟中該結構化光被包括在 光線群之中，及該結構化光編碼更進一步包括將該光 線群編碼進一光線段之内以致於一光線段和一連續的 光線段有不同的分段結構。 42·如申請專利第3 5項之方法，其中該第一、第二影像及 紋理資料是被一複數個成像元件所捕捉且每一該複數 個成像元件是一手提攝影機或一數位相機。 本紙張尺度適用中國國家標準(CNS) A4規格(21〇 X 297公釐)
    裝
    533355 第088110573號專利申請案 中文圖式修正頁(91年12月）
TW088110573A 1998-06-30 1999-06-23 Method and apparatus for capturing stereoscopic images using image sensors TW533355B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US09/108,907 US6377700B1 (en) 1998-06-30 1998-06-30 Method and apparatus for capturing stereoscopic images using image sensors

Publications (1)

Publication Number Publication Date
TW533355B true TW533355B (en) 2003-05-21

Family

ID=22324751

Family Applications (1)

Application Number Title Priority Date Filing Date
TW088110573A TW533355B (en) 1998-06-30 1999-06-23 Method and apparatus for capturing stereoscopic images using image sensors

Country Status (8)

Country Link
US (1) US6377700B1 (zh)
JP (1) JP2002519791A (zh)
KR (1) KR100407436B1 (zh)
AU (1) AU4093499A (zh)
DE (1) DE19983341B4 (zh)
GB (1) GB2354661B (zh)
TW (1) TW533355B (zh)
WO (1) WO2000000926A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI477885B (zh) * 2011-07-05 2015-03-21 Danic Ind Co Ltd 三維成像系統及方法
TWI510056B (zh) * 2011-12-27 2015-11-21 Hon Hai Prec Ind Co Ltd 3d成像模組及3d成像方法
TWI725431B (zh) * 2018-06-06 2021-04-21 大陸商Ｏｐｐｏ廣東移動通信有限公司 影像處理方法、電腦設備和可讀儲存媒體

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6858826B2 (en) * 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
JP2001165638A (ja) * 1999-02-19 2001-06-22 Sanyo Electric Co Ltd 三次元モデル提供装置及びその方法
US6751344B1 (en) * 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
JP4658787B2 (ja) * 2000-02-21 2011-03-23 シャープ株式会社 画像合成装置
US7660444B2 (en) * 2000-02-24 2010-02-09 Nokia Corporation Method and apparatus for user recognition using CCD cameras
US6775397B1 (en) * 2000-02-24 2004-08-10 Nokia Corporation Method and apparatus for user recognition using CCD cameras
JP3867512B2 (ja) * 2000-06-29 2007-01-10 富士ゼロックス株式会社 画像処理装置および画像処理方法、並びにプログラム
US6795200B1 (en) * 2000-11-13 2004-09-21 Point Grey Research Inc. Method and system for dimensioning boxes or other cuboid objects
US6997387B1 (en) * 2001-03-28 2006-02-14 The Code Corporation Apparatus and method for calibration of projected target point within an image
JP2003294416A (ja) * 2002-04-03 2003-10-15 Eng Kk ステレオ画像処理装置
US20030202124A1 (en) * 2002-04-26 2003-10-30 Alden Ray M. Ingrained field video advertising process
US7174033B2 (en) 2002-05-22 2007-02-06 A4Vision Methods and systems for detecting and recognizing an object based on 3D image data
US7257236B2 (en) 2002-05-22 2007-08-14 A4Vision Methods and systems for detecting and recognizing objects in a controlled wide area
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
CN101064004B (zh) * 2003-02-13 2010-05-26 日本电气株式会社 伪装检测装置及伪装检测方法
DE10315923A1 (de) * 2003-04-08 2004-10-28 Tbs Holding Ag Verfahren und Anordnung zur berührungslosen Detektion von Daten unebener Flächen
US7557966B2 (en) * 2004-08-11 2009-07-07 Acushnet Company Apparatus and method for scanning an object
AU2013251233B2 (en) * 2004-08-12 2014-09-04 Bioscrypt, Inc. Apparatus and method for performing enrollment of user biometric information
US7646896B2 (en) * 2005-08-02 2010-01-12 A4Vision Apparatus and method for performing enrollment of user biometric information
WO2006031147A1 (fr) * 2004-08-12 2006-03-23 A4 Vision S.A. Dispositif de controle biometrique de la surface d'un visage
AU2005285554B8 (en) * 2004-08-12 2011-11-10 A4 Vision S.A. Device for contactlessly controlling the surface profile of objects
AU2011253652B2 (en) * 2004-08-12 2013-08-01 Bioscrypt, Inc. Apparatus and method for performing enrollment of user biometric information
US7606395B2 (en) * 2004-08-25 2009-10-20 Tbs Holding Ag Method and arrangement for optical recording of data
WO2006074310A2 (en) * 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
ATE551675T1 (de) * 2005-01-21 2012-04-15 Qualcomm Inc Auf bewegung basierendes tracking
DE102005013043A1 (de) * 2005-03-18 2006-09-28 Siemens Ag Mobiler Fluoreszenz-Scanner für molekulare Signaturen
DE102005013045B4 (de) * 2005-03-18 2013-03-14 Siemens Aktiengesellschaft Fluoreszenz-Scanner für molekulare Signaturen
DE102005013042A1 (de) * 2005-03-18 2006-09-28 Siemens Ag Einrichtung zur Erzeugung von 3D-Fluoreszenz-oder Lumineszenz-Scans
DE102005013044B4 (de) * 2005-03-18 2007-08-09 Siemens Ag Fluoreszenz-Scanner
CN103257684B (zh) * 2005-05-17 2017-06-09 高通股份有限公司 方向敏感的信号输出方法及装置
GB0515915D0 (en) * 2005-08-02 2005-09-07 Isis Innovation Method and system for three-dimensional data capture
US20070047774A1 (en) * 2005-08-31 2007-03-01 Artiom Yukhin Method and apparatus for performing enrollment of 2D and 3D face biometrics
WO2007041690A2 (en) * 2005-10-04 2007-04-12 Alexander Eugene J Device for generating three dimensional surface models of moving objects
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
US8223208B2 (en) 2005-11-10 2012-07-17 Motion Analysis Corporation Device and method for calibrating an imaging device for generating three dimensional surface models of moving objects
KR101331543B1 (ko) 2006-03-14 2013-11-20 프라임센스 엘티디. 스페클 패턴을 이용한 3차원 센싱
US20070229850A1 (en) * 2006-04-04 2007-10-04 Boxternal Logics, Llc System and method for three-dimensional image capture
KR100801087B1 (ko) * 2006-07-05 2008-02-11 삼성전자주식회사 스트럭처드 라이트를 이용한 이동체 감지 시스템 및 방법,상기 시스템을 포함하는 이동 로봇
JP2010515170A (ja) * 2006-12-29 2010-05-06 ジェスチャー テック，インコーポレイテッド 機能強化したインタラクティブシステムを用いた仮想オブジェクトの操作
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
WO2008155770A2 (en) 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
US20090103783A1 (en) * 2007-10-19 2009-04-23 Artec Ventures System and Method for Biometric Behavior Context-Based Human Recognition
WO2009061423A2 (en) * 2007-11-05 2009-05-14 Doubleshot, Inc. Methods and systems for navigation and terrain change detection
US8050468B2 (en) * 2008-03-05 2011-11-01 Honeywell International Inc. Fingerprint acquisition system
US8643641B2 (en) * 2008-05-12 2014-02-04 Charles G. Passmore System and method for periodic body scan differencing
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
DE102008047413A1 (de) * 2008-09-16 2010-04-15 Hella Kgaa Hueck & Co. Vorrichtung und Verfahren zur Detektion von Objekten
US8786682B2 (en) * 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8830227B2 (en) * 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8982182B2 (en) * 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
WO2012066501A1 (en) 2010-11-19 2012-05-24 Primesense Ltd. Depth mapping using time-coded illumination
US9167138B2 (en) 2010-12-06 2015-10-20 Apple Inc. Pattern projection and imaging using lens arrays
US20120242795A1 (en) 2011-03-24 2012-09-27 Paul James Kane Digital 3d camera using periodic illumination
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
KR101188357B1 (ko) * 2011-04-21 2012-10-08 정제교 기설정 배율각을 가진 다중투사광의 2차원 영상획득을 통한 3차원 인식 방법
KR101709844B1 (ko) 2012-02-15 2017-02-23 애플 인크. 맵핑 장치 및 맵핑하기 위한 방법
JP6112807B2 (ja) * 2012-09-11 2017-04-12 株式会社キーエンス 形状測定装置、形状測定方法および形状測定プログラム
EP2909807B1 (en) * 2012-10-17 2020-02-19 Cathx Research Ltd. Improvements in relation to underwater imaging for underwater surveys
TR201811449T4 (tr) 2012-11-07 2018-09-21 Artec Europe S A R L Üç boyutlu nesnelerin doğrusal boyutlarını gözetlemek için yöntem.
US11509880B2 (en) 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
CN103278141B (zh) * 2013-03-06 2016-05-18 北京工业大学 婴幼儿睡眠监控系统及方法
WO2015152829A1 (en) 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
CN105222724B (zh) * 2015-09-10 2018-09-18 北京天远三维科技股份有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10614292B2 (en) 2018-02-06 2020-04-07 Kneron Inc. Low-power face identification method capable of controlling power adaptively
US11282231B2 (en) * 2018-12-21 2022-03-22 Sony Group Corporation Camera rig with multiple sensors
US11051001B2 (en) 2019-05-29 2021-06-29 Avigilon Corporation Method and system for generating a two-dimensional and a three-dimensional image stream
US11836940B2 (en) * 2020-06-15 2023-12-05 Zebra Technologies Corporation Three-dimensional sensor acuity recovery assistance
WO2023139254A1 (en) * 2022-01-24 2023-07-27 Trinamix Gmbh Enhanced material detection by stereo beam profile analysis

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4525858A (en) * 1983-01-03 1985-06-25 General Electric Company Method and apparatus for reconstruction of three-dimensional surfaces from interference fringes
US4639878A (en) * 1985-06-04 1987-01-27 Gmf Robotics Corporation Method and system for automatically determining the position and attitude of an object
DE8808293U1 (zh) * 1988-06-28 1989-07-27 Siemens Ag, 1000 Berlin Und 8000 Muenchen, De
DE4115401C2 (de) * 1991-05-10 1994-04-14 Rainer Dr Uhl Fluoreszenz-Meßvorrichtung zum Bestimmen der Ionenkonzentration eines Untersuchungsobjekts, das mit einem Fluoreszenzfarbstoff eingefärbt ist, dessen Anregungsmaximum sich in Abhängigkeit von der zu bestimmenden Ionenkonzentration ändert
DE4240940A1 (de) * 1992-12-06 1994-06-09 Robert Prof Dr Ing Massen Automatisierte Kreation von individualisierten Puppen und Masken
US5548418A (en) * 1994-01-14 1996-08-20 Dcs Corporation Holographic structured light generator
AU1742895A (en) * 1994-06-09 1996-01-04 Kollmorgen Instrument Corporation Stereoscopic electro-optical system for automated inspection and/or alignment of imaging devices on a production assembly line
US6028672A (en) * 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
US5615003A (en) * 1994-11-29 1997-03-25 Hermary; Alexander T. Electromagnetic profile scanner
DE19516656A1 (de) * 1995-05-05 1996-11-14 Fraunhofer Ges Forschung Verfahren zum Erfassen der dreidimensionalen Form von Objekten
US5771310A (en) * 1996-12-30 1998-06-23 Shriners Hospitals For Children Method and apparatus for recording three-dimensional topographies
JPH1062154A (ja) * 1996-08-15 1998-03-06 Oki Electric Ind Co Ltd 測定値処理方法、形状の再構成方法および形状の再構成装置
US5832107A (en) * 1996-09-19 1998-11-03 Optical Gaging Products, Inc. Optical system for stereoscopically measuring feature heights based on lateral image offsets
US5864640A (en) * 1996-10-25 1999-01-26 Wavework, Inc. Method and apparatus for optically scanning three dimensional objects using color information in trackable patches
US5838428A (en) * 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
WO1999060525A1 (en) * 1998-05-15 1999-11-25 Tricorder Technology Plc Method and apparatus for 3d representation

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI477885B (zh) * 2011-07-05 2015-03-21 Danic Ind Co Ltd 三維成像系統及方法
TWI510056B (zh) * 2011-12-27 2015-11-21 Hon Hai Prec Ind Co Ltd 3d成像模組及3d成像方法
TWI725431B (zh) * 2018-06-06 2021-04-21 大陸商Ｏｐｐｏ廣東移動通信有限公司 影像處理方法、電腦設備和可讀儲存媒體

Also Published As

Publication number Publication date
KR100407436B1 (ko) 2003-11-28
US6377700B1 (en) 2002-04-23
GB2354661A (en) 2001-03-28
JP2002519791A (ja) 2002-07-02
WO2000000926A1 (en) 2000-01-06
GB0031147D0 (en) 2001-01-31
DE19983341T1 (de) 2002-07-11
DE19983341B4 (de) 2007-07-05
AU4093499A (en) 2000-01-17
GB2354661B (en) 2002-12-04
KR20010053347A (ko) 2001-06-25

Similar Documents

Publication Publication Date Title
TW533355B (en) Method and apparatus for capturing stereoscopic images using image sensors
Zhang High-speed 3D imaging with digital fringe projection techniques
Bernardini et al. Building a digital model of Michelangelo's Florentine Pieta
US6125197A (en) Method and apparatus for the processing of stereoscopic electronic images into three-dimensional computer models of real-life objects
US20130038696A1 (en) Ray Image Modeling for Fast Catadioptric Light Field Rendering
CN104335005B (zh) 3d扫描以及定位系统
CN106454291A (zh) 用于自动配准和投影映射的系统和方法
US6195455B1 (en) Imaging device orientation information through analysis of test images
WO2009150799A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN103562934B (zh) 脸部位置检测
CN110514143A (zh) 一种基于反射镜的条纹投影系统标定方法
CN101466998A (zh) 三维绝对坐标表面成像的方法和装置
CN104903680B (zh) 控制三维物体的线性尺寸的方法
JP2013539147A5 (zh)
CN110191326A (zh) 一种投影系统分辨率扩展方法、装置和投影系统
Ma et al. Single pixel 3D imaging with phase-shifting fringe projection
CN109443239A (zh) 结构光测量方法、装置、设备、存储介质及系统
Akca et al. High definition 3D-scanning of arts objects and paintings
CN108175535A (zh) 一种基于微透镜阵列的牙科三维扫描仪
Sansoni et al. OPL-3D: A novel, portable optical digitizer for fast acquisition of free-form surfaces
Akca et al. Recording and modeling of cultural heritage objects with coded structured light projection systems
US8611674B1 (en) System and method for invariant-based normal estimation
JP3370418B2 (ja) ３次元形状測定システム
Portalés et al. An interactive cameraless projector calibration method
JP5732424B2 (ja) ３次元形状計測装置とそのキャリブレーション方法

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent
MM4A Annulment or lapse of patent due to non-payment of fees