TWI657691B - 矯正原始立體掃描結果的錯誤法向量的裝置及其相關方法 - Google Patents

矯正原始立體掃描結果的錯誤法向量的裝置及其相關方法 Download PDF

Info

Publication number
TWI657691B
TWI657691B TW106117268A TW106117268A TWI657691B TW I657691 B TWI657691 B TW I657691B TW 106117268 A TW106117268 A TW 106117268A TW 106117268 A TW106117268 A TW 106117268A TW I657691 B TWI657691 B TW I657691B
Authority
TW
Taiwan
Prior art keywords
point
normal vector
scan result
original
images
Prior art date
Application number
TW106117268A
Other languages
English (en)
Other versions
TW201902211A (zh
Inventor
陳子鴻
黃于恩
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Priority to TW106117268A priority Critical patent/TWI657691B/zh
Priority to CN201710447081.3A priority patent/CN108961427A/zh
Priority to US15/987,925 priority patent/US10573016B2/en
Publication of TW201902211A publication Critical patent/TW201902211A/zh
Application granted granted Critical
Publication of TWI657691B publication Critical patent/TWI657691B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

可矯正原始立體掃描結果的錯誤法向量的裝置包含一法向量產生單元和一矯正單元，其中該原始立體掃描結果對應於一物件。該法向量產生單元是用於根據該原始立體掃描結果上的每一點與鄰近該每一點的複數個預定點，產生對應該每一點的法向量。該矯正單元耦接於該法向量產生單元，用於決定該原始立體掃描結果的內部區域，以及當對應該原始立體掃描結果上的一點的法向量朝向該內部區域時，反向對應該點的法向量。

Description

矯正原始立體掃描結果的錯誤法向量的裝置及其相關方法
本發明是有關於一種矯正原始立體掃描結果的錯誤法向量的裝置及其相關方法，尤指一種當對應原始立體掃描結果上的一點的法向量朝向原始立體掃描結果的內部區域時，可反向對應該點的法向量的裝置及其相關方法。
立體掃描器利用一可見光在掃描一物件(例如一貓頭鷹玩具)產生對應該物件的立體掃描結果SR後，立體掃描器可根據立體掃描結果SR上的每一點與鄰近該每一點的複數個預定點，產生對應該每一點的法向量(如第1圖所示，其中第1圖僅顯示出對應立體掃描結果SR的部份橫切面SSR上的每一點的法向量)，其中如第1圖所示的部份橫切面SSR上的每一點的法向量都朝向立體掃描結果SR的外部區域OSR，且立體掃描結果SR是根據該物件的表面所產生的反射光(對應該可見光)而產生。因此，因為部份橫切面SSR上的每一點的法向量都朝向立體掃描結果SR的外部區域OSR而可正確地產生相對應的反射光，所以部份橫切面SSR上的每一點將會呈現其相對應的顏色。然而因為立體掃描器是根據立體掃描結果SR上的每一點與鄰近該每一點的複數個預定點，產生對應該每一點的法向量，所以立體掃描結果SR的另一部份橫切面ASSR上的部分點的法向量可能朝向立體掃描結果SR的內部區域ISR(例如，如第2圖所示，圓圈A內的每一點的法向量朝向立體掃描結果SR的內部區域ISR)，所以部份橫切面ASSR上的部分點(圓圈A內的每一點)將不會產生相對應的反射光，導致部份橫切面ASSR上的部分點(圓圈A內的每一點)呈現不正常顏色。例如，如第3圖所示，當對應貓頭鷹玩具的立體掃描結果SR的區域HA的每一點的法向量朝向立體掃描結果SR的內部區域ISR時，區域HA將呈現黑色。因此，如何矯正立體掃描結果SR的錯誤法向量將成為立體掃描器的設計者的一項重要課題。
本發明的一實施例提供一種可矯正原始立體掃描結果的錯誤法向量的裝置，其中該原始立體掃描結果對應於一物件。該裝置包含一法向量產生單元和一矯正單元。該法向量產生單元是用於根據該原始立體掃描結果上的每一點與鄰近該每一點的複數個預定點，產生對應該每一點的法向量。該矯正單元耦接於該法向量產生單元，用於決定該原始立體掃描結果的內部區域，以及當對應該原始立體掃描結果上的一點的法向量朝向該內部區域時，反向對應該點的法向量。
本發明的另一實施例提供一種矯正原始立體掃描結果的錯誤法向量的方法，其中應用於該方法的裝置包含一法向量產生單元和一矯正單元。該方法包含該法向量產生單元根據該原始立體掃描結果上的每一點與鄰近該每一點的複數個預定點，產生對應該每一點的法向量；該矯正單元決定該原始立體掃描結果的內部區域；當對應該原始立體掃描結果上的一點的法向量朝向該內部區域時，該矯正單元反向對應該點的法向量；於將該原始立體掃描結果上的法向量朝向該內部區域之所有點，進行法向量反向後，該矯正單元產生和輸出一矯正後的立體掃描結果。
本發明提供一種矯正原始立體掃描結果的錯誤法向量的裝置及其相關方法。該裝置和該方法是在一影像處理單元產生對應一物件的原始立體掃描結果後，利用一法向量產生單元根據該原始立體掃描結果上的每一點與鄰近該每一點的複數個預定點，產生對應該每一點的法向量，以及當對應該原始立體掃描結果上的一點的法向量朝向該原始立體掃描結果的內部區域時，利用一矯正單元反向對應該點的法向量。因此，在該矯正單元矯正該原始立體掃描結果的錯誤法向量後，該矯正單元即可產生和輸出一矯正後的立體掃描結果。因為該矯正單元可矯正該原始立體掃描結果的錯誤法向量，所以相較於現有技術，本發明可使該矯正後的立體掃描結果正確地產生相對應的反射光而呈現其相對應的顏色。
請參照第4圖，第4圖是本發明的第一實施例說明一種可矯正原始立體掃描結果的錯誤法向量的裝置100的示意圖。如第4圖所示，裝置100包含一第一影像感測單元102、一第二影像感測單元104、一深度圖產生單元106、一影像處理單元108、一法向量產生單元110及一矯正單元112，其中二影像感測單元102、104可選擇性地包含在一立體照相機101內，深度圖產生單元106和影像處理單元108耦接第一影像感測單元102和第二影像感測單元104，以及法向量產生單元110耦接於影像處理單元108和矯正單元112之間。另外，本發明並不受限於裝置100僅包含第一影像感測單元102和第二影像感測單元104，亦即裝置100可包含至少二影像感測單元。當裝置100掃描一物件114時(如第5圖所示，其中物件114為一貓頭鷹玩具)，第一影像感測單元102擷取包含物件114的複數個第一影像L1、L2、L3、…，以及第二影像感測單元104擷取包含物件114的複數個第二影像R1、R2、R3、…，其中複數個第一影像L1、L2、L3、…中每一第一影像(例如第一影像L1)對應複數個第二影像R1、R2、R3、…中一第二影像(例如第二影像R1)，裝置100並不受限於第5圖所示的外型，複數個第一影像L1、L2、L3、…與複數個第二影像R1、R2、R3、…是RGB影像或YUV影像，且複數個第一影像L1、L2、L3、…是左眼影像和複數個第二影像R1、R2、R3、…是右眼影像。但本發明並不受限於複數個第一影像L1、L2、L3、…與複數個第二影像R1、R2、R3、…是RGB影像或YUV影像，亦即複數個第一影像L1、L2、L3、…與複數個第二影像R1、R2、R3、…可以是其他色彩影像。如第4圖所示，在深度圖產生單元106接收複數個第一影像L1、L2、L3、…和複數個第二影像R1、R2、R3、…後，深度圖產生單元106可一起處理第一影像L1和與第一影像L1對應的第二影像R1以產生一對應的深度圖DP1。如此，深度圖產生單元106可根據複數個第一影像L1、L2、L3、…和複數個第二影像R1、R2、R3、…，產生複數個深度圖DP1、DP2、DP3、…。如第5圖所示，由於裝置100是掃描物件114掃描，所以複數個深度圖DP1、DP2、DP3、…可對應不同的視角。如第4圖所示，影像處理單元108是用於根據複數個第一影像L1、L2、L3、…、複數個第二影像R1、R2、R3、…和複數個深度圖DP1、DP2、DP3、…，產生對應物件114的一彩色的原始立體掃描結果TSR。但在本發明的另一實施例中，影像處理單元108是即時根據複數個第一影像L1、L2、L3、…中每一第一影像(例如第一影像L1)、複數個第二影像R1、R2、R3、…中一對應的第二影像(例如第二影像R1)的和一對應的深度圖(例如深度圖DP1)，產生對應物件114的原始立體掃描結果TSR的部份。
請參照第6圖，第6圖是說明當第一影像感測單元102和物件114之間的對應距離隨物件114的移動或轉動而改變時，第一影像感測單元102和第二影像感測單元104可擺動以使物件114總是位於第一影像感測單元102的中心和物件114決定的直線與第二影像感測單元104的中心和物件114決定的一直線的交點上的示意圖。如第6圖所示，當裝置100和物件114間具有一對應距離D1時，第一影像感測單元102的中心和物件114所決定的一直線FL1與第二影像感測單元104的中心和物件114間所決定的一直線SL1之間具有一對應夾角θ1；當裝置100和物件114間具有一對應距離D2時，第一影像感測單元102的中心和物件114所決定的一直線FL2與第二影像感測單元104的中心和物件114間所決定的一直線SL2之間具有一對應夾角θ2；當裝置100和物件114間具有一對應距離D3時，第一影像感測單元102的中心和物件114所決定的一直線FL3與第二影像感測單元104的中心和物件114間所決定的一直線SL3之間具有一對應夾角θ3。因為當裝置100掃描物件114時，物件114可任意地移動或轉動，所以裝置100和物件114之間的一對應距離會隨物件114的移動或轉動而改變。亦即當裝置100和物件114之間的一對應距離隨物件114的移動或轉動而改變時，第一影像感測單元102和第二影像感測單元104可擺動以使物件114總是位於第一影像感測單元102的中心和物件114決定的一直線與第二影像感測單元104的中心和物件114決定的一直線的交點上。因為第一影像感測單元102和第二影像感測單元104可擺動，所以不管物件114如何移動或轉動，裝置100總是可以使物件114位於第一影像感測單元102的中心和物件114所決定的一直線與第二影像感測單元104的中心和物件114間所決定的一直線的交點上。另外，因為第一影像感測單元102和第二影像感測單元104可擺動，所以相較於現有技術物件114的尺寸可更有彈性。
請參照第7圖，第7圖是本發明的另一實施例說明裝置100和第二影像感測單元104之間的基線可隨第一影像感測單元102和物件114間的對應距離改變的示意圖。如第7圖所示，當裝置100和物件114間具有對應距離D1時，第一影像感測單元102和第二影像感測單元104間具有一對應基線B1；當裝置100和物件114間具有一對應距離D2時，第一影像感測單元102和第二影像感測單元104間具有一對應基線B2；當裝置100和物件114間具有一對應距離D3時，第一影像感測單元102和第二影像感測單元104間具有一對應基線B3。如第7圖所示，由於第一影像感測單元102和第二影像感測單元104之間的基線可隨裝置100和物件114間的對應距離改變，所以不管物件114如何移動或轉動，裝置100總是可以使物件114位於第一影像感測單元102的中心和物件114所決定的一直線與第二影像感測單元104的中心和物件114間所決定的一直線的交點上。另外，因為第一影像感測單元102和第二影像感測單元104之間的基線可隨裝置100和物件114間的對應距離改變，所以相較於現有技術物件114的尺寸可更有彈性。
另外，在本發明的另一實施例中，第一影像感測單元102和第二影像感測單元104之間的基線可隨裝置100和物件114間的對應距離改變，以及第一影像感測單元102和第二影像感測單元104亦可隨裝置100第一影像感測單元102和物件114間的對應距離擺動。
如第4圖所示，法向量產生單元110耦接於影像處理單元108，用於根據原始立體掃描結果TSR上的每一點、鄰近該每一點的複數個預定點以及現有技術所提供的主成分分析(Principal Component Analysis, PCA)方法，產生對應該每一點的法向量(如第8圖所示，其中第8圖僅顯示出對應原始立體掃描結果TSR的部份上的每一點的法向量)，其中原始立體掃描結果TSR上的該複數個預定點是位於距離該每一點一預定半徑的區間內。亦即法向量產生單元110可利用該每一點、鄰近該每一點的複數個預定點和主成分分析方法決定對應該每一點的切平面，其中該切平面的法向量即為對應該每一點的法向量。例如，如第9圖所示，法向量產生單元110可利用原始立體掃描結果TSR上的一點P、鄰近點P的複數個預定點以及主成分分析方法，決定對應點P的切平面TPL，其中切平面TPL的法向量NTPL即為對應點P的法向量，且鄰近點P的複數個預定點是位於距離點P一預定半徑R(未繪示於第9圖)的區間內。然而，雖然該每一點和鄰近該每一點的複數個預定點是用於決定對應該每一點的切平面，但鄰近該每一點的複數個預定點並非都位於對應該每一點的切平面上。另外，主成分分析方法可詳見於Badu Bogdan Rusu的博士論文「Semantic 3D Object Maps for Everyday Manipulation in Human Living Environments」的第45-46頁，在此不再贅述。另外，本發明並不受限於法向量產生單元110利用上述現有技術所提供的方式，產生對應該每一點的法向量。
如第4圖所示，矯正單元112耦接於法向量產生單元110和影像處理單元108，用於根據原始立體掃描結果TSR上的深度資訊，決定原始立體掃描結果TSR的內部區域ITSR(例如因為如第5圖所示，裝置100是環繞物件114以掃描物件114，所以原始立體掃描結果TSR是對應物件114的表面，亦即原始立體掃描結果TSR上的每一點的深度資訊是對應物件114的表面。於一實施例中因為原始立體掃描結果TSR上的每一點的深度資訊是對應物件114的表面，所以矯正單元112即可根據原始立體掃描結果TSR上的每一點的深度資訊，決定原始立體掃描結果TSR的內部區域ITSR)，以及在法向量產生單元110產生對應原始立體掃描結果TSR上的每一點的法向量後，當對應原始立體掃描結果TSR的一點的法向量朝向內部區域ITSR時，反向對應該點的法向量。例如，如第10圖所示，矯正單元112可先根據立體掃描結果TSR的內部區域ITSR的一點CP(例如內部區域ITSR的中心點)和原始立體掃描結果TSR上的一點P1，產生一對應點P1的向量VP，其中向量VP的方向是從點CP朝向點P1。當向量VP與對應點P1的法向量NP1的夾角θ大於90 o時，矯正單元112判斷對應點P1的法向量NP1朝向內部區域ITSR，所以矯正單元112即可反向對應點P1的法向量NP1為法向量NNP1。如此，點P1將會正確地產生相對應的反射光而呈現其相對應的顏色。另外，本發明並不受限於上述矯正單元112判斷對應點P1的法向量NP1朝向內部區域ITSR的方法。另外，在矯正單元112矯正原始立體掃描結果TSR的錯誤法向量後，矯正單元112即可產生和輸出一矯正後的立體掃描結果RTSR(如第11圖所示)。例如於將原始立體掃描結果TSR上的法向量朝向內部區域ITSR之所有點，進行法向量反向後，矯正單元112即可產生矯正後的立體掃描結果RTSR。
另外，在本發明的另一實施例中，第一影像感測單元102、第二影像感測單元104、深度圖產生單元106、影像處理單元108、法向量產生單元110及矯正單元112是整合成一單晶片。
另外，在本發明的另一實施例中，裝置100並不包含第一影像感測單元102、第二影像感測單元104、深度圖產生單元106和影像處理單元108(亦即第一影像感測單元102、第二影像感測單元104、深度圖產生單元106和影像處理單元108是包含在一掃描器，而裝置100耦接於該掃瞄器)，所以由深度圖產生單元106根據複數個第一影像L1、L2、L3、…和複數個第二影像R1、R2、R3、…所產生的複數個深度圖DP1、DP2、DP3、…，和複數個第一影像L1、L2、L3、…和複數個第二影像R1、R2、R3、…是通過一行動產業處理器介面(mobile-industry-processor-interface, MIPI)或一通用序列匯流排(universal serial bus, USB)的有線通訊介面，或一無線保真(Wireless Fidelity, WiFi)、一無線區域網路(wireless LAN, WLAN)、一紫蜂短距無線傳輸標準(IEEE 802.15.4, Zigbee)、一藍芽(Bluetooth)、一無線廣域網(Wireless Wide Area Network, WWAN)、一全球行動通訊系統(Global System for Mobile Communications, GSM)、一通用封包無線服務技術(General Packet Radio Service, GPRS)、一第三代行動通訊技術(third generation, 3G)、一第四代行動通訊技術(fourth generation, 4G)、一第五代行動通訊技術(fifth generation, 5G)或一行動者網路理論+(actor network theory+, Ant+)技術的無線通訊介面傳送至裝置100。因此，裝置100即可根據對應物件114的原始立體掃描結果TSR，產生和輸出矯正後的立體掃描結果RTSR。
請參照第4-11圖和第12圖，第12圖是本發明的第二實施例說明一種矯正原始立體掃描結果的錯誤法向量的方法的流程圖。第12圖的方法是利用第1圖的裝置100說明，詳細步驟如下：
步驟1200： 開始；
步驟1202： 當裝置100掃描物件114時，第一影像感測單元102擷取包含物件114的複數個第一影像L1、L2、L3、…，以及第二影像感測單元104擷取包含物件114的複數個第二影像R1、R2、R3、…；
步驟1204： 深度圖產生單元106根據複數個第一影像L1、L2、L3、…中的每一第一影像和複數個第二影像R1、R2、R3、…中的一對應的第二影像，產生一對應的深度圖；
步驟1206： 影像處理單元108根據深度圖產生單元106所產生的複數個深度圖DP1、DP2、DP3、…、複數個第一影像L1、L2、L3、…和複數個第二影像R1、R2、R3、…，產生對應物件114的原始立體掃描結果TSR；
步驟1208： 法向量產生單元110根據原始立體掃描結果TSR上的每一點與鄰近該每一點的複數個預定點，產生對應該每一點的法向量；
步驟1210： 矯正單元112根據原始立體掃描結果TSR上的每一點的深度資訊，決定原始立體掃描結果TSR的內部區域ITSR；
步驟1212： 當對應原始立體掃描結果TSR上的一點的法向量朝向內部區域ITSR時，矯正單元112反向對應該點的法向量；
步驟1214： 矯正單元112產生和輸出矯正後的立體掃描結果RTSR；
步驟1216： 結束。
在步驟1202中，當裝置100掃描物件114時(如第5圖所示，其中物件114為該貓頭鷹玩具)，第一影像感測單元102擷取包含物件114的複數個第一影像L1、L2、L3、…，以及第二影像感測單元104擷取包含物件114的複數個第二影像R1、R2、R3、…，其中複數個第一影像L1、L2、L3、…中每一第一影像(例如第一影像L1)對應複數個第二影像R1、R2、R3、…中一第二影像(例如第二影像R1)，複數個第一影像L1、L2、L3、…與複數個第二影像R1、R2、R3、…是RGB影像或YUV影像，且複數個第一影像L1、L2、L3、…是左眼影像和複數個第二影像R1、R2、R3、…是右眼影像。但本發明並不受限於複數個第一影像L1、L2、L3、…與複數個第二影像R1、R2、R3、…是RGB影像或YUV影像，亦即複數個第一影像L1、L2、L3、…與複數個第二影像R1、R2、R3、…可以是其他色彩影像。
在步驟1204中，如第1圖所示，在深度圖產生單元106接收複數個第一影像L1、L2、L3、…和複數個第二影像R1、R2、R3、…後，深度圖產生單元106可一起處理第一影像L1和與第一影像L1對應的第二影像R1以產生對應的深度圖DP1。如此，深度圖產生單元106即可根據複數個第一影像L1、L2、L3、…和複數個第二影像R1、R2、R3、…，產生複數個深度圖DP1、DP2、DP3、…。如第5圖所示，由於裝置100是掃描物件114掃描，所以複數個深度圖DP1、DP2、DP3、…可對應不同的視角。
在步驟1206中，如第4圖所示，影像處理單元108可根據複數個第一影像L1、L2、L3、…、複數個第二影像R1、R2、R3、…和複數個深度圖DP1、DP2、DP3、…，產生對應物件114的原始立體掃描結果TSR。但在本發明的另一實施例中，影像處理單元108是即時根據複數個第一影像L1、L2、L3、…中每一第一影像(例如第一影像L1)、複數個第二影像R1、R2、R3、…中一對應的第二影像(例如第二影像R1)的和一對應的深度圖(例如深度圖DP1)，產生對應物件114的原始立體掃描結果TSR的部份。
另外，如第6圖所示，因為當裝置100掃描物件114時，物件114可任意地移動或轉動，所以裝置100和物件114之間的一對應距離會隨物件114的移動或轉動而改變。亦即當裝置100和物件114之間的一對應距離隨物件114的移動或轉動而改變時，第一影像感測單元102和第二影像感測單元104可擺動以使物件114總是位於第一影像感測單元102的中心和物件114決定的一直線與第二影像感測單元104的中心和物件114決定的一直線的交點上，所以相較於現有技術物件114的尺寸可更有彈性。
另外，在本發明的另一實施例中，如第7圖所示，由於第一影像感測單元102和第二影像感測單元104之間的基線可隨裝置100和物件114間的對應距離改變，所以不管物件114如何移動或轉動，裝置100總是可以使物件114位於第一影像感測單元102的中心和物件114所決定的一直線與第二影像感測單元104的中心和物件114間所決定的一直線的交點上，所以相較於現有技術物件114的尺寸可更有彈性。
另外，在本發明的另一實施例中，第一影像感測單元102和第二影像感測單元104之間的基線可隨裝置100和物件114間的對應距離改變，以及第一影像感測單元102和第二影像感測單元104亦可隨裝置100第一影像感測單元102和物件114間的對應距離擺動。
在步驟1208中，如第4圖所示，法向量產生單元110可根據原始立體掃描結果TSR上的每一點、鄰近該每一點的複數個預定點，產生對應該每一點的法向量(如第8圖所示，其中第8圖僅顯示出對應原始立體掃描結果TSR的部份上的每一點的法向量)，其中原始立體掃描結果TSR上的該複數個預定點是位於距離該每一點一預定半徑的區間內。於一實施例中，法向量產生單元110可根據原始立體掃描結果TSR上的每一點、鄰近該每一點的複數個預定點以及主成分分析方法，產生對應該每一點的法向量。例如，如第9圖所示，法向量產生單元110可利用原始立體掃描結果TSR上的一點P、鄰近點P的複數個預定點以及主成分分析方法，決定對應點P的切平面TPL，其中切平面TPL的法向量NTPL即為對應點P的法向量，且鄰近點P的複數個預定點是位於距離點P一預定半徑R(未繪示於第9圖)的區間內。
在步驟1212中，在法向量產生單元110產生對應原始立體掃描結果TSR上的每一點的法向量後，當對應原始立體掃描結果TSR的一點的法向量朝向內部區域ITSR時，反向對應該點的法向量。例如，如第10圖所示，矯正單元112可先根據立體掃描結果TSR的內部區域ITSR的點CP(例如內部區域ITSR的中心點)和原始立體掃描結果TSR的點P1，產生對應點P1的向量VP，其中向量VP的方向是從點CP朝向點P1。當向量VP與對應點P1的法向量NP1的夾角θ大於90 o時，矯正單元112判斷對應點P1的法向量NP1朝向內部區域ITSR，所以矯正單元112即可反向對應點P1的法向量NP1為法向量NNP1。如此，點P1將會正確地產生相對應的反射光而呈現其相對應的顏色。另外，本發明並不受限於上述矯正單元112判斷對應點P1的法向量NP1朝向內部區域ITSR的方法。另外，在步驟1214中，在矯正單元112矯正原始立體掃描結果TSR的錯誤法向量後，矯正單元112即可產生和輸出矯正後的立體掃描結果RTSR(如第11圖所示)。
綜上所述，本發明所提供的矯正原始立體掃描結果的錯誤法向量的裝置及其相關方法是在影像處理單元產生對應物件的原始立體掃描結果後，利用法向量產生單元根據原始立體掃描結果上的每一點與鄰近該每一點的複數個預定點，產生對應該每一點的法向量，以及當對應原始立體掃描結果上的一點的法向量朝向原始立體掃描結果的內部區域時，利用矯正單元反向對應該點的法向量。因此，在矯正單元矯正原始立體掃描結果的錯誤法向量後，矯正單元即可產生和輸出矯正後的立體掃描結果。因為矯正單元可矯正原始立體掃描結果的錯誤法向量，所以相較於現有技術，本發明可使矯正後的立體掃描結果正確地產生相對應的反射光而呈現其相對應的顏色。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100 裝置 101 立體照相機 102 第一影像感測單元 104 第二影像感測單元 106 深度圖產生單元 108 影像處理單元 110 法向量產生單元 112 矯正單元 114 物件 A 圓圈 B1、B2、B3 對應基線 DP1、DP2、DP3 深度圖 D1、D2、D3 對應距離 FL1、SL1、FL2、SL2、FL3、SL3 直線 HA 區域 ISR、ITSR 內部區域 L1、L2、L3 第一影像 NTPL、NNP1、NP1 法向量 OSR 外部區域 P、P1、CP 點 R1、R2、R3 第二影像 RTSR 矯正後的立體掃描結果 SSR、ASSR 部份橫切面 TPL 切平面 TSR、SR 立體掃描結果 VP 向量 θ1、θ2、θ3、θ 對應夾角 1200-1216 步驟
第1圖是說明立體掃描結果的部份橫切面上的每一點的法向量的示意圖。 第2圖是說明立體掃描結果的另一部份橫切面上的部分點的法向量朝向立體掃描結果的內部區域的示意圖。 第3圖是說明當對應貓頭鷹玩具的立體掃描結果的區域的每一點的法向量朝向立體掃描結果的內部區域時，區域將呈現黑色的示意圖。 第4圖是本發明的第一實施例說明一種可矯正原始立體掃描結果的錯誤法向量的裝置的示意圖。 第5圖是說明可矯正原始立體掃描結果的錯誤法向量的裝置掃描物件的示意圖。 第6圖是說明當第一影像感測單元和物件之間的對應距離隨物件的移動或轉動而改變時，第一影像感測單元和第二影像感測單元可擺動以使物件總是位於第一影像感測單元的中心和物件決定的直線與第二影像感測單元的中心和物件決定的一直線的交點上的示意圖。 第7圖是本發明的另一實施例說明第一影像感測單元和第二影像感測單元之間的基線可隨第一影像感測單元和物件間的對應距離改變的示意圖。 第8圖是說明對應原始立體掃描結果的部份上的每一點的法向量的示意圖。 第9圖是說明原始立體掃描結果上的一點、對應該點的切平面和切平面的法向量的示意圖。 第10圖是說明立體掃描結果的內部區域的一點、原始立體掃描結果上的一點、對應該點的向量、對應該點的法向量和與對應該點的法向量反向的法向量的示意圖。 第11圖是說明矯正後的立體掃描結果的示意圖。 第12圖是本發明的第二實施例說明一種矯正原始立體掃描結果的錯誤法向量的方法的流程圖。

Claims (12)

  1. 一種可矯正原始立體掃描結果的錯誤法向量的裝置，其中該原始立體掃描結果對應於一物件，該裝置包含： 一法向量產生單元，用於根據該原始立體掃描結果上的每一點與鄰近該每一點的複數個預定點，產生對應該每一點的法向量；及 一矯正單元，耦接於該法向量產生單元，用於決定該原始立體掃描結果的內部區域，以及當對應該原始立體掃描結果上的一點的法向量朝向該內部區域時，反向對應該點的法向量。
  2. 如請求項1所述的裝置，其中該複數個預定點是位於距離該每一點一預定半徑的區間內，該複數個預定點和該每一點是用於決定對應該每一點的切平面，且該切平面的法向量是對應該每一點的法向量。
  3. 如請求項2所述的裝置，其中該法向量產生單元根據該每一點、該複數個預定點以及一主成分分析(Principal Component Analysis, PCA)方法，產生對應該每一點的法向量。
  4. 如請求項1所述的裝置，另包含： 至少二影像感測單元，其中當該掃描器掃描該物件時，該至少二影像感測單元中的一第一影像感測單元擷取包含該物件的複數個第一影像，以及該至少二影像感測單元中的一第二影像感測單元擷取包含該物件的複數個第二影像，其中該複數個第一影像中的每一第一影像對應該複數個第二影像中的一第二影像； 一深度圖產生單元，耦接於該至少二影像感測單元，用於根據該每一第一影像和該第二影像，產生一對應的深度圖，其中該深度圖產生單元根據該複數個第一影像和該複數個第二影像所產生的複數個深度圖；及 一影像處理單元，耦接於該至少二影像感測單元和該深度圖產生單元，用於根據該複數個第一影像、該複數個第二影像和該複數個深度圖，產生該原始立體掃描結果。
  5. 如請求項1所述的裝置，其中該矯正單元根據該原始立體掃描結果的深度資訊，決定該原始立體掃描結果的內部區域。
  6. 如請求項1所述的裝置，其中於將該原始立體掃描結果上的法向量朝向該內部區域之所有點，進行法向量反向後，該矯正單元產生和輸出一矯正後的立體掃描結果。
  7. 如請求項1所述的裝置，其中該矯正單元根據該內部區域的一點和該原始立體掃描結果上的一點，產生一對應該原始立體掃描結果上的該點的向量，以及當該向量與對應該原始立體掃描結果上的該點的法向量的夾角大於90 o時，該矯正單元判斷對應該原始立體掃描結果上的該點的法向量朝向該內部區域。
  8. 一種矯正原始立體掃描結果的錯誤法向量的方法，其中應用於該方法的裝置包含一法向量產生單元和一矯正單元，該方法包含： 該法向量產生單元根據該原始立體掃描結果上的每一點與鄰近該每一點的複數個預定點，產生對應該每一點的法向量； 該矯正單元決定該原始立體掃描結果的內部區域； 當對應該原始立體掃描結果上的一點的法向量朝向該內部區域時，該矯正單元反向對應該點的法向量；及 於將該原始立體掃描結果上的法向量朝向該內部區域之所有點，進行法向量反向後，該矯正單元產生和輸出一矯正後的立體掃描結果。
  9. 如請求項8所述的方法，其中該複數個預定點是位於距離該每一點一預定半徑的區間內，該複數個預定點和該每一點是用於決定對應該每一點的切平面，且該切平面的法向量是對應該每一點的法向量。
  10. 如請求項9所述的方法，其中該法向量產生單元根據該每一點、該複數個預定點以及一主成分分析方法，產生對應該每一點的法向量。
  11. 如請求項8所述的方法，其中該矯正單元根據該內部區域的一點和該原始立體掃描結果上的一點，產生一對應該原始立體掃描結果上的該點的向量，以及當該向量與對應該原始立體掃描結果上的該點的法向量的夾角大於90 o時，該矯正單元判斷對應該原始立體掃描結果上的該點的法向量朝向該內部區域。
  12. 如請求項8所述的方法，其中該矯正單元根據該原始立體掃描結果的深度資訊，決定該原始立體掃描結果的內部區域。
TW106117268A 2017-05-24 2017-05-24 矯正原始立體掃描結果的錯誤法向量的裝置及其相關方法 TWI657691B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106117268A TWI657691B (zh) 2017-05-24 2017-05-24 矯正原始立體掃描結果的錯誤法向量的裝置及其相關方法
CN201710447081.3A CN108961427A (zh) 2017-05-24 2017-06-14 矫正原始立体扫描结果的错误法向量的装置及其相关方法
US15/987,925 US10573016B2 (en) 2017-05-24 2018-05-24 Device capable of correcting wrong normal vectors of an original three-dimensional scan result and related method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106117268A TWI657691B (zh) 2017-05-24 2017-05-24 矯正原始立體掃描結果的錯誤法向量的裝置及其相關方法

Publications (2)

Publication Number Publication Date
TW201902211A TW201902211A (zh) 2019-01-01
TWI657691B true TWI657691B (zh) 2019-04-21

Family

ID=64401290

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106117268A TWI657691B (zh) 2017-05-24 2017-05-24 矯正原始立體掃描結果的錯誤法向量的裝置及其相關方法

Country Status (3)

Country Link
US (1) US10573016B2 (zh)
CN (1) CN108961427A (zh)
TW (1) TWI657691B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822924B (zh) * 2019-01-28 2024-04-05 弗劳恩霍夫应用研究促进协会 空间中的元素定位

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6100902A (en) * 1996-10-31 2000-08-08 Sony Corporation Image data approximation considering normal vectors
US6337684B1 (en) * 1998-05-29 2002-01-08 Hewlett-Packard Company Surface normal compression/decompression storing two vector components
US7639253B2 (en) * 2006-07-13 2009-12-29 Inus Technology, Inc. System and method for automatic 3D scan data alignment
US7737973B2 (en) * 2005-10-31 2010-06-15 Leica Geosystems Ag Determining appearance of points in point cloud based on normal vectors of points
CN104809258A (zh) * 2014-01-23 2015-07-29 南京理工大学 电磁散射仿真建模中面片法向量自适应修改方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4116648B2 (ja) * 2006-05-22 2008-07-09 株式会社ソニー・コンピュータエンタテインメント オクルージョンカリング方法および描画処理装置
CN103268631B (zh) * 2013-05-23 2015-09-30 中国科学院深圳先进技术研究院 点云骨架提取方法及装置
US9903950B2 (en) * 2014-08-27 2018-02-27 Leica Geosystems Ag Multi-camera laser scanner
US9818232B2 (en) * 2015-08-26 2017-11-14 Adobe Systems Incorporated Color-based depth smoothing of scanned 3D model to enhance geometry in 3D printing
CN105261047B (zh) * 2015-09-08 2019-04-09 北京控制工程研究所 一种基于近距离短弧段图像的对接环圆心提取方法
CN106600694B (zh) * 2016-12-20 2019-08-30 中国地质大学（武汉） 一种地形数据的平滑处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6100902A (en) * 1996-10-31 2000-08-08 Sony Corporation Image data approximation considering normal vectors
US6337684B1 (en) * 1998-05-29 2002-01-08 Hewlett-Packard Company Surface normal compression/decompression storing two vector components
US7737973B2 (en) * 2005-10-31 2010-06-15 Leica Geosystems Ag Determining appearance of points in point cloud based on normal vectors of points
US7639253B2 (en) * 2006-07-13 2009-12-29 Inus Technology, Inc. System and method for automatic 3D scan data alignment
CN104809258A (zh) * 2014-01-23 2015-07-29 南京理工大学 电磁散射仿真建模中面片法向量自适应修改方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
D. L. Page, Y. Sun, A. F. Koschan, J. Paik, and M. A. Abidi," Normal Vector Voting: Crease Detection and Curvature Estimation on Large, Noisy Meshes", Vol. 64, No. 3-4, pp. 199-229, May 2002。
D. L. PAGE, Y. SUN, A. F. KOSCHAN, J. PAIK, AND M. A. ABIDI: "Crease Detection and Curvature Estimation on Large, Noisy Meshes", NORMAL VECTOR VOTING, vol. 64, no. 3, May 2002 (2002-05-01), pages 199 - 229, XP001141092, doi:10.1006/gmod.2002.0574 *

Also Published As

Publication number Publication date
TW201902211A (zh) 2019-01-01
US10573016B2 (en) 2020-02-25
US20180342076A1 (en) 2018-11-29
CN108961427A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
US10557705B2 (en) Methods and apparatus for enhancing depth maps with polarization cues
US9672602B2 (en) Projection image correcting apparatus, method for correcting image to be projected, and program
US9456202B2 (en) Attachable three-dimensional scan module
CN105025193B (zh) 手提式立体扫描仪和产生对应对象的立体扫描结果的方法
US10782126B2 (en) Three-dimensional scanning method containing multiple lasers with different wavelengths and scanner
TWI439788B (zh) 投影校正系統及方法
US10148944B2 (en) Calibration method of an image capture system
Ying et al. Fisheye lenses calibration using straight-line spherical perspective projection constraint
CN105635551A (zh) 一种球型摄像机生成全景图像的方法及球型摄像机
CN103065289A (zh) 基于双目立体视觉的四目摄像机正面人脸重建方法
US20240315813A1 (en) Method and Apparatus for Three-Dimensional Dynamic Tracking, Electronic Device, and Storage Medium
Orghidan et al. Structured light self-calibration with vanishing points
US20220237880A1 (en) System and method of generating a 3d representation of an object
EP4094181A1 (en) Associating three-dimensional coordinates with two-dimensional feature points
TWI657691B (zh) 矯正原始立體掃描結果的錯誤法向量的裝置及其相關方法
Ha et al. Complete grid pattern decoding method for a one-shot structured light system
KR102163389B1 (ko) 입체 모델 생성 방법 및 장치
JP2009530701A (ja) 深度マップを画像から判定する方法、深度マップを判定する装置
US10281265B2 (en) Method and system for scene scanning
JP2016130693A (ja) 画像データ処理方法、画像データ処理装置および画像データ処理プログラム
Ukida et al. 3D shape reconstruction using three light sources in image scanner
Mkhitaryan et al. RGB-D sensor data correction and enhancement by introduction of an additional RGB view
TWI589149B (zh) 可攜式立體掃描器和產生對應物件的立體掃描結果的方法
JP2015170205A (ja) 特徴量生成装置、特徴量生成方法、およびプログラム
TWI719440B (zh) 立體匹配方法及相應立體匹配裝置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees