TWI659393B - 多鏡頭影像深度之3d空間繪製系統 - Google Patents
多鏡頭影像深度之3d空間繪製系統 Download PDFInfo
- Publication number
- TWI659393B TWI659393B TW106134979A TW106134979A TWI659393B TW I659393 B TWI659393 B TW I659393B TW 106134979 A TW106134979 A TW 106134979A TW 106134979 A TW106134979 A TW 106134979A TW I659393 B TWI659393 B TW I659393B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- time
- real
- global
- image capturing
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/04—Supports for telephone transmitters or receivers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
本發明提供一種多鏡頭影像深度之3D空間繪製系統,其包括:一頭戴裝置,其包括一本體,又本體形成有一第一支撐部及一第二支撐部;以及一3D軟體,電訊連接於第一取像裝置及第二取像裝置。藉由本發明之實施,可以在最經濟的情況下,讓更多的使用者,能快速的完成3D模型的建立。
Description
本發明為一種多鏡頭影像深度之3D(three-dimensional)空間繪製系統,特別為一種使用雙智慧型手機進行取像,然後快速建立3D模型的多鏡頭影像深度之3D空間繪製系統。
3D的空間資訊分析技術,相對於平面的呈現方式,透過立體視角,彌補了2D(two-dimensional)空間的不足。3D外觀看到的物件在視覺上可以更加的直觀。例如3D室內空間、3D街景、及3D防災地圖…等。
未來數位城市模型的建置技術,數位城市資訊的建構,將區分為有形的建物建模技術及無形的建物屬性資料。有形的資訊透過向量圖資、數位影像、光達(LiDAR)點雲等技術,可以產生模型。
建物或物件形成後,除了直接以彩色照片形成3D模型外,亦可利用紋理貼圖方法將建物擬真化,以提升美觀性與辨識度。完成3D模型後,使用者可以期望有效的應用,並根據不同的需求以及成本考量,決定系統建置的程度。
本發明為一種多鏡頭影像深度之3D空間繪製系統,其主要是解決3D空間模型建立,因為設備昂貴所以無法普及及快速建立的問題。
本發明提供一種多鏡頭影像深度之3D空間繪製系統,其包括:一頭戴裝置,其包括一本體,又本體形成有一第一支撐部及一第二支撐部;以及一3D軟體,電訊連接於第一取像裝置及第二取像裝置。
藉由本發明之實施,至少可以達成下列之進步功效:一、可以在最經濟的情況下建立3D模型。以及二、可以快速的完成3D模型的建立。
100‧‧‧多鏡頭影像深度之3D空間繪製系統
10‧‧‧頭戴裝置
11‧‧‧紙板
12‧‧‧頭帶
110‧‧‧本體
111‧‧‧固定件
120‧‧‧第一支撐部
121‧‧‧第一容置空間
122‧‧‧第一視窗開口
130‧‧‧第二支撐部
131‧‧‧第二容置空間
132‧‧‧第二視窗開口
20‧‧‧3D軟體
31‧‧‧第一取像裝置
32‧‧‧第二取像裝置
311,321‧‧‧鏡頭
410‧‧‧微調機構
510‧‧‧隔板
610‧‧‧投射光源
620‧‧‧轉軸
630‧‧‧重垂
70‧‧‧重疊部位
T0-Tn‧‧‧時間軸
Imag1‧‧‧第一圖像
Imag2‧‧‧第二圖像
S100‧‧‧3D軟體之操作流程
S510‧‧‧初始化
S111‧‧‧取得設備資料
S112‧‧‧同步時間軸
S120‧‧‧執行特徵點分析
S130‧‧‧比對最小距離特徵
S140‧‧‧繪製即時3D圖像
S113‧‧‧產生T0全域座標
S114‧‧‧產生T0全域圖像
S610‧‧‧產生全域圖像
S110‧‧‧擷取Tn圖像
S150‧‧‧產生Tn全域座標
S160‧‧‧產生Tn全域圖像
Img1T0‧‧‧T0第一圖像
Img2T0‧‧‧T0第二圖像
CodeT0‧‧‧T0即時圖像座標
FCodeT0‧‧‧T0全域座標
Img1P(1-X)T0‧‧‧T0第一圖像之複數個T0第一特徵點
Img2P(1-X)T0‧‧‧T0第二圖像之複數個T0第二特徵點
CP(1-X)T0‧‧‧複數個T0即時共同特徵點
3DT0‧‧‧T0即時3D圖像
FImagT0‧‧‧T0全域圖像
Img1Tn‧‧‧Tn第一圖像
Img2Tn‧‧‧Tn第二圖像
Img1P(1-X)Tn‧‧‧複數個Tn第一圖像之Tn第一特徵點
Img2P(1-X)Tn‧‧‧複數個Tn第二圖像之Tn第二特徵點
CP(1-X)Tn‧‧‧複數個Tn即時共同特徵點
CodeTn‧‧‧Tn即時圖像座標
3DTn‧‧‧Tn即時3D圖像
FCodeTn-1‧‧‧Tn-1時點之全域座標匯整
FCodeTn‧‧‧Tn全域座標
FImagTn‧‧‧Tn全域圖像
Img1Tn-1‧‧‧Tn-1第一圖像
Img2Tn-1‧‧‧Tn-1第二圖像
CP(1-X)Tn-1‧‧‧Tn-1即時共同特徵點
3DTn-1‧‧‧Tn-1即時3D圖像
[第1圖]為本發明之一種系統架構實施例圖;[第2圖]為本發明之一種頭戴裝置分解實施例圖;[第3圖]為本發明之一種頭戴裝置正面立體透視實施例圖;[第4圖]為本發明之一種頭戴裝置背面立體透視實施例圖;[第5A圖]為本發明之一種具有微調機構之頭戴裝置實施例圖一;[第5B圖]為本發明之一種具有微調機構之頭戴裝置實施例圖二;[第5C圖]為本發明之一種具有彈性機構之頭戴裝置實施例圖;[第6A圖]為本發明之一種具有隔板之頭戴裝置實施例圖一;[第6B圖]為第6A圖之一種剖視實施例圖;
[第6C圖]為本發明之一種具有隔板之頭戴裝置實施例圖二;[第6D圖]為第6C圖之一種剖視實施例圖;[第7A圖]為本發明之一種具有投射光源之頭戴裝置實施圖;[第7B圖]為第7A圖之一種剖視實施例圖;[第8圖]為本發明之一種3D軟體操作流程實施例圖;[第9圖]為本發明一種3D軟體之操作流程說明實施例圖一;以及[第10圖]為本發明一種3D軟體之操作流程說明實施例圖二。
如第1圖所示,本實施例為一種多鏡頭影像深度之3D空間繪製系統100,其包括:一頭戴裝置10;及一3D軟體20。又頭戴裝置10,其包括:一本體110;第一支撐部120;及第二支撐部130。
如第2圖所示,頭戴裝置10可以由具有足夠支撐力之材質,例如紙質或塑膠質之材料所製成。當頭戴裝置10以紙質材質製作時,可以由紙板11摺疊形成,然後再結合頭帶12即可完成,不但成本低、方便製作也方便攜帶。
如第3圖至第4圖所示,本體110是頭戴裝置10的主要支架,本體110用以支撐第一支撐部120及一第二支撐部130,又本體110上設置有一固定件111,固定件111可以為一頭帶12,用以使頭戴裝置10能穩固的穿戴於一使用者之頭部。
第一支撐部120,形成於本體110之一側,第一支撐部120具有第一容置空間121或一第一視窗開口122,第一容置空間121可用以容納
一第一取像裝置31,又第一視窗開口122可以讓第一取像裝置31的鏡頭透過第一視窗開口122進行取像;
第二支撐部130,形成於本體110之另一側,並於第一支撐部120對稱設置,第二支撐部130具有一第二容置空間131或一第二視窗開口132,第二容置空間131可用以容納一第二取像裝置32,又第二視窗開口132可以讓第二取像裝置32的鏡頭透過第二視窗開口132進行取像。
第一取像裝置31及第二取像裝置32可以分別為一具有攝影功能的手機,又該些手機又可以具有無線傳輸的功能。
第一支撐部120及第二支撐部130,除了分別支撐第一取像裝置31及第二取像裝置32,更可以使第一取像裝置31之鏡頭及第二取像裝置32之鏡頭,彼此間的距離與方向固定,藉由將第一取像裝置31及第二取像裝置32其鏡頭間之距離與方向固定,可以定義出第一取像裝置31及第二取像裝置32間之重要參數,接著後續3D軟體20運算時,即可作為第一取像裝置31及第二取像裝置32間運算之基礎。
如第5A圖至第5B圖所示,為了能讓第一取像裝置31及第二取像裝置32之鏡頭311,321,其相互間之距離與方向固定,頭戴裝置10可進一步具有一微調機構410,微調機構410可用以將第一取像裝置31及第二取像裝置32的水平高度調整成彼此相同。
如第5C所示,頭戴裝置10可進一步具有一彈性機構320,用於使每支手機緊迫貼合第一支撐部120及第二支撐部130。
如第6A圖至第6D圖所示,當第一支撐部120及第二支撐部130相互連通時,又藉由隔板510的設置,可以使第一取像裝置31及第二取
像裝置32可以彼此交疊放置,藉此可以使第一取像裝置31及第二取像裝置32取向之角度更為彈性。
如第7A圖及第7B圖所示,頭戴裝置10可以具備眼鏡之外型,以方便使用者掛載於臉上;頭戴裝置10上更可存在一個投射光源610,其投射出已知之特定圖形或線條之結構光,又投射光源610更藉由一轉軸620與頭戴裝置10相連,投射光源更連結一重垂630,使投射影像可傳達出水平資訊。
如第8圖至第10圖所示,本實施例應用於3D空間繪製時,係將一第一取像裝置31置入第一支撐部120,又將一第二取像裝置32置入第二支撐部130,然後再配戴於使用者頭部,接著不斷變化取像標的,並隨時間軸T0-Tn的進行,不斷的使用第一取像裝置31及第二取像裝置32同步的對取像標的進行影像擷取,所以可以得到多組第一取像裝置影像Imag1及第二取像裝置影像Imag2。
3D軟體20,主要是藉由與第一取像裝置31及第二取像裝置32進行電訊連結,然後控制第一取像裝置31及第二取像裝置32並讀取第一取像裝置31及第二取像裝置32之資訊。
3D軟體20可以藉由一藍芽、一WiFi或一NFC與第一取像裝置31及第二取像裝置32電訊連結。3D軟體20除了讀取第一取像裝置31及第二取像裝置32之影像資訊外,亦可讀取第一取像裝置31及第二取像裝置32的重力加速器資料,以便用於空間計算、可讀取GPS資料,以便用於空間與位置計算、以及讀取陀螺儀偵測器之資訊,以掌握第一取像裝置31及第二取像裝置32之水平資訊。
為了能提高運算之精度,有關時間軸相互對應的誤差可以控制在小於或等於50微秒(ms);又3D軟體20對第一取像裝置31及第二取像裝置32之影像進行同步,其同步方式為計算第一取像裝置31及第二取像裝置32時鐘時間差,回朔第一取像裝置31及第二取像裝置32內之影像時間。所有資訊的運算,均可於一雲端運算系統進行,如此能夠更迅速的算出3D資訊。
有關3D軟體之操作流程S100,可以包括:初始化S510;以及產生全域圖像S610兩大步驟。
初始化S510,其係於T0時點所進行的步驟,其至少使一第一取像裝置31之一T0第一圖像Img1T0及一第二取像裝置32之一T0第二圖像Img2T0之圖像座標完成同步,並形成一T0即時圖像座標CodeT0及一T0全域座標FCodeT0,初始化S510步驟又包括:取得設備資料S111;同步時間軸S112;執行特徵點分析S120;比對最小距離特徵S130;繪製即時3D圖像S140;產生全域座標S113;以及產生全域圖像S114。
取得設備資料S111,其係取得第一取像裝置31及第二取像裝置32之設備資料;又設備資料可以是手機設備資料,其係從預先建立之各品牌及各型號手機資訊之資料庫中,取得每一支手機之重要參數,以便後續之運算,又設備資料可以例如是,手機廠牌、手機型號、鏡頭尺寸、殼體尺寸,鏡頭至殼體之間具…等資訊。
同步時間軸S112,其係對第一取像裝置31及第二取像裝置32之系統時間軸進行同步時間軸S112,以便後續進行影像運作時,能建立共同之影像基礎。
執行特徵點分析S120,其係讀取第一取像裝置31之一T0第一圖像Img1T0及第二取像裝置32之T0第二圖像Img2T0,並分別進行特徵點分析,例如極值點分析(Scale-Invariant Feature Transform,SIFT),並對應的分別產生位於T0第一圖像之複數個T0第一特徵點Img1P(1-X)T0資訊及位於T0第二圖像之複數個T0第二特徵點Img2P(1-X)T0資訊。
比對最小距離特徵S130,其係對該些T0第一特徵點Img1P(1-X)T0資訊及該些T0第二特徵點Img2P(1-X)T0資訊進行最小距離特徵比對,如果任兩個T0第一特徵點Img1PXT0及T0第二特徵點Img2PXT0為最小距離,則認定該T0第一特徵點Img1PXT0及該T0第二特徵點Img2PXT0為同一特徵點也就是為一T0即時共同特徵點CPXT0,經過持續的比對將可產生複數個T0即時共同特徵點CP(1-X)T0,又可依照該些T0即時共同特徵點CP(1-X)T0即可建立一T0即時圖像座標CodeT0。
比對最小距離特徵S130,其可以利用最小距離方法(Nearest Neighbor)做特徵點匹配,並可使用RANSAC算法去除錯誤匹配點,因而可以找出同一時間點,第一取像裝置31及第二取像裝置32分別取得影像中之共同物件,也就是上述之即時共同特徵點CP(1-X)T0。
在取得T0即時共同特徵點CP(1-X)T0後,可再以計算距離資訊方式,計算相對應特徵點,以計算其距離資訊,如此可以得到多個物件之深度資訊,以作為後續繪圖之參數。
繪製即時3D圖像S140,其係使用該些T0即時共同特徵點CP(1-X)T0及T0即時圖像座標CodeT0,形成一T0即時3D圖像3DT0。
產生T0全域座標S113,其係將T0時點之第一取像裝置31或第一取像裝置32其中之一作為T0即時3D位置資訊,也就是取像當時第一取像裝置31或第一取像裝置32其中之一位置,設為全域座標原點(0,0,0),然後將全域座標原點與T0即時共同特徵點CP(1-X)T0及T0即時圖像座標CodeT0參照,如此就可以產生T0全域座標FCodeT0及其全域基準點及全域基準方向。
產生T0全域圖像S114,其係將該些T0即時共同特徵點CP(1-X)T0及T0即時3D圖像3DT0匯入T0全域座標FCodeT0,以產生T0全域圖像FImagT0。
有關產生全域圖像S610步驟,其係於T1至Tn間之每一時間點,執行一次下列步驟:擷取Tn圖像S110;進行特徵點分析S120;比對最小距離特徵S130;繪製即時3D圖像S140;產生Tn全域座標S150;以及產生Tn全域圖像S160。
擷取Tn圖像S110,其係使用第一取像裝置31及第二取像裝置32,於Tn時點分別擷取第一取像裝置31之一Tn第一圖像Img1Tn及第二取像裝置32之一Tn第二圖像Img2Tn。
進行特徵點分析S120,其係讀取Tn第一圖像Img1Tn及Tn第二圖像Img2Tn,並對應的分別產生複數個Tn第一圖像之Tn第一特徵點Img1P(1-X)Tn資訊及複數個Tn第二圖像之Tn第二特徵點Img2P(1-X)Tn資訊。
比對最小距離特徵S130,其係對該些Tn第一特徵點Img1P(1-X)Tn資訊及該些Tn第二特徵點Img2P(1-X)Tn資訊進行最小距離特徵比對,將最小距離又有相同特徵者,判定為同一特徵點,因此經過持續
的最小距離特徵比對,將可產生複數個Tn即時共同特徵點CP(1-X)Tn及一Tn即時圖像座標CodeTn。
繪製即時3D圖像S140,其係使用該些Tn即時共同特徵點CP(1-X)Tn及該Tn即時圖像座標CodeTn,以形成一Tn即時3D圖像3DTn。繪製即時3D圖像S140,其可以利用擴充卡爾曼濾波EKF(Extended Kalman Filter),以更新取像裝置之位置及方向,並進行圖形之繪製,又相關圖形可以是地圖或特定空間之透視圖…等。
產生Tn全域座標S150,由於第一取像裝置31及第二取像裝置32在取像時,會使Tn第一圖像Img1Tn與Tn-1第一圖像Img1Tn-1產生重疊部位70,又會使Tn第二圖像Img2Tn與Tn-1第二圖像Img2Tn-1產生重疊部位70,因此Tn即時共同特徵點CP(1-X)Tn與Tn-1即時共同特徵點CP(1-X)Tn-1會有重疊部位70,而Tn即時3D圖像3DTn與Tn-1即時3D圖像3D Tn-1也會有重疊部位70。
藉由上述之重疊特性,就可以將Tn時點取像裝置之Tn裝置即時位置資訊與Tn即時共同特徵點CP(1-X)Tn及Tn即時圖像座標CodeTn進行參照,並藉此與Tn-1時點之全域座標匯整FCodeTn-1,以產生一Tn全域座標FCodeTn。
產生Tn全域圖像S160,其係將該些Tn即時共同特徵點CP(1-X)Tn及Tn即時3D圖像3DTn匯入Tn全域座標FCodeTn,如此就可以產生Tn全域圖像FImagTn。
惟上述各實施例係用以說明本創作之特點,其目的在使熟習該技術者能瞭解本創作之內容並據以實施,而非限定本創作之專利範圍,故凡其他
未脫離本創作所揭示之精神而完成之等效修飾或修改,仍應包含在以下所述之申請專利範圍中。
Claims (12)
- 一種多鏡頭影像深度之3D空間繪製系統,其包括:一頭戴裝置,其包括一本體,又該本體形成有一第一支撐部及一第二支撐部;以及一3D軟體,電訊連接於一第一取像裝置及一第二取像裝置;其中該3D軟體執行之操作流程,包括:初始化,其係於T0時點,至少使一第一取像裝置之一T0第一圖像及一第二取像裝置之一T0第二圖像之圖像座標完成同步,並形成一T0即時圖像座標及一T0全域座標;以及產生全域圖像,其係於T1至Tn間之每一時間點,執行一次下列步驟;擷取Tn圖像,其係使用該第一取像裝置及該第二取像裝置,於Tn時點分別擷取一Tn第一圖像及一Tn第二圖像;進行特徵點分析,讀取該Tn第一圖像及該Tn第二圖,並對應的分別產生複數個Tn第一特徵點資訊及複數個Tn第二特徵點資訊;比對最小距離特徵,其係對該些Tn第一特徵點資訊及該些Tn第二特徵點資訊進行最小距離特徵比對,並產生複數個Tn即時共同特徵點及一Tn即時圖像座標;繪製即時3D圖像,其係使用該些Tn即時共同特徵點及該Tn即時圖像座標,形成一Tn即時3D圖像;產生Tn全域座標,其係將Tn時點取像裝置之Tn即時裝置位置資訊與Tn-1時點之全域座標匯整,以產生一Tn全域座標;以及產生Tn全域圖像,其係將該些Tn即時共同特徵點及該Tn即時3D圖像匯入該Tn全域座標,以產生Tn全域圖像。
- 如申請專利範圍第1項所述之多鏡頭影像深度之3D空間繪製系統,其中該頭戴裝置係一紙質或一塑膠質之材料所製成。
- 如申請專利範圍第1項所述之多鏡頭影像深度之3D空間繪製系統,其中該本體上進一步設置有一固定件。
- 如申請專利範圍第1項所述之多鏡頭影像深度之3D空間繪製系統,其中該第一支撐部形成於該本體之一側,又該第一支撐部具有一第一容置空間。
- 如申請專利範圍第4項所述之多鏡頭影像深度之3D空間繪製系統,其中該第二支撐部形成於該本體之另一側,並於該第一支撐部對稱設置,又該第二支撐部具有一第二容置空間。
- 如申請專利範圍第1項所述之多鏡頭影像深度之3D空間繪製系統,其中該頭戴裝置進一步具有一微調機構。
- 如申請專利範圍第1項所述之多鏡頭影像深度之3D空間繪製系統,其中該頭戴裝置可進一步具有一彈性機構。
- 如申請專利範圍第1項所述之多鏡頭影像深度之3D空間繪製系統,其中該第一取像裝置及該第二取像裝置在置放時,可以使彼此交疊放置。
- 如申請專利範圍第1項所述之多鏡頭影像深度之3D空間繪製系統,其中該頭戴裝置進一步具有一投射光源,其投射出已知之特定圖形或線條之結構光。
- 如申請專利範圍第1項所述之多鏡頭影像深度之3D空間繪製系統,其中該初始化步驟係在時間點T0時,執行下列步驟:取得設備資料,其係取得該第一取像裝置及該第二取像裝置之設備資料;同步時間軸,其係將該第一取像裝置及該第二取像裝置之系統時間軸進行同步;執行特徵點分析,其係讀取該第一取像裝置之一T0第一圖像及該第二取像裝置之一T0第二圖像並分別進行特徵點分析,並對應的分別產生複數個T0第一特徵點資訊及複數個T0第二特徵點資訊;比對最小距離特徵,其係對任兩該些T0第一特徵點資訊及該些T0第二特徵點資訊進行最小距離特徵比對,並產生複數個T0即時共同特徵點及該T0即時圖像座標;繪製即時3D圖像,其係使用該些T0即時共同特徵點及該T0即時圖像座標,形成一T0即時3D圖像;產生T0全域座標,其係將T0時點取像裝置之T0即時3D位置資訊,產生一T0全域座標及其全域基準點及全域基準方向;以及產生T0全域圖像,其係將該些T0即時共同特徵點及該T0即時3D圖像匯入該T0全域座標,以產生一T0時點全域圖像。
- 如申請專利範圍第10項所述之多鏡頭影像深度之3D空間繪製系統,其中該取得設備資料為一手機設備資料,係從預先建立之各品牌及各型號手機資訊之資料庫中,取得每一支手機之參數,又該參數至少包括手機廠牌、手機型號、鏡頭尺寸、殼體尺寸,鏡頭至殼體之間。
- 如申請專利範圍第1項所述之多鏡頭影像深度之3D空間繪製系統,其進一步具有一第一取像裝置,其係結合於該第一支撐部,又進一步具有一第二取像裝置,其係結合於該第二支撐部。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762462547P | 2017-02-23 | 2017-02-23 | |
US62/462,547 | 2017-02-23 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201841140A TW201841140A (zh) | 2018-11-16 |
TWI659393B true TWI659393B (zh) | 2019-05-11 |
Family
ID=63167564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW106134979A TWI659393B (zh) | 2017-02-23 | 2017-10-12 | 多鏡頭影像深度之3d空間繪製系統 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180241916A1 (zh) |
CN (1) | CN108510576A (zh) |
TW (1) | TWI659393B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10542245B2 (en) * | 2017-05-24 | 2020-01-21 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN204300649U (zh) * | 2014-11-17 | 2015-04-29 | 联想(北京)有限公司 | 一种头戴显示架 |
US20150243078A1 (en) * | 2014-02-24 | 2015-08-27 | Sony Computer Entertainment Inc. | Methods and Systems for Social Sharing Head Mounted Display (HMD) Content With a Second Screen |
TW201608281A (zh) * | 2014-05-30 | 2016-03-01 | 新力電腦娛樂美國有限責任公司 | 用於呈現虛擬現實內容的具有與行動計算設備介接之介面的頭戴式設備(hmd)系統 |
CN105589562A (zh) * | 2016-03-22 | 2016-05-18 | 京东方科技集团股份有限公司 | 一种虚拟现实设备和虚拟现实系统 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101688153B1 (ko) * | 2010-08-11 | 2016-12-20 | 엘지전자 주식회사 | 3차원 영상의 편집 방법 및 이를 이용하는 이동 단말기 |
EP2680594A4 (en) * | 2011-02-24 | 2014-07-09 | Kyocera Corp | ELECTRONIC APPARATUS, IMAGE DISPLAY METHOD, AND IMAGE DISPLAY PROGRAM |
TW201308972A (zh) * | 2011-08-09 | 2013-02-16 | Hon Hai Prec Ind Co Ltd | 具有三維拍照功能之行動電話 |
US10110805B2 (en) * | 2012-12-06 | 2018-10-23 | Sandisk Technologies Llc | Head mountable camera system |
US11327302B2 (en) * | 2013-09-18 | 2022-05-10 | Beth Holst | Secure capture and transfer of image and audio data |
US9432636B2 (en) * | 2013-11-26 | 2016-08-30 | Microsoft Technology Licensing, Llc | Large-scale surface reconstruction that is robust against tracking and mapping errors |
CN103901626B (zh) * | 2014-03-20 | 2016-05-25 | 成都理想境界科技有限公司 | 一种头戴立体观影设备 |
US10257494B2 (en) * | 2014-09-22 | 2019-04-09 | Samsung Electronics Co., Ltd. | Reconstruction of three-dimensional video |
US20160378176A1 (en) * | 2015-06-24 | 2016-12-29 | Mediatek Inc. | Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display |
CN205103761U (zh) * | 2015-08-03 | 2016-03-23 | 众景视界(北京)科技有限公司 | 头戴式智能设备 |
KR20170035237A (ko) * | 2015-09-22 | 2017-03-30 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
CN108702441A (zh) * | 2016-02-24 | 2018-10-23 | 株式会社理光 | 图像处理设备、图像处理系统及程序 |
CN106020753B (zh) * | 2016-05-06 | 2019-03-29 | 联想(北京)有限公司 | 控制方法及电子设备 |
CN106447713B (zh) * | 2016-08-31 | 2019-05-28 | 北京维盛视通科技有限公司 | 基于点云人体模型的自动测量方法及装置 |
-
2017
- 2017-10-12 TW TW106134979A patent/TWI659393B/zh not_active IP Right Cessation
- 2017-10-24 CN CN201711002300.3A patent/CN108510576A/zh active Pending
-
2018
- 2018-02-23 US US15/903,265 patent/US20180241916A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150243078A1 (en) * | 2014-02-24 | 2015-08-27 | Sony Computer Entertainment Inc. | Methods and Systems for Social Sharing Head Mounted Display (HMD) Content With a Second Screen |
TW201608281A (zh) * | 2014-05-30 | 2016-03-01 | 新力電腦娛樂美國有限責任公司 | 用於呈現虛擬現實內容的具有與行動計算設備介接之介面的頭戴式設備(hmd)系統 |
CN204300649U (zh) * | 2014-11-17 | 2015-04-29 | 联想(北京)有限公司 | 一种头戴显示架 |
CN105589562A (zh) * | 2016-03-22 | 2016-05-18 | 京东方科技集团股份有限公司 | 一种虚拟现实设备和虚拟现实系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108510576A (zh) | 2018-09-07 |
US20180241916A1 (en) | 2018-08-23 |
TW201841140A (zh) | 2018-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7445642B2 (ja) | クロスリアリティシステム | |
JP7445720B2 (ja) | 拡張現実のためのシステムおよび方法 | |
JP6860488B2 (ja) | 複合現実システム | |
JP7223449B2 (ja) | 撮影に基づく3dモデリングシステム | |
CN110505463A (zh) | 基于拍照的实时自动3d建模方法 | |
CN110047104A (zh) | 对象检测和跟踪方法、头戴式显示装置和存储介质 | |
WO2020042970A1 (zh) | 一种三维建模的方法及其装置 | |
CN109146965A (zh) | 信息处理装置和计算机程序 | |
US20180182163A1 (en) | 3d model generating system, 3d model generating method, and program | |
US9813693B1 (en) | Accounting for perspective effects in images | |
US10579138B2 (en) | Head-mounted sensor system | |
US20210158552A1 (en) | Systems and methods for enhanced depth determination using projection spots | |
JPWO2012147363A1 (ja) | 画像生成装置 | |
CN114341943A (zh) | 使用平面提取的简单环境求解器 | |
US10089784B2 (en) | Head-mounted mapping methods | |
US11385856B2 (en) | Synchronizing positioning systems and content sharing between multiple devices | |
TWI659393B (zh) | 多鏡頭影像深度之3d空間繪製系統 | |
US20200211275A1 (en) | Information processing device, information processing method, and recording medium | |
CN113454685A (zh) | 基于云的相机标定 | |
JP6168597B2 (ja) | 情報端末装置 | |
WO2021237952A1 (zh) | 一种增强现实的显示系统及方法 | |
JP2011205385A (ja) | 立体映像制御装置および立体映像制御方法 | |
US12033355B2 (en) | Client/server distributed camera calibration | |
US20210358173A1 (en) | Computationally efficient method for computing a composite representation of a 3d environment | |
KR20190118804A (ko) | 3차원 영상 생성 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |