TWI524758B - 電子裝置及其漸增式姿態估算及攝影方法 - Google Patents

電子裝置及其漸增式姿態估算及攝影方法 Download PDF

Info

Publication number
TWI524758B
TWI524758B TW103142812A TW103142812A TWI524758B TW I524758 B TWI524758 B TW I524758B TW 103142812 A TW103142812 A TW 103142812A TW 103142812 A TW103142812 A TW 103142812A TW I524758 B TWI524758 B TW I524758B
Authority
TW
Taiwan
Prior art keywords
image
electronic device
dimensional object
circumference
module
Prior art date
Application number
TW103142812A
Other languages
English (en)
Other versions
TW201622405A (zh
Inventor
汪德美
魏震豪
陳曉薇
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW103142812A priority Critical patent/TWI524758B/zh
Priority to US14/576,163 priority patent/US9443349B2/en
Application granted granted Critical
Publication of TWI524758B publication Critical patent/TWI524758B/zh
Publication of TW201622405A publication Critical patent/TW201622405A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

電子裝置及其漸增式姿態估算及攝影方法
本揭露是有關於一種攝影方法及裝置，且特別是有關於一種電子裝置及其漸增式姿態估算及攝影方法。
在使用單鏡頭相機重建三維物件的過程中，相機的姿態估測是一個相當重要的環節。雖然單純對所擷取影像進行處理也能達到一定的效果，但在對眾多影像進行特徵點的匹配時，不僅需要耗費龐大的計算資源，許多影像也會因為雜訊的干擾而在估測過程中捨棄。一般而言，使用不適當的影像來進行三維物件的重建將難以獲得令人滿意的重建結果。
現今航空攝影測量(aerial photogrammetry)、無人飛行載具(unmanned aerial vehicle)等技術均結合全球定位系統(global positioning system,GPS)及慣性感測器(inertial measurement unit,IMU)的偵測，來輔助影像特徵的匹配。然而，這些技術僅適用於大尺度的量測，並不適用於手持裝置這類裝置的小尺度量測。由 於手持裝置量測的資料會比固定在載具上之感測器量測的資料具有較差的穩定性，且小尺度量測的誤差更容易被放大，因此有必要提出一種攝影方式來解決上述手持裝置的問題，以便改進偏差的感測資料而能夠使用更多未經排序的影像來重建完整的三維物件。
本揭露提供一種電子裝置及其漸增式姿態估算及攝影方法，藉由估算電子裝置適於拍攝三維物件的圓周，據以調整計時間隔，而能夠在合適時間自動觸發電子裝置拍攝三維物件的影像。
本揭露的漸增式姿態估算及攝影方法，適用於具有影像擷取單元、感測單元及計時器的電子裝置。此方法是在圍繞三維物件的不同位置上利用影像擷取單元拍攝三維物件的至少兩張影像，並利用感測單元偵測電子裝置拍攝這些影像所產生的位移及角位移。根據這些位移、角位移及所述影像中三維物件的多個特徵，據以估測三維物件之中心點的位置以及三維物件與電子裝置之間的距離，並以此距離估算電子裝置適於拍攝三維物件的圓周。將所估測的圓周分割為多個區段，並根據這些區段的長度調整計時器的計時間隔。最後，利用計時器每隔計時間隔觸發影像擷取單元拍攝三維物件的影像。
在本揭露的一實施例中，在上述利用計時器每隔計時間隔觸發影像擷取單元拍攝三維物件的影像的步驟之後，所述方法 更包括重新分析影像擷取單元所拍攝的影像及新影像，據以重新估測三維物件之中心點的位置以及電子裝置適於拍攝三維物件的圓周。接著，判斷重新估測之中心點的位置與原先估測之中心點的位置的差異是否超出預設比例。其中，若超出預設比例，依據重新估算的圓周，調整計時器的計時間隔。
在本揭露的一實施例中，在上述利用計時器每隔計時間隔觸發影像擷取單元拍攝三維物件的影像的步驟之後，所述方法更包括重新分析影像擷取單元所拍攝的影像及新影像，據以重新估測三維物件之中心點的位置以及電子裝置適於拍攝三維物件的圓周。然後，判斷重新估測之圓周與原先估測之圓周的差異是否超出預設比例。其中，若超出預設比例，依據重新估算的圓周，調整計時器的計時間隔。
在本揭露的一實施例中，在上述在圍繞三維物件的不同位置上利用影像擷取單元拍攝三維物件的影像，並利用感測單元偵測電子裝置拍攝這些影像所產生的位移及角位移的步驟之後，所述方法更包括根據電子裝置拍攝各張影像時感測單元所偵測到之電子裝置的位移及角位移，估測電子裝置的第一拍攝姿態。接著，擷取各張影像中的多個特徵並進行匹配，據以估測電子裝置的第二拍攝姿態，並計算這些影像間的重疊區域。最後，分別將這些影像及各張影像的姿態追蹤資訊記錄於鏈結串列結構中的多個節點，其中姿態追蹤資訊包括電子裝置拍攝各張影像時的第一拍攝姿態、第二拍攝姿態、第一與第二拍攝姿態的可容許的誤差 範圍以及各張影像與其他影像間的重疊區域。
在本揭露的一實施例中，上述根據電子裝置拍攝各張影像時感測單元所偵測到之電子裝置的位移及角位移，估測電子裝置的拍攝姿態的步驟包括將電子裝置拍攝影像每次產生的移動分割成多次小移動，並擷取感測單元在電子裝置產生各個小移動中所偵測到的小位移及小角位移。再來，將感測單元於各個小移動中所偵測到的小位移及小角位移進行積分，以估測電子裝置拍攝影像時在三維空間中的移動路徑及電子裝置拍攝各張影像時的拍攝姿態。
在本揭露的一實施例中，在上述分別記錄影像及各張影像的姿態追蹤資訊於鏈結串列結構中的節點的步驟之後，所述方法更包括每當電子裝置利用影像擷取單元拍攝三維物件的新影像時，從鏈結串列結構中尋找姿態追蹤資訊最接近的多張影像，並在鏈結串列結構中新增節點以將新影像及相關的拍攝姿態資訊安插於這些影像之間或這些影像前後。
在本揭露的一實施例中，在上述分析影像中三維物件的特徵，據以估測三維物件之中心點的位置以及三維物件與電子裝置之間的距離，並估算電子裝置適於拍攝三維物件的圓周的步驟之後，所述方法更包括依據距離建立圍繞三維物件的表面，將電子裝置所拍攝的影像分別投影於此表面，以識別此表面上的多個已覆蓋區域及多個未覆蓋區域。然後，根據電子裝置的目前位置，搜尋表面中距離最近的未覆蓋區域，並估測用以拍攝此未覆蓋區 域之新影像的拍攝位置。最後，計算由目前位置移動至此拍攝位置的移動方向及移動距離，並在電子裝置的使用者介面上提示所計算的移動方向及移動距離。
在本揭露的一實施例中，上述將電子裝置所拍攝的影像分別投影於表面，以識別表面上的已覆蓋區域及未覆蓋區域的步驟包括將電子裝置所拍攝之各張影像的四個角落分別投影於表面以識別表面上的已覆蓋區域及未覆蓋區域。
在本揭露的一實施例中，在上述提示移動方向及移動距離於電子裝置的使用者介面的步驟之後，所述方法更包括利用影像擷取單元拍攝未覆蓋區域的新影像，並重新分析影像擷取單元所拍攝的影像及新影像，據以重新估測三維物件之新中心點的位置以及三維物件與電子裝置之間的新距離。然後，依據新中心點的位置及新距離調整圍繞三維物件的表面為新表面。最後，重新將電子裝置所拍攝的影像投影於新表面，以識別新表面上的已覆蓋區域及未覆蓋區域。
在本揭露的一實施例中，上述估測用以拍攝未覆蓋區域之新影像的拍攝位置的步驟包括估測用以拍攝未覆蓋區域之新影像的拍攝位置，使得所拍攝的新影像與先前拍攝的影像之間具有預設比例的重疊區域。
在本揭露的一實施例中，上述根據位移、角位移及影像中三維物件的特徵，據以估測三維物件之中心點的位置以及三維物件與電子裝置之間的距離，並以距離估算電子裝置適於拍攝三 維物件的圓周的步驟更包括以該距離估算電子裝置適於拍攝三維物件的多個圓周，並將這些圓周分別分割為多個區段，而用以調整計時器的計時間隔，其中這些圓周可形成包圍三維物件的球面。
在本揭露的一實施例中，上述分割所估測的圓周為多個區段，並根據這些區段的長度調整計時器的計時間隔的步驟包括依據電子裝置拍攝影像所產生的位移，將所估算的圓周分割為所述區段。
本揭露的電子裝置包括影像擷取單元、感測單元、計時器以及運算單元。影像擷取單元是用以在圍繞三維物件的不同位置上拍攝三維物件的影像。感測單元是用以偵測電子裝置拍攝影像所產生的位移及角位移。計時器是用以每隔計時間隔觸發影像擷取單元拍攝三維物件的影像。運算單元耦接影像擷取單元、感測單元及計時器，而用以執行多個模組。所述模組包括圓周估算模組以及計時器設定模組。其中，圓周估算模組根據感測單元所偵測的位移、角位移及影像中三維物件的多個特徵，據以估測三維物件之中心點的位置以及三維物件與電子裝置之間的距離，並以此距離估算電子裝置適於拍攝三維物件的圓周。計時器設定模組會將圓周估算模組所估算的圓周分割為多個區段，並根據這些區段的長度調整計時器的計時間隔。
在本揭露的一實施例中，上述的圓周估算模組更在計時器根據調整後的計時間隔觸發影像擷取單元拍攝三維物件的影像之後，重新分析影像擷取單元所拍攝的影像及新影像，據以重新 估測三維物件之中心點的位置以及電子裝置適於拍攝三維物件的圓周。計時器設定模組更在重新估測之中心點的位置與原先估測之中心點的位置的差異超出預設比例時，依據圓周估算模組重新估算的圓周，調整計時器的計時間隔。
在本揭露的一實施例中，上述的圓周估算模組更在計時器根據調整後的計時間隔觸發影像擷取單元拍攝三維物件的影像之後，重新分析影像擷取單元所拍攝的影像及新影像，據以重新估測三維物件之中心點的位置以及電子裝置適於拍攝三維物件的圓周，計時器設定模組更在圓周估算模組重新估測之圓周與原先估測之圓周的差異超出預設比例時，依據圓周估算模組重新估算的圓周，調整計時器的計時間隔。
在本揭露的一實施例中，上述的模組更包括特徵匹配模組、姿態估測模組以及姿態追蹤模組。其中，特徵匹配模組擷取各張影像中的多個特徵並進行匹配，據以計算這些影像間的重疊區域。姿態估測模組根據電子裝置拍攝各張影像時感測單元所偵測到之電子裝置的位移及角位移，估測電子裝置的第一拍攝姿態，並根據特徵匹配模組所匹配的特徵，估測電子裝置的第二拍攝姿態。姿態追蹤模組將這些影像及各張影像的姿態追蹤資訊分別記錄於鏈結串列結構中的多個節點，其中姿態追蹤資訊包括電子裝置拍攝各張影像時的第一拍攝姿態、第二拍攝姿態、第一拍攝姿態與第二拍攝姿態的可容許的誤差範圍以及各張影像與其他影像間的重疊區域。
在本揭露的一實施例中，上述的模組更包括路徑精進模組。路徑精進模組將電子裝置拍攝影像每次產生的移動分割成多次小移動，並擷取感測單元在電子裝置產生各個小移動中所偵測到的小位移及小角位移，將感測單元於各個小移動中所偵測到的小位移及小角位移進行積分，以估測電子裝置拍攝影像時在三維空間中的移動路徑及電子裝置拍攝各張影像時的拍攝姿態。
在本揭露的一實施例中，上述的模組更包括影像排序模組。影像排序模組於每當電子裝置利用影像擷取單元拍攝三維物件的新影像時，從鏈結串列結構中尋找姿態追蹤資訊最接近的多張影像，並在鏈結串列結構中新增節點以將新影像及相關的拍攝姿態資訊安插於這些影像之間或這些影像前後。
在本揭露的一實施例中，上述的模組更包括表面建立模組、投影模組、搜尋模組以及提示模組。其中，表面建立模組依據上述距離建立圍繞三維物件的表面。投影模組將電子裝置所拍攝的影像分別投影於此表面，以識別此表面上的多個已覆蓋區域及多個未覆蓋區域。搜尋模組根據電子裝置的目前位置，搜尋表面中距離最近的未覆蓋區域，並估測用以拍攝此未覆蓋區域之新影像的拍攝位置。提示模組計算由目前位置移動至拍攝位置的移動方向及移動距離，並在電子裝置的使用者介面上提示此移動方向及移動距離。
在本揭露的一實施例中，上述的圓周估算模組更以上述距離估算電子裝置適於拍攝三維物件的多個圓周，並將這些圓周 分別分割為多個區段，而提供計時器設定模組用以調整計時器的計時間隔，其中這些圓周可形成包圍三維物件的球面。
基於上述，本揭露的電子裝置及其漸增式姿態估算及攝影方法藉由在圍繞三維物件的不同位置上拍攝至少兩張三維物件的影像，據以估算適合拍攝三維物件的圓周。再將此圓周切割以分配拍攝影像的時間間隔。如此一來，本揭露可根據使用者拍攝三維物件影像的位置及姿態，計算適當的時間自動觸發電子裝置拍攝影像，從而輔助使用者拍攝三維物件影像，以重建完整的三維物件。
為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧電子裝置
110‧‧‧影像擷取單元
120‧‧‧感測單元
130‧‧‧計時器
140、340、540、740‧‧‧運算單元
141、341、541、741‧‧‧圓周估算模組
142、342、542、742‧‧‧計時設定模組
343、543、743‧‧‧特徵匹配模組
344、544、744‧‧‧姿態估測模組
345、545、745‧‧‧姿態追蹤模組
546、746‧‧‧路徑精進模組
547、747‧‧‧影像排序模組
PA、P1、P2、P3、P4、PB、PB'‧‧‧位置
d1、d2、d3、d4、d5‧‧‧小位移
θ1、θ2、θ3、θ4、θ5‧‧‧小角位移
D‧‧‧位移
θ‧‧‧角位移
751‧‧‧表面建立模組
752‧‧‧投影模組
753‧‧‧搜尋模組
754‧‧‧提示模組
R1、R2、R3‧‧‧圓周
C1‧‧‧中心點
D1、D2‧‧‧三維物件
S1‧‧‧區段
S2‧‧‧表面
V1、V2、Vi、Vj‧‧‧拍攝位置
Gi、Gj‧‧‧影像
Ni‧‧‧已覆蓋區域
Nj‧‧‧未覆蓋區域
S220、S240、S260、S280、S421、S423、S425、S841、S842、S843、S844‧‧‧步驟
圖1繪示本揭露一實施例之電子裝置的方塊圖。
圖2A繪示本揭露一實施例之漸增式姿態估算及攝影方法的步驟流程圖。
圖2B繪示本揭露一實施例之拍攝三維物件影像的示意圖。
圖2C繪示本揭露一實施例之拍攝三維物件影像的示意圖。
圖3繪示本揭露一實施例之電子裝置的運算單元的方塊圖。
圖4繪示本揭露一實施例之漸增式姿態估算及攝影方法的流程圖。
圖5繪示本揭露一實施例之電子裝置的運算單元的方塊圖。
圖6繪示本揭露一實施例之路徑精進方法的示意圖。
圖7繪示本揭露一實施例之電子裝置的運算單元的方塊圖。
圖8A繪示本揭露一實施例之漸增式姿態估算及攝影方法的流程圖。
圖8B繪示本揭露一實施例之投影影像於圍繞三維物件的表面以估測拍攝位置的示意圖。
圖1繪示本揭露一實施例之電子裝置的方塊圖。請參考圖1，在本實施例中，電子裝置100例如是數位相機、智慧型手機(Smart phone)、平板電腦(Tablet PC)或其他具有攝像功能的手持式裝置，在此不設限。電子裝置100包括影像擷取單元110、感測單元120、計時器130以及運算單元140，這些元件的功能分述如下：影像擷取單元110例如是包含光學定焦鏡頭或光學變焦鏡頭，以及電荷耦合元件(Charge Coupled Device，CCD)或互補金氧半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件等感光元件的裝置。在本實施例中，影像擷取單元110可調整焦距以供使用者在圍繞一三維物件的不同位置上拍攝該三維物件的影像。
感測單元120例如是重力感測器(G-sensor)、陀螺儀 (gyroscope)、加速度計(accelerometer)或電子羅盤(compass)等感測器或這些感測器的組合，而可用以偵測電子裝置100拍攝上述三維物件影像所產生的位移及角位移。
運算單元140耦接擷取單元110、感測單元120及計時器130，其例如是具有單核心或多核心的中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。在本實施例中，運算單元140可用以執行圓周估算模組141以及計時設定模組142，而執行本揭露之漸增式姿態估算及攝影方法。
詳言之，圖2A繪示本揭露一實施例之漸增式姿態估算及攝影方法的流程圖。請同時參考圖1及圖2A，本實施例的方法適用於上述的電子裝置100，以下即搭配圖1中電子裝置100中的各項元件，說明本實施例漸增式姿態估算及攝影方法的詳細步驟。
首先，於步驟S220中，電子裝置100在圍繞三維物件的不同位置上，利用影像擷取單元110拍攝至少兩張三維物件的影像，同時也利用感測單元120偵測其拍攝兩張影像所產生的位移及角位移。其中，使用者例如可手持電子裝置100繞著三維物件走動並朝向三維物件拍攝影像，而電子裝置100會利用感測單元120偵測其在整個影像拍攝過程所有移動所產生的位移及角位 移，以供後續的姿態估算。
於步驟S240中，圓周估算模組141會根據上述的位移、角位移及影像中三維物件的多個特徵，估測三維物件的中心點的位置以及三維物件與電子裝置100之間的距離，並使用所估測的距離估算電子裝置100適於拍攝三維物件的圓周。
舉例來說，圖2B繪示本揭露一實施例之拍攝三維物件影像的示意圖。在本實施例中，電子裝置是在圍繞三維物件D1的拍攝位置V1及拍攝位置V2上分別拍攝三維物件D1的影像，同時偵測其由拍攝位置V1移動至拍攝位置V2所產生的位移及角位移。其中，電子裝置可以利用所偵測到的位移及角位移來判斷不同拍攝位置之間是否會因為彼此距離或拍攝角度的差異過大，造成所拍攝影像中的物件沒有重疊而無法建立影像的關聯性。若判斷兩張影像中的物件有重疊，即可進一步利用這兩張影像來計算所拍攝三維物件的中心點以及三維物件與電子裝置之間的距離；若判斷兩張影像中的物件沒有重疊，則不會使用這兩張影像來進行上述計算。
其中，藉由在拍攝位置V1及拍攝位置V2上拍攝的影像，以及藉由在拍攝位置V1移動至拍攝位置V2時所偵測的位移及角位移，電子裝置即可估測三維物件D1之中心點C1的位置。詳言之，電子裝置可以經由所拍攝影像的焦距或其他拍攝資訊分別得知拍攝位置V1、拍攝位置V2與三維物件D1的距離，而經由所偵測的位移及角位移則可得知拍攝位置V1及拍攝位置V2之間 的距離。此時，藉由簡單的三角定位即可估測出中心點C1的位置。而根據拍攝位置V1、拍攝位置V2與三維物件D1的距離，即可估測出適於拍攝三維物件D1影像的圓周R1，此圓周R1上的各個點均是可用來拍攝三維物件D1影像的合適位置。
回到圖2的流程，於步驟S260中，計時器設定模組142會將圓周估算模組141所估算的圓周分割為多個區段，並根據區段的長度來調整計時器130的計時間隔。在一實施例中，圓周估算模組141可僅估算位於電子裝置10所在之水平面上的圓周，而由計時器設定模組142將此圓周分割為多個區段來計算計時器130的計時間隔。而在另一實施例中，圓周估算模組141還可根據所估測之距離，估算電子裝置100適於拍攝三維物件的多個圓周(例如是圍繞三維物件之上、中、下三個部分的圓周)，這些圓周可形成包圍住三維物件的球面，並且這些圓周還可分別分割為不同數目的多個區段，而用以計算計時器130的計時間隔。上述所分割區段的數目及所估算圓周的數目可視三維物件D1的尺寸而定，在此不設限。
舉例來說，圖2C繪示本揭露一實施例之拍攝三維物件影像的示意圖。本實施例為圖2B實施例的延伸應用，其中電子裝置會進一步將其所估測的適於拍攝三維物件D1影像的圓周R1分割為預設數目(例如20)的多個區段(例如區段S1)，並根據這些區段的長度來調整計時器130的計時間隔。特別是，在本實施例中，除了位於電子裝置所在水平面上的圓周R1外，電子裝置還可針對 三維物件D1的上部及下部分別估測適於拍攝三維物件D1影像的圓周R2、R3，並將圓周R2、R3分割為預設數目(例如10)的多個區段，而根據這些區段的長度來調整計時器130的計時間隔。以圖2C為例，藉由估測適於拍攝三維物件D1影像的圓周R1、R2、R3，可使得電子裝置所拍攝的影像涵括由上往下、水平及由下往上的三個不同的拍攝方向，從而填補僅由水平方向拍攝時所造成之三維物件D1頂部及底部的破洞。
值得一提的是，在上述步驟S260中，計時器設定模組142是將圓周估算模組141所估算的圓周分割為預設數目的多個區段，並根據區段的長度來調整計時器130的計時間隔。然而，在另一實施例中，計時器設定模組142則可以根據電子裝置100拍攝影像所產生的位移來分割圓周。其中，計時器設定模組142可依照電子裝置100先前拍攝多張影像時的平均位移、最小位移或最大位移做為分割圓周的長度，從而將圓周分割為多個區段。藉此，計時器設定模組142所設定的計時間隔將會符合使用者手持電子裝置100拍攝三維物件的移動速度，而在適當的時機點觸發影像擷取單元110擷取影像。
回到圖2的流程，於步驟S280中，根據上述圓周估算模組141所調整的計時間隔，電子裝置100即可利用計時器130每隔上述時間間隔即觸發影像擷取單元110來拍攝三維物件的影像。
經由計時器130的自動觸發，電子裝置100即可在使用者每移動一段距離後即自動拍攝三維物件的影像，如此不僅可省 去使用者手動拍攝的麻煩，也可避免因為使用者移動距離過遠，造成後續拍攝影像與先前拍攝影像沒有重疊而無法用以重建三維物件。藉此，使用者只需手持電子裝置100繞著三維物件移動，電子裝置100即會自動拍攝其重建三維物件所需的所有影像，不僅可提升使用者操作上的便利性，還可提升所建立三維物件的完整性。
需說明的是，由於使用者手持電子裝置100拍攝三維物件影像時不一定會按照固定的(圓周)路徑拍攝，因而可能會發生多種情況，例如靠近三維物件、遠離三維物件、改變繞行方向、改變繞行速度，這些情況可能會使得電子裝置100與三維物件之間的距離改變，而造成適於拍攝三維物件影像的圓周改變。此時，有必要重新估測適於拍攝三維物件影像的圓周，以調整計時器130的計時間隔。對此，本揭露提供許多輔助判斷方式，可幫助電子裝置100在適當的時機重新估測三維物件中心點的位置以及適於拍攝三維物件影像的圓周。
詳言之，針對使用者靠近或遠離三維物件的情況，本揭露是在每當電子裝置100利用計時器130觸發影像擷取單元110拍攝一張新影像之後，圓周估算模組141即會將這張新影像與先前拍攝的影像進行分析，以重新估測三維物件的中心點位置以及電子裝置100適於拍攝三維物件的圓周。其中，在一實施例中，計時器設定模組142可將圓周估算模組141重新估測之中心點位置與原先估測之中心點位置進行比較，以判斷其間的差異是否超 出一預設比例(例如10%)，一旦此差異超出預設比例，即代表原先估算的圓周已不再適用，此時計時器設定模組142將會依據圓周估算模組141重新估算的圓周，來調整計時器130的計時間隔。而在另一實施例中，計時器設定模組142可將圓周估算模組141重新估算的圓周直接與原先估算的圓周進行比較，以判斷其間的差異是否超出一預設比例(例如10%)，一旦此差異超出預設比例，即代表原先估算的圓周已不再適用，此時計時器設定模組142將會依據重新估算的圓周，來調整計時器130的計時間隔。
簡單來說，電子裝置100可藉由再一次的分析來修正前一次所估算的圓周，並且調整計時器130以更新計時間隔。假設使用者使用電子裝置100進行拍攝時，偏離原先圓周估算模組141所估算的(圓周)路徑，此時電子裝置100就可以再次進行估算以更新時間間隔。其中，電子裝置100更新計時間隔的時機，至少可以依據中心點位置或圓周位置是否偏移來判斷。
另一方面，針對使用者改變繞行方向及/或速度的情況，由於這些情況可能會造成電子裝置100後續拍攝影像與先前拍攝影像之間有不連續或內容沒有重疊的結果，對此，本揭露亦提供一種姿態追蹤方法，藉由估測每張影像的拍攝姿態，據以將後續拍攝影像與先前拍攝影像進行比對，從而找出後續拍攝影像與先前拍攝影像之間的順序及關聯性，而有利於後續的三維物件重建。
舉例來說，請參考圖3，圖3繪示本揭露一實施例之電子裝置的運算單元340的方塊圖。本實施例的運算單元340除了包 括圓周估算模組341以及計時設定模組342之外，運算單元340更包括特徵匹配模組343、姿態估測模組344以及姿態追蹤模組345。其中，圓周估算模組341以及計時設定模組342的功能與圖1實施例中的圓周估算模組141以及計時設定模組142相同或相似，故在此不再贅述。並且，本實施例的運算單元340可以適用於電子裝置100中。
圖4繪示本揭露一實施例之漸增式姿態估算及攝影方法的流程圖。本實施例的步驟接續在圖2實施例中的步驟S220之後。請搭配參考圖2至圖4，在感測單元120偵測電子裝置100拍攝影像所產生的位移及角位移之後，於步驟S421中，姿態估測模組344會針對所偵測到的位移及角位移，估測電子裝置100的第一拍攝姿態。於步驟S423中，特徵匹配模組343擷取各影像中的多個特徵並進行匹配，據以估測電子裝置的第二拍攝姿態，並且計算影像間的重疊區域。上述的第一拍攝姿態及第二拍攝姿態例如包含電子裝置100拍攝影像時在三維空間中的位置、姿態、與三維物件之間的相對位置、相對角度等資訊，在此不設限。本揭露藉由將感測器測量數據所估測的拍攝姿態，與對影像進行處理所估測的拍攝姿態結合，可獲得較為精準的姿態估測結果。
於步驟S425中，姿態追蹤模組345分別將各張影像及其姿態追蹤資訊記錄於鏈結串列(linked list)結構中的多個節點。此處的姿態追蹤資訊包括上述估測的第一拍攝姿態、第二拍攝姿態、第一拍攝姿態與第二拍攝姿態之間的可容許誤差範圍以及影 像與其他影像的重疊區域。
值得注意的是，在本實施例中電子裝置100可根據其記錄影像及其資訊的不同需求使用適合的鏈結串列結構，例如單向連結串列(singly-linked lists)、雙向連結串列(doubly-linked lists)與環狀連結串列(circularly-linked lists)。鏈結串列結構中具有多個節點，而每個節點可以儲存資料的變數，且可以有互相指向的指標，例如單向連結串列為單一方向指標，雙向連結串列為雙向指標，環狀連結串列則是最後一個節點會重新指向第一個節點形成迴圈。以本實施例所要記錄的姿態追蹤資訊為例，當姿態估測模組344以位移及角位移估測電子裝置100的第一拍攝姿態後，可以將第一拍攝姿態儲存於節點。當特徵匹配模組343擷取特徵並進行匹配後，所估測出的第二拍攝姿態亦可以儲存於節點，並且第一拍攝姿態與第二拍攝姿態因鏈節串列結構的特性而具有相互關係。此外，特徵匹配模組343可藉由計算影像間的重疊區域，估算新拍攝的影像應該位於兩張影像之間或哪一張影像前後，之後即可將此影像及相關資訊即存入節點。其中，電子裝置100可在兩拍攝姿態之間設定一個正負15%的可容許誤差範圍，避免重疊區域過少的情況產生。
需說明的是，在重建三維物件的過程中，使用者需要手持電子裝置100不斷的移動以拍攝影像。因此，在上述步驟S421中，每當電子裝置100使用感測單元120偵測位移及角位移以估測拍攝姿態時，會將感測單元120所偵測到的位移與角位移積分， 以計算出電子裝置100這次移動的總體位移與角位移。然而，若在積分的過程中沒有考慮到旋轉，則在計算電子裝置100的真實移動路徑時，直接累加位移和角位移的結果將無法得到一個封閉的路徑。
前述的問題是因為將電子裝置的移動視為離散而非連續所造成，然而從微觀來看，電子裝置100每次的移動應同時包含轉動。有鑑於此，本揭露提供一種可精進所計算路徑的方法。圖5繪示本揭露一實施例之電子裝置的運算單元540的方塊圖。本實施例的運算單元540除了包括圓周估算模組541、計時設定模組542、特徵匹配模組543、姿態估測模組544以及姿態追蹤模組545之外，更包括路徑精進模組546以及影像排序模組547。其中，圓周估算模組541、計時設定模組542、特徵匹配模組543、姿態估測模組544以及姿態追蹤模組545的功能與前述實施例的圓周估算模組341、計時設定模組342、特徵匹配模組343、姿態估測模組344以及姿態追蹤模組345相同或相似，在此不再贅述。同樣的，運算單元540可以適用於電子裝置100中。
接著請同時參考圖5及圖6，圖6繪示本揭露一實施例之路徑精進方法的示意圖。當電子裝置100由位置PA移至位置PB，若直接使用感測單元120所偵測到的位移D及角位移θ計算，會得到偏差較大的位置PB'。在本實施例中，路徑精進模組546例如會將此移動分割成5次小位移d1、d2、d3、d4與d5及小角位移θ1、θ2、θ3、θ4與θ5，並對這些小位移d1~d5及小角位移θ1~θ5進行 積分，得到這5次小移動後的位置分別為位置P1、P2、P3、P4以及PB。如此姿態估測模組544才能得到較準確的PB位置。本揭露並不加以限定路徑精進模組分割移動的次數，次數的設定可以是系統預設或使用者自行調整。
值得注意的是，本實施例將位置的移動視為連續並考慮到移動中的旋轉角度。微觀來看，本實施例的路徑精進模組546把每一次移動(位置PA到位置PB)分割成數次小移動。其中，每次小移動所產生的小位移可以由加速度計(accelerometer)來計算，而所產生的角位移則可以由陀螺儀來計算。由於上述感測器的取樣速度非常快(可以是100次/秒)，因此可以把5次的小位移d1~d5皆視為直線運動，再加上小角位移θ1~θ5讓下一次的起始方向旋轉後就可以得到較準確的移動路徑(位置PA到位置PB)。
需說明的是，路徑精進模組546在每一次運算過後就直接更新路徑，因此可免去計算總位移時耗費額外記憶體去暫存前一次的結果。利用上述的計算方式能較精確的計算出完整的路徑，不至於產生偏離很大的問題。
回到圖4的流程，由於使用者手持電子裝置100難免會有拍攝誤差的情況產生，為避免拍攝誤差所產生的三維物件的建構不完全，本揭露會在每當電子裝置100利用影像擷取單元110拍攝三維物件的新影像時，由影像排序模組547從鏈結串列結構中尋找追蹤資訊最接近的多張影像，並在鏈結串列結構中新增節點以將新影像及相關拍攝姿態資訊安插於兩張影像之間或某張影 像前後。其中，新的影像例如會儲存於新的節點之中，並利用鏈結串列結構的指向關係設定好各節點的排序。在本實施例中的影像排序模組547可以對多張影像進行判斷，若在電子裝置100的拍攝過程中拍攝到與先前影像差異過大的影像時，先將此差異過大的影像保留或置於最後。具體來說，在拍攝過程中，每拍一張新的影像後，影像排序模組547就會進行比對、安插及記錄，以確保所拍攝的新影像被安插在所有影像中的合適位置。
另一方面，要建立一個完整的三維物件，需要環繞該三維物件之360度內多個角度的影像，而由於使用者在移動拍攝的過程中並不知道還缺少哪些角度的影像才能重建完整的三維物件，因此，本揭露還結合既有影像及已知的拍攝姿態等資訊，進一步估測出用以重建三維物件所需但尚未取得的其他角度的影像，並透過電子裝置的提示，引導使用者前往合適的位置拍攝影像，藉此獲得重建三維物件所需的所有角度的影像。
以下請參考圖7，圖7繪示本揭露一實施例之電子裝置的運算單元的方塊圖。本實施例的運算單元740除了包括圓周估算模組741、計時設定模組742、特徵匹配模組743、姿態估測模組744、姿態追蹤模組745、路徑精進模組746以及影像排序模組747之外，更包括表面建立模組751、投影模組752、搜尋模組753以及提示模組754。圓周估算模組741、計時設定模組742、特徵匹配模組743、姿態估測模組744、姿態追蹤模組745、路徑精進模組746以及影像排序模組747的功能前述實施例中的圓周估算模 組541、計時設定模組542、特徵匹配模組543、姿態估測模組544、姿態追蹤模組545、路徑精進模組546以及影像排序模組547相同或相似，在此並不贅述。同樣的，運算單元740可以適用於電子裝置100中。
請同時參考圖7及圖8A，圖8A繪示本揭露實施例之漸增式姿態估算及攝影方法的流程圖。在本實施例中的步驟例如是接續圖2實施例中的步驟S240之後，意即，在圓周估算模組141估算三維物件的中心點的位置、三維物件與電子裝置100之間的距離，以及適於拍攝三維物件的圓周後。於步驟S841中，表面建立模組751依據這些距離建立一個圍繞三維物件的表面。此表面可以是任何一種物體的表面，例如圓柱體、球體或方形體等的表面，並不加以限制。
於步驟S842中，投影模組752分別將電子裝置100所拍攝的影像投影於三維物件的表面，以識別表面上的多個已覆蓋區域及多個未覆蓋區域。其中，投影模組752例如是將電子裝置100所拍攝之各影像的四個角落分別投影在上述表面，以識別表面上的已覆蓋區域及未覆蓋區域。
於步驟S843中，搜尋模組753可以根據電子裝置100的目前位置，搜尋三維物件表面中距離最近的未覆蓋區域，並估測用以拍攝未覆蓋區域之新影像的拍攝位置。詳言之，在投影模組752將影像投影於表面建立模組751所建立的表面後，搜尋模組753即可從此表面中找出尚未被覆蓋的區域(即，尚缺少該角度的 影像)，而例如會根據電子裝置100的目前位置，從所有未覆蓋區域中搜尋距離最近者，以指示使用者前往對應位置拍攝。
需說明的是，在其他實施例中，搜尋模組753在估測用以拍攝未覆蓋區域之新影像的拍攝位置時，例如會選擇與已覆蓋區域具有預設比例重疊的未覆蓋區域，使得所拍攝的新影像與先前拍攝的影像之間具有預設比例的重疊，以便後續可以依據這些重疊區域得知影像之間的相對位置，進而重建三維物件。例如，假設影像擷取單元110所拍攝的影像的解析度與大小皆相同，可由使用者或系統設定預設比例為30%的重疊區域。藉此，可使得電子裝置100所拍攝的影像之間都有30%的重疊區域，而可做為後續重建三維物件的依據。
舉例而言，請參考圖8B，圖8B繪示本揭露一實施例之投影影像於圍繞三維物件的表面以估測拍攝位置的示意圖。在本實施例中，表面S2是圍繞三維物件的球體，影像Gi是電子裝置在拍攝位置Vi所拍攝的影像，將影像Gi投影到表面S2上可得到已覆蓋區域Ni，電子裝置從表面S2中除此已覆蓋區域Ni以外的其他未覆蓋區域中搜尋出鄰近的未覆蓋區域Nj，據以估測拍攝新影像Gj的拍攝位置Vj。其中，已覆蓋區域Ni與未覆蓋區域Nj之間的重疊區域LP例如占已覆蓋區域Ni與未覆蓋區域Nj的30%。藉此，可確保電子裝置在拍攝位置Vj所拍攝的新影像Gj與已知影像Gi之間具有預設比例的重疊區域，而可用以做為後續電子裝置使用影像Gi及Gj重建三維物件的依據。
回到圖8A的流程，於步驟S844中，提示模組754會計算由目前位置移動至所估測之新影像的拍攝位置的移動方向及移動距離，並在電子裝置100的使用者介面上顯示，以指示使用者應該往哪個方位移動。其中，電子裝置100的提示方式包括文字提示、圖像提示、語音提示等，在此不設限。藉此，使用者得以經由電子裝置100的提示，迅速得知如何移動以拍攝重建三維物件所缺少的影像。
需說明的是，每當電子裝置100利用影像擷取單元110拍攝未覆蓋區域的新影像後，圓周估算模組141例如會重新分析影像擷取單元110所拍攝的影像及新影像，據以重新估測三維物件的新中心點位置以及三維物件與電子裝置100之間的新距離。並且表面建立模組751依據新中心點的位置及新距離調整圍繞三維物件的表面為新表面。然後，投影模組752重新將電子裝置100所拍攝的影像投影於新表面，以識別新表面上的已覆蓋區域及未覆蓋區域，以進行後續提示。上述步驟例如會重覆進行，直到電子裝置100所拍攝影像填滿上述表面為止。藉此，可確保電子裝置100所拍攝影像足以重建完整的三維物件。
綜上所述，本揭露的電子裝置及其漸增式姿態估算及攝影方法藉由估算適合拍攝三維物件的圓周，並將此圓周分割以估測適於拍攝影像的時間間隔，藉此使用者只需手持電子裝置環繞三維物件移動，電子裝置即能夠在適當的時間點拍攝適於重建三維物件的影像。本揭露另針對使用者手持電子裝置拍攝三維物件 影像所可能產生的多種不同態樣提供相對應的姿態追蹤、影像排序、路徑精進、拍攝路線指引等方法。藉此，不僅可輔助使用者拍攝三維物件影像，且可確保所拍攝影像的正確性及完整性，而重建出完整的三維物件。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。
S220、S240、S260、S280‧‧‧步驟

Claims (20)

  1. 一種漸增式姿態估算及攝影方法，適用於具有一影像擷取單元、一感測單元及一計時器的一電子裝置，該方法包括下列步驟：在圍繞一三維物件的不同位置上利用該影像擷取單元拍攝該三維物件的至少二影像，並利用該感測單元偵測該電子裝置拍攝所述影像所產生的位移及角位移；根據所述位移、角位移及所述影像中該三維物件的多個特徵，據以估測該三維物件之一中心點的位置以及該三維物件與該電子裝置之間的一距離，並以該距離估算該電子裝置適於拍攝該三維物件的一圓周；分割所估測的該圓周為多個區段，並根據所述區段的長度調整該計時器的計時間隔；以及利用該計時器每隔該計時間隔觸發該影像擷取單元拍攝該三維物件的該影像。
  2. 如申請專利範圍第1項所述的漸增式姿態估算及攝影方法，其中在利用該計時器每隔該計時間隔觸發該影像擷取單元拍攝該三維物件的該影像的步驟之後，更包括：重新分析該影像擷取單元所拍攝的所述影像，據以重新估測該三維物件之該中心點的位置以及該電子裝置適於拍攝該三維物件的該圓周；判斷重新估測之該中心點的位置與原先估測之該中心點的位 置的一差異是否超出一預設比例；以及若該差異超出該預設比例，依據重新估算的該圓周，調整該計時器的該計時間隔。
  3. 如申請專利範圍第1項所述的漸增式姿態估算及攝影方法，其中在利用該計時器每隔該計時間隔觸發該影像擷取單元拍攝該三維物件的該影像的步驟之後，更包括：重新分析該影像擷取單元所拍攝的所述影像，據以重新估測該三維物件之該中心點的位置以及該電子裝置適於拍攝該三維物件的該圓周；判斷重新估測之該圓周與原先估測之該圓周的一差異是否超出一預設比例；以及若該差異超出該預設比例，依據重新估算的該圓周，調整該計時器的該計時間隔。
  4. 如申請專利範圍第1項所述的漸增式姿態估算及攝影方法，其中在圍繞該三維物件的不同位置上利用該影像擷取單元拍攝該三維物件的所述影像，並利用該感測單元偵測該電子裝置拍攝所述影像所產生的該位移及該角位移的步驟之後，更包括：根據該電子裝置拍攝各所述影像時該感測單元所偵測到之該電子裝置的該位移及該角位移，估測該電子裝置的一第一拍攝姿態；擷取各所述影像中的多個特徵並進行匹配，據以估測該電子裝置的一第二拍攝姿態並計算所述影像間的重疊區域；以及 分別記錄所述影像及各所述影像的一姿態追蹤資訊於一鏈結串列結構中的多個節點，其中該姿態追蹤資訊包括該電子裝置拍攝各所述影像時的該第一拍攝姿態、該第二拍攝姿態、該第一拍攝姿態與該第二拍攝姿態的可容許的誤差範圍以及各所述影像與其他影像間的該重疊區域。
  5. 如申請專利範圍第4項所述的漸增式姿態估算及攝影方法，其中根據該電子裝置拍攝各所述影像時該感測單元所偵測到之該電子裝置的該位移及該角位移，估測該電子裝置的該拍攝姿態的步驟包括：將該電子裝置拍攝所述影像每次產生的移動分割成多次小移動，並擷取該感測單元在該電子裝置產生各所述小移動中所偵測到的小位移及小角位移；以及積分該感測單元於各所述小移動中所偵測到的該小位移及該小角位移，以估測該電子裝置拍攝所述影像時在三維空間中的移動路徑及該電子裝置拍攝各所述影像時的該拍攝姿態。
  6. 如申請專利範圍第5項所述的漸增式姿態估算及攝影方法，其中在分別記錄所述影像及各所述影像的該姿態追蹤資訊於該鏈結串列結構中的所述節點的步驟之後，更包括：每當該電子裝置利用該影像擷取單元拍攝該三維物件的一新影像時，從該鏈結串列結構中尋找該姿態追蹤資訊最接近的多張影像，並新增一節點至該鏈結串列結構中以將該新影像及相關的該拍攝姿態資訊安插於所述影像之間或所述影像前後。
  7. 如申請專利範圍第5項所述的漸增式姿態估算及攝影方法，其中在分析所述影像中該三維物件的多個特徵，據以估測該三維物件之該中心點的位置以及該三維物件與該電子裝置之間的該距離，並估算該電子裝置適於拍攝該三維物件的該圓周的步驟之後，更包括：依據該距離建立圍繞該三維物件的一表面；分別投影該電子裝置所拍攝的所述影像於該表面，以識別該表面上的多個已覆蓋區域及多個未覆蓋區域；根據該電子裝置的目前位置，搜尋該表面中距離最近的該未覆蓋區域，並估測用以拍攝該未覆蓋區域之一新影像的一拍攝位置；計算由該目前位置移動至該拍攝位置的一移動方向及移動距離，並提示該移動方向及該移動距離於該電子裝置的一使用者介面。
  8. 如申請專利範圍第7項所述的漸增式姿態估算及攝影方法，其中分別投影該電子裝置所拍攝的所述影像於該表面，以識別該表面上的所述已覆蓋區域及所述未覆蓋區域的步驟包括：分別投影該電子裝置所拍攝之各所述影像的四個角落於該表面以識別該表面上的所述已覆蓋區域及所述未覆蓋區域。
  9. 如申請專利範圍第7項所述的漸增式姿態估算及攝影方法，其中在提示該移動方向及該移動距離於該電子裝置的該使用者介面的步驟之後，更包括： 利用該影像擷取單元拍攝該未覆蓋區域的該新影像；重新分析該影像擷取單元所拍攝的所述影像及該新影像，據以重新估測該三維物件之一新中心點的位置以及該三維物件與該電子裝置之間的一新距離；依據該新中心點的位置及該新距離調整圍繞該三維物件的該表面為一新表面；以及重新投影該電子裝置所拍攝的所述影像於該新表面，以識別該新表面上的所述已覆蓋區域及所述未覆蓋區域。
  10. 如申請專利範圍第9項所述的漸增式姿態估算及攝影方法，其中估測用以拍攝該未覆蓋區域之該新影像的該拍攝位置的步驟包括：估測用以拍攝該未覆蓋區域之該新影像的該拍攝位置，使得所拍攝的該新影像與先前拍攝的所述影像之間具有一預設比例的重疊區域。
  11. 如申請專利範圍第1項所述的漸增式姿態估算及攝影方法，其中根據所述位移、角位移及所述影像中該三維物件的所述特徵，據以估測該三維物件之該中心點的位置以及該三維物件與該電子裝置之間的該距離，並以該距離估算該電子裝置適於拍攝該三維物件的該圓周的步驟更包括：以該距離估算該電子裝置適於拍攝該三維物件的多個圓周，其中所述圓周形成包圍該三維物件的球面，並分別分割為所述多個區段，而用以調整該計時器的計時間隔。
  12. 如申請專利範圍第1項所述的漸增式姿態估算及攝影方法，其中分割所估測的該圓周為所述區段，並根據所述區段的長度調整該計時器的計時間隔的步驟包括：依據該電子裝置拍攝所述影像所產生的該位移，分割所估算的該圓周為所述區段。
  13. 一種電子裝置，包括：一影像擷取單元，在圍繞一三維物件的不同位置上拍攝一三維物件的影像；一感測單元，偵測該電子裝置拍攝所述影像所產生的位移及角位移；一計時器，每隔一計時間隔觸發該影像擷取單元拍攝該三維物件的該影像；以及一運算單元，耦接該影像擷取單元、該感測單元及該計時器，執行多個模組，所述模組包括：一圓周估算模組，根據該感測單元所偵測的所述位移、角位移及所述影像中該三維物件的多個特徵，據以估測該三維物件之一中心點的位置以及該三維物件與該電子裝置之間的一距離，並以該距離估算該電子裝置適於拍攝該三維物件的一圓周；以及一計時器設定模組，分割該圓周估算模組所估算的該圓周為多個區段，並根據所述區段的長度調整該計時器的計時間隔。
  14. 如申請專利範圍第13項所述的電子裝置，其中該圓周估算模組更在該計時器根據調整後的該計時間隔觸發 該影像擷取單元拍攝該三維物件的該影像之後，重新分析該影像擷取單元所拍攝的所述影像，據以重新估測該三維物件之該中心點的位置以及該電子裝置適於拍攝該三維物件的該圓周；以及該計時器設定模組更包括在重新估測之該中心點的位置與原先估測之該中心點的位置的一差異超出一預設比例時，依據該圓周估算模組重新估算的該圓周，調整該計時器的該計時間隔。
  15. 如申請專利範圍第13項所述的電子裝置，其中該圓周估算模組更包括在該計時器根據調整後的該計時間隔觸發該影像擷取單元拍攝該三維物件的該影像之後，重新分析該影像擷取單元所拍攝的所述影像，據以重新估測該三維物件之該中心點的位置以及該電子裝置適於拍攝該三維物件的該圓周；以及該計時器設定模組更包括在該圓周估算模組重新估測之該圓周與原先估測之該圓周的一差異超出一預設比例時，依據該圓周估算模組重新估算的該圓周，調整該計時器的該計時間隔。
  16. 如申請專利範圍第13項所述的電子裝置，其中所述模組更包括：一特徵匹配模組，擷取各所述影像中的多個特徵並進行匹配，據以計算所述影像間的重疊區域；一姿態估測模組，根據該電子裝置拍攝各所述影像時該感測單元所偵測到之該電子裝置的該位移及該角位移，估測該電子裝置的一第一拍攝姿態，並根據該特徵匹配模組所匹配的所述特 徵，估測該電子裝置的一第二拍攝姿態；一姿態追蹤模組，分別記錄所述影像及各所述影像的一姿態追蹤資訊於一鏈結串列結構中的多個節點，其中該姿態追蹤資訊包括該電子裝置拍攝各所述影像時的該第一拍攝姿態、該第二拍攝姿態、該第一拍攝姿態與該第二拍攝姿態的可容許的誤差範圍以及各所述影像與其他影像間的該重疊區域。
  17. 如申請專利範圍第16項所述的電子裝置，其中所述模組更包括：一路徑精進模組，將該電子裝置拍攝所述影像每次產生的移動分割成多次小移動，並擷取該感測單元在該電子裝置產生各所述小移動中所偵測到的小位移及小角位移，以及積分該感測單元於各所述小移動中所偵測到的該小位移及該小角位移，以估測該電子裝置拍攝所述影像時在三維空間中的移動路徑及該電子裝置拍攝各所述影像時的該拍攝姿態。
  18. 如申請專利範圍第17項所述的電子裝置，其中所述模組更包括：一影像排序模組，每當該電子裝置利用該影像擷取單元拍攝該三維物件的一新影像時，從該鏈結串列結構中尋找該姿態追蹤資訊最接近的多張影像，並新增一節點至該鏈結串列結構中以將該新影像及相關的該拍攝姿態資訊安插於所述影像之間或所述影像前後。
  19. 如申請專利範圍第17項所述的電子裝置，其中所述模組 更包括：一表面建立模組，依據該距離建立圍繞該三維物件的一表面；一投影模組，分別投影該電子裝置所拍攝的所述影像於該表面，以識別該表面上的多個已覆蓋區域及多個未覆蓋區域；一搜尋模組，根據該電子裝置的目前位置，搜尋該表面中距離最近的該未覆蓋區域，並估測用以拍攝該未覆蓋區域之一新影像的一拍攝位置；以及一提示模組，計算由該目前位置移動至該拍攝位置的一移動方向及移動距離，並提示該移動方向及該移動距離於該電子裝置的一使用者介面。
  20. 如申請專利範圍第19項所述的電子裝置，其中該圓周估算模組更以該距離估算該電子裝置適於拍攝該三維物件的多個圓周，其中所述圓周形成包圍該三維物件的球面，並分別分割為所述多個區段，而提供該計時器設定模組用以調整該計時器的計時間隔。
TW103142812A 2014-12-09 2014-12-09 電子裝置及其漸增式姿態估算及攝影方法 TWI524758B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103142812A TWI524758B (zh) 2014-12-09 2014-12-09 電子裝置及其漸增式姿態估算及攝影方法
US14/576,163 US9443349B2 (en) 2014-12-09 2014-12-18 Electronic apparatus and method for incremental pose estimation and photographing thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103142812A TWI524758B (zh) 2014-12-09 2014-12-09 電子裝置及其漸增式姿態估算及攝影方法

Publications (2)

Publication Number Publication Date
TWI524758B true TWI524758B (zh) 2016-03-01
TW201622405A TW201622405A (zh) 2016-06-16

Family

ID=56085405

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103142812A TWI524758B (zh) 2014-12-09 2014-12-09 電子裝置及其漸增式姿態估算及攝影方法

Country Status (2)

Country Link
US (1) US9443349B2 (zh)
TW (1) TWI524758B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10703479B2 (en) 2017-11-30 2020-07-07 Industrial Technology Research Institute Unmanned aerial vehicle, control systems for unmanned aerial vehicle and control method thereof

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9563957B1 (en) * 2015-07-02 2017-02-07 Yesvideo, Inc. 2D/3D image scanning and compositing
US9928438B2 (en) * 2016-03-10 2018-03-27 Conduent Business Services, Llc High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database
TWI601099B (zh) * 2016-11-16 2017-10-01 Chunghwa Telecom Co Ltd Camera attitude estimation method
WO2019019157A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated INITIALIZING IMAGE SENSOR IN A ROBOTIC VEHICLE
US11080864B2 (en) * 2018-01-08 2021-08-03 Intel Corporation Feature detection, sorting, and tracking in images using a circular buffer
CN114549620A (zh) * 2020-11-18 2022-05-27 北方数字化技术公司 用于三维跟踪系统的误差补偿

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697748B2 (en) 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
US7860301B2 (en) * 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
US7860651B2 (en) 2005-08-30 2010-12-28 Honeywell International Inc. Enhanced inertial system performance
FI20060846A0 (fi) 2006-09-22 2006-09-22 Teknillinen Korkeakoulu Stereopanoraamakuvausmenetelmä
US8970690B2 (en) 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
EP2460629B1 (en) * 2009-07-28 2022-06-29 Yujin Robot Co., Ltd. Control method for localization and navigation of mobile robot and mobile robot using same
TW201118791A (en) 2009-11-27 2011-06-01 Inst Information Industry System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
US8532367B2 (en) 2010-08-17 2013-09-10 Raytheon Company System and method for 3D wireframe reconstruction from video
US8676498B2 (en) 2010-09-24 2014-03-18 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
US8620095B2 (en) 2011-03-15 2013-12-31 Microsoft Corporation Performing structure from motion for unordered images of a scene with multiple object instances
US8933990B2 (en) * 2011-08-15 2015-01-13 Joshua Sophrin Method for 3D visual mapping using 3D stereoscopic video content
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US9123135B2 (en) 2012-06-14 2015-09-01 Qualcomm Incorporated Adaptive switching between vision aided INS and vision only pose
ITRM20120329A1 (it) 2012-07-12 2012-10-11 Virtualmind Di Davide Angelelli Videocamera per riprese immersive/sferiche a 360° con 6-11 ottiche a 5-10 megapixel con geolocalizzazione gps
US9237340B2 (en) 2012-10-10 2016-01-12 Texas Instruments Incorporated Camera pose estimation
US9269012B2 (en) * 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10703479B2 (en) 2017-11-30 2020-07-07 Industrial Technology Research Institute Unmanned aerial vehicle, control systems for unmanned aerial vehicle and control method thereof

Also Published As

Publication number Publication date
TW201622405A (zh) 2016-06-16
US20160163091A1 (en) 2016-06-09
US9443349B2 (en) 2016-09-13

Similar Documents

Publication Publication Date Title
TWI524758B (zh) 電子裝置及其漸增式姿態估算及攝影方法
JP6152511B2 (ja) 携帯端末装置、プログラムおよび補正方法
US10277889B2 (en) Method and system for depth estimation based upon object magnification
KR20100135196A (ko) 단일 카메라 및 동작 센서로부터의 3차원 정보의 유도
US20140378159A1 (en) Using movement patterns to anticipate user expectations
US10012509B2 (en) Utilizing camera to assist with indoor pedestrian navigation
RU2019115873A (ru) Система слежения за объектами
TWI556198B (zh) 定位定向資料分析之系統及其方法
WO2016198009A1 (zh) 一种检测航向的方法和装置
JP2014196941A5 (zh)
US20070116457A1 (en) Method for obtaining enhanced photography and device therefor
CN106597424A (zh) 一种基于双摄像头的测距方法、系统及移动终端
JP2019039851A (ja) 写真測量システム及び写真測量方法
JP2011058854A (ja) 携帯端末
TWM560099U (zh) 運用擴增實境技術之室內精確導航系統
Shangguan et al. Towards accurate object localization with smartphones
KR101296601B1 (ko) 지리 정보 파노라마 사진의 제작을 위한 카메라 제어 시스템 및 방법
US20120026324A1 (en) Image capturing terminal, data processing terminal, image capturing method, and data processing method
CN106767770A (zh) 一种基于便携智能设备的用户行走方向检测与追踪方法
Qian et al. Optical flow based step length estimation for indoor pedestrian navigation on a smartphone
KR101525224B1 (ko) 자동촬영모드를 가지는 휴대용 단말기
KR101386773B1 (ko) 휴대단말에서의 3차원 이미지를 생성하는 방법 및 장치
JP5885974B2 (ja) 空中写真画像データの対応点設定方法及び対応点設定装置並びに対応点設定プログラム
KR101578158B1 (ko) 위치 값 계산장치 및 방법
KR20120111857A (ko) 로봇물고기의 물체 추적 방법