TWI601099B - Camera attitude estimation method - Google Patents
Camera attitude estimation method Download PDFInfo
- Publication number
- TWI601099B TWI601099B TW105137356A TW105137356A TWI601099B TW I601099 B TWI601099 B TW I601099B TW 105137356 A TW105137356 A TW 105137356A TW 105137356 A TW105137356 A TW 105137356A TW I601099 B TWI601099 B TW I601099B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- estimation
- posture
- effective
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 34
- 230000036544 posture Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本發明屬於一種藉由相機姿態在時序上的連貫性輔助既有之相機姿態估測模組之方法，藉由相機姿態在時序上的連貫性，讓初始的估測一開始就接近實際的相機姿態，估測過程將更有效率。
以一歐洲專利Camera pose estimation，專利號：EP2840550 A1為例，相機姿態在時序上的連續性是用在預測目前特徵點的位置，進而縮小比對範圍。
一美國專利Camera pose estimation apparatus and method for augmented reality imaging，專利號：US8452080 B2為例，在相機姿態的時序上連續性除了用在預測目前的特徵點位置之外，也用在協助判斷此次估測中較佳的解答，但並未能有效地進行判斷，以有錯誤延續的問題產生。
本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本相機姿態估測方法。
為達上述目的，本發明提出提供一種相機姿態估
測方法，其包含以下步驟：步驟1. 以一取像設備擷取動態影像；步驟2. 將擷取到之影像以特徵匹配產生一組影像與樣板間之特徵點座標配對集合；步驟3. 若於配對完成後，仍保有前一影像之有效姿態(Valid Pose，VP)，即以該影像之有效姿態(VP)作為相機姿態估測時之初始估測，若否，則以亂數或其他方式產生初始估測；步驟4. 運用該特徵點座標配對集合，並以相機姿態估測進行估測相機姿態；步驟5. 以二維姿態有效性判斷及三維姿態有效性判斷進行相機姿態估測結果有效性之判斷，若判斷是為有效，則更新有效姿態為此次估測結果，如為無效，則將有效姿態清空為無，但如該前一影像之有效姿態並未保存，則無條件更新有效姿態為此次估測結果；步驟6. 擷取到新影像時回到步驟2。
綜上所述，藉由相機姿態在時序上的連貫性，讓初始的估測盡可能一開始就接近實際的相機姿態，估測過程將更有效率，結果也更加穩定，並對此連貫性進行有效性的追蹤，避免錯誤延續。
其中特徵匹配，係以尺度不變特徵轉換(Scale-invariant Feature Transform，SIFT)或加速穩健特徵(Speeded Up Robust Features，SURF)等特徵匹配方法產生一組影像與樣板間之特徵點座標配對集合(A set of pairs of feature points，FP)。
其中有效姿態，係分為保有有效姿態及未保有有
效姿態，其中：該保有有效姿態，係當新的輸入產生時，如目前該有效姿態保有有效姿態時，則提供給既有之相機姿態估測做為初始的估測使用，最終估測結果回傳給有效姿態進行有效性判斷，該有效性判斷如通過，則更新有效姿態為此次估測結果，如未通過，則將有效姿態清空為無，避免錯誤延續；該未保有有效姿態，係當新的輸入產生時，如目前有效姿態模組未保有有效姿態，既有之相機姿態估測即依據既有之方式產生初始估測，並將最終估測結果傳遞給有效姿態紀錄為有效姿態。
其中二維姿態有效性判斷，係以輸入即空間中的數個同一平面之特徵點座標與其在影像上的成像點座標所計算之平面投影轉換將此平面之數個參考點投影至影像上，另以最終估測結果之相機姿態投影相同之數個參考點至影像上，兩者於影像上之平均偏移誤差須小於一定門閥值。其三維姿態有效性判斷進行，係為有效姿態之相機位置與最終估測結果之相機位置在三維空間中之偏移量須小於一定門閥值。
本發明所提供一種相機姿態估測方法，與其他習用技術相互比較時，更具備下列優點：
1. 本發明可令既有之相機姿態估測模組估測過程更有效率。
2. 本發明可令既有之相機姿態估測模組估測結果更加穩定。
S110~S160‧‧‧流程
請參閱有關本發明之詳細說明及其附圖，將可進一步瞭解本發明之技術內容及其目的功效；有關附圖為：
圖1為本發明相機姿態估測方法之流程圖；圖2A、2B為本發明相機姿態估測方法之情境示意圖。
為了使本發明的目的、技術方案及優點更加清楚明白，下面結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，但並不用於限定本發明。
以下，結合附圖對本發明進一步說明：請參閱圖1、圖2A所示，為本發明相機姿態估測方法之流程圖及情境示意圖，其包含以下步驟：步驟1. S110以一取像設備擷取動態影像；步驟2. S120將擷取到之影像以特徵匹配產生一組影像與樣板間之特徵點座標配對集合；步驟3. S130若於配對完成後，仍保有前一影像之有效姿態(VP)，即以該影像之有效姿態(VP)作為相機姿態估測時之初始估測，若否，則以亂數或其他方式產生初始估測；步驟4. S140運用該特徵點座標配對集合，並以相機姿態估測進行估測相機姿態；步驟5. S150以二維姿態有效性判斷及三維姿態有效性判斷進行相機姿態估測結果有效性之判斷，若判斷是為有效，則更新有效姿態為此次估測結果，如為無效，則將有效姿態清空為無，但如該前一影像之有效姿態並未保存，則無條件更新有效姿態為此次估測結果；步驟6. S160擷取到新影像時回到S120。
從上述各步驟可以得知：
S110是由一欲估測之相機，持續擷取影像；S120以Scale-invariant Feature Transform(SIFT)或Speeded Up Robust Features(SURF)等特徵匹配方法產生一組影像與樣板間之特徵點座標配對集合(FP)；S130之初始估測只有第一次或未曾有過該資料時，以亂數或其他方式產生來得到；之後，就會一直以上一影像之VP來當作初始估測，亦即，初始估測可被持續之影像的VP來更新，並維持一最新狀態值；S140相機姿態估測方法估測相機姿態時，會參考或運用到特徵點座標配對集合；S150二維有效性判斷：影像IM與樣板P1間之特徵點座標配對集合可計算一樣板P1至影像IM之平面投影轉換H(Homography)，將樣板P1上之m個特徵點投影至影像IM上，記為。另以N之最終估測結果之相機姿態P投影相同之m個特徵點至影像IM上，記為，兩者在影像上之平均偏移誤差須小於一定門閥值ε；三維有效性判斷：有效姿態之相機位置t1與N之最終估測結果之相機位置t2在三維空間中之偏移量須小於一定門閥值δ；S160所擷取之影像可以持續或連續運算，以會形成迴圈並回到S120。
其中特徵匹配，係以尺度不變特徵轉換(Scale-invariant Feature Transform，SIFT)或加速穩健特徵(Speeded Up Robust Features，SURF)等特徵匹配方法產生一組影像與樣板間之特徵點座標配對集合(FP)。
其中有效姿態，係分為保有有效姿態及未保有有
效姿態，其中：該保有有效姿態，係當新的輸入產生時，如目前該有效姿態保有有效姿態時，則提供給既有之相機姿態估測做為初始的估測使用，最終估測結果回傳給有效姿態進行有效性判斷，該有效性判斷如通過，則更新有效姿態為此次估測結果，如未通過，則將有效姿態清空為無，避免錯誤延續；該未保有有效姿態，係當新的輸入產生時，如目前有效姿態模組未保有有效姿態，既有之相機姿態估測即依據既有之方式產生初始估測，並將最終估測結果傳遞給有效姿態紀錄為有效姿態。
其中二維姿態有效性判斷，係以輸入即空間中的數個同一平面之特徵點座標與其在影像上的成像點座標所計算之平面投影轉換將此平面之數個參考點投影至影像上，另以最終估測結果之相機姿態投影相同之數個參考點至影像上，兩者於影像上之平均偏移誤差須小於一定門閥值。其三維姿態有效性判斷進行，係為有效姿態之相機位置與最終估測結果之相機位置在三維空間中之偏移量須小於一定門閥值。
以下為實施方式所示：
請參閱圖2A、圖2B所示，為本發明相機姿態估測方法之情境示意圖，包含時間軸上之三個相機姿態，當下之相機姿態為N，N之上一相機姿態為N-1；當下之相機姿態所拍攝影像為IM；真實空間中的樣板為P1，其在影像上之成像為P2。
擷取到影像IM時，以Scale-invariant Feature Transform(SIFT)或Speeded Up Robust Features(SURF)等特徵匹配方法從影像IM擷取出P2範圍內之特徵點，比對P1的特徵點後產生一組影像IM與樣板P1間之特徵點座標配對集合
並提供給物體空間姿態估計(Robust Planar Pose，RPP)或姿態估測演算法(Pose from Orthography and Scaling with Iterations，POSIT)等相機姿態估測方法估測相機姿態，如N-1之最終估測結果已被保存為有效姿態，將提供做為上述相機姿態估測方法估測時之初始估測，如N-1之最終估測結果並未保存，則以亂數或其他方式產生上述相機姿態估測方法估測時之初始估測，N之最終估測結果將進行有效性判斷如下：有效性判斷(Valid Determination，VD)分為二維有效性判斷及三維有效性判斷，皆須通過始為有效，分述如下：
二維有效性判斷：
影像IM與樣板P1間之特徵點座標配對集合可計算一樣板P1至影像IM之平面投影轉換H(Homography)，將樣板P1上之m個特徵點投影至影像IM上，記為。
另以N之最終估測結果之相機姿態P投影相同之m個特徵點至影像IM上，記為，兩者在影像上之平均偏移誤差須小於一定門閥值ε，如式(1)所示：
三維有效性判斷：
有效姿態之相機位置t 1與N之最終估測結果之相機位置t 2在三維空間中之偏移量須小於一定門閥值δ，如式(2)所示：∥t 1-t 2∥2 δ (2)
如N之最終估測結果判斷為有效，則更新有效姿態為此次估測結果，如為無效，則將有效姿態清空為無，但如上一影像之有效姿態並未保存，則無條件更新有效姿態為此
次估測結果，擷取到新影像IM時重複上述過程。
利用估測到之相機姿態可將虛擬的物件投影至影像上達到擴增實境之效果，如圖2B之A所示。
上列詳細說明乃針對本發明之一可行實施例進行具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。
綜上所述，本案不僅於技術思想上確屬創新，並具備習用之傳統方法所不及之上述多項功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請 貴局核准本件發明專利申請案，以勵發明，至感德便。
S110~S160‧‧‧流程
Claims (5)
- 一種相機姿態估測方法，包括：步驟1. 以一取像設備擷取動態影像；步驟2. 將擷取到之影像以特徵匹配產生一組影像與樣板間之特徵點座標配對集合；步驟3. 若於配對完成後，仍保有前一影像之有效姿態(Valid Pose，VP)，即以該影像之有效姿態(VP)作為相機姿態估測時之初始估測，若否，則以亂數或其他方式產生初始估測；步驟4. 運用該特徵點座標配對集合，並進行相機姿態估測；步驟5. 以二維姿態有效性判斷及三維姿態有效性判斷進行相機姿態估測結果有效性之判斷，若判斷是為有效，則更新有效姿態為此次估測結果，如為無效，則將有效姿態清空為無，但如該前一影像之有效姿態並未保存，則無條件更新有效姿態為此次估測結果，其中該二維姿態有效性判斷係以輸入即空間中的數個同一平面之特徵點座標與其在影像上的成像點座標所計算之平面投影轉換將此平面之數個參考點投影至影像上，另以最終估測結果之相機姿態投影相同之數個參考點至影像上，兩者於影像上之平均偏移誤差須小於一定門閥值；步驟6. 擷取到新影像時回到步驟2。
- 如申請專利範圍第1項所述之相機姿態估測方法，其中該特徵匹配，係以尺度不變特徵轉換(Scale-invariant Feature Transform，SIFT)或加速穩健特徵(Speeded Up Robust Features，SURF)等特徵匹配方法產生一組影像與樣板間之 特徵點座標配對集合(A set of pairs of feature points，FP)。
- 如申請專利範圍第1項所述之相機姿態估測方法，其中該相機姿態估測，係為物體空間姿態估計(Robust Planar Pose，RPP)或姿態估測演算法(Pose from Orthography and Scaling with Iterations，POSIT)。
- 如申請專利範圍第1項所述之相機姿態估測方法，其中該有效姿態，係分為保有有效姿態及未保有有效姿態，其中：該保有有效姿態，係當新的輸入產生時，如目前該有效姿態保有有效姿態時，則提供給既有之相機姿態估測做為初始的估測使用，最終估測結果回傳給有效姿態進行有效性判斷，該有效性判斷如通過，則更新有效姿態為此次估測結果，如未通過，則將有效姿態清空為無，避免錯誤延續；該未保有有效姿態，係當新的輸入產生時，如目前有效姿態模組未保有有效姿態，既有之相機姿態估測即依據既有之方式產生初始估測，並將最終估測結果傳遞給有效姿態紀錄為有效姿態。
- 如申請專利範圍第1項所述之相機姿態估測方法，其中該三維姿態有效性判斷進行，係為有效姿態之相機位置與最終估測結果之相機位置在三維空間中之偏移量須小於一定門閥值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW105137356A TWI601099B (zh) | 2016-11-16 | 2016-11-16 | Camera attitude estimation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW105137356A TWI601099B (zh) | 2016-11-16 | 2016-11-16 | Camera attitude estimation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI601099B true TWI601099B (zh) | 2017-10-01 |
| TW201820262A TW201820262A (zh) | 2018-06-01 |
Family
ID=61011359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105137356A TWI601099B (zh) | 2016-11-16 | 2016-11-16 | Camera attitude estimation method |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI601099B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130335529A1 (en) * | 2007-05-22 | 2013-12-19 | Metaio Gmbh | Camera pose estimation apparatus and method for augmented reality imaging |
| US20140098242A1 (en) * | 2012-10-10 | 2014-04-10 | Texas Instruments Incorporated | Camera Pose Estimation |
| CN104364823A (zh) * | 2012-06-14 | 2015-02-18 | 高通股份有限公司 | 视觉辅助惯性相机姿势估计与仅基于视觉的相机姿势估计之间的自适应性切换 |
| TW201509360A (zh) * | 2013-09-14 | 2015-03-16 | Chang Bing Show Chwan Memorial Hospital | 單鏡頭內視鏡立體視覺化系統及其方法 |
| TW201622405A (zh) * | 2014-12-09 | 2016-06-16 | 財團法人工業技術研究院 | 電子裝置及其漸增式姿態估算及攝影方法 |
-
2016
- 2016-11-16 TW TW105137356A patent/TWI601099B/zh not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130335529A1 (en) * | 2007-05-22 | 2013-12-19 | Metaio Gmbh | Camera pose estimation apparatus and method for augmented reality imaging |
| CN104364823A (zh) * | 2012-06-14 | 2015-02-18 | 高通股份有限公司 | 视觉辅助惯性相机姿势估计与仅基于视觉的相机姿势估计之间的自适应性切换 |
| US20140098242A1 (en) * | 2012-10-10 | 2014-04-10 | Texas Instruments Incorporated | Camera Pose Estimation |
| TW201509360A (zh) * | 2013-09-14 | 2015-03-16 | Chang Bing Show Chwan Memorial Hospital | 單鏡頭內視鏡立體視覺化系統及其方法 |
| TW201622405A (zh) * | 2014-12-09 | 2016-06-16 | 財團法人工業技術研究院 | 電子裝置及其漸增式姿態估算及攝影方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201820262A (zh) | 2018-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Unsupervised 3d pose estimation with geometric self-supervision | |
| CN107251096B (zh) | 图像捕获装置和方法 | |
| Xu et al. | Efficient hand pose estimation from a single depth image | |
| Sharp et al. | Accurate, robust, and flexible real-time hand tracking | |
| CN109242950B (zh) | 多人紧密交互场景下的多视角人体动态三维重建方法 | |
| JP6816058B2 (ja) | パラメータ最適化装置、パラメータ最適化方法、プログラム | |
| Paladini et al. | Sequential non-rigid structure-from-motion with the 3d-implicit low-rank shape model | |
| US20110069888A1 (en) | Image processing apparatus and method | |
| JP6515039B2 (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
| JP6384856B2 (ja) | 予測カメラ姿勢に基づくａｒオブジェクトを実時間に合わせて描画する情報装置、プログラム及び方法 | |
| Simon et al. | Separable spatiotemporal priors for convex reconstruction of time-varying 3D point clouds | |
| Zheng et al. | A general approach for closed-loop registration in AR | |
| Rochette et al. | Weakly-supervised 3d pose estimation from a single image using multi-view consistency | |
| CN110929642A (zh) | 一种基于二维特征点的人脸姿态实时估计方法 | |
| Rius et al. | Action-specific motion prior for efficient Bayesian 3D human body tracking | |
| TWI601099B (zh) | Camera attitude estimation method | |
| Zhu et al. | An effective approach to 3d deformable surface tracking | |
| JP2006215743A (ja) | 画像処理装置及び画像処理方法 | |
| CN109741245B (zh) | 平面信息的插入方法及装置 | |
| KR102238794B1 (ko) | 영상 촬영 장치의 촬영 속도 증가 방법 | |
| Goldenstein et al. | 3D facial tracking from corrupted movie sequences | |
| JP2007299051A (ja) | 画像処理装置、方法およびプログラム | |
| JP2022092528A (ja) | 三次元人物姿勢推定装置、方法およびプログラム | |
| KR101064224B1 (ko) | 인식과 추적의 결합을 통한 물체의 포즈 실시간 추정 방법 | |
| Hara et al. | Fast-accurate 3d face model generation using a single video camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |