TW201701051A - 全景立體圖像的合成方法、裝置及其移動終端 - Google Patents
全景立體圖像的合成方法、裝置及其移動終端 Download PDFInfo
- Publication number
- TW201701051A TW201701051A TW104137748A TW104137748A TW201701051A TW 201701051 A TW201701051 A TW 201701051A TW 104137748 A TW104137748 A TW 104137748A TW 104137748 A TW104137748 A TW 104137748A TW 201701051 A TW201701051 A TW 201701051A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- frame
- stereoscopic image
- information
- images
- Prior art date
Links
- 238000001308 synthesis method Methods 0.000 title abstract 3
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims description 36
- 230000015572 biosynthetic process Effects 0.000 claims description 29
- 238000003786 synthesis reaction Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 231100000289 photo-effect Toxicity 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一種全景立體圖像合成方法,可以合成不同視角的立體圖像,以實現全景立體圖像,滿足用戶需求,其包括:獲取圖像資訊,圖像資訊為一組第一多幀連續圖像;從多幀連續圖像中,分別抽取滿足預定幀間隔的兩幀圖像;分別將抽取的兩幀圖像進行立體圖像合成,以獲得一組不同視角的第二多幀立體圖像。
Description
本發明涉及影像處理技術領域,尤其涉及一種全景立體圖像的合成方法、裝置及其移動終端。
圖像是由照相機、攝像機等成像設備捕捉實際的畫面而產生的圖形或影像。
隨著人們對於圖像的要求越來越高,通常希望看到全景圖像或者立體圖像,全景圖像是指圖像可以達到符合雙眼正常有效視角(大約水平90度,垂直70度)或包括雙眼餘視角(大約水平180度,垂直90度)以上,乃至360度完整視角範圍所拍攝出的圖像,立體圖像是指具有兩個帶有位置差的畫面代表左右雙眼觀看的內容,利用左右眼視差讓觀察人產生帶有深度感覺效果的圖像。
而儘管隨著成像設備的發展,具有大視角的鏡頭,例如廣角鏡頭、魚眼鏡頭等得到廣泛應用,可以實現超大視角的拍攝,但是仍不能拍攝出全景圖像,需要採用圖像合成的方式來形成。
由於現有三維顯示裝置的局限,用戶不能很方便體驗到通過二維攝像所見即所得的效果,導致二維圖像合成
立體圖像的技術並沒有得到廣泛的應用。但隨著虛擬實境、增強現實以及裸眼三維技術的成熟及普及,人們對二維圖像合成立體圖像的需求會大大增加。
發明人在研究中發現,現有技術中並沒有一種有效的圖像合成技術,能夠形成全景且立體的圖像,以滿足使用者的需求。
本發明提供一種全景立體圖像合成方法,可以合成不同視角的立體圖像,以實現全景立體圖像,滿足用戶需求。在第一方面,本發明提供一種全景立體圖像的合成方法,包括:獲取圖像資訊,圖像資訊為一組第一多幀連續圖像;從多幀連續圖像中,分別抽取滿足預定幀間隔的兩幀圖像;分別將抽取的兩幀圖像進行立體圖像合成,以獲得一組不同視角的第二多幀立體圖像。
在第二方面,本發明還提供一種全景立體圖像合成裝置,其中,包括:獲取單元,用於獲取圖像資訊,圖像資訊為一組第一多幀連續圖像;抽取單元,用於從多幀連續圖像中,分別抽取滿足預定幀間隔的兩幀圖像;合成單元,用於分別將抽取的兩幀圖像進行立體圖像合成,以獲得一組不同視角的第二多幀立體圖像。
在協力廠商面,本發明又提供一種移動終端,包括:中央處理器,用於獲取圖像資訊,圖像資訊為一組第一多幀連續圖像;從第一多幀連續圖像中,分別抽取滿足預定幀間隔的兩幀圖像,以及分別將抽取的兩幀圖像進行立體圖像合成,以獲得一組不同視角的第二多幀立體圖像;顯示螢幕,用於顯示第二多幀立體圖像。
在本發明實施例中,通過獲取一組多幀連續圖像;並從多幀連續圖像中分別抽取滿足預定幀間隔的兩幀圖像進行立體圖像合成,以獲得一組不同視角的多幀立體圖像,解決了現有技術中沒有一種有效的圖像合成技術,填補了現有技術的空白。實現了全景立體圖像合成,滿足了用戶對全景立體圖像的觀看需求。
為讓本發明之上述和其他目的、特徵和優點能更明顯易懂,下文特舉較佳實施例並配合所附圖式做詳細說明如下。
61‧‧‧獲取單元
62‧‧‧抽取單元
63‧‧‧合成單元
64‧‧‧運動補償單元
65‧‧‧顯示單元
66‧‧‧人眼位置獲取單元
67‧‧‧角度資訊獲取單元
68‧‧‧顯示圖像確定單元
71‧‧‧顯示螢幕
73‧‧‧中央處理器
S11、S13、S15、S17、S41、S42、S51、S52‧‧‧步驟
圖1為本發明實施例一種全景立體圖像的合成方法流程示意圖;圖2為本發明實施例沿水平方向的移動拍攝俯視示意圖;圖3為本發明實施例以拍攝對象為圓心的圓周移動拍攝俯視示意圖;圖4為本發明實施例根據人眼位置資訊顯示多幀立體圖像流程示意圖;圖5為本發明實施例根據旋轉角度資訊顯示多幀立體圖像流程示意圖;圖6為本發明實施例一種全景立體圖像合成裝置示意圖;圖7為本發明實施例一種移動終端示意圖。
下面結合附圖和實施例對本發明進行詳細說明。
需要說明的是,如果不衝突,本發明實施例以及
實施例中的各個特徵可以相互結合,均在本發明的保護範圍之內。另外,雖然在裝置示意圖中進行了功能模組劃分,在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同於裝置中的模組劃分,或流程圖中的循序執行所示出或描述的步驟。
下面對本發明實施例的全景立體圖像的合成方法進行簡要描述。在本發明實施例中,通過高速連拍或視頻拍攝獲得一組多幀連續圖像,從多幀連續圖像中分別抽取滿足預定幀間隔的兩幀圖像。其中,多幀連續圖像中存在多組滿足預定幀間隔的兩幀圖像,比如,如果預定幀間隔為3,則第1幀與第4幀圖像為一組,第2幀與第5幀圖像為一組,依此類推。將多幀連續圖像中滿足預定幀間隔的兩幀圖像分別進行立體圖像合成,從而獲得一組不同視角的多幀立體圖像。
在本發明實施例中,為了確定幀間隔,比如,可以把拍照或錄製視頻時的旋轉角度和移動速度保存到每一張照片或每一幀視頻的檔頭資訊裡,然後通過每一張照片或每一幀視頻檔頭資訊裡記錄的旋轉角度及速度來確定幀間隔。在本發明實施例中,速度越大應取的幀間隔越小;角度越大應取的幀間隔越小;速度越大而且角度越大應取的幀間隔也越小。同時,為了方便用戶觀看全景立體圖像,在觀看合成的立體圖像時,根據觀看者觀看螢幕的視角、或根據螢幕的旋轉角度呈現立體圖像,從而實現全景立體圖像顯示。
下面結合附圖對本發明實施例作進一步闡述。
圖1為本發明實施例一種全景立體圖像的合成方法流程示意圖,如圖1所示,本發明實施例的方法,包括以下步驟:S11,獲取圖像資訊,所述圖像資訊為一組多幀連續圖像;在本發明實施例中,為了準確記錄多幀圖像資訊中每一
幀的移動情況,可以記錄每一幀圖像的移動角度和速度,因此,圖像資訊可以包含每一幀的移動角度和速度,所述角度和速度記錄在每一幀圖像的檔頭資訊中。
在本發明實施例中,圖像資訊中包括的移動角度和速度可以均為勻速移動,也可以是變速移動,如圖2,圖3所示為俯視拍攝過程示意圖,其中,圖2為沿水平方向的移動拍攝俯視示意圖,在圖2中照相系統正對拍攝場景從左到右(水平方向)做勻速或變速平移運動,圖3為以拍攝物件為圓心的圓周移動拍攝俯視示意圖,在圖3中照相系統圍繞拍攝物體作勻速或變速圓周運動。在移動過程中,照相系統快速連拍或視頻錄影,從而獲得一組連續多幀圖像,比如,Img_1,Img_2,….Img_N1,Img_N1+1…。
獲得一組多幀連續圖像,可以採用以下兩種方式:第一種方式:如果使用者開始獲取圖像幀後手持設備,比如手機,一直保持勻速勻角度的操作,可以採用延遲拍攝的方式,等使用者操作一定時間(1-2秒)後,取得手持設備的移動角度和加速度,並通過加速度可以得到速度,用這些參數決定單位時間內拍攝照片的數量或視頻圖像幀的數量:當手持設備角度和速度越大時,拍攝越多的圖像幀,以獲得更好的立體圖像;當手持設備角度和速度越小時,獲取較少的圖像幀,以減少重復資料處理量。
在本發明實施例中,通過以下兩種實現情況判斷手持設備是否為勻速運動:第一種是利用加速度感測器,並結合重力感測器來判斷,如果加速度感測器顯示沒有加速度,但是重力感測器顯示有移動,說明就是勻速運動;第二種就是利用間隔一定時間獲得的圖像資料,比較相鄰兩個圖像資料的區別,然後根據區別的大小來判斷手機是否在做勻速運動。勻角度可以通過間隔一定時間得到陀螺儀的角度,如果
大部分角度一樣,就說明手機是勻角度的。
第二種方式:在自動連拍或錄製視頻之前,除通過設置模組可以設置單位時間內連拍圖像的數量參數外,還可以同時設定手機角度和手機加速度等參數,從而實現單位場景角度內拍攝的圖像的數量或圖像幀的數量是相等的,保障後續合成立體照片後,查看立體照片時,立體照片畫面效果的一致性。此外,由於單位角度內的圖像數量或圖像幀的數量是相等的,可以避免在某一角度時,由於拍攝或錄製視頻時間過長,導致資料量較大,從而導致立體圖像合成處理時間過長的問題。
S13,從所述多幀連續圖像中,分別抽取滿足預定幀間隔的兩幀圖像,並分別將所抽取的兩幀圖像進行立體圖像合成,以獲得一組不同視角的多幀立體圖像。
在本發明實施例中,為了合成立體圖像,可以從獲取的多幀連續圖像中抽取滿足預定幀間隔的兩幀圖像,比如,Img_i和Img_i+n作為有一定視差的左右圖,以用於合成立體圖像,其中,i從1開始,i為自然數,n為設定的間隔數,此間隔數可以根據下述兩種方式來確定:(1)如果使用者開始獲取圖像幀後手持設備一直保持勻速勻角度的操作(即第一種方式),就可以遵守公式:幀間隔=(總幀數/(角度*速度))/Ω決定抽取幀數的間隔,其中,所述總幀數為所述圖像資訊中多幀連續圖像的數量,所述Ω為測試所得的幀間隔經驗值。此間隔保持不變,即多幀連續圖像中只要滿足此幀間隔的兩幀圖像即可以兩兩組合,用來合成立體圖像。(2)如果是用上述第二種方式獲得的圖像幀,可以用第1圖像幀分別和第2圖像幀到第N圖像幀合成立體圖像,將合成圖像品質最優的組合作為抽取幀的間隔,此間隔保持不變,比如,假設第1圖像幀與第10圖像幀合成的立體圖像品
質最優,則幀間隔即為9,而且,多幀連續圖像中的其他幀之間也按此幀間隔確定用來合成立體圖像的兩幀圖像。
在本發明實施例中,將多幀連續圖像中的滿足上述方式確定的幀間隔的兩幀圖像進行立體圖像合成,比如,將照片Img_i和Img_i+n合成立體圖,Img_i+1和Img_i+n+1合成立體圖像,依此類推,將所有滿足幀間隔的兩幀圖像合成立體圖像,這樣就可以獲得一組不同視角的多幀立體圖像比如,Img3d_1,Img3d_2…Img3d_N。
可選地,在本發明實施例中,還包括:S15,對所述立體圖像在垂直方向上作運動補償。
在本發明實施例中,獲取圖像過程中,由於存在垂直方向(Y軸方向)的不穩定,會使得所獲取的多幀圖像(Img_1,Img_2,....Img_N1,Img_N1+1...)產生上下移動,立體圖像合成過程中圖像拼接也會引入圖像的上下移動。因此,在顯示合成的立體圖像時,可以對上述多幀立體圖像垂直方向(Y軸方向)作運動補償,從而消除連續呈現多幀立體圖像時圖像抖動的問題,具體可以採用已有圖像拼接的演算法,比如,panaroma演算法來調節相鄰的立體圖像的圖元點的位置,從而消除圖像抖動的技術缺陷。
可選地,在本發明實施例中,還包括:S17,顯示所述多幀立體圖像。在本發明實施例中,可以分兩種方式來顯示多幀立體圖像,分別是根據人眼位置或旋轉角度資訊來確定多幀立體圖像中顯示哪幀立體圖像。
在本發明實施例中,圖4為根據人眼位置資訊顯示多幀立體圖像流程示意圖,如圖4所示,具體包括以下步驟:S41,獲取人眼相對於顯示所述多幀立體圖像的顯示螢幕的位置資訊。
在本發明實施例中,獲取被跟蹤物件人眼位置資
訊,也是即是通過攝像頭拍攝被跟蹤人眼,獲取被跟蹤物件眼睛相對顯示所述多幀立體圖像的顯示螢幕的位置資訊。其中,當顯示螢幕前面存在多個用戶時,可以從攝像頭跟蹤的不同位置中選擇合適的人眼,比如,當顯示螢幕前面的左、中、右位置分別存在不同的人眼,則可以根據預先的設置規則,選擇顯示螢幕前面中間位置的人眼作為確定顯示多幀立體圖像的人眼位置。
S42,根據所述人眼位置資訊確定所述多幀立體圖像中顯示的特定立體圖像。在本發明實施例中,可以根據該人眼位置資訊計算出顯示哪張圖片;例如:如果觀察者兩眼連線的中間點位於顯示螢幕中間,那麼顯示的是多幀立體圖像中中間時刻拍攝的圖像所合成的立體圖像。當人眼位置位於顯示螢幕左邊的時侯,顯示出比中間時刻更早拍攝的圖片所合成的立體圖像,當人眼位置從中間位置轉向顯示螢幕右邊的時侯,顯示出中間時刻以後拍攝的圖片所合成的立體圖像。
在本發明實施例中,圖5為根據旋轉角度資訊顯示多幀立體圖像流程示意圖,如圖5所示,具體包括以下步驟:S51,獲取顯示所述多幀立體圖像的顯示螢幕的旋轉角度資訊。
在本發明實施例中,獲取顯示所述多幀立體圖像的顯示螢幕旋轉角度資訊,可以通過陀螺儀感測器X軸角速度及旋轉的時間來得到顯示螢幕旋轉的角度資訊,其中,可以以開始顯示立體圖像為初始狀態,再根據陀螺儀的角速度資訊計算出顯示螢幕繞X軸方向轉過的角度及方向。
S52,根據所述旋轉角度資訊確定所述多幀立體圖像中顯示的特定立體圖像。在本發明實施例中,可以根據旋轉角度資訊來讀取多幀圖像中的立體圖像並顯示。比如,
如果所獲取的圖像從左到右方向來拍攝的,所拍攝的圖像合成的立體圖像包手Img3D_1,Img3D_2,Img3D_3,Img3D_4...Img3D_N的N張圖片,Img3D_1為在最左邊位置所拍攝的圖像所合成的立體圖像,Img3D_N為在最右邊位置所拍攝的圖像所合成的立體圖像。在初始狀態時顯示為第N/2張,也即是拍攝過程的中間時刻圖像。如果順時針轉動,顯示出比中間時刻更早拍攝的圖片,轉過的角度越大,顯示拍攝的時間越早的圖片。如果逆時針轉動,顯示出比中間時刻更晚拍攝的圖片,轉過的角度越大,顯示拍攝的時間越晚的圖片。為了所顯的速度能適應人眼要求,不能刷屏太快,如果圖片的張數較多,可以作角速度分級的分析,如果角速度較慢為1級,每張都顯示。如果速度較快為2級,每隔1張顯示,如果角速度更快為3級,每隔2張顯示。
需要說明的是,在本發明實施例中,在顯示多幀立體圖像時,如果同時存在人眼及旋轉角度資訊,可以設置優先順序以避免衝突,比如,旋轉角度資訊優先順序高於人眼位置資訊,則可以根據旋轉角度資訊來確定多幀立體圖像中顯示的特定立體圖像。
需要說明的是,在本發明實施例中,利用兩幀圖像合成立體圖像、運動補償演算法以及人眼跟蹤演算法均可以採用現有技術中的演算法,本發明不作限定。
在本發明實施例中,通過獲取一組多幀連續圖像;並從多幀連續圖像中,分別抽取滿足預定幀間隔的兩幀圖像進行立體圖像合成,以獲得一組不同視角的多幀立體圖像,解決了現有技術中沒有一種有效的圖像合成技術,填補了現有技術的空白。實現了全景立體圖像合成,滿足了用戶對全景立體圖像的觀看需求,而且,通過運動補償以消除呈現立體圖像時的圖像抖動,同時,可以根據人眼位置或旋轉
角度資訊進行全景立體圖像的顯示,進一步提升了使用者體驗。
圖6為本發明實施例一種全景立體圖像合成裝置示意圖,如圖6所示,包括:獲取單元61,用於獲取圖像資訊,所述圖像資訊為一組多幀連續圖像;抽取單元62,用於從所述多幀連續圖像中分別抽取滿足預定幀間隔的兩幀圖像,合成單元63,用於分別將抽取的所述兩幀圖像進行立體圖像合成,以獲得一組不同視角的多幀立體圖像。在本發明實施例中,所述圖像資訊包含每一幀圖像的移動角度和速度,所述角度和速度記錄在每一幀圖像的檔頭資訊中。
在本發明實施例中,抽取單元63,具體用於:從獲取的多幀連續圖像中抽取滿足預定幀間隔的兩幀圖像,其中,預定幀間隔根據以下兩種方式來確定:(1)如果使用者開始獲取圖像幀後手持設備一直保持勻速勻角度的操作(即第一種方式),就可以遵守公式:幀間隔=(總幀數/(角度*速度))/Ω決定抽取幀數的間隔,其中,所述總幀數為所述圖像資訊中多幀連續圖像的數量,所述Ω為測試所得的幀間隔經驗值。此間隔保持不變,即多幀連續圖像中只要滿足此幀間隔的兩幀圖像即可以兩兩組合,用來合成立體圖像。(2)可以用第1幀圖像分別和2到N幀合成立體圖像,將合成圖像品質最優組合作為抽取幀的間隔,此間隔保持不變,比如,假設第1幀圖像與第10幀圖像合成的立體圖像品質最優,則幀間隔即為9,而且,多幀連續圖像中的其他幀之間也按此幀間隔確定用來合成立體圖像的兩幀圖像。
在本發明實施例中,所述裝置,還包括:運動補償單元64,用於對所述立體圖像在垂直方向上作運動補償,以消除呈現所述立體圖像時的圖像抖動。在本發明實施例中,獲取多幀圖像過程中會產生上下移動,而且,在立體圖
像合成過程中,圖像拼接也會引入圖像的上下移動。因此,在顯示合成的立體圖像時,可以對上述多幀立體圖像垂直方向(Y軸方向)作運動補償,以消除連續呈現多幀立體圖像時圖像抖動。
在本發明實施例中,所述裝置,還包括:顯示單元65,用於顯示所述多幀立體圖像。在本發明實施例中,為了方便使用者觀看合成的不同視角的多幀立體圖像,實現全景立體圖像觀看效果,可以通過顯示單元65呈現給使用者。
為了方便給使用者呈現不同視角下的立體圖像,在本發明實施例中,所述裝置,還包括:人眼位置獲取單元66,用於獲取人眼相對於顯示多幀立體圖像的顯示螢幕的位置資訊,和/或,角度資訊獲取單元67,用於獲取顯示多幀立體圖像的顯示螢幕的旋轉角度資訊,顯示圖像確定單元68,用於根據人眼位置資訊或旋轉角度資訊,確定多幀立體圖像中顯示的特定立體圖像。
在本發明實施例中,人眼位置獲取單元66可以通過攝像頭拍攝跟蹤人眼,同時,利用裸眼跟蹤演算法確定人眼相對於顯示螢幕的位置資訊。而且,當顯示螢幕前面存在多個用戶時,可以從攝像頭跟蹤的不同位置中選擇合適的人眼,比如,當顯示螢幕前面的左、中、右位置分別存在不同的人眼,則可以根據預先的設置規則,選擇顯示螢幕前面中間位置的人眼作為確定顯示多幀立體圖像的人眼位置。
在本發明實施例中,角度資訊獲取單元67可以通過顯示螢幕上的陀螺儀感應器獲取顯示螢幕的旋轉角度資訊。
在本發明實施例中,人眼位置獲取單元66及角度資訊獲取單元67可以同時存在,也可以只存在其中任意一個單元,當兩者同時存在時,為避免顯示圖像確定單元68在
確定顯示多幀立體圖像中的具體立體圖像時可能產生的衝突,可以設置優先順序,比如,優先根據人眼位置確定,當然,也可以優先根據旋轉角度來確定。
需要說明的是,本發明實施例中的全景立體圖像合成裝置中各個單元之間的資訊交互、執行過程等內容,由於與本發明方法實施例基於同一構思,方法實施例中的具體內容同樣適用。本發明實施例中的各個單元可以作為單獨的硬體或軟體來實現,並且可以根據需要使用單獨的硬體或軟體來實現各個單元的功能的組合。
需要說明的是,在本發明實施例中,利用兩幀圖像合成立體圖像、運動補償演算法以及人眼跟蹤演算法均可以採用現有技術中的演算法,本發明不作限定。
在本發明實施例中,通過獲取一組多幀連續圖像;並從多幀連續圖像中,分別抽取滿足預定幀間隔的兩幀圖像進行立體圖像合成,以獲得一組不同視角的多幀立體圖像,實現了全景立體圖像合成,滿足了用戶對全景立體圖像的觀看需求,而且,通過運動補償以消除呈現立體圖像時的圖像抖動,同時,可以根據人眼位置或旋轉角度資訊進行全景立體圖像的顯示,進一步提升了使用者體驗。
圖7為本發明實施例一種移動終端示意圖,包括:中央處理器71及顯示螢幕73,其中:中央處理器71,用於獲取圖像資訊,圖像資訊為一組多幀連續圖像;從多幀連續圖像中,分別抽取滿足預定幀間隔的兩幀圖像,以及分別將抽取的兩幀圖像進行立體圖像合成,以獲得一組不同視角的多幀立體圖像;顯示螢幕73,用於顯示多幀立體圖像。本發明實施例中,處理器所執行的上述操作可以以一段程式的形式存儲在記憶體中,當需要執行上述操作時,將該段程式調入處理器執行處理。
在本發明所有實施例中,移動終端可以包括諸如PDA、平板電腦、MP4、智慧手機,電紙書等可擕式移動電子設備。
在本發明實施例中,通過獲取一組多幀連續圖像;並從多幀連續圖像中,分別抽取滿足預定幀間隔的兩幀圖像進行立體圖像合成,以獲得一組不同視角的多幀立體圖像,實現了全景立體圖像合成,滿足了用戶對全景立體圖像的觀看需求,而且,通過運動補償以消除呈現立體圖像時的圖像抖動,同時,可以根據人眼位置或旋轉角度資訊進行全景立體圖像的顯示,進一步提升了使用者體驗。
以上所述僅為本發明的實施方式,並非因此限制本發明的專利範圍,凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換,或直接或間接運用在其他相關的技術領域,均同理包括在本發明的專利保護範圍內。
S11、S13、S15、S17‧‧‧步驟
Claims (20)
- 一種全景立體圖像的合成方法,其包括:獲取一圖像資訊,該圖像資訊為一第一多幀連續圖像;從該第一多幀連續圖像中,分別抽取滿足一預定幀間隔的兩幀圖像;分別將抽取的該兩幀圖像進行立體圖像合成,以獲得一組不同視角的一第二多幀立體圖像。
- 根據請求項1所述的全景立體圖像的合成方法,其中,該圖像資訊包含每一該幀圖像的一移動角度和一速度,該移動角度和該速度記錄在每一該幀圖像的檔頭資訊中。
- 根據請求項2所述的全景立體圖像的合成方法,其中,該圖像資訊中包含的該移動角度和該速度均為一勻速移動,則該預定幀間隔與該移動角度和該速度均成反比。
- 根據請求項3所述的全景立體圖像的合成方法,其中,該預定幀間隔=(一總幀數/(該移動角度*該速度))/一幀間隔經驗值,其中,該總幀數為該圖像資訊中該第一多幀連續圖像的數量,該幀間隔經驗值為測試所得的經驗值。
- 根據請求項2所述的全景立體圖像的合成方法,其中,該圖像資訊中包含的該移動角度和該速度為一變速移動;該預定幀間隔為該第一多幀連續圖像中一第一圖像幀分別與該第一多幀連續圖像中除該第一圖像幀之外的其他圖像幀合成立體圖像後,選擇出品質最優的立體圖像對應的圖像幀與該第一圖像幀之間的幀間隔。
- 根據請求項3-5中任一項所述的全景立體圖像的合成方法,其中,該勻速移動或該變速移動為沿水平方向的移動或以拍攝物件為圓心的圓周移動。
- 根據請求項6所述的全景立體圖像的合成方法,其中,該移動角度和該速度越大,獲取的該圖像資訊中的連續圖像數量越多,該移動角度和該速度越小,獲取的該圖像資訊中的連續圖像數量越少。
- 根據請求項1項所述的全景立體圖像的合成方法,其中,還包括:對該立體圖像在垂直方向上作運動補償,以消除呈現該立體圖像時的圖像抖動。
- 根據請求項8項所述的全景立體圖像的合成方法,其中,還包括:顯示該第二多幀立體圖像。
- 根據請求項9所述的全景立體圖像的合成方法,其中,顯示該第二多幀立體圖像,具體包括:獲取人眼相對於顯示該第一多幀立體圖像的顯示螢幕的一人眼位置資訊;根據該人眼位置資訊,確定該第二多幀立體圖像中顯示的特定立體圖像。
- 根據請求項9所述的全景立體圖像的合成方法,其中,顯示該第二多幀立體圖像,具體包括:獲取顯示該第二多幀立體圖像的顯示螢幕的一旋轉角度 資訊;根據該旋轉角度資訊,確定該第二多幀立體圖像中顯示的特定立體圖像。
- 一種全景立體圖像合成裝置,其包括:一獲取單元,用於獲取一圖像資訊,該圖像資訊為一第一多幀連續圖像;一抽取單元,用於從該第一多幀連續圖像中,分別抽取滿足一預定幀間隔的兩幀圖像;一合成單元,用於分別將抽取的該兩幀圖像進行立體圖像合成,以獲得一組不同視角的一第二多幀立體圖像。
- 根據請求項12所述的全景立體圖像合成裝置,其中,該獲取單元獲取的該圖像資訊包含每一該幀圖像的一移動角度和一速度,該移動角度和該速度記錄在每一該幀圖像的一檔頭資訊中。
- 根據請求項13所述的全景立體圖像合成裝置,其中,該獲取單元獲取的該圖像資訊中包含的該移動角度和該速度均為勻速移動,則該預定幀間隔與該移動角度和速度均成反比。
- 根據請求項14所述的全景立體圖像合成裝置,其中,該抽取單元中該預定幀間隔=(一總幀數/(該移動角度*該速度))/一幀間隔經驗值,其中,該總幀數為該圖像資訊中多幀連續圖像的數量,該幀間隔經驗值為測試所得的經驗值。
- 根據請求項13所述的全景立體圖像合成裝置,其中,該獲取單元獲取的該圖像資訊中包含的該移動角度和該速度為變速移動;該預定幀間隔為該第一多幀連續圖像中一第一圖像幀分別與該第一多幀連續圖像中除該第一圖像幀之外的其他圖像幀合成立體圖像後,選擇出品質最優的立體圖像對應的圖像幀與該第一圖像幀之間的幀間隔。
- 根據請求項12-16任一項所述的全景立體圖像合成裝置,其中包括:一運動補償單元,用於對該立體圖像在垂直方向上作運動補償,以消除呈現該立體圖像時的圖像抖動。
- 根據請求項17項所述的全景立體圖像合成裝置,其中包括:一顯示單元,用於顯示該第二多幀立體圖像。
- 根據請求項18所述的全景立體圖像合成裝置,其中,該全景立體圖像合成裝置還包括:一人眼位置獲取單元,用於獲取人眼相對於顯示該第二多幀立體圖像的顯示螢幕的一人眼位置資訊,一角度資訊獲取單元,用於獲取顯示該第二多幀立體圖像的顯示螢幕的一旋轉角度資訊,一顯示圖像確定單元,用於根據該人眼位置資訊或該旋轉角度資訊,確定該第二多幀立體圖像中顯示的特定立體圖像。
- 一種移動終端,其包括: 一中央處理器,用於獲取圖像資訊,該圖像資訊為一第一多幀連續圖像;從該第一多幀連續圖像中,分別抽取滿足預定幀間隔的兩幀圖像,以及分別將抽取的該兩幀圖像進行立體圖像合成,以獲得一組不同視角的一第二多幀立體圖像;顯示螢幕,用於顯示該第二多幀立體圖像。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510373146.5A CN106303495B (zh) | 2015-06-30 | 2015-06-30 | 全景立体图像的合成方法、装置及其移动终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201701051A true TW201701051A (zh) | 2017-01-01 |
TWI584050B TWI584050B (zh) | 2017-05-21 |
Family
ID=57651118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW104137748A TWI584050B (zh) | 2015-06-30 | 2015-11-16 | 全景立體圖像的合成方法、裝置及其移動終端 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106303495B (zh) |
TW (1) | TWI584050B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI700000B (zh) * | 2019-01-29 | 2020-07-21 | 威盛電子股份有限公司 | 全景影片影像穩定方法及裝置與影像穩定演算法評估方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106851251A (zh) * | 2017-02-28 | 2017-06-13 | 宇龙计算机通信科技(深圳)有限公司 | 三维成像方法及三维成像终端 |
CN109672776B (zh) | 2017-10-16 | 2021-07-09 | 华为技术有限公司 | 显示动态图像的方法及终端 |
CN109104576A (zh) * | 2018-10-29 | 2018-12-28 | 努比亚技术有限公司 | 一种全景拍摄方法、穿戴设备及计算机可读存储介质 |
CN110769159B (zh) * | 2019-11-19 | 2021-07-09 | 海南车智易通信息技术有限公司 | 拍摄方法、拍摄装置以及全景拍摄系统 |
CN114697758B (zh) * | 2020-12-30 | 2023-03-31 | 北京金山云网络技术有限公司 | 视频处理方法、装置及电子设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120019613A1 (en) * | 2009-12-11 | 2012-01-26 | Tessera Technologies Ireland Limited | Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device |
US10080006B2 (en) * | 2009-12-11 | 2018-09-18 | Fotonation Limited | Stereoscopic (3D) panorama creation on handheld device |
JP2012068380A (ja) * | 2010-09-22 | 2012-04-05 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
JP2013034081A (ja) * | 2011-08-02 | 2013-02-14 | Sony Corp | 画像処理装置、その制御方法およびプログラム |
CN102905079B (zh) * | 2012-10-16 | 2015-08-19 | 小米科技有限责任公司 | 用于全景拍摄的方法、装置及移动终端 |
CN104660897A (zh) * | 2013-11-20 | 2015-05-27 | 浪潮乐金数字移动通信有限公司 | 基于移动终端的360度全景图像获取方法 |
-
2015
- 2015-06-30 CN CN201510373146.5A patent/CN106303495B/zh not_active Expired - Fee Related
- 2015-11-16 TW TW104137748A patent/TWI584050B/zh not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI700000B (zh) * | 2019-01-29 | 2020-07-21 | 威盛電子股份有限公司 | 全景影片影像穩定方法及裝置與影像穩定演算法評估方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106303495A (zh) | 2017-01-04 |
CN106303495B (zh) | 2018-01-16 |
TWI584050B (zh) | 2017-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI584050B (zh) | 全景立體圖像的合成方法、裝置及其移動終端 | |
CN109615703B (zh) | 增强现实的图像展示方法、装置及设备 | |
KR102214827B1 (ko) | 증강 현실 제공 장치 및 방법 | |
US10277890B2 (en) | System and method for capturing and viewing panoramic images having motion parallax depth perception without image stitching | |
TWI547901B (zh) | 模擬立體圖像顯示方法及顯示設備 | |
US20160065862A1 (en) | Image Enhancement Based on Combining Images from a Single Camera | |
US20130335521A1 (en) | Method of Synthesizing Stereo 3D Panorama Image and Related 3D Camera | |
WO2017032336A1 (en) | System and method for capturing and displaying images | |
CN106296589B (zh) | 全景图像的处理方法及装置 | |
US20190266802A1 (en) | Display of Visual Data with a Virtual Reality Headset | |
CN103260046A (zh) | 一种三维显示方法及系统 | |
US10244220B2 (en) | Multi-camera time slice system and method of generating integrated subject, foreground and background time slice images | |
CN103051916A (zh) | 产生三维(3d)全景图像的设备和方法 | |
JP2016504828A (ja) | 単一のカメラを用いて3d画像を取り込む方法およびシステム | |
US9161018B2 (en) | Methods and systems for synthesizing stereoscopic images | |
CN106888333A (zh) | 一种拍摄方法及装置 | |
JP2006310936A (ja) | 任意視点映像生成システム | |
JP2018033107A (ja) | 動画の配信装置及び配信方法 | |
US11102465B2 (en) | Spherical visual content transition | |
CN106680996A (zh) | 头戴式虚拟现实显示器的显示方法及显示控制系统 | |
CN112634339A (zh) | 商品对象信息展示方法、装置及电子设备 | |
CN117729320B (zh) | 图像显示方法、设备及存储介质 | |
EP4443869A1 (en) | Foveal region processing for artificial reality devices | |
Rastogi et al. | StereoCam3D (An Android App. That Lets You Capture Realtime 3D Pics And Videos) | |
KR101369006B1 (ko) | 다시점 영상 재생 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |