TW201403545A - 合成虛擬視角影像的處理系統及其處理方法 - Google Patents

合成虛擬視角影像的處理系統及其處理方法 Download PDF

Info

Publication number
TW201403545A
TW201403545A TW101125415A TW101125415A TW201403545A TW 201403545 A TW201403545 A TW 201403545A TW 101125415 A TW101125415 A TW 101125415A TW 101125415 A TW101125415 A TW 101125415A TW 201403545 A TW201403545 A TW 201403545A
Authority
TW
Taiwan
Prior art keywords
image
angle
panoramic
full
panoramic camera
Prior art date
Application number
TW101125415A
Other languages
English (en)
Inventor
Jen-Chih Wu
Original Assignee
Vivotek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivotek Inc filed Critical Vivotek Inc
Priority to TW101125415A priority Critical patent/TW201403545A/zh
Priority to CN201310276253.7A priority patent/CN103546720A/zh
Priority to US13/938,665 priority patent/US20140015920A1/en
Publication of TW201403545A publication Critical patent/TW201403545A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

一種合成虛擬視角影像的處理系統及其處理方法，將不同的全景(如魚眼，多鏡頭攝影機)攝像裝置所拍攝的同一空間的平面影像合成為虛擬視角影像。處理系統包括計算機裝置與多個以特定排列方式佈滿欲觀看空間的全景攝像裝置。計算機裝置電性連接於每一個全景攝像裝置。計算機裝置根據每一全景攝像裝置與使用者(觀看者)欲觀看角度、位置與距離選擇出至少兩個以上的攝像裝置。計算機裝置對所選的平面影像進行合成處理，用以產生虛擬視角影像。

Description

合成虛擬視角影像的處理系統及其處理方法
一種數位影像處理系統與方法，特別有關於一種合成虛擬視角影像的處理系統及其處理方法。
隨著監控設備的普及化，越來越多人會裝設監控設備來保障自身的財產與人身安全。為能無死角的監控，因此有廠商提出可全景(panorama)拍攝的攝影機。而全景攝影機的實現方式可以由多組鏡頭所接合而成，也可以利用以單一個魚眼鏡頭(fisheye lens)而實現。全景拍攝的優點在於可以全方位且無死角的方式觀看所拍攝的數位影像。
而全景拍攝雖然具有上述的優點，然數位影像仍是屬於二維的平面影像。而觀看者只能從實體攝影機所在的角度觀看平面影像。如果觀看者欲查看平面影像的其他角度的話，觀看者要透過其他拍攝角度的攝影機方能達成此一目的。如果該角度不存在攝影機則無法觀看。而習知的虛擬視角影像生成技術(Virtual View Synthesis)可用來將不同角度的原始影像合成為一虛擬視角影像。但傳統的做法是使用非全景攝像裝置，所以使用者要重新調整攝像裝置的角度，讓攝像裝置面向欲觀看空間。所以這樣的調整方式較為麻煩。
鑒於以上的問題，本發明旨在於提供一種合成虛擬視角影像 的處理系統，將不同的全景攝像裝置所拍攝的同一空間的平面影像合成為任意虛擬視角影像。
本發明所揭露之合成虛擬視角影像的處理系統包括計算機裝置與多個全景攝像裝置。全景攝像裝置用以拍攝其所在位置的全角度影像，全景攝像裝置並以特定間隔距離佈滿欲觀察的空間。計算機裝置電性連接於這些攝像裝置。觀看者由計算機裝置的輸入介面輸入欲由空間中哪一位置朝哪個方向觀看，計算機裝置再根據每一攝像裝置所拍攝的全角度影像選擇出與觀看者欲觀看角度與位置距離最近的至少兩個以上的攝像裝置，計算機裝置根據所選擇的這些攝像裝置位置與欲觀看角度位置決定一拍攝夾角。計算機裝置根據拍攝夾角對這些全角度影像進行合成處理，用以產生可在拍攝夾角中觀看的虛擬視角影像。
本發明另提出一種合成虛擬視角影像的處理方法包括以下步驟：驅動至少二台以上的全景攝像裝置，並各自拍攝全角度影像；根據全景攝像裝置的觀看角度、位置與距離選取至少兩全景攝像裝置；根據全景攝像裝置所拍攝的全角度影像進行合成處理，用以產生虛擬視角影像。
本發明係從多台全景攝像裝置中選擇至少兩台以上的攝像裝置，並且利用所選擇的攝像裝置以不同的角度拍攝平面影像。將不同拍攝角度的平面影像進行合成處理，藉以產生相應的虛擬視角影像。
有關本發明的特徵與實作，茲配合圖式作最佳實施例詳細說 明如下。
本發明所述的攝影系統可以被應用於道路安全監控、家庭監控(home surveillance)或保全監控等範圍中。本發明的攝影系統包括多台全景攝像裝置110與計算機裝置120。請參考第1圖所示，其係為本發明之架構示意圖。本發明可根據不同的環境(如室內有天花板的空間，室內有牆壁的空間，室外或開放空間)進而將全景攝像裝置110以固定間隔距離依二維格狀的方式佈設於不同的位置。而本發明所述的全景攝像裝置110係屬於一種可360度全景拍攝的攝像裝置。因此使用者可以在天花板、地板或牆壁上架設全景攝像裝置110，就可以觀看該區域的所有方向的影像。
計算機裝置120更包括處理單元121、儲存單元122與攝像裝置連接介面123。一般而言，計算機裝置120可以藉由個人電腦、筆記型電腦或數位影像錄製主機(digital video recorder，簡稱DVR)所實現。處理單元121電性連接於處儲存單元122與連接介面123。本發明的儲存單元122除了可以記錄全景攝像裝置110所拍攝的數位影像，更儲存有反扭曲程序124(dewarp)與合成程序125。計算機裝置120可以透過實體電纜(cable)或無線傳輸(wireless)的連接介面123連接於每一個全景攝像裝置110。計算機裝置120接收全景攝像裝置110所拍攝的全角度影像410。而全角度影像410可能是靜態的影像，也可以是動態影片。而本發明的全角度影像410的觀看角度與位置可以由使用者所指定。
接著，處理單元121對全角度影像410進行合成程序125的處理。本發明分為實時合成與一般合成兩種。為清楚說明本發明的影像合成處理的流程，還請配合第2A、2B圖所示，其係為本發明之實時合成與一般合成運作流程示意圖。
本發明的實時合成的判斷與處理包括以下步驟：步驟S211：根據全景攝像裝置的觀看角度、位置與距離選取至少兩全景攝像裝置，再驅動這些全景攝像裝置拍攝全角度影像；以及步驟S212：根據全景攝像裝置所拍攝的全角度影像進行合成處理，用以產生虛擬視角影像。
本發明的一般合成處理的判斷與處理包括以下步驟：步驟S221：驅動所有的全景攝像裝置，並各自拍攝全角度影像；步驟S222：根據全景攝像裝置的觀看角度、位置與距離選取至少兩全景攝像裝置；以及步驟S223：根據全景攝像裝置所拍攝的全角度影像進行合成處理，用以產生虛擬視角影像，而拍攝的方式可為實時影像或錄影影像。
首先，從觀看者的輸入中決定欲進行與觀看的目標位置。在決定目標位置後計算機裝置120可以根據目標位置，判斷各全景攝像裝置110與目標間的觀看角度與兩相距的距離。
計算機裝置120可以從所有的全景攝像裝置110中選擇至少 兩個以上的全景攝像裝置110。而選擇的方式可以根據全景攝像裝置的觀看角度、位置與距離來選取至少兩台全景攝像裝置。請參考第3圖所示，其係為本發明的拍攝位置之示意圖。在第3圖中所有的全景攝像裝置110均會拍攝到影像物件310。而為凸顯所選取的全景攝像裝置110，所以係以黑色雙箭頭線表示所選取的全景攝像裝置110與影像物件310。由於所採用的是全景攝像裝置110，因此全角度影像410的成相可能會有變形(distortion)的情況發生。所以為能顯示正確平面的全角度影像410，就需要對前述全景攝像裝置110所拍攝的全角度影像410進行反扭曲程序124的處理，藉以產生該張全角度影像410相應的平面影像。平面影像指的是反扭曲處理後的影像。若是全角度影像410沒有變形的情況，則不需進行反扭曲程序124的處理。
當計算機裝置120取得這些全景攝像裝置110所拍攝的全角度影像410後，進行合成程序125。合成程序125將這些不同拍攝角度的全角度影像410進行演算法的運算(例如內插法(Interpolation))。請參考第4A圖、第4B-1圖、第4B-2圖與第4C圖所示，其係為本發明的所拍攝的不同角度的全角度影像與合成後的虛擬角度影像示意圖。
以第4A圖中的盒子為例，在第4A圖中全景攝像裝置A與全景攝像裝置B以不同拍攝角度拍攝該盒子。而第4B-1圖係為全景攝像裝置A所拍攝的全角度影像410，第4B-2圖係為全景攝像裝置B所拍攝的全角度影像410。合成程序125會根據已知的演算 法(如前述內插法(Interpolation))，用以計算全角度影像410的合成後之外觀。
最後，計算機裝置120根據第4B-1圖與第4B-2圖的不同角度的全角度影像410進行虛擬視角影像與所屬的立體影像物件420的建立。由於全景攝像裝置A與全景攝像裝置B所拍攝的角度有限，因此所建立的立體影像物件420可旋轉的角度係介於全景攝像裝置A與全景攝像裝置B所拍攝的角度。
本發明係從多台全景攝像裝置110中選擇至少兩台以上的全景攝像裝置110，並且利用所選擇的全景攝像裝置110以不同的角度拍攝全角度影像410。將不同拍攝角度的全角度影像410進行合成處理，藉以產生相應的立體影像物件420。
雖然本發明以前述之較佳實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。
110‧‧‧全景攝像裝置
120‧‧‧計算裝置
121‧‧‧處理單元
122‧‧‧儲存單元
123‧‧‧連接介面
124‧‧‧反扭曲程序
125‧‧‧合成程序
310‧‧‧影像物件
410‧‧‧全角度影像
420‧‧‧立體影像物件
A、B‧‧‧全景攝像裝置
第1圖係為本發明之架構示意圖。
第2A圖係為本發明之實時合成的運作流程示意圖。
第2B圖係為本發明之一般合成的運作流程示意圖。
第3圖係為本發明的拍攝距離之示意圖。
第4A圖係為本發明的不同攝像裝置拍攝平面影像的平面圖。
第4B-1圖係為本發明的所拍攝的不同角度的平面影像示意圖。
第4B-2圖係為本發明的所拍攝的不同角度的平面影像示意圖。
第4C圖係為本發明的所拍攝的合成後的虛擬視角影像示意圖。

Claims (8)

  1. 一種合成虛擬視角影像的處理系統，將所拍攝的多張平面影像合成為一虛擬視角影像，該處理系統包括：多個全景攝像裝置，每一該全景攝像裝置用以拍攝一全角度影像；以及一計算機裝置，電性連接於該些全景攝像裝置，該計算機裝置根據每一該全景攝像裝置的觀看角度、位置與拍攝距離，選擇出至少兩該些全景攝像裝置；其中，該計算機裝置根據所選擇的該些全景攝像裝置決定一拍攝夾角，該計算機裝置根據該拍攝夾角對該些所選擇的全景攝像裝置所拍攝的該全角度影像進行合成處理，用以產生該虛擬視角影像。
  2. 如請求項1所述之合成虛擬視角影像的處理系統，其中該全景攝像裝置係為魚眼攝像裝置或多鏡頭攝像裝置。
  3. 如請求項1所述之合成虛擬視角影像的處理系統，其中該些全景攝像裝置係以固定的間隔距離以二維格狀的方式架設。
  4. 如請求項1所述之合成虛擬視角影像的處理系統，其中該計算機裝置對該全角度影像進行一反扭曲程序，用以產生該全角度影像的一平面影像。
  5. 一種合成虛擬視角影像的處理方法，其係包括以下步驟：驅動至少二台以上的全景攝像裝置，並各自拍攝一全角度影像； 根據該些全景攝像裝置的觀看角度、位置與距離選取至少兩台該些全景攝像裝置；以及根據該些所選取的全景攝像裝置所拍攝的該全角度影像進行合成處理，用以產生該虛擬視角影像。
  6. 如請求項5所述之合成虛擬視角影像的處理方法，其中該全景攝像裝置係為魚眼攝像裝置或多鏡頭攝像裝置。
  7. 如請求項5所述之合成虛擬視角影像的處理方法，其中於驅動該些全景攝像裝置前更包括：以二維格狀且固定的間隔距離的方式架設該些全景攝像裝置。
  8. 如請求項5所述之合成虛擬視角影像的處理方法，其中該全景攝像裝置於拍攝該數位影像中更包括：對該全角度影像進行一反扭曲程序，用以產生該全角度影像的一平面影像。
TW101125415A 2012-07-13 2012-07-13 合成虛擬視角影像的處理系統及其處理方法 TW201403545A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW101125415A TW201403545A (zh) 2012-07-13 2012-07-13 合成虛擬視角影像的處理系統及其處理方法
CN201310276253.7A CN103546720A (zh) 2012-07-13 2013-07-03 合成虚拟视角影像的处理系统及其处理方法
US13/938,665 US20140015920A1 (en) 2012-07-13 2013-07-10 Virtual perspective image synthesizing system and its synthesizing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101125415A TW201403545A (zh) 2012-07-13 2012-07-13 合成虛擬視角影像的處理系統及其處理方法

Publications (1)

Publication Number Publication Date
TW201403545A true TW201403545A (zh) 2014-01-16

Family

ID=49913652

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101125415A TW201403545A (zh) 2012-07-13 2012-07-13 合成虛擬視角影像的處理系統及其處理方法

Country Status (3)

Country Link
US (1) US20140015920A1 (zh)
CN (1) CN103546720A (zh)
TW (1) TW201403545A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192287B2 (en) 2016-11-29 2019-01-29 Industrial Technology Research Institute Image processing method and image system for transportation

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282537A (zh) * 2014-07-04 2016-01-27 聚晶半导体股份有限公司 图像获取装置
US20160077422A1 (en) * 2014-09-12 2016-03-17 Adobe Systems Incorporated Collaborative synchronized multi-device photography
WO2017122513A1 (ja) * 2016-01-15 2017-07-20 富士フイルム株式会社 撮像システム、レンズ装置及びレンズ装置の作動方法
CN106162203B (zh) * 2016-07-05 2019-10-25 实野信息科技（上海）有限公司 全景视频播放方法、播放器与头戴式虚拟现实设备
KR102593824B1 (ko) * 2016-08-31 2023-10-25 삼성전자주식회사 카메라를 제어하기 위한 방법 및 그 전자 장치
CN106791762B (zh) * 2016-11-21 2019-04-30 深圳岚锋创视网络科技有限公司 立体影像处理方法及系统
US10043863B2 (en) * 2017-01-06 2018-08-07 International Business Machines Corporation Grated MIM capacitor to improve capacitance
CN107911687B (zh) * 2017-12-11 2020-04-10 中国科学院长春光学精密机械与物理研究所 基于双目立体视觉的机器人遥操作辅助系统
CN108008596A (zh) * 2017-12-29 2018-05-08 百维雅（东莞）网络技术有限公司 一种立体360度全景影像系统及实现方法
CN111242998B (zh) * 2018-11-28 2023-04-25 株式会社理光 图像融合方法和装置
CN111917984A (zh) * 2020-08-13 2020-11-10 上海航天测控通信研究所 一种虚拟云台及控制方法
CN113596544A (zh) * 2021-07-26 2021-11-02 王博 视频生成方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226035B1 (en) * 1998-03-04 2001-05-01 Cyclo Vision Technologies, Inc. Adjustable imaging system with wide angle capability
JP4209535B2 (ja) * 1999-04-16 2009-01-14 パナソニック株式会社 カメラ制御装置
CN100573595C (zh) * 2003-06-20 2009-12-23 日本电信电话株式会社 虚拟视点图像生成方法和三维图像显示方法及装置
CN1304878C (zh) * 2005-02-28 2007-03-14 北京理工大学 复眼立体视觉装置
US20070103543A1 (en) * 2005-08-08 2007-05-10 Polar Industries, Inc. Network panoramic camera system
CA2781232C (en) * 2009-11-21 2018-01-02 Diehl Bgt Defence Gmbh & Co. Kg Method for combining at least two images to form a panoramic image
SG191198A1 (en) * 2010-12-16 2013-07-31 Massachusetts Inst Technology Imaging system for immersive surveillance
CA2798298C (en) * 2011-12-09 2016-08-23 W-Ideas Network Inc. Systems and methods for video processing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192287B2 (en) 2016-11-29 2019-01-29 Industrial Technology Research Institute Image processing method and image system for transportation

Also Published As

Publication number Publication date
CN103546720A (zh) 2014-01-29
US20140015920A1 (en) 2014-01-16

Similar Documents

Publication Publication Date Title
TW201403545A (zh) 合成虛擬視角影像的處理系統及其處理方法
US9398214B2 (en) Multiple view and multiple object processing in wide-angle video camera
US9602700B2 (en) Method and system of simultaneously displaying multiple views for video surveillance
KR101201107B1 (ko) 파노라마식 이미지에서의 데드 존의 최소화
US20100013738A1 (en) Image capture and display configuration
US20050185047A1 (en) Method and apparatus for providing a combined image
US20040027451A1 (en) Immersive imaging system
KR101685418B1 (ko) 3차원 영상을 생성하는 감시 시스템
JP2017505565A (ja) 多面映像の生成方法及びシステム
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
JP2007295335A (ja) カメラ装置および画像記録再生方法
Tang et al. A system for real-time panorama generation and display in tele-immersive applications
JP7378243B2 (ja) 画像生成装置、画像表示装置および画像処理方法
JP2007288354A (ja) カメラ装置、画像処理装置および画像処理方法
KR101916419B1 (ko) 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
JP2013062559A (ja) 撮像監視画面及び全方位撮像画面監視システム
JP4971813B2 (ja) 映像生成装置及び映像生成プログラム
JP2018033107A (ja) 動画の配信装置及び配信方法
US10778891B2 (en) Panoramic portals for connecting remote spaces
TW201410015A (zh) 多攝影機的整合處理系統及其方法
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
KR101057879B1 (ko) 피사체 전방위 촬영시스템
JP2009055094A (ja) 映像システム
WO2019008233A1 (en) METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT