TWI564647B - 全景動態網路攝影機的影像轉換運算方法 - Google Patents

全景動態網路攝影機的影像轉換運算方法 Download PDF

Info

Publication number
TWI564647B
TWI564647B TW104109875A TW104109875A TWI564647B TW I564647 B TWI564647 B TW I564647B TW 104109875 A TW104109875 A TW 104109875A TW 104109875 A TW104109875 A TW 104109875A TW I564647 B TWI564647 B TW I564647B
Authority
TW
Taiwan
Prior art keywords
block
conversion operation
image
browsing
tablet
Prior art date
Application number
TW104109875A
Other languages
English (en)
Other versions
TW201635005A (zh
Inventor
黃紹華
姚秉志
陳冠霖
鍾耀興
黃啓榮
沈立得
張舜傑
葉政育
朱召平
古甯允
林子閎
葉明哲
Original Assignee
國立臺北科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺北科技大學 filed Critical 國立臺北科技大學
Priority to TW104109875A priority Critical patent/TWI564647B/zh
Priority to US14/679,087 priority patent/US9609211B2/en
Publication of TW201635005A publication Critical patent/TW201635005A/zh
Application granted granted Critical
Publication of TWI564647B publication Critical patent/TWI564647B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Description

全景動態網路攝影機的影像轉換運算方法
本發明有關於全景動態網路攝影機的影像轉換運算方法，尤其是指使用三個廣角攝影機取得全景動態影像的網路攝影機影像轉換運算方法。
請見圖1，利用個人電腦/智慧型手機/平板1經由網際網路2與可旋轉攝影機3連線，使用者4可以藉滑動個人電腦/智慧型手機/平板1的觸控屏幕而控制可旋轉攝影機3轉動(上下轉動120°、左右轉動360°)，達成觀看現場景觀的功能，這是目前已經具有的技術。可旋轉攝影機3只有一個鏡頭，不能上下轉動360°，因此不是真正的全景圖。
請見圖2，這是GOOGLE街景車上的多個攝影機示意圖。圖中有12個攝影機球體環繞排列，中間還有一個攝影機的方向往上攝影。將這13個攝影機所拍下的影像組合起來，就成為街景車在定點的街景圖。當街景車往前移動時，這13個攝影機繼續拍攝街景。將連續所拍攝的街景串聯起來，就成為連續的街景圖。將這些連續的街景圖儲存到GOOGLE的地圖網站上，使用者利用個人電腦/智慧型手機/平板1登上GOOGLE的地圖網站上，即可搜尋所需的街景圖而觀看街景，有身歷其境的感覺。但所拍攝的街景不是現場的動態街景，而是GOOGLE街景車拍攝時的靜態街景圖。
本發明的目的在提出一種全景動態網路攝影機的影像轉換 運算方法，使用三個廣角攝影機取得全景動態影像，經過影像壓縮後，透過網際網路傳送到使用者的個人電腦/智慧型手機/平板上，將影像解壓縮，然後經過「影像轉換運算」，以供使用者利用個人電腦/智慧型手機/平板而滑動觸控屏幕，觀看所需角度的動態影像。
「影像轉換運算」方法中，對於三個廣角攝影機全景組合拍攝的一動態影像，將其平均劃分為上區塊、中區塊、下區塊，當一個人電腦/智慧型手機/平板的一瀏覽框被一使用者藉滑動個人電腦/智慧型手機/平板的一觸控屏幕而移動，欲讀取所需角度的該動態影像時，其運算方法如下：a.若瀏覽框在中區塊移動，直接將瀏覽框所覆罩的動態影像呈現在個人電腦/智慧型手機/平板的觸控屏幕；b.若瀏覽框在上區塊或下區塊移動，上區塊或下區塊的橫向長度皆為w，則對於瀏覽框中的任一點(x,y)，利用其座標x與y計算出一半徑r與一角度θ：r=√-(x2+y2)
θ=arctan(y/x)
對應於(r,θ)的一像素位置，其與上區塊上端或下區塊下端的距離為r，其與上區塊或下區塊的左邊距離為w＊(θ/360)，將此像素位置的像素回填到瀏覽框9的(x,y)點上；依此類推，可將瀏覽框中所有的點都找到上區塊或下區塊的對應像素而回填，於是在瀏覽框呈現三個廣角攝影機所拍攝的真實仰視或俯視影像。
1‧‧‧個人電腦/智慧型手機/平板
2‧‧‧網際網路
3‧‧‧可旋轉攝影機
4‧‧‧使用者
5‧‧‧全景動態影像
6‧‧‧上區塊
6'‧‧‧上圓
7‧‧‧中區塊
8‧‧‧下區塊
8'‧‧‧下圓
9‧‧‧瀏覽框
10‧‧‧黑點
圖1為傳統經由網際網路控制可旋轉攝影機轉動而攝影的示意圖。
圖2為GOOGLE街景車上的多個攝影機示意圖。
圖3為本發明全景動態網路攝影機系統說明圖。
圖4為本發明將全景動態影像平均劃分為上區塊、中區塊、下區塊的說明圖。
圖5為本發明對於瀏覽框在上區塊或下區塊移動時的影像轉換運算方法說明圖。
請見圖3，為本發明全景動態網路攝影機系統說明圖。由左至右說明，利用三個廣角攝影機組合在一起，拍攝當場的全景動態影像，取得三張魚眼圖A、B、C。然後組合三張魚眼圖A、B、C成為當場的全景動態影像5，經過影像壓縮後，透過網際網路2傳送到使用者4的個人電腦/智慧型手機/平板1，將影像解壓縮，然後經過「影像轉換運算」，以供使用者4利用個人電腦/智慧型手機/平板1而滑動觸控屏幕，觀看所需角度的動態影像。
圖3中的步驟中，除了「影像轉換運算」外，其餘都是習知的技術，「影像轉換運算」則是本發明的重點。圖3中的影像解壓縮後，進行「影像轉換運算」，以圖4、圖5說明。
請見圖4，使用者4的個人電腦/智慧型手機/平板1取得解壓縮後的全景動態影像5，將其平均劃分為上區塊6、中區塊7、下區塊8。個人電腦/智慧型手機/平板1的瀏覽框9可以被使用者4藉滑動個人電腦/智慧型手機/平板1的觸控屏幕而移動，以讀取所需角度的全景動態影像5。
瀏覽框9若在中區塊7移動，等於使用者選擇水平視角，等於要看三個廣角攝影機所拍攝的水平動態影像，這些水平動態影像是沒有扭曲的，所以不必作任何運算，直接將瀏覽框9所覆罩的動態影像呈現在個人電腦/智慧型手機/平板1的瀏覽框9即可。
瀏覽框9若在上區塊6移動，等於使用者選擇仰視的視角，等於要看三個廣角攝影機所拍攝的仰視動態影像，這些仰視動態影像是扭曲的，所以必須加以運算，才能呈現出原本的真實影像。
同理，瀏覽框9若在下區塊8移動，等於使用者選擇俯視的視角，等於要看三個廣角攝影機所拍攝的俯視動態影像，這些俯視動態影像是扭曲的，所以必須加以運算，才能呈現出原本的真實影像。
上區塊6在圖4的圖面上看起來是一片長方形，但事實上上面的O線其實是三個廣角攝影機所形成的圓心O，上區塊6的一片長方形形成一個上圓6'；上區塊6的寬度R其實是三個廣角魚眼攝影機所形成的攝影半徑R，如右邊所示。
下區塊8在圖4的圖面上看起來是一片長方形，但事實上下面的Q線其實是三個廣角攝影機所形成的圓心Q，下區塊8的一片長方形形成一個下圓8'；下區塊8的寬度R其實是三個廣角魚眼攝影機所形成的攝影半徑R，如右邊所示。
瀏覽框9若在上區塊6或下區塊8移動，不能直接取得所覆罩的動態影像而呈現，必須經過影像轉換運算，找到真正對應的像素，才能還原成三個廣角攝影機所拍攝的真實影像，呈現在個人電腦/智慧型手機/平板1的瀏覽框9時才不會出現扭曲的影像。
請見圖5，說明本發明對於瀏覽框9在上區塊6或下區塊8移動時的影像轉換運算方法，以上區塊6為例說明，上區塊6的橫向長度為w。
對於瀏覽框9中的任一點(x,y)，利用其座標x與y計算出半徑r與角度θ：r=√(x2+y2) (1)
θ=arctan(y/x) (2)
對應於(r,θ)的像素位置如圖5右邊上區塊6的黑點10所示，其與上區塊6上端的距離為r，其與上區塊6的左邊距離為w＊(θ/360)。將此黑點10的像素回填到瀏覽框9的(x,y)點上。依此類推，可將瀏覽框9上所有的點都找到上區塊6的對應像素而回填，於是在瀏覽框9呈現三個 廣角攝影機所拍攝的真實仰視影像，沒有扭曲的現象。
下區塊8的影像轉換運算方法與上區塊6的相同，但r為與下區塊8下端的距離。
若瀏覽框9在上區塊6與中區塊7之間移動時，則看瀏覽框9所佔上區塊6與中區塊7的面積比例而定。若上區塊6對中區塊7的面積比例1，則不作任何運算，直接將瀏覽框所覆罩的動態影像呈現在個人電腦/智慧型手機/平板1的觸控屏幕即可。若上區塊6對中區塊7的面積比例>1，則依照上述對上區塊6的影像轉換運算方法，找到對應像素而回填。
同理，若瀏覽框9在下區塊8與中區塊7之間移動時，則看瀏覽框9所佔下區塊8與中區塊7的面積比例而定。若下區塊8對中區塊7的面積比例1，則不作任何運算，直接將瀏覽框所覆罩的動態影像呈現在個人電腦/智慧型手機/平板1的觸控屏幕即可。若下區塊8對中區塊7的面積比例>1，則依照上述對下區塊8的影像轉換運算方法，找到對應像素而回填。
本發明的重點是只以三個廣角攝影機取得全景動態影像5，只將全景動態影像5平均劃分為上區塊6、中區塊7、下區塊8，然後使用式子(1)與(2)處理上區塊6、下區塊8，計算量相對較少，但可以全景上下左右360°觀看，而且是觀看即時的動態影像，不是過往的靜態影像。
本發明的精神與範圍決定於下面的申請專利範圍，不受限於上述實施例。
6‧‧‧上區塊
6'‧‧‧上圓
9‧‧‧瀏覽框
10‧‧‧黑點

Claims (3)

  1. 一種全景動態網路攝影機的影像轉換運算方法，對於三個廣角攝影機全景組合拍攝的一動態影像，將其平均劃分為一上區塊、一中區塊、一下區塊，當一個人電腦/智慧型手機/平板的一瀏覽框被一使用者藉滑動個人電腦/智慧型手機/平板的一觸控屏幕而移動，欲讀取所需角度的該動態影像時，其運算方法如下：a.若瀏覽框在中區塊移動，直接將瀏覽框所覆罩的動態影像呈現在個人電腦/智慧型手機/平板的觸控屏幕；b.若瀏覽框在上區塊或下區塊移動，上區塊或下區塊的橫向長度皆為w，則對於瀏覽框中的任一點(x,y)，利用其座標x與y計算出一半徑r與一角度θ：r=√(x2+y2) θ=arctan(y/x)對應於(r,θ)的一像素位置，其與上區塊上端或下區塊下端的距離為r，其與上區塊或下區塊的左邊距離為w＊(θ/360)，將該像素位置的一像素回填到瀏覽框9的(x,y)點上；依此類推，可將瀏覽框中所有的點都找到上區塊或下區塊的對應像素而回填，於是在瀏覽框呈現三個廣角攝影機所拍攝的真實仰視或俯視影像。
  2. 如申請專利範圍第1項之全景網路攝影機的影像轉換運算方法，其中若瀏覽框在上區塊與中區塊之間移動，則看瀏覽框所佔上區塊與中區塊的面積比例而定；若上區塊對中區塊的面積比例1，則不作任何運算，直接將瀏覽框所覆罩的動態影像呈現在個人電腦/智慧型手機/平板的觸控屏幕；若上區塊對中區塊的面積比例>1，則依照對上區塊的影像轉換運算方法，找到對應像素而回填。
  3. 如申請專利範圍第1項之全景網路攝影機的影像轉換運算方法，其中 若瀏覽框在下區塊與中區塊之間移動，則看瀏覽框所佔下區塊與中區塊的面積比例而定；若下區塊對中區塊的面積比例1，則不作任何運算，直接將瀏覽框所覆罩的動態影像呈現在個人電腦/智慧型手機/平板的觸控屏幕即可；若下區塊對中區塊的面積比例>1，則依照對下區塊的影像轉換運算方法，找到對應像素而回填。
TW104109875A 2015-03-27 2015-03-27 全景動態網路攝影機的影像轉換運算方法 TWI564647B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW104109875A TWI564647B (zh) 2015-03-27 2015-03-27 全景動態網路攝影機的影像轉換運算方法
US14/679,087 US9609211B2 (en) 2015-03-27 2015-04-06 Method of image conversion operation for panorama dynamic IP camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104109875A TWI564647B (zh) 2015-03-27 2015-03-27 全景動態網路攝影機的影像轉換運算方法

Publications (2)

Publication Number Publication Date
TW201635005A TW201635005A (zh) 2016-10-01
TWI564647B true TWI564647B (zh) 2017-01-01

Family

ID=56976729

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104109875A TWI564647B (zh) 2015-03-27 2015-03-27 全景動態網路攝影機的影像轉換運算方法

Country Status (2)

Country Link
US (1) US9609211B2 (zh)
TW (1) TWI564647B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614436B1 (en) * 2016-08-25 2020-04-07 Videomining Corporation Association of mobile device to retail transaction
KR20180042777A (ko) * 2016-10-18 2018-04-26 엘지전자 주식회사 이동 단말기 및 그의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008517320A (ja) * 2004-10-14 2008-05-22 ナノフォトニクス リミテッド 直線収差補正鏡及びそれを備える映像システム
US20120075409A1 (en) * 2010-09-27 2012-03-29 Hon Hai Precision Industry Co., Ltd. Image segmentation system and method thereof
TW201310004A (zh) * 2011-08-18 2013-03-01 Nat Applied Res Laboratories 編列數位影像關係裝置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US7292261B1 (en) * 1999-08-20 2007-11-06 Patrick Teo Virtual reality camera
JP2009508122A (ja) * 2005-09-12 2009-02-26 トリンブル イエナ ゲゼルシャフト ミット ベシュレンクテル ハフツング 測量装置を使用して測量データを供給する方法
US9417787B2 (en) * 2010-02-12 2016-08-16 Microsoft Technology Licensing, Llc Distortion effects to indicate location in a movable data collection
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
JP5591281B2 (ja) 2011-06-03 2014-09-17 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および動画再生制御方法
US9912857B2 (en) * 2013-04-05 2018-03-06 Andra Motion Technologies Inc. System and method for controlling an equipment related to image capture
US9360671B1 (en) * 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
US10319073B2 (en) * 2014-09-12 2019-06-11 Barnes & Noble College Booksellers, Llc Universal digital content zooming techniques
US9547883B1 (en) * 2016-08-19 2017-01-17 Intelligent Security Systems Corporation Systems and methods for dewarping images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008517320A (ja) * 2004-10-14 2008-05-22 ナノフォトニクス リミテッド 直線収差補正鏡及びそれを備える映像システム
US20120075409A1 (en) * 2010-09-27 2012-03-29 Hon Hai Precision Industry Co., Ltd. Image segmentation system and method thereof
TW201310004A (zh) * 2011-08-18 2013-03-01 Nat Applied Res Laboratories 編列數位影像關係裝置

Also Published As

Publication number Publication date
TW201635005A (zh) 2016-10-01
US9609211B2 (en) 2017-03-28
US20160286123A1 (en) 2016-09-29

Similar Documents

Publication Publication Date Title
CN110663245B (zh) 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法
CN107637060B (zh) 相机装备和立体图像捕获
CN109348119B (zh) 一种全景监控系统
JP6044328B2 (ja) 画像処理システム、画像処理方法およびプログラム
US8818101B1 (en) Apparatus and method for feature matching in distorted images
US9313400B2 (en) Linking-up photographing system and control method for linked-up cameras thereof
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
TW201730841A (zh) 圖像資料處理系統和相關方法以及相關圖像融合方法
WO2017113504A1 (zh) 一种图像显示方法以及装置
JP5743016B2 (ja) 画像を生成する装置および方法
CN106997579B (zh) 图像拼接的方法和装置
KR20130112574A (ko) 확대된 영상의 화질을 개선하기 위한 장치 및 방법
JP2014529930A (ja) ネイティブ画像の一部の選択的キャプチャとその表示
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
JP2006515128A (ja) 立体パノラマ画像取り込み装置
US10362231B2 (en) Head down warning system
KR101725024B1 (ko) 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
KR101704362B1 (ko) 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법
TWI564647B (zh) 全景動態網路攝影機的影像轉換運算方法
TW201824178A (zh) 全景即時影像處理方法
JP2018033107A (ja) 動画の配信装置及び配信方法
Debevec et al. Spherical light field environment capture for virtual reality using a motorized pan/tilt head and offset camera
JP6593929B2 (ja) 車載カメラ用に画像を調整するシステムおよび方法
JP6394682B2 (ja) 方法および画像処理装置
JP5818326B2 (ja) 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム