TWI555379B - 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 - Google Patents

一種全景魚眼相機影像校正、合成與景深重建方法與其系統 Download PDF

Info

Publication number
TWI555379B
TWI555379B TW104136624A TW104136624A TWI555379B TW I555379 B TWI555379 B TW I555379B TW 104136624 A TW104136624 A TW 104136624A TW 104136624 A TW104136624 A TW 104136624A TW I555379 B TWI555379 B TW I555379B
Authority
TW
Taiwan
Prior art keywords
panoramic
depth
parameter
field
correction
Prior art date
Application number
TW104136624A
Other languages
English (en)
Other versions
TW201717613A (zh
Inventor
林宗立
林宏祥
張朝欽
Original Assignee
輿圖行動股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 輿圖行動股份有限公司 filed Critical 輿圖行動股份有限公司
Priority to TW104136624A priority Critical patent/TWI555379B/zh
Application granted granted Critical
Publication of TWI555379B publication Critical patent/TWI555379B/zh
Priority to US15/332,204 priority patent/US10085011B2/en
Priority to JP2016210376A priority patent/JP2017112602A/ja
Publication of TW201717613A publication Critical patent/TW201717613A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

一種全景魚眼相機影像校正、合成與景深重建方法與其系統
本發明係關於一種全景魚眼相機影像校正、合成與景深重建方法與其系統，更明確地說，係關於一種藉由全景魚眼相機拍攝全景光學標靶空間取得一景像合成參數(亦即外部校正參數)與空間景深轉換參數，再藉由一景深校正模組獲取相機與標靶之間真實景深數據，並搭配全景魚眼相機內部校正參數以進行全景影像校正的一種全景魚眼相機影像校正方法與其系統。
從照相機問世以來，人們開始利用影像紀錄生活點滴或時代大事件。而攝影技術與器材也從低畫質的黑白照片，演進到高畫質高彩度的彩色照片，甚至每秒可拍攝二十億幀(Frame)的高速攝影機。而視覺效果也不僅止步於平面影像，甚至能拍攝具有立體視覺的影像。
習知技術中，若要拍攝具有立體視覺的影像，可用雙鏡頭的雙眼相機，或立體相機來拍攝。但受限於器材的拍攝範圍，只能拍攝某個範圍內，亦即，視角內的立體影像。又或者是，藉由掌鏡者手持立體相機原地繞圈來拍攝360度的環繞全景影像。但是此方法需要時間讓掌鏡者原地 繞圈才能拍攝全景影像。於是，利用多台立體相機同時對四周進行拍攝，以拍攝全景影像的技術被提出。
目前的全景相機，從三台相機的組態到十數台相機的組態都有，然而該些組態中的相機都屬於單眼視覺系統，再加上各台相機之間所重疊拍攝的範圍複雜或相機複雜，而無法利用視差來計算或取得景深資料。而為了使虛擬實境(Virtual Reality)以及擴增實境(Augmented Reality)的訊息立體化，也必須取得景深資料，是以，如何利用相機以獲取立體景深資料也相形重要。
而為了解決上述問題，發明人提出了一種全景魚眼相機影像校正、合成與景深重建方法與其系統，藉由找出全景魚眼相機內半球狀魚眼鏡頭與平面感光模組之間的一內部校正參數，以及藉由全景魚眼相機拍攝一全景光學標靶空間，推算出全景景像合成(外部校正參數)，同時借由建立二維平面影像與三維空間景象深度之間的一空間景深轉換參數，最後，利用內部校正參數，全景景像合成(外部校正參數)與空間景深轉換參數，將全景魚眼相機所拍攝的一全景影像修正成全景立體影像。
然而，發明人在前述的全景魚眼相機影像校正、合成與景深重建方法與其系統中又發現了其他問題。由於在建立空間景深轉換參數時，是以計算機運算全景魚眼相機所拍攝的，全景光學標靶空間內所有標靶在全景影像內的景深，這對計算機硬體來說其實是很大的運算負擔。又，若是在拍攝實景影像時，實景場景中的某物件並不具有足以讓電腦視覺抓取的特徵點時，該物件的實際景深將無法被計算。是以，是否能夠讓全景魚眼相機先自行取得全景光學標靶空間中部分標靶的實際景深，再用部分 標靶的實際景深作為一參考基準，來推算至全景光學標靶空間中其餘標靶的景深計算，以減少計算機硬體的運算負擔，成為了發明人亟需解決的新課題。
為了因應前述問題，本發明之一範疇係提供一種全景魚眼相機影像校正、合成與景深重建方法，用以將一全景魚眼相機所拍攝的一全景影像，校正為一包含景像深度訊息的全景立體影像，全景魚眼相機包含有四個魚眼鏡頭、四個感光模組以及一個景深校正模組，每一魚眼鏡頭搭配有一感光模組。其包含有以下步驟：建立一全景光學標靶空間，全景光學標靶空間包含一景深校正標靶；利用全景魚眼相機拍攝全景光學標靶空間之全景影像；建立景深校正模組與景深校正標靶之間的一景深校正參數；建立魚眼相機的一內部校正參數；建立全景影像與全景光學標靶空間之一景像合成參數(外部校正參數)；建立全景影像與全景光學標靶空間之一空間景深轉換參數；以及利用景像合成參數、空間景深轉換參數、景深校正參數與內部校正參數得到包含全景景深資訊的全景立體影像。
其中，空間景深轉換參數係一種二維平面影像與三維空間景象深度之間的換算參數；內部校正參數係魚眼相機之魚眼鏡頭與感光模組之間的座標換算參數，景像合成參數(外部校正參數)係從全景魚眼相機所拍攝的影像之間計算四個魚眼鏡頭之間的物理實體與空間座標的關係，做為全景影像合成的參數；景深校正參數係全景魚眼相機的景深校正模組，與全景光學標靶空間內部分標靶之間的實際距離(抑或是實際景深)，而景深校正參數可作為空間景深轉換參數的一景深校正參考基準。
其中，本發明進一步包含步驟：最佳化參數。藉由不斷的蒐集已生產的全景魚眼相機各自的景深校正參數並累積一參數資料，再以機器學習(Machine Learning)的方式進行參數最佳化得到最佳參數。
而本發明之另一範疇係提供一種全景魚眼相機影像校正、合成與景深重建系統，用以產出全景影像與全景深度資訊，並將一全景影像與全景深度資訊，校正為一全景立體影像，其包含：一全景魚眼相機、一全景景像與全景深度資訊產生模組、以及一運算模組。其中運算模組得為一雲端運算模組，亦得設置於相機之中。
其中，全景魚眼相機包含有四個魚眼鏡頭、四個感光模組以及一個景深校正模組，其中每一魚眼鏡頭搭配有一感光模組，相鄰的魚眼鏡頭之攝影方向之夾角為90度；全景景像與全景深度資訊產生模組與全景魚眼鏡頭模組電性連結，其包含有一內部校正參數，一景像合成模組、一空間景深轉換參數模組以及一景深校正模組。
其中，內部校正參數模組，儲存有一內部校正參數，可以提供魚眼鏡頭與感光模組之間的座標換算所需的參數；景像合成模組，儲存有一景象合成參數，可將全景魚眼相機所拍攝的全景影像加以合成為一張全景圖；空間景深轉換參數模組，儲存有一空間景深轉換參數，用以提供全景魚眼相機一二維平面影像與三維空間景象深度之間的換算參數，來得到全景景像裡面每個像素的全景深度資訊；景深校正模組儲存有一景深校正參數，用以作為空間景深轉換參數的一景深校正參考基準。最後運算模組與全景景像與全景深度資訊產生模組電性連結，用以將全景圖與全景深度資訊校正合成，以輸出全景立體影像。
其中，本發明進一步包含一最佳化模組，最佳化模組與全景景像與全景深度資訊產生模組電性連結。藉由蒐集每一台全景魚眼相機各自的景深校正參數並累積參數資料，再以機器學習(Machine Learning)的方式進行參數最佳化得到最佳化參數模組。
相較於習知技術，本發明可以快速地一次取得全景的影像與景深資料，並透過累積一定資料利用機器學習的方式，可以對各個參數最佳化，進而簡化立體深度的演算法，提升運算效率。而未來可將簡化後的立體深度演算法移至單晶片上執行，讓全景魚眼相機影像校正系統具有校正即時性與便攜性。
1‧‧‧全景魚眼相機影像校正、合成與景深重建方法
2‧‧‧全景魚眼相機影像校正、合成與景深重建系統
21‧‧‧全景魚眼相機
212‧‧‧魚眼鏡頭
214‧‧‧感光模組
216‧‧‧景深校正模組
22‧‧‧全景景像與全景深度資訊產生模組
221‧‧‧內部校正參數模組
222‧‧‧景像合成模組
223‧‧‧空間景深轉換參數模組
224‧‧‧景深校正模組
23‧‧‧運算模組
24‧‧‧最佳化模組
S1~S83‧‧‧步驟
圖一繪示了根據本發明之一具體實施例的步驟流程圖。
圖二繪示了根據本發明之一具體實施例的步驟流程圖。
圖三繪示了根據本發明之另一具體實施例的全景魚眼相機的前視圖。
圖四繪示了根據本發明之另一具體實施例的全景魚眼相機的上視圖。
圖五繪示了根據本發明之另一具體實施例的系統功能方塊圖。
首先請參閱圖一至圖四，圖一與圖二繪示了根據本發明之一具體實施例的步驟流程圖。圖三繪示了根據本發明之另一具體實施例的全景魚眼相機的前視圖。圖四繪示了根據本發明之另一具體實施例的全景魚 眼相機的上視圖。
本發明之一範疇提供一種全景魚眼相機影像校正、合成與景深重建方法1，用以將一全景魚眼相機21所拍攝的一全景影像，校正為一全景立體影像，於本實施例中，全景魚眼相機21包含有四個魚眼鏡頭212、四個感光模組214與四個景深校正模組216，其中，景深校正模組216的數量不以四個為限，所屬領域具通常知識者再不違反本發明之基本精神下，得依自身需求改變景深校正模組216的數量。其包含有以下步驟：步驟S1：建立一全景光學標靶空間，全景光學標靶空間包含一景深校正標靶；步驟S2：利用全景魚眼相機拍攝全景光學標靶空間之全景影像；步驟S3：建立景深校正模組與景深校正標靶之間的一景深校正參數；步驟S4：建立全景魚眼相機的一內部校正參數；步驟S5：建立全景影像與全景光學標靶空間之一景像合成參數(外部校正參數)；步驟S6：建立全景影像與全景光學標靶空間之一空間景深轉換參數；以及步驟S7：利用景像合成參數、空間景深轉換參數、內部校正參數以及景深校正參數得到包含有一全景深度資訊的全景立體影像。其中，步驟S5與步驟S6的執行順序並不以前述順序為限，步驟S5與步驟S6得同時進行，或是步驟S6早於步驟S5執行。
以下將說明各步驟的細節。首先，因為單眼視覺的相機所拍攝的影像都無法直接從影像內容判斷出物體的景深，再加上魚眼鏡頭212的崎曲外型，經由魚眼鏡頭212所拍攝的影像都會被扭曲，變的更難判斷實際景深。因此，為了確立三維空間內物體景象深度與二維拍攝平面影像之間的關係，發明人先進行步驟S1：建立全景光學標靶空間，在一空間內擺設多個標示有與全景魚眼相機21之間距離的標靶，以及至少一個景深校正標 靶。再進行步驟S2：利用全景魚眼相機21拍攝全景光學標靶空間之全景影像，用以找出空間中標靶，與全景影像中的標靶之間的對應關係。
而在找出空間中標靶，與全景影像中的標靶之間的對應關係之前。由於魚眼鏡頭212本身的球狀外型，經由魚眼鏡頭212所拍攝的影像都會被扭曲。於是，亦需要找出魚眼相機21內魚眼鏡頭212與感光模組214之間的對應關係，亦即，找出內部校正參數。於是本發明進行了步驟S4：建立全景魚眼相機的一內部校正參數。其中，為了說明方便，而將裝設於全景魚眼相機21內的感光模組214的裝設位置標示於上視圖中。
首先，由於魚眼鏡頭212大致成一半球形，而感光模組214僅為一平面。所以要先進行球座標系與直角座標系的座標轉換，找出魚眼鏡頭212(球座標系)上的任意一點座標xs與感光模組214(直角座標系的xy平面)的影像平面座標xd的投影對應關係。在找出投影對應關係之後，接著利用以下公式，將感光模組214的影像平面座標xd與感光模組214上散佈的每個像素(Pixel)之間建立對應關係。
其中，xp代表感光模組214上的像素(Pixel)座標；mu與mv代表每個像素在平面上產生的位移量；u0與v0代表感光模組影像平面座標的原點，也就是座標換算的起算點。經由以上手續，本發明得以完成步驟S4：建立全景魚眼相機的一內部校正參數，將魚眼鏡頭212上的任意一點-座標xs換算成感光模組214上的像素(Pixel)座標xp，以進行內部校正。
而在步驟S2與步驟S4之間，得安插一步驟S3：建立景深校正模組與景深校正標靶之間的一景深校正參數。景深校正模組216包含一雷 射測距器、一超音波測距器以及紅外線測距器等距離探測器的其中之一或其組合。藉由景深校正模組216量測景深校正模組216與景深校正標靶之間的距離，可得到全景魚眼相機21與景深校正標靶之間的實際距離。但受限於景深校正模組216的有效範圍，故景深校正標靶只能擺設於景深校正模組216所能允許的有效範圍之內。其中，景深校正模組216係探測景深校正標靶的邊緣，藉由探測景深校正標靶的邊緣可定義出一景深校正平面，再量測景深校正模組216與景深校正標靶之間的距離，以建立由景深校正平面資訊與景深校正平面距離所組成的景深校正參數。
另外，由於景深校正標靶同時也是全景光學標靶空間中的標靶之一。藉由景深校正模組216量測景深校正標靶所取得的景深校正參數，將之與全景魚眼相機21所拍攝的景深校正標靶影像時利用景深校正標靶的特徵點所定義的一校正平面之間的疊合，可提供後述的空間景深轉換參數一個已知準確的景深參考數據，再依此數據利用平面方程式來計算景深校正模組216有效範圍之外的剩餘標靶的實際景深，就可得知全景標靶空間中所有標靶的景深距離。其中，本發明並不強制步驟S2至S4的執行順序，該些步驟的執行順序得由使用者自行訂定。甚至，步驟S3的執行順序亦得排在步驟S6與步驟S7之間執行。
為了建立個別魚眼所拍攝之景像與實際全景景像間的對應關係以便合成全景圖，進行步驟S5：建立全景影像與全景光學標靶空間之景像合成參數(外部校正參數)。先利用外型如西洋棋棋盤盤面樣式的四格黑白相間的樣式的標靶，藉由偵測標靶上的特徵點來建立四個魚眼鏡頭的物理位置與影像平面坐標的關係，再利用四個魚眼鏡頭212所拍攝的景像求 得四個魚眼鏡頭212的物理實體與空間座標的關係，做為景像合成參數。
其中，如圖三所示，於本實施例中全景魚眼相機21包含有四個魚眼鏡頭212。為了統合四個魚眼鏡頭212所拍攝的影像，亦需要對四個魚眼鏡頭212之間的相對位置做一統整。於此，發明人利用以下公式將四個魚眼鏡頭212之間的位置關係作一整理。
xc=RX+t
其中X代表某一個鏡頭的影像平面(xy平面)在三維空間中的位置；xc代表三維空間中的其餘任意一個與前述某鏡頭視角有相交的影像平面的位置；R代表鏡頭光學軸(大約等同於拍攝方向，z軸)的旋轉幅度，以矩陣表示；t代表景像平面經旋轉後需要與有相交平面的特徵點相符所需要平移的距離。簡而言之就是，以其中一個魚眼鏡頭的影像平面位置為原點，鏡頭光學軸為z軸，影像平面為xy平面。建立一個公定坐標系，決定其他魚眼鏡頭的光學軸方向與影像平面位置。以方便處理來自四個魚眼鏡頭的影像。
統整了四個魚眼鏡頭212之間的相對位置之後，即可進行景像合成參數(外部校正參數)的建立。請參閱圖三，如圖三所示，全景魚眼相機21中相鄰的魚眼鏡頭212之攝影方向(以虛線表示)之夾角為90度，再加上魚眼鏡頭212的視角可達180度，所以相鄰的魚眼鏡頭212所分別拍攝的影像勢必有至少一個重複景物。而步驟S5所進行的是在相鄰的魚眼鏡頭212所分別拍攝的影像找出重複景物，首先，先在其中一架魚眼鏡頭212拍攝的影像中任意找一個像素(Pixel)，再根據該像素(Pixel)周圍的顏色變化，定義出一個特徵描述向量，之後在相鄰的魚眼鏡頭212拍攝的影像中尋 找對應像素。在建立了至少一個特徵描述向量與像素(Pixel)對應關係後，即完成步驟S5，也就建立了景像合成參數(外部校正參數)。
接著進行步驟S6：建立全景影像與全景光學標靶空間之一空間景深轉換參數。利用全景魚眼相機21拍攝全景光學標靶空間之全景影像後，吾人已取得全景光學標靶空間之全景影像，且由於全景光學標靶空間的標靶位置與全景魚眼相機21之間的距離也已知，是以步驟S6旨在建立能讓軟體系統判讀的，全景影像中的標靶(亦即二維平面影像)與全景光學標靶空間中標靶(亦即三維空間)景象深度之間相對應關係的換算參數，以獲取一全景深度資訊，讓利用本發明之全景魚眼相機影像校正、合成與景深重建方法1的全景魚眼相機21，能夠從其所拍攝的全景影像中判讀出影像中物件與全景魚眼相機21之間之距離(亦即景深)，以提供之後校正全景立體影像使用。
其中，由於步驟S3中藉由景深校正模組216已取得景深校正模組與景深校正標靶之間的實際景深距離，而景深校正標靶是全景光學標靶空間中的一部份標靶。是以本發明之全景魚眼相機影像校正、合成與景深重建方法1已在所有全景光學標靶空間的標靶中，取得部分的標靶(即景深校正標靶)的景深資訊(景深校正參數)，故在步驟S6建立完空間景深轉換參數之後，景深校正參數即可提供空間景深轉換參數一個已知準確的景深參考數據，藉由景深校正參數與景像合成參數、空間景深轉換參數等電腦視覺參數的搭配得以減少運算負擔並提升景深判讀的準確度。而當全景光學標靶空間中，或是實際利用全景魚眼相機21拍攝實際場景時，若有鏡面、玻璃或是具有吸光/反光性質的物件參雜其中時，這些物件的實際景 深將難以被景深校正模組216所感測到。這時得利用前述提及的電腦視覺參數(尤其是空間景深轉換參數)來找出鏡面、玻璃或是具有吸光/反光性質的物件的景深。讓景深校正參數與景像合成參數、空間景深轉換參數等電腦視覺參數能夠互補不足。
經由前述步驟S1至S6，吾人已取得有由全景魚眼相機21拍攝的全景影像，全景魚眼相機的內部校正參數，全景影像與全景光學標靶空間之景像合成參數(亦即外部校正參數)、與空間景深轉換參數。接著進行步驟S7：利用景像合成參數、空間景深轉換參數、內部校正參數以及景深校正參數得到包含有全景深度資訊的全景立體影像。
另一方面，由於全景魚眼相機21在製造上的差異，針對每個全景魚眼相機21，都要進行一次如前所述步驟S1至S6所揭露的流程，使得全景魚眼相機21不能在製造完成後直接出廠，若是進行量產，則需要大量的量測校正人力與時間成本。於是，本發明之全景魚眼相機影像校正、合成與景深重建方法1進一步包含有步驟S8：最佳化參數。步驟S8包含有步驟S81：從各全景魚眼相機蒐集內部校正參數、景象合成參數、空間景深轉換參數以及景深校正參數。S82：利用機器學習對內部校正參數、景象合成參數以及空間景深轉換參數進行最佳化。以及S83：更新內部校正參數、景象合成參數以及空間景深轉換參數。
藉由不斷的蒐集全景魚眼相機21用於調整自體魚眼鏡頭212與感光模組214之間關係的內部校正參數，與用於判讀外在環境影像的景像合成參數、空間景深轉換參數與景深校正參數，並累積參數資料。也由於現行的距離探測器的探測精度可達1mm，故以機器學習(Machine Learning) 的方式讓景深校正參數與其他參數進行比對，再進行各項參數的自動最佳化，並將以最佳化的參數傳送給每台全景魚眼相機21進行參數的更新，用以降低量測校正人力與時間成本。其中機器學習所用的演算法包含了支持向量機器(Support Vector Machine,SVM)。
接著請參閱圖三至圖五，圖三繪示了根據本發明之另一具體實施例的全景魚眼相機的前視圖。圖四繪示了根據本發明之另一具體實施例的全景魚眼相機的上視圖。圖五繪示了根據本發明之另一具體實施例的系統功能方塊圖。本發明的另一範疇提供了一種全景魚眼相機影像校正、合成與景深重建系統2，用以將一全景影像，校正為一包含有一全景深度資訊的全景立體影像，其包含一全景魚眼相機21、一全景景像與全景深度資訊產生模組22(包含一內部校正參數模組221、一景像合成模組222、一空間景深轉換模組223以及一景深校正模組224)，以及一運算模組23。
其中於本實施例中，全景魚眼相機21包含有四個魚眼鏡頭212、四個感光模組214以及四個景深校正模組216，每一魚眼鏡頭212搭配有一感光模組214。而相鄰的魚眼鏡頭212之攝影方向之夾角為90度。其中，景深校正模組216的數量不以四個為限，所屬領域具通常知識者再不違反本發明之基本精神下，得依自身需求改變景深校正模組216的數量。全景景像與全景深度資訊產生模組22與全景魚眼相機21電性連結，其內部包含有內部校正參數模組221、景像合成模組222、空間景深轉換模組223，景深校正模組224，用以提供全景魚眼相機21將全景影像校正為全景立體影像所需的所有參數；運算模組23與全景景像與全景深度資訊產生模組22電性連結，用以根據全景深度資訊產生模組22所包含的各項參數將全景影像校正為全 景立體影像。
其中，內部校正參數模組221係用以儲存前述的內部校正參數，並根據前述參數針對因魚眼鏡頭212本身外型所產生的拍攝影像畸變，進行魚眼鏡頭212與感光模組214之間的座標換算。景象合成模組222係用以儲存前述的景像合成參數(外部校正參數)，來進行將經過內部校正參數模組221所修正的全景影像加以合成，以輸出一張全景圖的作業。空間景深轉換模組223係用以儲存前述的空間景深轉換參數，以找出全景魚眼相機21所拍攝的二維平面影像與實際三維空間景象深度之間的對應關係，並獲取全景影像裡面每個像素(Pixel)的全景深度資訊。景深校正模組儲存有一景深校正參數，用以作為空間景深轉換參數的一景深校正參考基準。
在上述各參數均建立之後，運算模組23便將全景圖與全景深度資訊校正合成，並輸出全景立體影像。
而本發明之全景魚眼相機影像校正、合成與景深重建系統2進一步包含有最佳化模組24，最佳化模組24與全景景像與全景深度資訊產生模組22電性連接，藉由不斷蒐集每台全景魚眼相機21各自的全景景像與全景深度資訊產生模組22所儲存的內部校正參數，景像合成參數、空間景深轉換參數，以及景深校正參數並累積一參數資料，再以機器學習(Machine Learning)的方式讓景深校正參數與其他參數進行比對，再進行內部校正參數，景像合成參數，空間景深轉換參數以及景深校正參數的參數最佳化。參數最佳化完成之後，再將這些最佳化的參數去替換內部校正參數、景像合成參數以及空間景深轉換參數，以使運算模組23所合成輸出的全景立體影像更趨完善。
其中，運算模組23得為一雲端運算模組也可存在魚眼全景相機裡。藉此，得以將全景影像利用運算模組來校正為一全景立體影像。而內部校正參數模組221，景像合成模組222與空間景深轉換模組223可整合成一單晶片，或分別獨立為一單晶片。機器學習所用的演算法包含了支持向量機器(Support Vector Machine,SVM)。
綜上所述，本發明提供了一種全景魚眼相機影像校正、合成與景深重建方法與其系統，藉由找出全景魚眼相機內半球狀魚眼鏡頭與平面感光模組之間的一內部校正參數，以及藉由全景魚眼相機拍攝一全景光學標靶空間，推算出全景景像合成(外部校正參數)，同時借由建立二維平面影像與三維空間景象深度之間的一空間景深轉換參數，最後，利用內部校正參數，全景景像合成(外部校正參數)與空間景深轉換參數，將全景魚眼相機所拍攝的一全景影像修正成全景立體影像。
相較於習知技術，本發明可以快速第一次取得全景的影像與景深資料，並透過累積一定資料利用機器學習的方式，可以對校正參數最佳化，進而簡化立體深度的演算法，提升運算效率，改善精確度。而未來可將簡化後的立體深度演算法移至單晶片上執行，讓全景魚眼相機影像校正系統具有校正即時性與便攜性。
藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明的特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明的範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。
1‧‧‧全景魚眼相機影像校正方法
S1~S7‧‧‧步驟

Claims (10)

  1. 一種全景魚眼相機影像校正、合成與景深重建方法，用以將一全景魚眼相機所拍攝的一全景影像，校正為一全景立體影像，該全景魚眼相機包含有四個魚眼鏡頭、四個感光模組以及一個景深校正模組，其包含有：建立一全景光學標靶空間，該全景光學標靶空間包含一景深校正標靶；利用該全景魚眼相機拍攝該全景光學標靶空間之該全景影像；建立該景深校正模組與該景深校正標靶之間的一景深校正參數，該景深校正參數係為景深校正的參考基準；建立該全景魚眼相機的一內部校正參數，該內部校正參數係該全景魚眼相機之該魚眼鏡頭與該感光模組之間的座標換算參數；建立全景影像與全景光學標靶空間之一景像合成參數(外部校正參數)，該景像合成參數係從全景魚眼相機所拍攝的影像之間中計算出四個魚眼鏡頭間的物理實體與空間座標的關係，用以作為全景影像合成的參數；建立該全景影像與該全景光學標靶空間之一空間景深轉換參數，該空間景深轉換參數係一種二維平面影像與三維空間景象深度之間的換算參數；以及利用該景像合成參數、該空間景深轉換參數、該內部校正參數以及該景深校正參數將該全景影像校正為該全景立體影像。
  2. 如申請專利範圍第1項所述的全景魚眼相機影像校正、合成與景深重建方法，進一步包含以下步驟：最佳化參數。
  3. 如申請專利範圍第2項所述的全景魚眼相機影像校正、合成與景深重建方法，其中該最佳化參數步驟包含：從各該全景魚眼相機蒐集該內部校正參數、該景象合成參數、該空間景深轉換參數以及該景深校正參數。
  4. 如申請專利範圍第3項所述的全景魚眼相機影像校正、合成與景深重建方法，其中該最佳化參數步驟包含：利用機器學習讓該景深校正參數對該內部校正參數、該景象合成參數以及該空間景深轉換參數進行比對與最佳化，其中該機器學習所用的演算法包含了一支持向量機器(Support Vector Machine,SVM)。
  5. 如申請專利範圍第4項所述的全景魚眼相機影像校正、合成與景深重建方法，其中該最佳化參數步驟包含：更新該內部校正參數、該景象合成參數以及該空間景深轉換參數。
  6. 一種全景魚眼相機影像校正、合成與景深重建系統，用以將一全景影像，校正為一全景立體影像，其包含：一全景魚眼相機，該全景魚眼相機包含有四個魚眼鏡頭、四個感光模組以及一個景深校正模組，其中相鄰的該魚眼鏡頭之攝影方向之夾角為90度；一全景景像與全景深度資訊產生模組與全景魚眼相機，與該全景魚眼相機電性連結，其包含有：一內部校正參數模組，儲存有一內部校正參數，用以提供該全景魚眼相機的該魚眼鏡頭與該感光模組之間的座標換算所需的參數；一景像合成模組，儲存有一景像合成參數可將該全景魚眼相機所 拍攝的該全景影像加以合成為一張全景圖；一空間景深轉換參數模組，儲存有一空間景深轉換參數用以提供該全景魚眼相機一二維平面影像與三維空間景象深度之間的換算，以得到全景景像裡面每個像素的全景深度資訊；以及一景深校正模組，儲存有一景深校正參數，用以作為該空間景深轉換參數的一景深校正參考基準；以及一運算模組，與全景景像與全景深度資訊產生模組電性連結，用以將該全景圖與該全景深度資訊校正合成，以輸出該全景立體影像。
  7. 如申請專利範圍第6項所述的全景魚眼相機影像校正、合成與景深重建系統，進一步包含一最佳化模組，與該全景景像與全景深度資訊產生模組電性連接，藉由蒐集多台該全景魚眼相機各自的該內部校正參數，景像合成參數，該空間景深轉換參數以及該景深校正參數並累積一參數資料，再以機器學習(Machine Leaming)的方式進行參數最佳化。
  8. 如申請專利範圍第7項所述的全景魚眼相機影像校正、合成與景深重建系統，其中機器學習所用的演算法包含了一支持向量機器(Support Vector Machine,SVM)。
  9. 如申請專利範圍第6項所述的全景魚眼相機影像校正、合成與景深重建系統，其中該內部校正參數模組，該景像合成模組、該空間景深轉換模組與該景深校正模組得整合成一單晶片，或分別各自獨立為一單晶片。
  10. 如申請專利範圍第6項所述的全景魚眼相機影像校正、合成與景深重建系統，其中該景深校正模組包含一雷射測距器、一超音波測距器以及紅外線測距器等距離探測器的其中之一或其組合。
TW104136624A 2015-11-06 2015-11-06 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 TWI555379B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW104136624A TWI555379B (zh) 2015-11-06 2015-11-06 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
US15/332,204 US10085011B2 (en) 2015-11-06 2016-10-24 Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
JP2016210376A JP2017112602A (ja) 2015-11-06 2016-10-27 パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104136624A TWI555379B (zh) 2015-11-06 2015-11-06 一種全景魚眼相機影像校正、合成與景深重建方法與其系統

Publications (2)

Publication Number Publication Date
TWI555379B true TWI555379B (zh) 2016-10-21
TW201717613A TW201717613A (zh) 2017-05-16

Family

ID=57848441

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104136624A TWI555379B (zh) 2015-11-06 2015-11-06 一種全景魚眼相機影像校正、合成與景深重建方法與其系統

Country Status (3)

Country Link
US (1) US10085011B2 (zh)
JP (1) JP2017112602A (zh)
TW (1) TWI555379B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI615808B (zh) * 2016-12-16 2018-02-21 旺玖科技股份有限公司 全景即時影像處理方法
WO2018164753A1 (en) * 2017-03-10 2018-09-13 Gopro, Inc. Image quality assessment
TWI668997B (zh) * 2017-02-23 2019-08-11 鈺立微電子股份有限公司 產生全景深度影像的影像裝置及相關影像裝置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI558208B (zh) * 2015-07-14 2016-11-11 旺玖科技股份有限公司 影像處理方法、影像處理裝置及顯示系統
US10645277B1 (en) 2016-03-17 2020-05-05 Herman Herman Method and apparatus for a computer vision camera unit
US10484666B1 (en) * 2016-03-17 2019-11-19 Herman Herman Method and apparatus for a computer vision camera unit
CN107967665B (zh) * 2016-10-20 2021-07-13 株式会社理光 图像处理方法和图像处理装置
CN107993276B (zh) * 2016-10-25 2021-11-23 杭州海康威视数字技术股份有限公司 一种全景图像的生成方法及装置
WO2018157350A1 (zh) * 2017-03-02 2018-09-07 深圳岚锋创视网络科技有限公司 一种全景图像或视频的水平校准方法、系统及便携式终端
US10992847B2 (en) 2017-05-25 2021-04-27 Eys3D Microelectronics, Co. Image device for generating a 360 degree depth map
TWI640747B (zh) * 2017-11-28 2018-11-11 寶成工業股份有限公司 鞋件的視覺檢測裝置
TWI642902B (zh) * 2017-11-28 2018-12-01 寶成工業股份有限公司 鞋面打粗的視覺檢測裝置
TWI725522B (zh) * 2018-08-28 2021-04-21 鈺立微電子股份有限公司 具有校正功能的影像擷取系統
CN109587469B (zh) * 2018-11-23 2021-01-12 盎锐（上海）信息科技有限公司 基于人工智能识别的影像处理方法及装置
US10628968B1 (en) * 2018-12-05 2020-04-21 Toyota Research Institute, Inc. Systems and methods of calibrating a depth-IR image offset
CN109669460B (zh) * 2018-12-29 2021-09-03 西安电子科技大学 目标检测中小型光电转台的智能控制方法
US20200234467A1 (en) * 2019-01-18 2020-07-23 Nec Laboratories America, Inc. Camera self-calibration network
CN110490967B (zh) * 2019-04-12 2020-07-17 北京城市网邻信息技术有限公司 图像处理和对象建模方法与设备、图像处理装置及介质
CN110211220A (zh) * 2019-04-26 2019-09-06 五邑大学 全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统
US11270464B2 (en) * 2019-07-18 2022-03-08 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
CN110519498B (zh) * 2019-08-29 2021-09-21 深圳市道通智能航空技术股份有限公司 一种双光相机成像校准的方法、装置和双光相机
DE102019220171A1 (de) * 2019-12-19 2021-06-24 Conti Temic Microelectronic Gmbh Umwandlung von Eingangs-Bilddaten einer Mehrzahl von Fahrzeugkameras eines Rundumsichtsystems in optimierte Ausgangs-Bilddaten
CN111582080B (zh) * 2020-04-24 2023-08-08 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置
CN111559314B (zh) * 2020-04-27 2021-08-24 长沙立中汽车设计开发股份有限公司 深度与图像信息融合的3d增强全景环视系统及实现方法
CN111986270A (zh) * 2020-08-26 2020-11-24 深圳市爱培科技术股份有限公司 一种全景泊车标定方法、装置及存储介质
CN112562013B (zh) * 2020-12-25 2022-11-01 深圳看到科技有限公司 多镜头相机标定方法、装置及存储介质
CN118433370B (zh) * 2024-06-26 2024-09-27 山东拓新电气有限公司 一种掘锚机用影像监测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200422755A (en) * 2003-04-18 2004-11-01 guo-zhen Zhan Method for determining the optical parameters of a camera
US20070115361A1 (en) * 2005-06-24 2007-05-24 Fakespace Labs, Inc. Dual camera calibration technique for video projection systems
US20090067749A1 (en) * 2006-01-13 2009-03-12 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Calibration Method and Calibration System for Projection Apparatus
TWI375136B (zh) * 2004-01-20 2012-10-21
US20130016097A1 (en) * 2010-04-02 2013-01-17 Imec Virtual Camera System

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4119529B2 (ja) * 1998-06-17 2008-07-16 オリンパス株式会社 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
JP4307934B2 (ja) * 2003-08-13 2009-08-05 株式会社トプコン 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法
DE102007013239A1 (de) * 2007-03-15 2008-09-18 Mobotix Ag Überwachungsanordnung
CN101852979A (zh) * 2009-03-30 2010-10-06 鸿富锦精密工业（深圳）有限公司 全景相机
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US9973711B2 (en) * 2015-06-29 2018-05-15 Amazon Technologies, Inc. Content-based zooming and panning for video curation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200422755A (en) * 2003-04-18 2004-11-01 guo-zhen Zhan Method for determining the optical parameters of a camera
TWI375136B (zh) * 2004-01-20 2012-10-21
US20070115361A1 (en) * 2005-06-24 2007-05-24 Fakespace Labs, Inc. Dual camera calibration technique for video projection systems
US20090067749A1 (en) * 2006-01-13 2009-03-12 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Calibration Method and Calibration System for Projection Apparatus
US20130016097A1 (en) * 2010-04-02 2013-01-17 Imec Virtual Camera System

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI615808B (zh) * 2016-12-16 2018-02-21 旺玖科技股份有限公司 全景即時影像處理方法
TWI668997B (zh) * 2017-02-23 2019-08-11 鈺立微電子股份有限公司 產生全景深度影像的影像裝置及相關影像裝置
US10728515B2 (en) 2017-02-23 2020-07-28 Eys3D Microelectronics, Co. Image device for generating panorama depth images and related image device
WO2018164753A1 (en) * 2017-03-10 2018-09-13 Gopro, Inc. Image quality assessment
CN110463176A (zh) * 2017-03-10 2019-11-15 高途乐公司 图像质量评估
US10616482B2 (en) 2017-03-10 2020-04-07 Gopro, Inc. Image quality assessment

Also Published As

Publication number Publication date
US10085011B2 (en) 2018-09-25
JP2017112602A (ja) 2017-06-22
US20170134713A1 (en) 2017-05-11
TW201717613A (zh) 2017-05-16

Similar Documents

Publication Publication Date Title
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
TWI555378B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
WO2018076154A1 (zh) 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
KR101265667B1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
US20170127045A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
JP7218435B2 (ja) キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
JP5070435B1 (ja) ３次元相対座標計測装置およびその方法
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
CN105005964B (zh) 基于视频序列影像的地理场景全景图快速生成方法
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN102368137B (zh) 嵌入式标定立体视觉系统
JP2007192832A (ja) 魚眼カメラの校正方法。
CN109242898B (zh) 一种基于图像序列的三维建模方法及系统
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
CN111060006A (zh) 一种基于三维模型的视点规划方法
CN110874854A (zh) 一种基于小基线条件下的大畸变广角相机双目摄影测量方法
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
CN110782498A (zh) 一种视觉传感网络的快速通用标定方法
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
CN111340959B (zh) 一种基于直方图匹配的三维模型无缝纹理贴图方法
CN115345942A (zh) 空间标定方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees