TWI555378B - 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 - Google Patents

一種全景魚眼相機影像校正、合成與景深重建方法與其系統 Download PDF

Info

Publication number
TWI555378B
TWI555378B TW104135360A TW104135360A TWI555378B TW I555378 B TWI555378 B TW I555378B TW 104135360 A TW104135360 A TW 104135360A TW 104135360 A TW104135360 A TW 104135360A TW I555378 B TWI555378 B TW I555378B
Authority
TW
Taiwan
Prior art keywords
panoramic
depth
image
model
synthesis
Prior art date
Application number
TW104135360A
Other languages
English (en)
Other versions
TW201715880A (zh
Inventor
林宗立
林宏祥
張朝欽
Original Assignee
輿圖行動股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 輿圖行動股份有限公司 filed Critical 輿圖行動股份有限公司
Priority to TW104135360A priority Critical patent/TWI555378B/zh
Application granted granted Critical
Publication of TWI555378B publication Critical patent/TWI555378B/zh
Priority to JP2016210375A priority patent/JP2017108387A/ja
Priority to CN201610963470.7A priority patent/CN107038724A/zh
Publication of TW201715880A publication Critical patent/TW201715880A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Description

一種全景魚眼相機影像校正、合成與景深重建方法與其系統
本發明係關於一種全景魚眼相機影像校正、合成與景深重建方法與其系統，更明確地說，係關於一種藉由全景魚眼相機拍攝全景光學標靶空間取得一景像合成參數模型(亦即外部校正參數模型)與空間景深轉換參數模型，並搭配全景魚眼相機一內部校正參數以進行全景影像校正的一種全景魚眼相機影像校正、合成與景深重建方法與其系統。
從照相機問世以來，人們開始利用影像紀錄生活點滴或時代大事件。而攝影技術與器材也從低畫質的黑白照片，演進到高畫質高彩度的彩色照片，甚至每秒可拍攝二十億幀(Frame)的高速攝影機。而視覺效果也不僅止步於平面影像，甚至能拍攝具有立體視覺的影像。
習知技術中，若要拍攝具有立體視覺的影像，可用雙鏡頭的雙眼相機，或立體相機來拍攝。但受限於器材的拍攝範圍，只能拍攝某個範圍內，亦即，視角內的立體影像。又或者是，藉由掌鏡者手持立體相機原地繞圈來拍攝360度的環繞全景影像。但是此方法需要時間讓掌鏡者原地繞圈才能拍攝全景影像。於是，利用多台立體相機同時對四周進行拍攝， 以拍攝全景影像的技術被提出。
目前的全景相機，從三台相機的組態到十數台相機的組態都有，然而該些組態中的相機都屬於單眼視覺系統，再加上各台相機之間所重疊拍攝的範圍複雜或相機模型複雜，而無法利用視差來計算或取得景深資料。而為了使虛擬實境(Virtual Reality)以及擴增實境(Augmented Reality)的訊息立體化，也必須取得景深資料，是以，如何利用相機以獲取立體景深資料也相形重要。
為了因應前述問題，本發明之一範疇係提供一種全景魚眼相機影像校正、合成與景深重建方法，用以將一全景魚眼相機所拍攝的一全景影像，校正為一包含景像深度訊息的全景立體影像，全景魚眼相機包含有四個魚眼鏡頭與四個感光模組，每一魚眼鏡頭搭配有一感光模組。其包含有以下步驟：建立一全景光學標靶空間；利用全景魚眼相機拍攝全景光學標靶空間之全景影像；建立魚眼相機的一內部校正參數模型；建立全景影像與全景光學標靶空間之一景像合成參數模型(外部校正參數模型)；建立全景影像與全景光學標靶空間之一空間景深轉換參數模型；以及利用景像合成參數模型、空間景深轉換參數模型與內部校正參數模型得到包含全景景深資訊的全景立體影像。
其中，空間景深轉換參數模型係一種二維平面影像與三維空間景象深度之間的換算模型；內部校正參數模型係魚眼相機之魚眼鏡頭與感光模組之間的座標換算模型，景像合成參數模型(外部校正參數模型)係從全景魚眼相機所拍攝的影像之間計算四個魚眼鏡頭之間的物理實體與 空間座標的關係，做為全景影像合成的參數模型。
其中，本發明進一步包含步驟：最佳化參數。藉由不斷的蒐集已生產的全景魚眼相機各自的內部校正參數模型，景像合成參數模型(外部校正參數模型)以及空間景深轉換參數模型並累積一參數資料，再以機器學習(Machine Learning)的方式進行參數最佳化得到最佳模型。
而本發明之另一範疇係提供一種全景魚眼相機影像校正、合成與景深重建系統，用以產出全景影像與全景深度資訊，並將一全景影像與全景深度資訊，校正為一全景立體影像，其包含：一全景魚眼相機、一全景景像與全景深度資訊產生模組、以及一運算模組。其中運算模組得為一雲端運算模組，亦得設置於相機之中。
其中，全景魚眼相機包含有四個魚眼鏡頭以及四個感光模組，每一魚眼鏡頭搭配有一感光模組。其中相鄰的魚眼鏡頭之攝影方向之夾角為90度；全景景像與全景深度資訊產生模組與全景魚眼鏡頭模組電性連結，其包含有一內部校正參數模型，一景像合成模組以及一空間景深轉換參數模組。
其中，內部校正參數模組，儲存有一內部校正參數模型，可以提供魚眼鏡頭與感光模組之間的座標換算模型所需的參數；景像合成模組，儲存有一景象合成參數模型，可將全景魚眼相機所拍攝的全景影像加以合成為一張全景圖；空間景深轉換參數模組，儲存有一空間景深轉換參數模型，用以提供全景魚眼相機一二維平面影像與三維空間景象深度之間的換算模型，來得到全景景像裡面每個像素的全景深度資訊；最後運算模組與全景景像與全景深度資訊產生模組電性連結，用以將全景圖與全景深 度資訊校正合成，以輸出全景立體影像。
其中，本發明進一步包含一最佳化模組，最佳化模組與全景景像與全景深度資訊產生模組電性連結。藉由蒐集每一台全景魚眼相機各自的內部校正參數模型，景像合成參數模型(外部校正參數模型)，以及空間景深轉換參數模型並累積參數資料，再以機器學習(Machine Learning)的方式進行參數最佳化得到最佳化參數模組。
相較於習知技術，本發明可以快速地一次取得全景的影像與景深資料，並透過累積一定資料利用機器學習的方式，可以對校正參數最佳化，一則可以針對相機進行參數更新，同時可以提升全景合成圖的品質與全景景深資訊的精確度的改善，進而簡化立體景深的演算法，提升運算效率。而未來可將簡化後的立體景深演算法移至單晶片上執行，讓全景魚眼相機影像校正系統具有校正即時性與便攜性，同還可以簡化生產時需要的校正流程與所需要耗費的時間。
1‧‧‧全景魚眼相機影像校正、合成與景深重建方法
2‧‧‧全景魚眼相機影像校正、合成與景深重建系統
21‧‧‧全景魚眼相機
212‧‧‧魚眼鏡頭
214‧‧‧感光模組
22‧‧‧全景景像與全景深度資訊產生模組
221‧‧‧內部校正參數模組
222‧‧‧景像合成模組
223‧‧‧空間景深轉換參數模組
23‧‧‧運算模組
24‧‧‧最佳化模組
I1‧‧‧全景深度資訊
P1‧‧‧全景圖
S1~S73‧‧‧步驟
圖一繪示了根據本發明之一具體實施例的步驟流程圖。
圖二繪示了根據本發明之一具體實施例的步驟流程圖。
圖三繪示了根據本發明之另一具體實施例的全景魚眼相機的前視圖。
圖四繪示了根據本發明之另一具體實施例的全景魚眼相機的上視圖。
圖五繪示了根據本發明之另一具體實施例的系統功能方塊圖。
首先請參閱圖一至圖四，圖一與圖二繪示了根據本發明之一具體實施例的步驟流程圖。圖三繪示了根據本發明之另一具體實施例的全景魚眼相機的前視圖。圖四繪示了根據本發明之另一具體實施例的全景魚眼相機的上視圖。
本發明之一範疇提供一種全景魚眼相機影像校正、合成與景深重建方法1，用以將一全景魚眼相機21所拍攝的一全景影像，校正為一全景立體影像，全景魚眼相機21包含有四個魚眼鏡頭212與四個感光模組214，每一魚眼鏡頭212搭配有一感光模組214。其包含有以下步驟：步驟S1：建立一全景光學標靶空間；步驟S2：利用全景魚眼相機拍攝全景光學標靶空間之全景影像；步驟S3：建立全景魚眼相機的一內部校正參數模型；步驟S4：建立全景影像與全景光學標靶空間之一景像合成參數模型(外部校正參數模型)；步驟S5：建立全景影像與全景光學標靶空間之一空間景深轉換參數模型；以及步驟S6：利用景像合成參數模型、空間景深轉換參數模型與內部校正參數模型得到包含有一全景深度資訊的全景立體影像。其中，步驟S4與步驟S5的執行順序並不以前述順序為限，步驟S4與步驟S5得同時進行，或是步驟S5早於步驟S4執行。
以下將說明各步驟的細節。首先，因為單眼視覺的相機所拍攝的影像都無法直接從影像內容判斷出物體的景深，再加上魚眼鏡頭212的崎曲外型，經由魚眼鏡頭212所拍攝的影像都會被扭曲，變的更難判斷實際景深。因此，為了確立三維空間內物體景象深度與二維拍攝平面影像之間的關係，發明人先進行步驟S1：建立全景光學標靶空間，在一空間內擺設 多個標示有與全景魚眼相機21之間距離的標靶。再進行步驟S2：利用全景魚眼相機21拍攝全景光學標靶空間之全景影像，用以找出空間中標靶，與全景影像中的標靶之間的對應關係。
而在找出空間中標靶，與全景影像中的標靶之間的對應關係之前。由於魚眼鏡頭212本身的球狀外型，經由魚眼鏡頭212所拍攝的影像都會被扭曲。於是，亦需要找出魚眼相機21內魚眼鏡頭212與感光模組214之間的對應關係，亦即，找出內部校正參數。於是本發明進行了步驟S3：建立全景魚眼相機的一內部校正參數模型。其中，為了說明方便，而將裝設於全景魚眼相機21內的感光模組214的裝設位置標示於上視圖中。
首先，由於魚眼鏡頭212大致成一半球形，而感光模組214僅為一平面。所以要先進行球座標系與直角座標系的座標轉換，找出魚眼鏡頭212(球座標系)上的任意一點座標xs與感光模組214(直角座標系的xy平面)的影像平面座標xd的投影對應關係。在找出投影對應關係之後，接著利用以下公式，將感光模組214的影像平面座標xd與感光模組214上散佈的每個像素(Pixel)之間建立對應關係。
其中，xp代表感光模組214上的像素(Pixel)座標；mu與mv代表每個像素在平面上產生的位移量；u0與v0代表感光模組影像平面座標的原點，也就是座標換算的起算點。經由以上手續，本發明得以完成步驟S3：建立全景魚眼相機的一內部校正參數模型，將魚眼鏡頭212上的任意一點-座標xs換算成感光模組214上的像素(Pixel)座標xp，以進行內部校正。
為了建立個別魚眼所拍攝之景像與實際全景景像間的對應 關係以便合成全景圖，進行步驟S4：建立全景影像與全景光學標靶空間之景像合成參數模型(外部校正參數模型)。先利用外型如西洋棋棋盤盤面樣式的四格黑白相間的樣式的標靶，藉由偵測標靶上的特徵點來建立四個魚眼鏡頭的物理位置與影像平面坐標的關係，再利用四個魚眼鏡頭212所拍攝的景像求得四個魚眼鏡頭212的物理實體與空間座標的關係，做為景像合成參數模型。
其中，如圖三所示，於本實施例中全景魚眼相機21包含有四個魚眼鏡頭212。為了統合四個魚眼鏡頭212所拍攝的影像，亦需要對四個魚眼鏡頭212之間的相對位置做一統整。於此，發明人利用以下公式將四個魚眼鏡頭212之間的位置關係作一整理。
xc=RX+t
其中X代表某一個鏡頭的影像平面(xy平面)在三維空間中的位置；xc代表三維空間中的其餘任意一個與前述某鏡頭視角有相交的影像平面的位置；R代表鏡頭光學軸(大約等同於拍攝方向，z軸)的旋轉幅度，以矩陣表示；t代表景像平面經旋轉後需要與有相交平面的特徵點相符所需要平移的距離。簡而言之就是，以其中一個魚眼鏡頭的影像平面位置為原點，鏡頭光學軸為z軸，影像平面為xy平面。建立一個公定坐標系，決定其他魚眼鏡頭的光學軸方向與影像平面位置。以方便處理來自四個魚眼鏡頭的影像。
統整了四個魚眼鏡頭212之間的相對位置之後，即可進行景像合成參數模型(外部校正參數模型)的建立。請參閱圖三，如圖三所示，全景魚眼相機21中相鄰的魚眼鏡頭212之攝影方向(以虛線表示)之夾角為 90度，再加上魚眼鏡頭212的視角可達180度，所以相鄰的魚眼鏡頭212所分別拍攝的影像勢必有至少一個重複景物。而步驟S4所進行的是在相鄰的魚眼鏡頭212所分別拍攝的影像找出重複景物，首先，先在其中一架魚眼鏡頭212拍攝的影像中任意找一個像素(Pixel)，再根據該像素(Pixel)周圍的顏色變化，定義出一個特徵描述向量，之後在相鄰的魚眼鏡頭212拍攝的影像中尋找對應像素。在建立了至少一個特徵描述向量與像素(Pixel)對應關係後，即完成步驟S4，也就建立了景像合成參數模型(外部校正參數模型)。
接著進行步驟S5：建立全景影像與全景光學標靶空間之一空間景深轉換參數模型。利用全景魚眼相機21拍攝全景光學標靶空間之全景影像後，吾人已取得全景光學標靶空間之全景影像，且由於全景光學標靶空間的標靶位置與全景魚眼相機21之間的距離也已知，是以步驟S5旨在建立能讓軟體系統判讀的，全景影像中的標靶(亦即二維平面影像)與全景光學標靶空間中標靶(亦即三維空間)景象深度之間相對應關係的換算模型，以獲取一全景深度資訊，讓利用本發明之全景魚眼相機影像校正、合成與景深重建方法1的全景魚眼相機21，能夠從其所拍攝的全景影像中判讀出影像中物件與全景魚眼相機21之間之距離(亦即景深)，以提供之後校正全景立體影像使用。
經由前述步驟S1至S5，吾人已取得有由全景魚眼相機21拍攝的全景影像，全景魚眼相機的內部校正參數模型，全景影像與全景光學標靶空間之景像合成參數模型(亦即外部校正參數模型)、與空間景深轉換參數模型。接著進行步驟S6：利用景像合成參數模型、空間景深轉換參數 模型與內部校正參數模型得到包含有全景深度資訊的全景立體影像。
另一方面，由於全景魚眼相機21在製造上的差異，針對每個全景魚眼相機21，都要進行一次如前所述步驟S1至S5所揭露的流程，使得全景魚眼相機21不能在製造完成後直接出廠，若是進行量產，則需要大量的量測校正人力與時間成本。於是，本發明之全景魚眼相機影像校正、合成與景深重建方法1進一步包含有步驟S7：最佳化參數。步驟S7包含有步驟S71：從各全景魚眼相機蒐集內部校正參數模型、景象合成參數模型以及空間景深轉換參數模型。S72：利用機器學習對內部校正參數模型、景象合成參數模型以及空間景深轉換參數模型進行最佳化。以及S73：更新該內部校正參數模型、該景象合成參數模型以及該空間景深轉換參數模型。
藉由不斷的蒐集全景魚眼相機21用於調整自體魚眼鏡頭212與感光模組214之間關係的內部校正參數模型，與用於判讀外在環境影像的景像合成參數模型與空間景深轉換參數模型，並累積參數資料，再以機器學習(Machine Learning)的方式進行各項參數的自動最佳化，並將以最佳化的參數傳送給每台全景魚眼相機21進行參數模型的更新，用以降低量測校正人力與時間成本。其中機器學習所用的演算法包含了支持向量機器(Support Vector Machine,SVM)。
接著請參閱圖三至圖五，圖三繪示了根據本發明之另一具體實施例的全景魚眼相機的前視圖。圖四繪示了根據本發明之另一具體實施例的全景魚眼相機的上視圖。圖五繪示了根據本發明之另一具體實施例的系統功能方塊圖。本發明的另一範疇提供了一種全景魚眼相機影像校正、合成與景深重建系統2，用以將一全景影像，校正為一包含有一全景深度資 訊的全景立體影像，其包含：一全景魚眼相機21、一全景景像與全景深度資訊產生模組22(包含一內部校正參數模組221、一景像合成模組222、以及一空間景深轉換模組223)，以及一運算模組23。
其中全景魚眼相機21包含有四個魚眼鏡頭212與四個感光模組214，每一魚眼鏡頭212搭配有一感光模組214。而相鄰的魚眼鏡頭212之攝影方向之夾角為90度；全景景像與全景深度資訊產生模組22與全景魚眼相機21電性連結，其內部包含有內部校正參數模組221、景像合成模組222、以及空間景深轉換模組223用以提供全景魚眼相機21將全景影像，校正為全景立體影像所需的所有參數；運算模組23與全景景像與全景深度資訊產生模組22電性連結，用以根據全景深度資訊產生模組22所包含的各項參數將全景影像校正為全景立體影像。
其中，內部校正參數模組221係用以儲存前述的內部校正參數模型，並根據前述參數模型針對因魚眼鏡頭212本身外型所產生的拍攝影像畸變，進行魚眼鏡頭212與感光模組214之間的座標換算。景象合成模組222係用以儲存前述的景像合成參數模型(外部校正參數模型)，來進行將經過內部校正參數模組221所修正的全景影像加以合成，以輸出一張全景圖P1的作業。空間景深轉換模組223係用以儲存前述的空間景深轉換參數模型，以找出全景魚眼相機21所拍攝的二維平面影像與實際三維空間景象深度之間的對應關係，並獲取全景影像裡面每個像素(Pixel)的全景深度資訊I1。
在上述各模型均建立之後，運算模組23便將全景圖P1與全景深度資訊I1校正合成，並輸出全景立體影像。
而本發明之全景魚眼相機影像校正、合成與景深重建系統2進一步包含有最佳化模組24，最佳化模組24與全景景像與全景深度資訊產生模組22電性連接，藉由不斷蒐集每台全景魚眼相機21各自的全景景像與全景深度資訊產生模組22所儲存的內部校正參數模型，景像合成參數模型以及空間景深轉換參數模型並累積一參數資料，再以機器學習(Machine Learning)的方式進行內部校正參數模型，景像合成參數模型以及空間景深轉換參數模型的參數最佳化。參數最佳化完成之後，再將這些最佳化的參數去替換內部校正參數模型、景像合成參數模型以及空間景深轉換參數模型，以使運算模組23所合成輸出的全景立體影像更趨完善。
其中，運算模組23得為一雲端運算模組也可存在魚眼全景相機裡。藉此，得以將全景影像利用運算模組來校正為一全景立體影像。而內部校正參數模組221，景像合成模組222與空間景深轉換模組223可整合成一單晶片，或分別獨立為一單晶片。機器學習所用的演算法包含了支持向量機器(Support Vector Machine,SVM)。
綜上所述，本發明提供了一種全景魚眼相機影像校正、合成與景深重建方法與其系統，藉由找出全景魚眼相機內半球狀魚眼鏡頭與平面感光模組之間的一內部校正參數模型，以及藉由全景魚眼相機拍攝一全景光學標靶空間，推算出全景景像合成(外部校正參數)模型，同時借由建立二維平面影像與三維空間景象深度之間的一空間景深轉換參數模型，最後，利用內部校正參數模型，全景景像合成(外部校正參數)模型與空間景深轉換參數模型，將全景魚眼相機所拍攝的一全景影像修正成全景立體影像。
相較於習知技術，本發明可以快速第一次取得全景的影像與景深資料，並透過累積一定資料利用機器學習的方式，可以對校正參數最佳化，進而簡化立體深度的演算法，提升運算效率，改善精確度。而未來可將簡化後的立體深度演算法移至單晶片上執行，讓全景魚眼相機影像校正系統具有校正即時性與便攜性。
藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明的特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明的範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。
1‧‧‧全景魚眼相機影像校正、合成與景深重建方法
S1~S6‧‧‧步驟

Claims (9)

  1. 一種全景魚眼相機影像校正、合成與景深重建方法，用以將一全景魚眼相機所拍攝的一全景影像，校正為一全景立體影像，該全景魚眼相機包含有四個魚眼鏡頭與四個感光模組，其包含有：建立一全景光學標靶空間；利用該全景魚眼相機拍攝該全景光學標靶空間之該全景影像；建立該全景魚眼相機的一內部校正參數模型，該內部校正參數模型係該全景魚眼相機之該等魚眼鏡頭與該等感光模組之間的座標換算模型；建立全景影像與全景光學標靶空間之一景像合成參數模型，該景像合成參數模型係從全景魚眼相機所拍攝的影像之間中計算出四個魚眼鏡頭間的物理實體與空間座標的關係，用以作為全景影像合成的參數模型；建立該全景影像與該全景光學標靶空間之一空間景深轉換參數模型，該空間景深轉換參數模型係一種二維平面影像與三維空間景象深度之間的換算模型；以及利用該景像合成參數模型、該空間景深轉換參數模型以及該內部校正參數模型將該全景影像校正為該全景立體影像。
  2. 如申請專利範圍第1項所述的全景魚眼相機影像校正、合成與景深重建方法，進一步包含以下步驟：最佳化參數。
  3. 如申請專利範圍第2項所述的全景魚眼相機影像校正、合成與景深重建方法，該最佳化參數步驟包含步驟：從各該全景魚眼相機蒐集該內部校 正參數模型、該景象合成參數模型以及該空間景深轉換參數模型。
  4. 如申請專利範圍第3項所述的全景魚眼相機影像校正、合成與景深重建方法，該最佳化參數步驟包含步驟：利用機器學習對該內部校正參數模型、該景象合成參數模型以及該空間景深轉換參數模型進行最佳化；其中機器學習所用的演算法包含了一支持向量機器(Support Vector Machine,SVM)。
  5. 如申請專利範圍第4項所述的全景魚眼相機影像校正、合成與景深重建方法，該最佳化參數步驟包含步驟：更新該內部校正參數模型、該景象合成參數模型以及該空間景深轉換參數模型。
  6. 一種全景魚眼相機影像校正、合成與景深重建系統，用以將一全景影像，校正為一全景立體影像，其包含：一全景魚眼相機，該全景魚眼相機包含有四個魚眼鏡頭以及四個感光模組，其中相鄰的該等魚眼鏡頭之攝影方向之夾角為90度；一全景景像與全景深度資訊產生模組與全景魚眼相機，與該全景魚眼相機電性連結，其包含有：一內部校正參數模組，儲存有一內部校正參數模型，用以提供該全景魚眼相機的該等魚眼鏡頭與該等感光模組之間的座標換算模型所需的參數；一景像合成模組，儲存有一景像合成參數模型可將該全景魚眼相機所拍攝的該全景影像加以合成為一張全景圖；以及一空間景深轉換參數模組，儲存有一空間景深轉換參數模型用以提供該全景魚眼相機一二維平面影像與三維空間景象深度之間 的換算模型，以得到全景景像裡面每個像素的全景深度資訊；以及一運算模組，與全景景像與全景深度資訊產生模組電性連結，用以將該全景圖與該全景深度資訊校正合成，以輸出該全景立體影像。
  7. 如申請專利範圍第6項所述的全景魚眼相機影像校正、合成與景深重建系統，進一步包含一最佳化模組，與該全景景像與全景深度資訊產生模組電性連接，該最佳化模組藉由蒐集多台該全景魚眼相機各自的該內部校正參數模型，該景像合成參數模型，以及該空間景深轉換參數模型並累積一參數資料，再以一機器學習(Machine Learning)方式進行參數最佳化。
  8. 如申請專利範圍第7項所述的全景魚眼相機影像校正、合成與景深重建系統，其中該機器學習所用的演算法包含了一支持向量機器(Support Vector Machine,SVM)。
  9. 如申請專利範圍第6項所述的全景魚眼相機影像校正、合成與景深重建系統，其中該內部校正參數模組，該景像合成模組與該空間景深轉換模組得整合成一單晶片，或分別各自獨立為一單晶片。
TW104135360A 2015-10-28 2015-10-28 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 TWI555378B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW104135360A TWI555378B (zh) 2015-10-28 2015-10-28 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
JP2016210375A JP2017108387A (ja) 2015-10-28 2016-10-27 パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
CN201610963470.7A CN107038724A (zh) 2015-10-28 2016-10-28 全景鱼眼相机影像校正、合成与景深重建方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104135360A TWI555378B (zh) 2015-10-28 2015-10-28 一種全景魚眼相機影像校正、合成與景深重建方法與其系統

Publications (2)

Publication Number Publication Date
TWI555378B true TWI555378B (zh) 2016-10-21
TW201715880A TW201715880A (zh) 2017-05-01

Family

ID=57848440

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104135360A TWI555378B (zh) 2015-10-28 2015-10-28 一種全景魚眼相機影像校正、合成與景深重建方法與其系統

Country Status (3)

Country Link
JP (1) JP2017108387A (zh)
CN (1) CN107038724A (zh)
TW (1) TWI555378B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815870A (zh) * 2016-12-16 2017-06-09 珠海研果科技有限公司 一种机内标定全景摄像装置的方法和系统
CN106878627A (zh) * 2017-01-20 2017-06-20 深圳市圆周率软件科技有限责任公司 一种脱离全景相机进行全景拼接方法及系统
CN107071268A (zh) * 2017-01-20 2017-08-18 深圳市圆周率软件科技有限责任公司 一种多目全景相机全景拼接方法及系统
CN107464265A (zh) * 2017-06-14 2017-12-12 深圳市圆周率软件科技有限责任公司 一种双目全景相机的参数标定系统及方法
TWI615808B (zh) * 2016-12-16 2018-02-21 旺玖科技股份有限公司 全景即時影像處理方法
US11238624B2 (en) 2019-10-22 2022-02-01 Industrial Technology Research Institute Image transform method and image transform network

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373362B2 (en) * 2017-07-06 2019-08-06 Humaneyes Technologies Ltd. Systems and methods for adaptive stitching of digital images
CN109155822B (zh) * 2017-11-28 2021-07-27 深圳市大疆创新科技有限公司 图像处理方法和装置
KR102028469B1 (ko) * 2018-01-15 2019-10-04 주식회사 스트리스 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
CN109086812B (zh) * 2018-07-20 2022-01-07 影石创新科技股份有限公司 全景相机防水壳自动识别方法、装置及便携式终端
CN110197529B (zh) * 2018-08-30 2022-11-11 杭州维聚科技有限公司 室内空间三维重建方法
CN110136058B (zh) * 2018-10-25 2024-01-02 北京初速度科技有限公司 一种基于俯视拼接图的建图方法及车载终端
CN110211220A (zh) * 2019-04-26 2019-09-06 五邑大学 全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统
CN110349109B (zh) * 2019-07-12 2023-04-21 创新奇智(重庆)科技有限公司 基于鱼眼畸变校正方法及其系统、电子设备
CN110866955B (zh) * 2019-10-10 2024-02-27 圆周率科技(常州)有限公司 一种车载全景影像标定方法及系统
CN112652005A (zh) * 2019-10-12 2021-04-13 宅妆股份有限公司 立体格局图产生方法与系统
CN111582080B (zh) * 2020-04-24 2023-08-08 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置
CN111559314B (zh) * 2020-04-27 2021-08-24 长沙立中汽车设计开发股份有限公司 深度与图像信息融合的3d增强全景环视系统及实现方法
CN112218004A (zh) * 2020-12-08 2021-01-12 清远市奇盛科技有限公司 一种ar全景摄影方法
CN113506214B (zh) * 2021-05-24 2023-07-21 南京莱斯信息技术股份有限公司 一种多路视频图像拼接方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200422755A (en) * 2003-04-18 2004-11-01 guo-zhen Zhan Method for determining the optical parameters of a camera
US20070115361A1 (en) * 2005-06-24 2007-05-24 Fakespace Labs, Inc. Dual camera calibration technique for video projection systems
US20090067749A1 (en) * 2006-01-13 2009-03-12 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Calibration Method and Calibration System for Projection Apparatus
TWI375136B (zh) * 2004-01-20 2012-10-21
US20130016097A1 (en) * 2010-04-02 2013-01-17 Imec Virtual Camera System

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3872250B2 (ja) * 2000-03-14 2007-01-24 日本放送協会 広画角撮像装置
JP4696925B2 (ja) * 2006-01-20 2011-06-08 トヨタ自動車株式会社 画像処理装置
JP2010021761A (ja) * 2008-07-10 2010-01-28 Nippon Hoso Kyokai <Nhk> 映像自動記録制御装置
JP2010283743A (ja) * 2009-06-08 2010-12-16 Fujifilm Corp 全方位撮像装置及びそのパノラマ画像合成方法並びにパノラマ画像合成プログラム
JP2011086111A (ja) * 2009-10-15 2011-04-28 Mitsubishi Electric Corp 撮像装置校正方法及び画像合成装置
JP2011166264A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2011166364A (ja) * 2010-02-08 2011-08-25 Daishinku Corp 厚み系水晶振動子
JP6106921B2 (ja) * 2011-04-26 2017-04-05 株式会社リコー 撮像装置、撮像方法および撮像プログラム
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
FR2998400B1 (fr) * 2012-11-21 2016-01-15 Thales Sa Procede de reconstruction 3d et de mosaiquage 3d panoramique d'une scene
CN103854335B (zh) * 2012-12-05 2017-05-03 厦门雅迅网络股份有限公司 一种行车记录仪全景视频生成方法
US9398215B2 (en) * 2013-04-16 2016-07-19 Eth Zurich Stereoscopic panoramas
CN103295231A (zh) * 2013-05-14 2013-09-11 杭州海康希牧智能科技有限公司 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
CN103308452B (zh) * 2013-05-27 2015-05-06 中国科学院自动化研究所 一种基于景深融合的光学投影断层成像图像获取方法
JP6154905B2 (ja) * 2013-08-30 2017-06-28 クラリオン株式会社 カメラ校正装置、カメラ校正システム、及びカメラ校正方法
GB2525170A (en) * 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
CN104156969B (zh) * 2014-08-21 2017-02-01 重庆数字城市科技有限公司 基于全景影像景深图的探面方法
CN104933409B (zh) * 2015-06-12 2018-04-03 北京理工大学 一种基于全景图像点线特征的车位识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200422755A (en) * 2003-04-18 2004-11-01 guo-zhen Zhan Method for determining the optical parameters of a camera
TWI375136B (zh) * 2004-01-20 2012-10-21
US20070115361A1 (en) * 2005-06-24 2007-05-24 Fakespace Labs, Inc. Dual camera calibration technique for video projection systems
US20090067749A1 (en) * 2006-01-13 2009-03-12 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Calibration Method and Calibration System for Projection Apparatus
US20130016097A1 (en) * 2010-04-02 2013-01-17 Imec Virtual Camera System

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815870A (zh) * 2016-12-16 2017-06-09 珠海研果科技有限公司 一种机内标定全景摄像装置的方法和系统
TWI615808B (zh) * 2016-12-16 2018-02-21 旺玖科技股份有限公司 全景即時影像處理方法
CN106878627A (zh) * 2017-01-20 2017-06-20 深圳市圆周率软件科技有限责任公司 一种脱离全景相机进行全景拼接方法及系统
CN107071268A (zh) * 2017-01-20 2017-08-18 深圳市圆周率软件科技有限责任公司 一种多目全景相机全景拼接方法及系统
CN107464265A (zh) * 2017-06-14 2017-12-12 深圳市圆周率软件科技有限责任公司 一种双目全景相机的参数标定系统及方法
US11238624B2 (en) 2019-10-22 2022-02-01 Industrial Technology Research Institute Image transform method and image transform network

Also Published As

Publication number Publication date
CN107038724A (zh) 2017-08-11
JP2017108387A (ja) 2017-06-15
TW201715880A (zh) 2017-05-01

Similar Documents

Publication Publication Date Title
TWI555378B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
WO2018076154A1 (zh) 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
WO2021120407A1 (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
CN109767474B (zh) 一种多目相机标定方法、装置及存储介质
US20170127045A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
JP5392415B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
WO2019049331A1 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
CN110782394A (zh) 全景视频快速拼接方法及系统
CN106485753B (zh) 用于无人驾驶汽车的摄像机标定的方法和装置
CN107424118A (zh) 基于改进径向畸变校正的球状全景拼接方法
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
WO2023045147A1 (zh) 双目摄像机的标定方法、系统、电子设备和存储介质
TW201520973A (zh) 三維立體模型之建立方法和裝置
CN111028155A (zh) 一种基于多对双目相机的视差图像拼接方法
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
CN111854636B (zh) 一种多相机阵列三维检测系统和方法
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN108269234A (zh) 一种全景相机镜头姿态估计方法及全景相机
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
JP2014010783A (ja) 画像処理装置、画像処理方法およびプログラム
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
JP2016114445A (ja) ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置
US11216943B2 (en) Method for producing a two-dimensional whole image

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees