TW202119360A

TW202119360A - 全向立體視覺的相機配置系統及相機配置方法

Info

Publication number: TW202119360A
Application number: TW108141308A
Authority: TW
Inventors: 薛樂山
Original assignee: 大陸商南京深視光點科技有限公司
Priority date: 2019-11-14
Filing date: 2019-11-14
Publication date: 2021-05-16
Also published as: TWI725620B

Abstract

一種全向立體視覺的相機配置系統及相機配置方法，相機配置系統主要包括：至少四個主攝像鏡頭，分別排列於可構成一矩形的四基準線；至少四個輔攝像鏡頭，各主攝像鏡頭與各副攝像鏡頭，可沿著四個基準線於同一平面間隔排列設置為矩形；本發明之關鍵在於，各副攝像鏡頭或各主攝像鏡頭的光軸，被組態為可分為兩部分旋轉，使排列於同一基準線之攝像鏡頭的光軸彼此平行，以及使排列於同一基準線之攝像鏡頭的光軸皆與基準線垂直，以完成相機校正；藉此，可讓對應於各基準線的至少二深度圖於執行影像融合演算後，消除遮擋區域，進而能透過影像拼接獲取無遮擋的全向深度圖。

Description

全向立體視覺的相機配置系統及相機配置方法

本發明涉及立體視覺(Stereo Vision)技術，尤指一種可將多個攝像鏡頭間隔排列設置為矩形，並使待校正之至少三個攝像鏡頭的鏡心係配置於同一基準線，以可藉此獲得無遮擋深度圖，進而能於完成影像拼接(image stitching)後獲取全向深度圖(omnidirectional depth map)的「全向立體視覺的相機配置系統及相機配置方法」。

在雙目視覺中，需要對相機進行標定和校正，而相機校正(camera rectification)的目的是達成理想的雙目相機系統，使得至少兩個相機的光軸完全平行(即鏡心彼此之間僅存在X分量)，並與基線垂直(左右相機之鏡心的連線即為基線)，才能續行深度計算與三維重建。

一般而言，校正前左右相機的鏡心(光心)並不是平行的，而校正後理想雙目系統的左右相機的光軸彼此平行、光軸和影像平面垂直，且成像點在左右影像上的高度一致，依此，後續進行立體匹配(stereo matching)時，只需在同一列的搜索區間(search range)，搜索左右影像的匹配點即可，能使相機校正效率大大提高。

目前雖有人提出可利用3D感測相機(Stereoscopic Camera)取得全向深度資訊，例如中華民國發明專利第TW201832547號「產生全景深度影像的影像裝置、相關方法及相關影像裝置」所揭（下稱台灣案），台灣案主要使四顆超廣角魚眼鏡頭(>190度)兩兩背對與上下排列，並將擷取的廣角影像投影至經緯(equirectangular)座標系，而位於同側的左右兩顆魚眼鏡頭可用於計算180x180度的立體深度影像(stereo depth)，最後再將兩側的深度影像進行影像拼接，即可獲取360x180度的全向深度影像，然而，此種將廣角影像投影至經緯座標的等距柱狀投影法(Equirectangular Projection)，在接近180度的影像解析度相當差(因使用魚眼鏡頭會產生鏡頭扭曲現象)，同時，也會產生因採用立體視覺技術所產生的遮擋(Occlusion)問題，而遮擋問題將直接影響到深度估計的準確度。

雖另有發明人提出可將N顆相機排列成正N邊形，並透過兩兩相機生成深度影像，最後再完成全景拼接以獲取全向深度影像，即如美國發明專利第US10244226B2「Camera rig and stereoscopic image capture」所揭(下稱美國案)，然而，此種作法雖可產生解析度較高的深度影像，但美國案擺放各相機的位置，將無法處理前述的遮擋問題，使得其產生的深度影像產生缺陷。

承上，為了在雙目視覺領域獲取無遮擋深度圖(de-occlusion depth map)，多鏡頭(至少三顆)的相機校正是必要的，並請搭配參閱「第1圖」，假設圖中所示的基線b12、b13分別為美國案校正前第一與第二相機、以及美國案校正前第一與第三相機之鏡心O的連線，而基線b12’、b13’即為校正後第一相機與第二相機、以及校正後第一相機與第三相機之鏡心O的連線，校正時，得以基線b13為基準線，故第一與第三相機只需透過旋轉即可讓X軸與基線b13的向量平行，至於第二相機雖亦可透過偏移矩陣T(

，亦可稱平移矩陣)，達到讓X軸與基線b12的向量平行，但由於第二相機偏離X軸太遠，導致偏移矩陣T的y、z分量較大，而當y、z分量達到一定程度(例如若高於1mm)，將造成後續計算深度圖的誤差過大，進而影響到後續將相機座標轉換至世界座標的準確性，且即便有其它方式(例如調整第二相機的焦距)可讓第二相機的鏡心位置逼近於X軸(理想位置)，但效果仍為有限，且屆時在計算深度圖時也會因此增加可觀的運算量，換言之，由於美國案的第一至第三相機的鏡心並非排列於同一基線(尤其像第二相機偏離X軸太遠)，故在無法取得第二相機所拍攝場景物體的XYZ資訊(相機座標)前，將無法計算出無遮擋視差圖。

依此，如何提出一種可獲取無遮擋視差圖、毋須使用魚眼鏡頭的全向立體視覺的相機配置系統及相機配置方法，乃有待解決之問題。

為達上述目的，本發明提出一種全向立體視覺的相機配置系統及相機配置方法，相機配置系統主要包括：一主相機組、一輔相機組及一運算單元；其中，主相機組可至少包括四個主攝像鏡頭，各主攝像鏡頭可分別排列於可構成一矩形的四個基準線；輔相機組可至少包括四個副攝像鏡頭，且各主攝像鏡頭與各副攝像鏡頭，可沿著四個基準線於同一平面間隔排列設置為矩形；運算單元可分別與各主攝像鏡頭及各副攝像鏡頭呈資訊連結；各副攝像鏡頭或各主攝像鏡頭的光軸被組態為可旋轉，使排列於基準線之副攝像鏡頭與主攝像鏡頭的光軸彼此平行，以及使排列於基準線之副攝像鏡頭與主攝像鏡頭的光軸皆與對應的基準線垂直，以完成相機校正；位於同一基準線且完成相機校正的該等攝像鏡頭，其所擷取的多個影像可供運算單元演算出至少兩深度圖，且運算單元對各深度圖執行影像融合演算後，可消除各深度圖彼此之間的遮擋區域，而生成一去遮擋深度圖；最後，運算單元可對於各基準線所演算出的各去遮擋深度圖，進行一影像拼接而獲取一全向深度圖。

藉此，本發明據以實施後，相較於既有獲取全向深度圖的作法，本發明至少可達成獲取無遮擋的全向深度度之有利功效，並且，即便採用的相機數量為四顆以上，仍可使該等相機維持矩形排列，而毋須排列為多邊形而增加相機系統的配置成本。

為使貴審查委員得以清楚了解本發明之目的、技術特徵及其實施後之功效，茲以下列說明搭配圖示進行說明，敬請參閱。

請參閱「第2圖」，其為本發明的相機配置系統架構圖，本發明提出一種全向立體視覺的相機配置系統10，包括一主相機組101、一輔相機組102及一運算單元103，其中：(1) 主相機組101至少包括四個主攝像鏡頭(1011~1014)，各主攝像鏡頭(1011~1014)可分別排列於可構成一矩形的四個基準線(base line)；(2) 輔相機組102至少包括四個副攝像鏡頭(1021~1024)，且各主攝像鏡頭(1011~1014)與各副攝像鏡頭(1021~1024)，被配置為可沿著四個基準線於同一平面間隔排列設置為矩形；(3) 運算單元103分別與各主攝像鏡頭(1011~1014)及各副攝像鏡頭(1021~1024)呈資訊連結，其中，運算單元103可至少具有一處理器(圖中未繪示，例如CPU、MCU)，其供以運行運算單元103，並具備邏輯運算、暫存運算結果、保存執行指令位置、執行影像處理等功能；(4) 各副攝像鏡頭(1021~1024)或各主攝像鏡頭(1011~1014)的鏡頭光軸(Optical Axis)均可被組態為可旋轉，使排列於基準線之副攝像鏡頭(1021~1024)與主攝像鏡頭(1011~1014)的鏡頭光軸彼此平行，以及使排列於基準線之副攝像鏡頭(1021~1024)與主攝像鏡頭(1011~1014)的鏡頭光軸皆與對應的基準線垂直，以對主相機組101與輔相機組102皆完成相機校正；(5) 位於同一基準線且完成相機校正的該等攝像鏡頭(1011~1014、1021~1024)，其所擷取的影像可供運算單元103演算出至少兩深度圖(depth map，亦可稱視差圖)，且運算單元103對各深度圖執行影像融合演算(fusion)後，可消除各深度圖彼此之間的遮擋區域，而生成一去遮擋深度圖；(6) 運算單元103可對於各基準線所演算出的各去遮擋深度圖，進行一影像拼接而獲取一全向深度圖；(7) 承上，本發明在一較佳實施例中，輔相機組102的各副攝像鏡頭(1021~1024)，或是主相機組101的主攝像鏡頭(1011~1014)，係可被組態為以鏡頭光軸為基準向左或向右旋轉一特定角度，且位於同一基準線的主相機組101與輔相機組102，其鏡頭光軸於完成相機校正前，係可分別朝向同一方向或不同方向；(8) 承上，本發明在一較佳實施例中，更可包括耦接於運算單元103的一慣性傳感器104(IMU)，供以回傳多個自由度(DOF)的運動資訊與姿態資訊，以更精確追蹤被攝物體與拍攝場景如何在現實世界中運動，其中，自由度可例如區分為兩種類型：平移和旋轉，平移可包括X軸(前/後)、Y軸(左/右)、Z軸(上/下)，旋轉可包括縱搖(Pitch)、橫搖(Roll)和垂搖(Yaw)，但並不以此些自由度為限。

請參閱「第3圖」，其為本發明的相機配置流程圖，並請搭配參閱「第2圖」、「第4圖」~「第6圖」，本發明提出一種全向立體視覺的相機配置方法S，包括：(1) 於基準線配置相機組(步驟S10)：如「第4圖」所示，將一主相機組101的至少四個主攝像鏡頭(1011~1014)配置於可構成一矩形的四個基準線(L1~L4)，將一輔相機組102的至少四個副攝像鏡頭(1021~1024)分別配置於各基準線(L1~L4)，使各主攝像鏡頭(1011~1014)與各副攝像鏡頭(1021~1024)沿著四個基準線(L1~L4)於同一平面間隔排列設置為矩形；(2) 校正相機(步驟S20)：旋轉輔相機組102之至少一副攝像鏡頭(1021~1024)、或旋轉主相機組101之主攝像鏡頭(1011~1014)的鏡頭光軸，使排列於基準線(L1~L4)之主攝像鏡頭(1011~1014)與副攝像鏡頭(1021~1024)的鏡頭光軸彼此平行，以及使排列於基準線(L1~L4)之主攝像鏡頭(1011~1014)與副攝像鏡頭(1021~1024)的鏡頭光軸皆與對應的基準線(L1~L4)垂直，以完成相機校正，其中，該等攝像鏡頭(1011~1014、1021~1024)係可被組態為以鏡頭光軸為基準，分別二部分向左或向右旋轉一特定角度，即如「第4圖」所示，並請搭配參閱「第2圖」，圖中所示位於基準線L1的主攝像鏡頭1011，係可以其光軸為基準向左或向右旋轉θ度，而位於主攝像鏡頭1011之左右兩側的副攝像鏡頭(1021、1022)，由於其與主攝像鏡頭1011的鏡心皆排列於相同的基準線L1，故可將副攝像鏡頭(1021、1022)的光軸旋轉θ度，以讓位於相同基準線L1的攝像鏡頭(1011、1021、1022)在偏移矩陣T中的y、z分量(Ty、Tz)趨近於0，讓攝像鏡頭(1011、1021、1022)的鏡心座標形成彼此零旋轉，而只保留X軸向的偏移量(Tx)；(3) 承上，同樣地，位於基準線L2的主攝像鏡頭1012，係可以其光軸為基準向左或向右旋轉Φ度，而位於主攝像鏡頭1012之左右兩側的副攝像鏡頭(1022、1023)，由於其與主攝像鏡頭1012的鏡心皆排列於相同的基準線L2，故可將副攝像鏡頭(1022、1023)的光軸旋轉Φ度，以讓位於相同基準線L2的攝像鏡頭(1012、1022、1023)在偏移矩陣T中的y、z分量(Ty、Tz)趨近於0，讓攝像鏡頭(1012、1022、1023)的鏡心座標形成彼此零旋轉，而只保留X軸向的偏移量(Tx)，至於基準線L3與基準線L4的相機校正作法，則可分別以旋轉角度φ、Ω旋轉攝像鏡頭的光軸，與前述對於基準線L1、L2的作法類同，以此類推，於此不再贅述，其中，

；(4) 承上，由於本發明於執行步驟S20時，並未改變各攝像鏡頭(1011~1014、1022~1024)的位置，故主相機組101與輔相機組102之攝像頭所接收到的光線都是相同的，依此，可透過旋轉鏡心成功模擬鏡頭光軸所面對的方向；(5) 產生深度資訊(步驟S30)：由設置於同一基準線、且完成相機校正的主相機組101與輔相機組102所擷取的影像（例如「第5圖」所示的各拍攝影像，而本示意圖僅為舉例，並不以此些影像數量為限），供一運算單元103演算出不同角度的至少兩深度圖，且各深度圖經運算單元103執行影像融合演算後，可消除各深度圖彼此之間的遮擋區域，而生成一去遮擋深度圖，請搭配參閱「第6圖」，圖中左側的深度圖為運算單元103基於位於基準線L1的主攝像鏡頭101與副攝像鏡頭1021所擷取之影像，而生成之深度圖DL，而中間的深度圖為運算單元103基於位於基準線L1的主攝像鏡頭101與副攝像鏡頭1022所擷取之影像，而生成之深度圖DR，從圖中的深度圖DL與深度圖DR皆可發現部分的遮擋區域，而右側的深度圖D即為深度圖DL與深度圖DR作影像融合演算而生成的去遮擋深度圖；(6) 產生全向深度圖(步驟S40)：運算單元103對於各基準線所演算出的各去遮擋深度圖，進行一影像拼接而獲取一全向深度圖。

請參閱「第7圖」，其為本發明之另一實施例(一)，並請搭配參閱「第2圖」，本實施例與「第2圖」~「第6圖」之技術類同，主要差異在於，由於在不靠投射主動光源的情況下，3D資訊的品質與影像中物體的紋理程度有關，例如毛毯、報紙即為富含紋理的物體，而白紙、單色牆壁即為不具紋理的物體，另外若是光源不足的情況，例如夜晚或在室內但未開燈的情況下，也會影響3D資訊的品質，依此，本實施例的全向立體視覺的相機配置系統10更可包含耦接於運算單元103的一繞射光學元件105(Diffractive Optical Element，DOE)，且繞射光學元件105可分別搭載於主相機組101的各個主攝像鏡頭(1011~1024)，而繞射光學元件105主要用於投射光點於物體表面，以輔助判斷被攝物體與拍攝場景的三維深度，意即，於步驟S30執行時，若環境光源不足或被攝物體之紋理特徵不明顯時，耦接於運算單元103的繞射光學元件105係可投射光點於物體表面，以給予被攝物體紋理與光源，達到於特定位置或空間產生所需的圖案，以輔助判斷被攝物體與拍攝場景的三維深度。

請參閱「第8圖」，其為本發明之另一實施例(二)，並請搭配參閱「第2圖」，本實施例與「第2圖」~「第7圖」之技術類同，主要差異在於，本實施例的全向立體視覺的相機配置系統10更包含耦接於運算單元103的一光達模組106(Lidar)，供以透過測量發送和接受到的脈衝訊號(例如脈衝雷射)的時間間隔，來計算被攝物體與拍攝場景的深度資訊，而深度資訊的格式可例如為點雲（Point Cloud，其中資訊可包括水平角度、垂直角度、距離、強度、line、id、時間戳(Laser Timestamp）意即，執行步驟S30時，運算單元103可透過與其耦接的光達模組106，測量發送和接受到的脈衝訊號的時間間隔來確定一飛行時間(ToF)，進而演算被攝物體與拍攝場景的深度資訊，並且，在光達模組106尚未回傳深度資訊至運算單元103前，運算單元103可先對步驟S30執行時所產生的各深度圖以及該等攝像鏡頭(1011~1014、1021~1024)所擷取的影像進行影像分割(image segmentation)，以供運算單元103獲取全向深度圖時，可針對較遠距離的被攝物體或拍攝場景生成較精確的深度資訊，以彌補若僅採用光達模組106來偵測較遠距離之被攝物體或拍攝場景的深度，其回傳的深度資訊會有x、y資訊不夠緻密的問題；承上，本實施例的全向立體視覺的相機配置系統10更可包含耦接於運算單元103的一雷達模組107(Radar)，供以於步驟S30執行時接收空間內存在物體所反射之無線電波，以供運算單元103計算出被攝物體與拍攝場景的深度資訊，且雷達模組107可例如為一毫米波雷達(mmWave Rader)，換言之，本實施例透過使用光達模組106與雷達模組107，可解決本發明透過該等攝像鏡頭(1011~1014、1021~1024)達成全向立體視覺時，針對較遠距離的被攝物體或場景之深度資訊可能會有不夠準確的問題。

以上所述者，僅為本發明之較佳之實施例而已，並非用以限定本發明實施之範圍；任何熟習此技藝者，在不脫離本發明之精神與範圍下所作之均等變化與修飾，皆應涵蓋於本發明之專利範圍內。

綜上所述，本發明係具有「產業利用性」、「新穎性」與「進步性」等專利要件；申請人爰依專利法之規定，向　鈞局提起發明專利之申請。

O:鏡心 b12:基線 b12’:基線 b13:基線 b13’:基線 10:全向立體視覺的相機配置系統 101:主相機組 101:主相機組 1011:主攝影鏡頭 1012:主攝影鏡頭 1013:主攝影鏡頭 1014:主攝影鏡頭 102:輔相機組 1021:副攝影鏡頭 1022:副攝影鏡頭 1023:副攝影鏡頭 1024:副攝影鏡頭 103:運算單元 104:慣性傳感器 105:繞射光學元件 106:光達模組 107:雷達模組 L1~L4:基準線 D:深度圖 DL:深度圖 DR:深度圖 S:全向立體視覺的相機配置方法 S10:於基準線配置相機組 S20:校正相機 S30:產生深度資訊 S40:產生全向深度圖

第1圖，為習知相機校正示意圖。第2圖，為本發明的相機配置系統架構圖。第3圖，為本發明的相機配置流程圖。第4圖，為本發明的之實施示意圖(一)。第5圖，為本發明的之實施示意圖(二)。第6圖，為本發明的之實施示意圖(三)。第7圖，為本發明之另一實施例(一)。第8圖，為本發明之另一實施例(二)。

10:全向立體視覺的相機配置系統

101:主相機組

1011:主攝影鏡頭

1012:主攝影鏡頭

1013:主攝影鏡頭

1014:主攝影鏡頭

102:輔相機組

1021:副攝影鏡頭

1022:副攝影鏡頭

1023:副攝影鏡頭

1024:副攝影鏡頭

103:運算單元

104:慣性傳感器

Claims

一種全向立體視覺的相機配置系統，包括：一主相機組，至少包括四個主攝像鏡頭，各該主攝像鏡頭分別排列於可構成一矩形的四個基準線；一輔相機組，至少包括四個副攝像鏡頭，且各該主攝像鏡頭與各該副攝像鏡頭，沿著該四個基準線於同一平面間隔排列設置為該矩形；一運算單元，分別與各該主攝像鏡頭及各該副攝像鏡頭呈資訊連結；各該副攝像鏡頭或各該主攝像鏡頭的光軸被組態為可旋轉，使排列於該基準線之該副攝像鏡頭與該主攝像鏡頭的光軸彼此平行，以及使排列於該基準線之該副攝像鏡頭與該主攝像鏡頭的光軸皆與對應的該基準線垂直，以完成相機校正；位於同一基準線且完成相機校正的該等攝像鏡頭，其所擷取的多個影像供該運算單元演算出至少兩深度圖，且該至少二深度圖供該運算單元執行影像融合演算，以消除各該深度圖彼此之間的遮擋區域，而生成一去遮擋深度圖；以及該運算單元對於各該基準線所演算出的各該去遮擋深度圖，進行一影像拼接而獲取一全向深度圖。
如申請專利範圍第1項的全向立體視覺的相機配置系統，其中，更包含耦接於該運算單元的一繞射光學元件，供以投射光點於物體表面，以輔助判斷被攝物體與拍攝場景的三維深度。
如申請專利範圍第1項的全向立體視覺的相機配置系統，其中，該輔相機組的各該副攝像鏡頭，或該主相機組的該主攝像鏡頭，係被組態為以光軸為基準向左或向右旋轉。
如申請專利範圍第1項或第2項的全向立體視覺的相機配置系統，更包括耦接於該運算單元的一光達模組，供以透過測量發送和接受到的脈衝訊號的時間間隔，來計算被攝物體與拍攝場景的深度資訊。
如申請專利範圍第1項的全向立體視覺的相機配置系統，其中，更包括耦接於該運算單元的一慣性傳感器，供以回傳多個自由度的運動資訊與姿態資訊。
一種全向立體視覺的相機配置方法，包括：一於基準線配置相機組步驟：將一主相機組的至少四個主攝像鏡頭配置於可構成一矩形的四個基準線，將一輔相機組的至少四個副攝像鏡頭分別配置於各該基準線，使各該主攝像鏡頭與各該副攝像鏡頭沿著該四個基準線於同一平面間隔排列設置為該矩形；一校正相機步驟：旋轉該輔相機組之至少一該副攝像鏡頭的光軸，或旋轉該主相機組之該主攝像鏡頭的光軸，使排列於該基準線之該主攝像鏡頭與該副攝像鏡頭的光軸彼此平行，以及使排列於該基準線之該主攝像鏡頭與該副攝像鏡頭的鏡光軸皆與對應的該基準線垂直，以完成相機校正；一產生深度資訊步驟：由設置於同一基準線、且完成相機校正的該主相機組與該輔相機組所擷取的影像，供一運算單元演算出至少兩深度圖，且各該深度圖經該運算單元執行影像融合演算後，可消除各該深度圖彼此之間的遮擋區域，而生成一去遮擋深度圖；以及一產生全向深度圖步驟：該運算單元對於各該基準線所演算出的各該去遮擋深度圖，進行一影像拼接而獲取一全向深度圖。
如申請專利範圍第6項的全向立體視覺的相機配置方法，其中，該產生深度資訊步驟執行前，若光源不足或被攝物體之紋理特徵不明顯時，耦接於該運算單元的一繞射光學元件係投射光點於物體表面，並給予被攝物體紋理與光源，以輔助判斷被攝物體與拍攝場景的三維深度。
如申請專利範圍第6項的全向立體視覺的相機配置方法，其中，該產生深度資訊步驟執行時，該運算單元更透過與其耦接的一光達模組，測量發送和接受到的脈衝訊號的時間間隔來確定一飛行時間，進而演算被攝物體與拍攝場景的深度資訊。
如申請專利範圍第8項的全向立體視覺的相機配置方法，其中，該產生深度資訊步驟執行時，在該光達模組尚未回傳深度資訊至該運算單元前，該運算單元先對各該深度圖以及該等攝像鏡頭所擷取的影像進行影像分割。
如申請專利範圍第6項的全向立體視覺的相機配置方法，其中，該產生深度資訊步驟執行時，耦接於該運算單元的一雷達模組係接收空間內存在物體所反射之無線電波，以供該運算單元計算出被攝物體與拍攝場景的深度資訊。