TWI725522B - 具有校正功能的影像擷取系統 - Google Patents

具有校正功能的影像擷取系統 Download PDF

Info

Publication number
TWI725522B
TWI725522B TW108130425A TW108130425A TWI725522B TW I725522 B TWI725522 B TW I725522B TW 108130425 A TW108130425 A TW 108130425A TW 108130425 A TW108130425 A TW 108130425A TW I725522 B TWI725522 B TW I725522B
Authority
TW
Taiwan
Prior art keywords
image
depth information
image capturing
processor
images
Prior art date
Application number
TW108130425A
Other languages
English (en)
Other versions
TW202027034A (zh
Inventor
林明華
李季峰
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Publication of TW202027034A publication Critical patent/TW202027034A/zh
Application granted granted Critical
Publication of TWI725522B publication Critical patent/TWI725522B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Abstract

具有校正功能的影像擷取系統包含一影像擷取裝置、一雷射測距儀以及一處理器。該影像擷取裝置擷取二影像;該處理器根據該二影像決定至少一特徵點,以及根據該二影像產生對應該至少一特徵點中每一特徵點的一深度資訊,其中該雷射測距儀測量對應該每一特徵點的一參考距離,以及該處理器根據該參考距離選擇性地校正該深度資訊或該二影像。

Description

具有校正功能的影像擷取系統
本發明是有關於一種影像擷取系統,尤指一種具有校正功能的影像擷取系統。
在現有技術中,一立體影像擷取裝置經常被安裝於一無人機或一汽車上以測量該無人機或該汽車與周圍物體的距離。然而,該立體影像擷取裝置所需的機構準度會因為該立體影像擷取裝置的使用環境或使用方法(例如該立體影像擷取裝置的使用環境或使用方法可造成該立體影像擷取裝置的左/右眼影像擷取器的位置或擷取影像角度產生改變)而無法維持,使得該立體影像擷取裝置需要進行校正。然而,現有技術所提供的校正方法是主要利用棋盤格等特定校正圖案以進行校正,其中現有技術所提供的校正方法需要在具有專業校正設備的立體影像擷取裝置的製造工廠中進行。因此,為了校正該立體影像擷取裝置,該無人機或該汽車需要被送回該立體影像擷取裝置的製造工廠。也就是說,現有技術所提供的校正方法顯然不是一個方便的選擇。因此,如何更快速且更方便地校正該立體影像擷取裝置是該立體影像擷取裝置的設計者的一項重要議題。
本發明的一實施例提供一種具有校正功能的影像擷取系統。該影像擷取系統包含一影像擷取裝置、一雷射測距儀及一處理器。該影像擷取裝置擷取二影像。該處理器耦接於該影像擷取裝置和該雷射測距儀,用於根據該二影像決定至少一特徵點,以及根據該二影像產生對應該至少一特徵點中每一特徵點的一深度資訊,其中該雷射測距儀測量對應該每一特徵點的一參考距離,以及該處理器根據該參考距離選擇性地校正該深度資訊或該二影像。
本發明的另一實施例提供一種具有校正功能的影像擷取系統。該影像擷取系統包含一影像擷取裝置、一雷射測距儀及一處理器。該影像擷取裝置包含一影像擷取器和一光源,其中該光源發出一發射光,以及該影像擷取器擷取包含該發射光的一影像。該處理器耦接於該影像擷取裝置和該雷射測距儀,用於根據該影像決定至少一特徵點,以及根據該影像產生對應該至少一特徵點中每一特徵點的一深度資訊,其中該雷射測距儀測量對應該每一特徵點的一參考距離,以及該處理器根據該參考距離選擇性地校正該深度資訊或該影像。
本發明的另一實施例提供一種具有校正功能的影像擷取系統。該影像擷取系統包含一影像擷取裝置、一雷射測距儀及一處理器。該處理器根據該影像擷取裝置擷取的至少一影像,產生複數個深度資訊,其中該雷射測距儀測量對應該複數個深度資訊的複數個參考距離,以及該處理器根據該複數個參考距離校正該複數個深度資訊。
本發明提供一種具有校正功能的影像擷取系統。該影像擷取系統利用一影像擷取裝置擷取至少一影像,根據該至少一影像產生複數個深度資訊, 以及利用一雷射測距儀以測量對應該複數個深度資訊的複數個參考距離。因為該影像擷取系統是利用該雷射測距儀產生該複數個參考距離,所以該影像擷取系統可以根據該複數個參考距離,校正該複數個深度資訊。因此,相較於現有技術,本發明可以更快速且更方便地進行校正。
100、500:影像擷取系統
101:影像擷取裝置
103:雷射測距儀
105:處理器
1011、1013、5011:影像擷取器
5013:光源
600-612:步驟
A、B、A’、B’:特徵點
A”、B”:點
CA、CB、CA’、CB’:校正後的特徵點
CLI:校正後的左眼影像
CRI:校正後的右眼影像
DI:深度圖
LI:左眼影像
RI:右眼影像
RDA、RDB:參考距離
第1圖是本發明的第一實施例所公開的一種具有校正功能的影像擷取系統的示意圖。
第2圖是說明左眼影像和右眼影像的示意圖。
第3圖是說明校正後的左眼影像和校正後的右眼影像的示意圖。
第4圖是說明深度圖的示意圖。
第5圖是本發明的第二實施例所公開的一種具有校正功能的影像擷取系統的示意圖。
第6圖是本發明的第三實施例所公開的一種具有校正功能的影像擷取系統的操作方法的流程圖。
請參照第1圖。第1圖是本發明的第一實施例所公開的一種具有校正功能的影像擷取系統100的示意圖。如第1圖所示,影像擷取系統100包含一影像擷取裝置101、一雷射測距儀103以及一處理器105,其中影像擷取裝置101和雷射測距儀103耦接於處理器105。影像擷取裝置101包含二影像擷取器1011、1013,其中影像擷取器1011、1013是用於擷取二影像,例如一左眼影像LI和一右眼影像RI。但本發明並不受限於影像擷取裝置101包含二影像擷取器1011、 1013。也就是說,影像擷取裝置101可包含至少二影像擷取器。
請參照第2圖。第2圖是說明左眼影像LI和右眼影像RI的示意圖。處理器105可根據左眼影像LI和右眼影像RI,決定左眼影像LI的特徵點A、B以及在右眼影像RI中對應特徵點A、B的特徵點A’、B’。但本發明並不受限於處理器105僅決定特徵點A、B。也就是說,處理器105可以根據左眼影像LI和右眼影像RI決定至少一特徵點。另外,處理器105根據特徵點A、A’,產生對應特徵點A的深度資訊DA,其中深度資訊DA可以以視差、距離或是其他方式來表示。例如,在本發明的一實施例中,因為特徵點A和特徵點A’之間具有一第一視差,所以處理器105可以根據該第一視差和一三角測距法,產生對應特徵點A的距離作為深度資訊DA。另外,在本發明的另一實施例中,處理器105可將該第一視差作為深度資訊DA。另外,處理器105也可根據特徵點B、B’,產生對應特徵點B的深度資訊DB。另外,雷射測距儀103可以是一多點雷射測距儀或複數個單點雷射測距儀,其中處理器105可調整雷射測距儀103的方向或角度,以使雷射測距儀103發射雷射光至特徵點A、B。因此,雷射測距儀103將可以根據特徵點A與該三角測距法,測量對應特徵點A的參考距離RDA,以及根據特徵點B與該三角測距法,測量對應特徵點B的參考距離RDB。但在本發明的另一實施例中,雷射測距儀103是根據特徵點A與一飛時測距法,測量對應特徵點A的參考距離RDA,以及根據特徵點B與該飛時測距法,測量對應特徵點B的參考距離RDB。另外,在本發明的另一實施例中,雷射測距儀103先發射該雷射光,處理器105才根據該雷射光在左眼影像LI和右眼影像RI的位置,決定相對應的特徵點。另外,在本發明的另一實施例中,雷射測距儀103是一單點雷射測距儀。此時,雷射測距儀103可以先發射雷射光至特徵點A,並根據上述實施例中有關雷射測距儀103和處理器105的操作方法測量對應特徵點A的參考距離RDA。接著,雷射測距儀103再發射 雷射光至特徵點B,並根據上述實施例中有關雷射測距儀103和處理器105的操作方法測量對應特徵點B的參考距離RDB。另外,在本發明的另一實施例中,雷射測距儀103是該單點雷射測距儀,其中雷射測距儀103先以一第一方向或一第一角度發射一第一雷射光,處理器105才根據該第一雷射光在左眼影像LI和右眼影像RI的位置,決定一第一特徵點,使得雷射測距儀103可以測量對應該第一特徵點的參考距離。接著,雷射測距儀103再以一第二方向或一第二角度發射一第二雷射光,處理器105才根據該第二雷射光在左眼影像LI和右眼影像RI的位置,決定一第二特徵點,使得雷射測距儀103可以測量對應該第二特徵點的參考距離。 另外,在本發明的另一實施例中,雷射測距儀103可以是該多點雷射測距儀、該複數個單點雷射測距儀或該單點雷射測距儀,其中雷射測距儀103的方向或角度無法調整。此時當雷射測距儀103發射該雷射光時,處理器105和雷射測距儀103是根據影像擷取系統100從一第一時間到一第二時間的位置變化,或對應影像擷取系統100的場景中的物件從該第一時間到該第二時間的位置變化,產生特徵點A、B與參考距離RDA、RDB。
當雷射測距儀103測量並得到參考距離RDA、RDB後,處理器105從雷射測距儀103接收參考距離RDA、RDB。在本發明的一實施例中,因為深度資訊DA、DB是以距離來表示,所以處理器105可產生深度資訊DA和參考距離RDA之間的一第一誤差。同理,處理器105可產生深度資訊DB和參考距離RDB之間的一第二誤差。而當該第一誤差和該第二誤差中至少一誤差大於一第一預定值時,處理器105判斷深度資訊DA、DB需要校正。另外,在本發明的另一實施例中,因為處理器105是根據左眼影像LI和右眼影像RI,產生深度資訊DA、DB,所以當該第一誤差和該第二誤差中至少一誤差大於該第一預定值時,處理器105判斷左眼影像LI和右眼影像RI需要校正。
另外,在本發明的另一實施例中,處理器105判斷左眼影像LI和右眼影像RI之間是否出現影像錯位(image misalignment)。例如處理器105可以檢查左眼影像LI中的掃描線和右眼影像RI中的掃描線是否平行於影像擷取器1011、1013之間的一基線,或者檢查左眼影像LI中的該掃描線和右眼影像RI中的該掃描線是否互相平行。而當左眼影像LI和右眼影像RI之間出現影像錯位時,處理器105判斷深度資訊DA、DB,或左眼影像LI和右眼影像RI需要校正。
另外,在本發明的另一實施例中,處理器105可以先根據左眼影像LI和右眼影像RI產生一深度圖。接著,處理器105判斷該深度圖的有效訊號數量是否低於一第二預定值。而當該深度圖的有效訊號數量低於該第二預定值時,處理器105判斷深度資訊DA、DB,或左眼影像LI和右眼影像RI需要校正。然而,但本發明並不限定處理器105是根據該深度圖的有效訊號數量,判斷深度資訊DA、DB需要校正。也就是說,處理器105可以根據該深度圖的其他特性,判斷深度資訊DA、DB,或左眼影像LI和右眼影像RI需要校正。
當處理器105判斷深度資訊DA、DB,或左眼影像LI和右眼影像RI需要校正時,處理器105根據參考距離RDA、RDB來校正深度資訊DA、DB,或校正左眼影像LI和右眼影像RI。例如,在本發明的一實施例中,處理器105可以根據深度資訊DA、DB、參考距離RDA、RDB、式(1)以及一回歸分析法,計算一第一對應關係F1:RDX=F1(DX) (1)
如式(1)所示,RDX分別代入參考距離RDA、RDB,以及DX分別代入深度資訊DA、DB,以計算第一對應關係F1,其中第一對應關係F1可為線性或非線性。但本發明並不限定處理器105是根據該迴歸分析法計算第一對應關係F1。在本發明的另一實施例中,處理器105是根據一機器學習法產生第一對應關係F1。另外,在本發明的另一實施例中,處理器105可以根據深度資訊DA、DB以及參考距離RDA、RDB,產生並儲存一第一查閱表,以及根據該第一查閱表產生第一對應關係F1。因此,當處理器105利用左眼影像LI和右眼影像RI產生對應一點X的深度資訊DX時,處理器105即可根據第一對應關係F1校正深度資訊DX。
另外,在本發明另一實施例中,當處理器105判斷深度資訊DA、DB,或左眼影像LI和右眼影像RI需要校正時,處理器105可以根據雷射測距儀103發射對應特徵點A的雷射光的方向或角度和參考距離RDA,產生對應特徵點A的一參考座標(xa,ya,za)。同理,處理器105可以根據雷射測距儀103發射對應特徵點B的雷射光的方向或角度和參考距離RDB,產生對應特徵點B的一參考座標(xb,yb,zb)。在產生參考座標(xa,ya,za)、(xb,yb,zb)後,處理器105可以根據參考座標(xa,ya,za)、(xb,yb,zb)校正左眼影像LI以產生一校正後的左眼影像CLI,以及校正右眼影像RI以產生一校正後的右眼影像CRI。請參照第3圖。第3圖是說明校正後的左眼影像CLI和校正後的右眼影像CRI的示意圖。如第3圖所示,因為校正後的左眼影像CLI中包含對應特徵點A的一校正後的特徵點CA以及對應特徵點B的一校正後的特徵點CB,以及校正後的右眼影像CRI中包含對應特徵點A’的一校正後的特徵點CA’以及對應特徵點B’的一校正後的特徵點CB’,所以處理器105可以根據校正後的特徵點CA和校正後的特徵點CA’,產生一對應深度資訊DA的校正後深度資訊CDA,並根據校正後的特徵點CB和校正後的特徵點CB’,產生 一對應深度資訊DB的校正後深度資訊CDB。
另外,在本發明另一實施例中,當處理器105判斷深度資訊DA、DB,或左眼影像LI和右眼影像RI需要校正時,處理器105先對左眼影像LI和右眼影像RI執行一掃描線校正,其中該掃描線校正是用於對齊左眼影像LI的掃描線和右眼影像RI的掃描線以產生一對齊後的左眼影像和一對齊後的右眼影像,該對齊後的左眼影像的掃描線和該對齊後的右眼影像中的掃描線平行於影像擷取器1011、1013之間的該基線,以及該對齊後的左眼影像的該掃描線和該對齊後的右眼影像中的該掃描線互相平行。因此,處理器105可以根據該對齊後的左眼影像和該對齊後的右眼影像,產生一深度圖DI(如第4圖所示),其中深度圖DI包含點A”、B”,點A”對應特徵點A,以及點B”對應特徵點B。另外,處理器105可以根據深度圖DI,產生對應點A”、B”的深度資訊DA”、DB”。另外,因為該對齊後的左眼影像和該對齊後的右眼影像中可能具有偏移,所以處理器105可以根據深度資訊DA”、DB”、參考距離RDA、RDB、式(2)以及該回歸分析法,計算一第二對應關係F2: RDX=F2(DX”) (2)
如式(2)所示,RDX分別代入參考距離RDA、RDB,以及DX”分別代入深度資訊DA”、DB”,以計算第二對應關係F2,其中第二對應關係F2可為線性或非線性的關係。但在本發明的另一實施例中,處理器105是根據該機器學習法產生第二對應關係F2。另外,在本發明的另一實施例中,處理器105可以根據深度資訊DA”、DB”以及參考距離RDA、RDB,產生並儲存一第二查閱表,以及根據該第二查閱表產生第二對應關係F2。因此,當處理器105利用深度圖DI 產生對應一點X的深度資訊DX”時,處理器105即可根據第二對應關係F2校正深度資訊DX”。
另外,在本發明另一實施例中,處理器105可先根據參考座標(xa,ya,za)、(xb,yb,zb),產生校正後的左眼影像CLI和校正後的右眼影像CRI,並根據校正後的左眼影像CLI和校正後的右眼影像CRI產生深度圖DI,其中深度圖DI可以用於產生對應點A”的深度資訊DA”以及對應點B”的深度資訊DB”。因此,處理器105可以根據深度資訊DA”、DB”、參考距離RDA、RDB、式(2)以及該回歸分析法,計算該第二對應關係F2。因此,當處理器105利用深度圖DI產生對應一點X的深度資訊DX”時,處理器105即可根據第二對應關係F2校正深度資訊DX”。
請參照第5圖。第5圖是本發明的第二實施例所公開的一種具有校正功能的影像擷取系統500的示意圖。如第5圖所示,影像擷取系統500與影像擷取系統100的差異在於影像擷取系統500利用影像擷取裝置501以取代影像擷取裝置101的功能,其中影像擷取裝置501包含一影像擷取器5011以及一光源5013。 光源5013是用以發出一發射光,其中該發射光可以是一結構光,以及影像擷取器5011是用以擷取包含該結構光的一影像。另外,處理器105根據包含該結構光的該影像,決定至少一特徵點,並根據包含該結構光的該影像產生對應該至少一特徵點的至少一深度資訊;而雷射測距儀103根據該至少一特徵點,測量對應該至少一特徵點的至少一參考距離。而當該至少一深度資訊需要校正時,處理器105根據該至少一參考距離,校正該至少一深度資訊。另外,處理器105的後續操作方法可以參照上述有關處理器105的說明,在此不再贅述。
另外,本發明領域具有熟知技藝者可以經由上述對應處理器105的說 明清楚地了解處理器105的功能。因此本發明領域具有熟知技藝者可以輕易地利用一具有上述處理器105的功能的現場可程式邏輯閘陣列(Field Programmable Gate Array,FPGA)、一具有上述處理器105的功能的特殊應用積體電路(Application-specific integrated circuit,ASIC)、一具有上述處理器105的功能的軟體模組,或是一具有上述處理器105的功能的類比積體電路來實現處理器105。 因此,關於對應處理器105的結構的說明在此不再贅述。
請參照第6圖,第6圖是本發明的第三實施例所公開的一種具有校正功能的影像擷取系統100的操作方法的流程圖。第6圖的操作方法是利用第1圖的影像擷取系統100說明,詳細步驟如下:步驟600:開始;步驟602:影像擷取裝置101擷取左眼影像LI和右眼影像RI;步驟604:處理器105根據左眼影像LI和右眼影像RI,產生對應特徵點A的深度資訊DA以及對應特徵點B的深度資訊DB;步驟606:雷射測距儀103測量對應特徵點A的參考距離RDA以及對應特徵點B的參考距離RDB;步驟608:對應特徵點A、B的深度資訊DA、DB是否需要校正;如果否,回到步驟602;如果是,進行步驟610;步驟610:處理器105根據參考距離RDA、RDB校正對應特徵點A、B的深度資訊DA、DB;步驟612:結束。
在步驟604中,處理器105根據左眼影像LI和右眼影像RI,決定左眼 影像LI的特徵點A、B以及右眼影像RI的特徵點A’、B’,根據特徵點A、A’產生對應特徵點A的深度資訊DA,以及根據特徵點B、B’產生對應特徵點B的深度資訊DB。在步驟606中,雷射測距儀103根據特徵點A、B,分別測量對應特徵點A的參考距離RDA以及對應特徵點B的參考距離RDB。另外,在本發明的另一實施例中,雷射測距儀103先發射該雷射光,處理器105才根據該雷射光在左眼影像LI和右眼影像RI的位置,決定相對應的特徵點。因此,在此實施例中,影像擷取系統100可以以步驟602、步驟606、步驟604、步驟608的順序進行操作。
在步驟608中,處理器105根據深度資訊DA、DB和參考距離RDA、RDB,判斷深度資訊DA、DB是否需要校正。然而,在本發明的另一實施例中,處理器105是根據左眼影像LI和右眼影像RI,或根據由左眼影像LI和右眼影像RI產生的該深度圖,判斷深度資訊DA、DB是否需要校正。此時處理器105並不需要根據參考距離RDA、RDB來判斷深度資訊DA、DB是否需要校正。因此,在此實施例中,影像擷取系統100可以以步驟604、步驟608的順序進行操作,以及當深度資訊DA、DB需要校正時,影像擷取系統100接著以步驟606、步驟610的順序進行操作。
另外,在步驟610中,處理器105根據參考距離RDA、RDB校正深度資訊DA、DB的操作方法可以參照上述有關處理器105的說明,在此不再贅述。
綜上所述,本發明提供一種具有校正功能的影像擷取系統。該影像擷取系統利用一影像擷取裝置擷取至少一影像,根據該至少一影像產生複數個深度資訊,以及利用一雷射測距儀以測量對應該複數個深度資訊的複數個參考距離。因為該影像擷取系統是利用該雷射測距儀產生該複數個參考距離,所以 該影像擷取系統可以根據該複數個參考距離,校正該複數個深度資訊。因此,相較於現有技術,本發明可以更快速且更方便地進行校正。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
100:影像擷取系統
101:影像擷取裝置
103:雷射測距儀
105:處理器
1011、1013:影像擷取器
LI:左眼影像
RI:右眼影像
RDA、RDB:參考距離

Claims (13)

  1. 一種具有校正功能的影像擷取系統,包含:一影像擷取裝置;一雷射測距儀,用於發出雷射光,其中該影像擷取裝置用於擷取對應該雷射光的二影像;及一處理器,耦接於該影像擷取裝置和該雷射測距儀,用於根據該雷射光在該二影像的成像位置決定在該二影像中的至少一特徵點,根據該至少一特徵點對該二影像執行一掃描線校正以產生二對齊後的影像,以及根據該二對齊後的影像產生對應該至少一特徵點中每一特徵點的一深度資訊;其中該雷射測距儀測量對應該每一特徵點的一參考距離,以及該處理器根據該參考距離判斷是否需要校正該深度資訊或該二對齊後的影像。
  2. 如請求項1所述的影像擷取系統,其中當該處理器根據該參考距離判斷該深度資訊或該二對齊後的影像需要校正時,該處理器根據該參考距離校正該深度資訊或該二對齊後的影像。
  3. 如請求項2所述的影像擷取系統,其中當該二對齊後的影像需要校正時,該處理器根據該參考距離產生該每一特徵點的一參考座標,根據該至少一特徵點的參考座標校正該二對齊後的影像。
  4. 如請求項2所述的影像擷取系統,其中當該深度資訊需要校正時,該處理器根據該二對齊後的影像產生對應該參考距離的一對齊後的深度資訊,根據該對齊後的深度資訊和該參考距離產生一對應關係,以及根據該 對應關係校正該深度資訊,其中該掃描線校正是用於對齊該二影像中的掃描線。
  5. 如請求項1所述的影像擷取系統,其中該處理器調整該雷射測距儀的方向或角度,以使該雷射測距儀發射雷射光至該至少一特徵點上並測量該參考距離。
  6. 一種具有校正功能的影像擷取系統,包含:一影像擷取裝置,用於擷取二影像;一雷射測距儀;及一處理器,耦接於該影像擷取裝置和該雷射測距儀,用於根據該二影像決定至少一特徵點,以及根據該二影像產生對應該至少一特徵點中每一特徵點的一深度資訊;其中該雷射測距儀測量對應該每一特徵點的一參考距離,以及當該二影像之間具有影像錯位時,該處理器根據該參考距離校正該深度資訊或該二影像。
  7. 一種具有校正功能的影像擷取系統,包含:一影像擷取裝置,用於擷取二影像;一雷射測距儀;及一處理器,耦接於該影像擷取裝置和該雷射測距儀,用於根據該二影像決定至少一特徵點,以及根據該二影像產生對應該至少一特徵點中每一特徵點的一深度資訊;其中該雷射測距儀測量對應該每一特徵點的一參考距離,以及當該深度資 訊與該參考距離之間的誤差大於一預定值時,該處理器根據該參考距離校正該深度資訊或該二影像。
  8. 一種具有校正功能的影像擷取系統,包含:一影像擷取裝置,用於擷取二影像;一雷射測距儀;及一處理器,耦接於該影像擷取裝置和該雷射測距儀,用於根據該二影像決定至少一特徵點,以及根據該二影像產生對應該至少一特徵點中每一特徵點的一深度資訊;其中該雷射測距儀測量對應該每一特徵點的一參考距離,該二影像是用於產生一深度圖,以及當該深度圖的解析度或有效訊號數量低於一預定值時,該處理器根據該參考距離校正該深度資訊或該二影像。
  9. 一種具有校正功能的影像擷取系統,包含:一影像擷取裝置,包含一影像擷取器和一光源,其中該光源發出一發射光,以及該影像擷取器擷取包含該發射光的一影像;一雷射測距儀;及一處理器,耦接於該影像擷取裝置和該雷射測距儀,用於根據該影像決定至少一特徵點,以及根據該影像產生對應該至少一特徵點中每一特徵點的一深度資訊;其中該雷射測距儀測量對應該每一特徵點的一參考距離,以及當該深度資訊與該參考距離之間的誤差大於一預定值時,該處理器根據該參考距離校正該深度資訊或該影像。
  10. 如請求項9所述的影像擷取系統,其中當該處理器根據該參考距離判斷該深度資訊或該影像需要校正時,該處理器根據該參考距離校正該深度資訊或該影像。
  11. 如請求項10所述的影像擷取系統,其中當該影像需要校正時,該處理器根據該參考距離產生該每一特徵點的一參考座標,根據該至少一特徵點的參考座標校正該影像。
  12. 如請求項10所述的影像擷取系統,其中當該深度資訊需要校正時,該處理器對該影像執行一掃描線校正以產生一對齊後的影像,根據該對齊後的影像產生對應該參考距離的一對齊後的深度資訊,根據該對齊後的深度資訊和該參考距離產生一對應關係,以及根據該對應關係校正該深度資訊,其中該掃描線校正是用於對齊該影像中的掃描線。
  13. 一種具有校正功能的影像擷取系統,包含:一影像擷取裝置;一雷射測距儀;及一處理器,用於根據該影像擷取裝置擷取的至少一影像,產生對應該至少一影像的深度圖;其中該雷射測距儀測量對應該深度圖的複數個參考距離,以及該處理器根據該複數個參考距離校正該深度圖。
TW108130425A 2018-08-28 2019-08-26 具有校正功能的影像擷取系統 TWI725522B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862723493P 2018-08-28 2018-08-28
US62/723,493 2018-08-28

Publications (2)

Publication Number Publication Date
TW202027034A TW202027034A (zh) 2020-07-16
TWI725522B true TWI725522B (zh) 2021-04-21

Family

ID=69640005

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108130425A TWI725522B (zh) 2018-08-28 2019-08-26 具有校正功能的影像擷取系統

Country Status (3)

Country Link
US (1) US11688102B2 (zh)
CN (1) CN110868582B (zh)
TW (1) TWI725522B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020131277A1 (en) 2018-12-20 2020-06-25 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
US11587260B2 (en) * 2020-10-05 2023-02-21 Zebra Technologies Corporation Method and apparatus for in-field stereo calibration
CN113256512A (zh) * 2021-04-30 2021-08-13 北京京东乾石科技有限公司 深度图像的补全方法、装置及巡检机器人
US20230112666A1 (en) * 2021-10-12 2023-04-13 Zebra Technologies Corporation System and Method for Detecting Calibration of a 3D Sensor
CN114928738A (zh) * 2022-04-18 2022-08-19 中国电子科技集团公司第十一研究所 被动式三维成像装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266777A (ja) * 2002-03-19 2003-09-24 Fuji Xerox Co Ltd マルチビーム光源装置及びこのマルチビーム光源装置を備えた光走査装置
US20090052740A1 (en) * 2007-08-24 2009-02-26 Kabushiki Kaisha Toshiba Moving object detecting device and mobile robot
TW201631963A (zh) * 2013-01-30 2016-09-01 高通公司 具有功率有效深度感測器運用之即時三維重建
US20170053411A1 (en) * 2015-08-17 2017-02-23 Microsoft Technology Licensing, Llc Computer Vision Depth Sensing At Video Rate Using Depth From Defocus
TW201717613A (zh) * 2015-11-06 2017-05-16 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
TW201741685A (zh) * 2016-05-19 2017-12-01 緯創資通股份有限公司 深度資訊量測方法及裝置
CN107507235A (zh) * 2017-08-31 2017-12-22 山东大学 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法
US20180061034A1 (en) * 2016-08-30 2018-03-01 Microsoft Technology Licensing, Llc Deformation Detection and Automatic Calibration for a Depth Imaging System
CN108012143A (zh) * 2017-12-04 2018-05-08 深圳市沃特沃德股份有限公司 双目摄像头标定方法及装置
CN108038887A (zh) * 2017-12-11 2018-05-15 天津大学 基于双目rgb-d相机深度轮廓估计方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060197867A1 (en) * 2005-03-02 2006-09-07 Peter Johnson Imaging head and imaging system
CN101766472B (zh) * 2009-12-31 2012-03-21 中国科学院长春光学精密机械与物理研究所 视度自调节液晶自适应像差校正视网膜成像的光学系统
JP5870510B2 (ja) * 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
JP5625979B2 (ja) * 2011-02-10 2014-11-19 ソニー株式会社 表示装置および表示方法ならびに表示制御装置
CN102436657A (zh) * 2011-09-27 2012-05-02 夏东 基于物联网应用的主动光深度测量值修正方法
JP6182866B2 (ja) * 2012-03-21 2017-08-23 株式会社リコー 校正装置、距離計測装置及び車両
EP2972478B1 (en) 2013-03-15 2020-12-16 Uatc, Llc Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US20140348416A1 (en) * 2013-05-23 2014-11-27 Himax Media Solutions, Inc. Stereo image rectification apparatus and method
JP6427984B2 (ja) * 2013-06-27 2018-11-28 株式会社リコー 測距装置、車両、測距装置の校正方法
TWI519884B (zh) * 2014-01-23 2016-02-01 鈺創科技股份有限公司 產生深度資訊的裝置、產生深度資訊的方法和立體攝影機
CN104869384B (zh) * 2014-02-25 2017-04-12 华晶科技股份有限公司 电子装置及其校正方法
US10062180B2 (en) * 2014-04-22 2018-08-28 Microsoft Technology Licensing, Llc Depth sensor calibration and per-pixel correction
EP3128482A1 (en) * 2015-08-07 2017-02-08 Xovis AG Method for calibration of a stereo camera
KR102529928B1 (ko) * 2016-09-22 2023-05-09 삼성전자주식회사 스테레오 카메라의 교정 방법 및 이를 수행하는 전자 장치
WO2018185807A1 (ja) * 2017-04-03 2018-10-11 富士通株式会社 距離情報処理装置、距離情報処理方法および距離情報処理プログラム
CN107564051B (zh) * 2017-09-05 2020-06-02 歌尔股份有限公司 一种深度信息采集方法及系统
EP3690805A4 (en) * 2017-09-28 2021-09-29 Koito Manufacturing Co., Ltd. SENSOR SYSTEM
CN108345002A (zh) 2018-02-27 2018-07-31 上海图漾信息科技有限公司 结构光测距装置及方法
US10475196B2 (en) * 2018-03-22 2019-11-12 Microsoft Technology Licensing, Llc Hybrid depth detection and movement detection

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266777A (ja) * 2002-03-19 2003-09-24 Fuji Xerox Co Ltd マルチビーム光源装置及びこのマルチビーム光源装置を備えた光走査装置
US20090052740A1 (en) * 2007-08-24 2009-02-26 Kabushiki Kaisha Toshiba Moving object detecting device and mobile robot
TW201631963A (zh) * 2013-01-30 2016-09-01 高通公司 具有功率有效深度感測器運用之即時三維重建
US20170053411A1 (en) * 2015-08-17 2017-02-23 Microsoft Technology Licensing, Llc Computer Vision Depth Sensing At Video Rate Using Depth From Defocus
TW201717613A (zh) * 2015-11-06 2017-05-16 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
TW201741685A (zh) * 2016-05-19 2017-12-01 緯創資通股份有限公司 深度資訊量測方法及裝置
US20180061034A1 (en) * 2016-08-30 2018-03-01 Microsoft Technology Licensing, Llc Deformation Detection and Automatic Calibration for a Depth Imaging System
CN107507235A (zh) * 2017-08-31 2017-12-22 山东大学 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法
CN108012143A (zh) * 2017-12-04 2018-05-08 深圳市沃特沃德股份有限公司 双目摄像头标定方法及装置
CN108038887A (zh) * 2017-12-11 2018-05-15 天津大学 基于双目rgb-d相机深度轮廓估计方法

Also Published As

Publication number Publication date
US20200074684A1 (en) 2020-03-05
CN110868582A (zh) 2020-03-06
CN110868582B (zh) 2022-06-03
US11688102B2 (en) 2023-06-27
TW202027034A (zh) 2020-07-16

Similar Documents

Publication Publication Date Title
TWI725522B (zh) 具有校正功能的影像擷取系統
CN106550228B (zh) 获取三维场景的深度图的设备
CN102346250B (zh) 飞行时间成像器
US10337860B2 (en) Distance sensor including adjustable focus imaging sensor
US9858684B2 (en) Image processing method and apparatus for calibrating depth of depth sensor
KR101626072B1 (ko) 영상 보정 장치 및 영상 보정 방법
Mrovlje et al. Distance measuring based on stereoscopic pictures
JP6041513B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20180343381A1 (en) Distance image acquisition apparatus and application thereof
Martynov et al. Projector calibration by “inverse camera calibration”
CN106875435B (zh) 获取深度图像的方法及系统
WO2019041116A1 (zh) 光学测距方法以及光学测距装置
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
JP7004244B2 (ja) 画像処理システム、画像処理方法、及びそのプログラム
EP3970362A1 (en) Mapping three-dimensional depth map data onto two-dimensional images
JP6065670B2 (ja) 3次元計測システム、プログラム及び方法。
US20220364849A1 (en) Multi-sensor depth mapping
KR20170051752A (ko) Tof 카메라 제어방법
JP7275941B2 (ja) 3次元情報取得装置及び3次元情報取得方法
WO2021136284A1 (zh) 三维测距方法和装置
US20150365652A1 (en) Depth camera system
US10267917B2 (en) Distance measuring method and apparatus
KR20200032442A (ko) 자기보정이 가능한 3차원 정보 생성 장치 및 방법
US9860519B2 (en) Method for correcting image phase