TWI705011B - 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統 - Google Patents

車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統 Download PDF

Info

Publication number
TWI705011B
TWI705011B TW108108233A TW108108233A TWI705011B TW I705011 B TWI705011 B TW I705011B TW 108108233 A TW108108233 A TW 108108233A TW 108108233 A TW108108233 A TW 108108233A TW I705011 B TWI705011 B TW I705011B
Authority
TW
Taiwan
Prior art keywords
image
feature points
points
preset
feature
Prior art date
Application number
TW108108233A
Other languages
English (en)
Other versions
TW202033389A (zh
Inventor
翁正聲
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW108108233A priority Critical patent/TWI705011B/zh
Priority to CN201910292857.8A priority patent/CN111693254B/zh
Priority to US16/429,085 priority patent/US11450028B2/en
Publication of TW202033389A publication Critical patent/TW202033389A/zh
Application granted granted Critical
Publication of TWI705011B publication Critical patent/TWI705011B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0221—Testing optical properties by determining the optical axis or position of lenses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0207—Details of measuring devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

一種車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統。第一影像擷取裝置與第二影像擷取裝置設置於一車輛上，所述方法包括：利用第一影像擷取裝置擷取第一影像，以及利用第二影像擷取裝置擷取第二影像；依據多個第一預設位置從第一影像取得多個第一特徵點，以及依據多個第二預設位置從第二影像取得多個第二特徵點；比對第一特徵點的特徵值與第二特徵點的特徵值，而判斷第一特徵點是否吻合第二特徵點；以及反應於第一特徵點不吻合第二特徵點，執行校正警示操作。

Description

車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統
本發明是有關於一種車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統，且特別是有關於一種基於影像處理技術的車載鏡頭偏移檢測方法與系統。
駕駛車輛時，車內後視鏡為駕駛者觀察後方交通狀況的一種重要工具。由於是利用反光鏡的原理將後端影像反映至駕駛者的眼中，在後方車輛開啟大燈時，可能產生視線不明或炫光的問題。此外，駕駛也可能因為車內物件的阻擋或氣候環境因素而無法透過後視鏡清楚觀察後方交通狀況。因此，近來有人提出以電子後視鏡(e-mirror)取代傳統後視鏡的構想。現行的電子後視鏡是於後視鏡中設置顯示模組，使後視鏡能藉由顯示模組顯示由影像擷取裝置所擷取的路況畫面。
電子後視鏡相較於傳統不具顯示模組的後視鏡可具有更 廣的視野。原因在於，電子後視鏡的顯示影像可以是基於對多張影像進行影像拼接而產生，而這些影像是分別由設置於不同位置的多個鏡頭擷取而得，因而可以消除傳統後視鏡的盲區。然而，當用以擷取影像的鏡頭發生位移或旋轉時，進行影像拼接而產生的影像可能有扭曲或變形的情況，而駕駛將可能因為電子後視鏡顯示扭曲或變形的影像內容而造成行車危險。
有鑑於此，本發明提供一種車載鏡頭偏移檢測方法與偏移檢測系統，其可用以檢測車載鏡頭是否偏移而提高行車安全。
本發明提出一種車載鏡頭偏移檢測方法，其中第一影像擷取裝置與第二影像擷取裝置設置於一車輛上，所述方法包括：利用第一影像擷取裝置擷取第一影像，以及利用第二影像擷取裝置擷取第二影像；依據多個第一預設位置從第一影像取得多個第一特徵點，以及依據多個第二預設位置從第二影像取得多個第二特徵點；比對第一特徵點的特徵值與第二特徵點的特徵值，而判斷第一特徵點是否吻合第二特徵點；以及反應於第一特徵點不吻合第二特徵點，執行校正警示操作。
從另一觀點來看，本發明提出一種車載鏡頭偏移檢測系統，設置於一車輛上，並包括：第一影像擷取裝置、第二影像擷取裝置、儲存電路，以及一處理器。儲存電路儲存多個模組。處理器耦接儲存電路、第一影像擷取裝置，以及第二影像擷取裝置， 並存取上述模組以執行下列步驟：利用第一影像擷取裝置擷取第一影像，以及利用第二影像擷取裝置擷取第二影像；依據多個第一預設位置從第一影像取得多個第一特徵點，以及依據多個第二預設位置從第二影像取得多個第二特徵點；比對第一特徵點的特徵值與第二特徵點的特徵值，而判斷第一特徵點是否吻合第二特徵點；以及反應於第一特徵點不吻合第二特徵點，執行校正警示操作。
基於上述，本發明實施例可以低運算量即時檢測出設置於車輛上的車載鏡頭是否發生偏移，從而提高行車安全。除此之外，本發明實施例的偏移檢測方法與系統更可於車載鏡頭已發生偏移時執行對應的校正警示操作，避免電子後視鏡顯示扭曲或變形的影像。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100:車載鏡頭偏移檢測系統
101:第一影像擷取裝置
102:第二影像擷取裝置
103:儲存電路
104:處理器
105:顯示裝置
106:第三影像擷取裝置
C1:車輛
Img-B:後視影像
Img-L:左側影像
Img-R:右側影像
P4~P6:第一特徵點
P1~P3:第二特徵點
S401~S406、S501~S509、S701~S703:步驟
Q1~Q3:第一標記點
Q4~Q6:第二標記點
X1~X3:第一預設位置
X4~X6:第二預設位置
B1:第一影像區塊
B2:第二影像區塊
M1~M3:校正點
圖1是依照本發明一實施例所繪示之車載鏡頭偏移檢測系統的示意圖。
圖2為依照本發明所繪示之一種應用情景的範例示意圖。
圖3為依照本發明所繪示之一種應用情景的範例示意圖。
圖4是依照本發明一實施例所繪示之車載鏡頭偏移檢測方法 的流程圖。
圖5是依照本發明一實施例所繪示之車載鏡頭偏移檢測方法的流程圖。
圖6為依照本發明一實施例所繪示的第一影像與第二影像的示意圖。
圖7是依照本發明實施例所繪示的取得第一預設位置與第二預設位置的方法的流程圖。
圖8為依照本發明一實施例所繪示的校正畫面的示意圖。
圖9為依照本發明一實施例所繪示的第一影像與第二影像的示意圖。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的車載鏡頭偏移檢測方法與系統的範例。
圖1是依照本發明一實施例所繪示之車載鏡頭偏移檢測系統的示意圖。請參照圖1，車載鏡頭偏移檢測系統100適於設置於一車輛上，並包括第一影像擷取裝置101、第二影像擷取裝置102、第三影像擷取裝置106、儲存電路103、處理器104，以及顯 示裝置105。
第一影像擷取裝置101、第二影像擷取裝置102與第三影像擷取裝置106設置於車輛上，例如是具有車載鏡頭、電荷耦合元件(Charge Coupled Device，CCD)或互補式金氧半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件的影像感測器，用以擷取車輛四周的影像。需說明的是，第一影像擷取裝置101的拍攝視角與第二影像擷取裝置102的拍攝視角有部份重疊，因而可擷取或是拼接重複的場景內容。於另一實施例中，第一影像擷取裝置101的拍攝視角與第三影像擷取裝置106的拍攝視角有部份重疊，因而可擷取或是拼接重複的場景內容。此外，車輛上影像擷取裝置的數量可視實際應用而變更，在此並不設限。
圖2為依照本發明所繪示之一種應用情景的範例示意圖。請參照圖2，第一影像擷取裝置101可以設置於車輛C1的後方，以朝車輛後方擷取後視影像。第二影像擷取裝置102可以設置於車輛C1的左側後視鏡上，以朝車輛左側擷取左側影像。第一影像擷取裝置101所擷取的後視影像與第二影像擷取裝置102所擷取的左側影像至少一部分重疊。相似的，第三影像擷取裝置106可以設置於車輛C1的右側後視鏡上，以朝車輛右側擷取右側影像。第一影像擷取裝置101所擷取的後視影像與第三影像擷取裝置106所擷取的右側影像至少一部分重疊。需說明的是，為清楚說明本發明，後續實施例將以圖2的配置為例進行說明，但本發明並不以此為限。
儲存電路103例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合，而可用以記錄多個程式碼或模組。
處理器104耦接於儲存電路103、第一影像擷取裝置101、第二影像擷取裝置102、第三影像擷取裝置106，以及顯示裝置105，並可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器(microprocessor)、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用集成電路(Application Specific Integrated Circuit，ASIC)、場可程式閘陣列電路(Field Programmable Gate Array，FPGA)、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器(Advanced RISC Machine，ARM)的處理器以及類似品。在本發明的實施例中，處理器104可載入儲存電路103中所記錄的程式碼或模組以執行本發明提出的車載鏡頭偏移檢測方法，後續將搭配流程圖作進一步說明。
顯示裝置105例如是液晶顯示器(Liquid Crystal Display，LCD)、發光二極體(Light-Emitting Diode，LED)顯示器或其他種類的顯示器，用以顯示畫面給車輛的駕駛，在此並不設限。
值得一提的是，於一實施例中，顯示裝置105可以與一 鏡體實施為電子後視鏡。當顯示裝置105的背光模組開啟時，電子後視鏡可依據第一影像擷取裝置101、第二影像擷取裝置102與第三影像擷取裝置106擷取的影像內容顯示路況畫面。當顯示裝置105的背光模組關閉時，電子後視鏡可作為一般傳統後視鏡。
於一實施例中，處理器104可對第一影像擷取裝置101、第二影像擷取裝置102與第三影像擷取裝置106所擷取之影像進行影像拼接功能而產生可視範圍更大的縫合影像，並控制電子後視鏡顯示此縫合影像，以消除傳統後視鏡的盲區。圖3為依照本發明所繪示之一種應用情景的範例示意圖。請參照圖3，第一影像擷取裝置101可擷取車輛後方的後視影像Img-B，第二影像擷取裝置102可擷取車輛左側的左側影像Img-L，而第三影像擷取裝置106可擷取車輛右側的右側影像Img-R。處理器104可對後視影像Img-B、左側影像Img-L、右側影像Img-R執行影像拼接功能而產生縫合影像Img-S。需說明的是，由於電子後視鏡需要即時的反應路況，因而進行影像拼接功能所需的拼接參數(像是影像映射轉換矩陣等等)是基於預設的鏡頭位置而產生並儲存。藉此，處理器104可利用預先儲存的拼接參數來執行影像拼接功能，而不需要耗費龐大的計算量與運算時間。然而，倘若第一影像擷取裝置101、第二影像擷取裝置102與第三影像擷取裝置106的鏡頭位置發生偏移，影像拼接功能所產生的縫合影像將有扭曲或變形的情況。因此，本發明的車載鏡頭偏移檢測方法與系統可即時的檢測車載鏡頭是否發生偏移，並據以執行校正警示操作，而避免駕駛 透過電子後視鏡看到扭曲或變形的影像而發生誤判。
圖4是依照本發明一實施例所繪示之車載鏡頭偏移檢測方法的流程圖。請參照圖4，本實施例的方式適用於上述實施例中的車載鏡頭偏移檢測系統100，以下即搭配車載鏡頭偏移檢測系統100中的各項元件說明本實施例之車載鏡頭偏移檢測方法的詳細步驟。
於步驟S401，處理器104利用第一影像擷取裝置101擷取第一影像(即後視影像)，以及利用第二影像擷取裝置102擷取第二影像(即左側影像)。於步驟S402，處理器104依據多個第一預設位置從第一影像取得多個第一特徵點，以及依據多個第二預設位置從第二影像取得多個第二特徵點。具體而言，此些第一預設位置與此些第二預設位置為預先儲存多個的像素座標資訊。此外，此些第一特徵點與第二特徵點分別為由相鄰的多個像素點構成的像素集合區塊。舉例而言，第一特徵點與第二特徵點可以分別為半徑為9個像素的像素集合區塊。然而，第一特徵點與第二特徵點的數量、尺寸與形狀可視實際應用而設計之，本發明對此並不限制。換言之，處理器104可依據預先儲存多個的像素座標資訊分別從第一影像與第二影像上擷取出多個像素集合區塊。於另一實施例中，第一特徵點於第一影像中的第一預設位置與第二特徵點於第二影像中的第二預設位置落在第一影像擷取裝置101與第二影像擷取裝置102的拍攝視角重疊區域中。基此，可預先於兩影像的重疊區域中選出多個特徵點，以藉由選出來的多個特 徵點定義出第一影像中的第一預設位置和第二影像中的第二預設位置。
接著，於步驟S403，處理器104比對第一特徵點的特徵值與第二特徵點的特徵值，而判斷第一特徵點是否吻合第二特徵點。具體而言，處理器104可執行影像處理技術中的特徵擷取(feature extraction)與特徵匹配(feature matching)，並判斷這些第一特徵點的特徵值是否分別與對應的第二特徵點的特徵值相同。倘若這些第一特徵點的特徵值分別與對應的第二特徵點的特徵值相同，處理器104判斷此些第一特徵點吻合此些第二特徵點。相反的，倘若這些第一特徵點其中之一的特徵值並未與任何第二特徵點的特徵值相同，處理器104判斷此些第一特徵點不吻合此些第二特徵點。
若步驟S403判斷為是，於步驟S405，反應於第一特徵點吻合第二特徵點，處理器104對第一影像與第二影像執行影像拼接功能而產生縫合影像。於步驟S406，透過顯示裝置105顯示縫合影像。
若步驟S403判斷為否，於步驟S404，反應於第一特徵點不吻合第二特徵點，處理器104執行校正警示操作。於一實施例中，所述的校正警示操作可包括啟動例如提示文字、聲響與燈光之其一或其組合的警示，以通知駕駛車載鏡頭已經發生偏移。舉例而言，當處理器104判斷第一特徵點不吻合第二特徵點，處理器104可啟動LED燈來通知駕駛。此外，於一實施例中，所述的 校正警示操作可包括對車載鏡頭發生偏移的狀況進行校正，以排除車載鏡頭發生偏移產生的不良影響。另外，於一實施例中，當顯示裝置105與一鏡體實施為電子後視鏡時，所述的校正警示操作可包括關閉顯示裝置105的背光模組，而使電子後視鏡可作為一般傳統後視鏡，從而避免電子後視鏡顯示有扭曲或變形的縫合影像。
可知的，上述實施例係以左側鏡頭所擷取之左側影像與後側鏡頭所擷取之後視影像為例進行說明，然而，處理器104也可針對右側鏡頭所擷取之右側影像與後側鏡頭所擷取之後視影像執行相同的流程。基此，處理器104可在判斷左側鏡頭與右側鏡頭皆未發生偏移之後，將右側影像、左側影像與後視影像進行影像拼接而獲取縫合影像，以控制電子後視鏡顯示未有扭曲或變形的縫合影像。
需注意的是，步驟S403的判斷可能因為場景因素而存在誤判。因此，於本發明的一實施例中，基於不吻合次數的容錯機制可避免車載鏡頭偏移檢測系統100發出不必要的警示。以下將列舉實施例以說明之。
圖5是依照本發明一實施例所繪示之車載鏡頭偏移檢測方法的流程圖。請參照圖5，本實施例的方式適用於上述實施例中的車載鏡頭偏移檢測系統100，以下即搭配車載鏡頭偏移檢測系統100中的各項元件說明本實施例之車載鏡頭偏移檢測方法的詳細步驟。
於步驟S501，處理器104利用第一影像擷取裝置101擷取第一影像，以及利用第二影像擷取裝置102擷取第二影像。於步驟S502，處理器104依據多個第一預設位置從第一影像取得多個第一特徵點，以及依據多個第二預設位置從第二影像取得多個第二特徵點。於步驟S503，處理器104比對第一特徵點的特徵值與第二特徵點的特徵值，而判斷第一特徵點是否吻合第二特徵點。上述步驟S501~步驟S503的實施細節可參照步驟S401~步驟S403。舉例而言，圖6為依照本發明一實施例所繪示的第一影像與第二影像的示意圖。請參照圖6，處理器104可依據預先儲存多個的像素座標資訊而從第一影像Img-B上取得三個第一特徵點P4~P6，並從第二影像Img-L上取得三個第二特徵點P1~P3。接著，處理器140對第一特徵點P4~P6與第二特徵點P1~P3執行特徵擷取與特徵匹配。然後，於此範例中，由於第一特徵點P4的特徵值相同於對應的第二特徵點P1，第一特徵點P5的特徵值相同於對應的第二特徵點P2，且第一特徵點P6的特徵值相同於對應的第二特徵點P3，因此處理器104可判斷第一特徵點P4~P6吻合第二特徵點P1~P3。
回到圖5的流程，若第一特徵點不吻合第二特徵點，於步驟S504，處理器104判斷不吻合次數是否大於門檻值。若不吻合次數不大於門檻值，於步驟S506，處理器104累計不吻合次數。若不吻合次數大於門檻值，於步驟S505，處理器104執行校正警示操作。具體而言，於車輛的移動期間，處理器104例如可定時 (例如每隔1秒鐘)判斷第一特徵點是否吻合第二特徵點。然而，處理器104可能因為場景因素(像是場景特徵不足或場景特徵重複性高等等)而產生誤判。因此，於本實施例中，在不吻合次數累積至大於門檻值的情況下，處理器104才執行校正警示操作，以避免駕駛被不必要的警示打擾。上述門檻值可依據實際需求而設置，本發明對此並不限制。
若第一特徵點吻合第二特徵點，於步驟S507，處理器104降低不吻合次數。具體而言，隨著行車期間場景的變化，在車載鏡頭尚未偏移的情況下，處理器104發生誤判的現象可能只短暫出現數次。因此，處理器104可在判斷第一特徵點吻合第二特徵點之後，降低因為前幾次誤判而累計產生的不吻合次數。上述降低不吻合次數的方式可包括將不吻合次數減去一預設值。接著，於步驟S508，處理器104對第一影像與第二影像執行影像拼接功能而產生縫合影像。於步驟S509，透過顯示裝置105顯示縫合影像。
需說明的是，於前述實施例中，處理器104是依據預先儲存的第一預設位置與第二預設位置來取得用以判斷車載鏡頭是否已經偏移的第一特徵點與第二特徵點。以下將列舉一實施例以說明如何取得第一預設位置與第二預設位置。圖7是依照本發明實施例所繪示的取得第一預設位置與第二預設位置的方法的流程圖。請參照圖7，本實施例的方式適用於上述實施例中的車載鏡頭偏移檢測系統100，以下即搭配車載鏡頭偏移檢測系統100中的各 項元件說明本實施例之取得第一預設位置與第二預設位置的詳細步驟。具體而言，在車載鏡頭偏移檢測系統100執行圖4或圖5所示之流程之前，車載鏡頭偏移檢測系統100可先執行圖7之流程而取得第一預設位置與第二預設位置並據以儲存。
於步驟S701，處理器104利用第一影像擷取裝置101擷取第三影像(即後視影像)，以及利用第二影像擷取裝置102擷取第四影像(即左側影像)。於步驟S702，處理器104於第三影像與第四影像之間的重疊區域內設置多個第一預設特徵點而取得第三影像上的第一預設位置。可以知道的是，用以判斷車載鏡頭是否已經偏移的第一特徵點與第二特徵點應當對應至相同的場景內容，因而這些第一預設特徵點的第一預設位置必須位於第三影像中第三影像與第四影像之間的重疊區域內。於本實施例中，步驟S702可分為子步驟S7021~S7022而實施。
於子步驟S7021，處理器104將第一預設特徵點其中之一設置於重疊區域內的接合區域。上述接合區域例如為進行影像拼接功能時左側影像與後視影像的接合線區域。於子步驟S7022，處理器104依據分佈形狀與第一預設特徵點其中之一的第一預設位置取得其他的第一預設特徵點的第一預設位置。例如以分佈形狀為邊長為60個像素的正三角形為例，在設置完第一個預設特徵點之後，處理器104將以此第一個第一預設特徵點作為一正三角形的頂點而向下尋找另外兩個第一預設特徵點，從而獲取另外兩個個第一預設特徵點的第一預設位置。然而，上述分佈形狀不並侷 限於正三角形，也可以為其他規則或不規則的形狀，可視實際應用與需求而設計之。
在取得第一預設位置之後，於步驟S703，處理器104利用第一預設特徵點執行特徵擷取與特徵匹配而於第四影像上搜尋多個第二預設特徵點，以獲取第二預設特徵點的第二預設位置。具體而言，處理器104可於第四影像上搜尋到與第一預設特徵點具備相同特徵值的多個第二預設特徵點。值得一提的是，由於第一預設特徵點其中之一位於接合區域是已知的，因此處理器104可於第四影像上的接合區域中搜尋第一個第二預設特徵點。此外，由於第一預設特徵點的分佈形狀是已知的，因而搜尋其他第二預設特徵點的搜尋範圍可依據分佈形狀而決定，從而降低運算量與減少匹配錯誤的現象。
可知的，上述產生第一預設位置與第二預設位置的實施例係以左側鏡頭所擷取之左側影像與後側鏡頭所擷取之後視影像為例進行說明，然而，處理器104也可針對右側鏡頭所擷取之右側影像與後側鏡頭所擷取之後視影像執行相同的流程。如此，第一預設位置與第二預設位置可以是儲存於儲存電路103中的像素座標資訊。另外，於另一實施例中，每個第一預設位置與每個第二預設位置之間的對應關係可進一步儲存於儲存電路103中，使處理器104後續執行圖4或圖5所示之流程時可先依據像素座標資訊取得多個第一特徵點以及多個的二特徵點，並可依據已儲存的對應關係比對多個第一特徵點的特徵值與對應的多個第二特徵 點的特徵值。
以下將對校正警示操作進行更詳細的說明。
於一實施例中，當處理器104判定第一特徵點不吻合第二特徵點，處理器104可執行校正警示操作而控制顯示裝置105顯示校正畫面，致使駕駛可以依據校正畫面提供的提示資訊來手動校正車載鏡頭的鏡頭方向。更具體而言，當處理器104判定第一特徵點不吻合第二特徵點，處理器104可控制原本顯示縫合影像的顯示裝置105切換為顯示校正畫面，此校正畫面可同時顯示第一影像擷取裝置101與第二影像擷取裝置102擷取的兩張影像，並且此兩張影像上分別標記有多個標記點，以供駕駛根據校正畫面中的這些標記點調整鏡頭方向。圖8為依照本發明一實施例所繪示的校正畫面的示意圖。請參照圖8，基於預先儲存的多個第一預設位置與多個第二預設位置，處理器104可於第一影像Img-B上的第一預設位置上標示多個第一標記點Q1~Q3，並於第二影像Img-L上的第二預設位置上標示多個第二標記點Q4~Q6。接著，透過顯示裝置105同時顯示包括第一標記點Q1~Q3的第一影像Img-B與包括第二標記點Q4~Q6的第二影像Img-L。藉此，駕駛可調整第二影像擷取裝置102的鏡頭方向，使第二標記點Q4~Q6對應的場景內容分別相同於第一標記點Q1~Q3對應的場景內容，以消除左側車載鏡頭的偏移狀況。
於一實施例中，當處理器104判定第一特徵點不吻合第二特徵點，處理器104可執行校正警示操作而自動調整車載鏡頭 的鏡頭方向。更具體而言，當處理器104判定第一特徵點不吻合第二特徵點，處理器104可利用影像分析技術判斷車載鏡頭的偏移狀況，並據以控制電動機械馬達來自動調整鏡頭方向。圖9為依照本發明一實施例所繪示的第一影像與第二影像的示意圖。請參照圖9，處理器104可取得第一預設位置X1~X3所形成的第一影像區塊B1的第一影像內容。接著，處理器104可於第二影像Img-L上搜尋具有相似於第一影像內容之第二影像內容的第二影像區塊B2，以獲取形成第二影像區塊B2的多個校正點M1~M3。處理器104可依據校正點M1~M3的位置與第二預設位置X4~X6之間的偏移量控制電動機械馬達調整第二影像擷取裝置102的鏡頭方向。上述偏移量可包括水平偏移量、垂直偏移量與旋轉偏移量。
於一實施例中，當處理器104判定第一特徵點不吻合第二特徵點，處理器104可執行校正警示操作而調整影像拼貼功能的設定參數。更具體而言，當處理器104判定第一特徵點不吻合第二特徵點，處理器104可利用影像分析技術判斷車載鏡頭的偏移狀況，並據以調整影像拼貼功能的設定參數。相似於圖9的說明，處理器104可取得校正點M1~M3的位置與第二預設位置X4~X6之間的偏移量。接著，處理器104可依據此偏移量調整影像拼接功能的設定參數，此設定參數可用以從第二影像擷取部份影像來執行影像拼接功能。詳細而言，處理器104一般採用實際擷取之第一影像與第二影像的部份內容進行影像拼接功能。換言 之，處理器104即依據特定的設定參數從第二影像內容擷取部份影像來進行影像拼接功能。因此，當處理器104計算出偏移量之後，處理器104可調整第二影像的內容擷取位置，以在不調整鏡頭方向的情況下彌補鏡頭方向產生偏移的不良影響。舉例而言，假設第二影像的尺寸為1280*720，處理器104原本是從像素位置(110,110)自第二影像擷取出640*370大小的部份影像進行影像拼接功能。在依據偏移量調整影像拼接功能的設定參數之後，處理器104例如可改為從像素位置(90,110)自第二影像擷取出640*370大小的部份影像進行影像拼接功能。
綜上所述，本發明實施例可低運算量即時地檢測出車載鏡頭是否發生偏移，以提高行車安全。當車載鏡頭已經偏移，本發明實施例可警示駕駛並讓駕駛可依據校正畫面來調整車載鏡頭的鏡頭方向。此外，當車載鏡頭已經偏移，本發明實施例可依據擷取影像內容，來自動調整車載鏡頭的鏡頭方向或調整影像拼接功能的設定參數。基此，本發明實施例可避免電子後視鏡顯示扭曲或變形的縫合影像。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S401～S406：步驟

Claims (20)

  1. 一種車載鏡頭偏移檢測方法，其中一第一影像擷取裝置與一第二影像擷取裝置設置於一車輛上，所述方法包括：利用該第一影像擷取裝置擷取一第一影像，以及利用該第二影像擷取裝置擷取一第二影像；依據多個第一預設位置從該第一影像取得多個第一特徵點，以及依據多個第二預設位置從該第二影像取得多個第二特徵點；比對該些第一特徵點的特徵值與該些第二特徵點的特徵值，而判斷該些第一特徵點是否吻合該些第二特徵點；以及反應於該些第一特徵點不吻合該些第二特徵點，執行一校正警示操作。
  2. 如申請專利範圍第1項所述的方法，其中一顯示裝置設置於該車輛內，所述方法更包括：對該第一影像與該第二影像執行一影像拼接功能而產生一縫合影像；以及透過該顯示裝置顯示該縫合影像。
  3. 如申請專利範圍第1項所述的方法，其中反應於該些第一特徵點不吻合該些第二特徵點，執行該校正警示操作的步驟包括：判斷一不吻合次數是否大於一門檻值；若該不吻合次數不大於該門檻值，累計該不吻合次數；以及若該不吻合次數大於該門檻值，執行該校正警示操作。
  4. 如申請專利範圍第3項所述的方法，其中所述方法更包括：若該些第一特徵點吻合該些第二特徵點，降低該不吻合次數。
  5. 如申請專利範圍第1項所述的方法，其中包括一顯示裝置的一電子後視鏡設置於該車輛內，而執行該校正警示操作的步驟包括：關閉該顯示裝置的背光模組。
  6. 如申請專利範圍第1項所述的方法，其中一顯示裝置設置於該車輛內，而執行該校正警示操作的步驟包括：於該第一影像上的該些第一預設位置上標示多個第一標記點，並於該第二影像上的該些第二預設位置上標示多個第二標記點；以及透過該顯示裝置同時顯示包括該些第一標記點的該第一影像與包括該些第二標記點的該第二影像。
  7. 如申請專利範圍第1項所述的方法，其中執行該校正警示操作的步驟包括：取得該些第一預設位置所形成的一第一影像區塊的第一影像內容；於該第二影像上搜尋具有相似於該第一影像內容之第二影像內容的一第二影像區塊，以獲取形成該第二影像區塊的多個校正點；以及依據該些校正點的位置與該些第二預設位置之間的偏移量調 整該第二影像擷取裝置的鏡頭方向。
  8. 如申請專利範圍第1項所述的方法，其中執行該校正警示操作的步驟包括：取得該些第一預設位置所形成的一第一影像區塊的第一影像內容；於該第二影像上搜尋具有相似於該第一影像內容之第二影像內容的一第二影像區塊，以獲取形成該第二影像區塊的多個校正點；取得該些校正點的位置與該些第二預設位置之間的偏移量；以及依據該偏移量調整一影像拼接功能的設定參數，其中該設定參數用以從該第二影像擷取部份影像來執行影像拼接功能。
  9. 如申請專利範圍第1項所述的方法，所述方法更包括：利用該第一影像擷取裝置擷取一第三影像，以及利用該第二影像擷取裝置擷取一第四影像；於該第三影像與該第四影像之間的重疊區域內設置多個第一預設特徵點而取得該第三影像上的該些第一預設位置；以及利用該些第一預設特徵點執行特徵擷取與特徵匹配而於該第四影像上搜尋多個第二預設特徵點，以獲取該些第二預設特徵點的該些第二預設位置。
  10. 如申請專利範圍第9項所述的方法，其中於該第三影像與該第四影像之間的重疊區域內設置該些第一預設特徵點而取得該第三影像上的該些第一預設位置的步驟包括：將該些第一預設特徵點其中之一設置於該重疊區域內的一接合區域；以及依據一分佈形狀與該些第一預設特徵點其中之一對應的該些第一預設位置其中之一取得其他的該些第一預設位置。
  11. 一種車載鏡頭偏移檢測系統，設置於一車輛上，所述系統包括：一第一影像擷取裝置；一第二影像擷取裝置；一儲存電路，儲存多個模組；以及一處理器，耦接該儲存電路、該第一影像擷取裝置，以及該第二影像擷取裝置，存取該些模組以執行下列步驟：利用該第一影像擷取裝置擷取一第一影像，以及利用該第二影像擷取裝置擷取一第二影像；依據多個第一預設位置從該第一影像取得多個第一特徵點，以及依據多個第二預設位置從該第二影像取得多個第二特徵點；比對該些第一特徵點的特徵值與該些第二特徵點的特徵值，而判斷該些第一特徵點是否吻合該些第二特徵點；以及反應於該些第一特徵點不吻合該些第二特徵點，執行一校正警示操作。
  12. 如申請專利範圍第11項所述的系統，其中所述系統更包括一顯示裝置，該處理器更經配置以：對該第一影像與該第二影像執行一影像拼接功能而產生一縫合影像，其中該顯示裝置顯示該縫合影像。
  13. 如申請專利範圍第11項所述的系統，其中該處理器更經配置以：若該些第一特徵點不吻合該些第二特徵點，判斷一不吻合次數是否大於一門檻值；若該不吻合次數不大於該門檻值，累計該不吻合次數；以及若該不吻合次數大於該門檻值，執行該校正警示操作。
  14. 如申請專利範圍第13項所述的系統，其中該處理器更經配置以：若該些第一特徵點吻合該些第二特徵點，降低該不吻合次數。
  15. 如申請專利範圍第11項所述的系統，其中所述系統更包括設置於該車輛內的電子後視鏡，該電子後視包括一顯示裝置，而該處理器更經配置以：反應於該些第一特徵點不吻合該些第二特徵點，關閉該顯示裝置的背光模組。
  16. 如申請專利範圍第11項所述的系統，其中所述系統更包括一顯示裝置，該處理器更經配置以：於該第一影像上的該些第一預設位置上標示多個第一標記點，並於該第二影像上的該些第二預設位置上標示多個第二標記 點；以及利用該顯示裝置同時顯示包括該些第一標記點的該第一影像與包括該些第二標記點的該第二影像。
  17. 如申請專利範圍第11項所述的系統，其中該處理器更經配置以：取得該些第一預設位置所形成的一第一影像區塊的第一影像內容；於該第二影像上搜尋具有相似於該第一影像內容之第二影像內容的一第二影像區塊，以獲取形成該第二影像區塊的多個校正點；以及依據該些校正點的位置與該些第二預設位置之間的偏移量調整該第二影像擷取裝置的鏡頭方向。
  18. 如申請專利範圍第11項所述的系統，其中該處理器更經配置以：取得該些第一預設位置所形成的一第一影像區塊的第一影像內容；於該第二影像上搜尋具有相似於該第一影像內容之第二影像內容的一第二影像區塊，以獲取形成該第二影像區塊的多個校正點；取得該些校正點的位置與該些第二預設位置之間的偏移量；以及依據該偏移量調整一影像拼接功能的設定參數，其中該設定 參數用以從該第二影像擷取部份影像來執行影像拼接功能。
  19. 如申請專利範圍第11項所述的系統，其中該處理器更經配置以：利用該第一影像擷取裝置擷取一第三影像，以及利用該第二影像擷取裝置擷取一第四影像；於該第三影像與該第四影像之間的重疊區域內設置多個第一預設特徵點而取得該第三影像上的該些第一預設位置；以及利用該些第一預設特徵點執行一特徵擷取與一特徵匹配而於該第四影像上搜尋多個第二預設特徵點，以獲取該些第二預設特徵點的該些第二預設位置。
  20. 如申請專利範圍第19項所述的系統，其中該處理器更經配置以：將該些第一預設特徵點其中之一設置於該重疊區域內的一接合區域；以及依據一分佈形狀與該些第一預設特徵點其中之一對應的該些第一預設位置其中之一取得其他的該些第一預設位置。
TW108108233A 2019-03-12 2019-03-12 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統 TWI705011B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108108233A TWI705011B (zh) 2019-03-12 2019-03-12 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統
CN201910292857.8A CN111693254B (zh) 2019-03-12 2019-04-12 车载镜头偏移检测方法与车载镜头偏移检测系统
US16/429,085 US11450028B2 (en) 2019-03-12 2019-06-03 Car lens offset detection method and car lens offset detection system based on image processing of multiple cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108108233A TWI705011B (zh) 2019-03-12 2019-03-12 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統

Publications (2)

Publication Number Publication Date
TW202033389A TW202033389A (zh) 2020-09-16
TWI705011B true TWI705011B (zh) 2020-09-21

Family

ID=72423880

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108108233A TWI705011B (zh) 2019-03-12 2019-03-12 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統

Country Status (3)

Country Link
US (1) US11450028B2 (zh)
CN (1) CN111693254B (zh)
TW (1) TWI705011B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977411B (zh) * 2022-12-01 2024-03-19 开立生物医疗科技(武汉)有限公司 内镜移动速度估计方法及装置、电子设备及存储介质
CN117036490B (zh) * 2023-10-10 2024-01-19 长沙能川信息科技有限公司 摄像机预置位偏移检测方法、装置、计算机设备与介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202573989U (zh) * 2012-01-04 2012-12-05 辉创电子股份有限公司 环车鸟瞰装置
US20170008562A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Autonomous vehicle navigation based on recognized landmarks
WO2017056484A1 (ja) * 2015-09-28 2017-04-06 京セラ株式会社 画像処理装置、ステレオカメラ装置、車両及び画像処理方法
WO2017157826A1 (en) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Method for detecting a rolling shutter effect in images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle
TW201738115A (zh) * 2016-04-28 2017-11-01 H P B Optoelectronic Co Ltd 車輛安全防護系統及其方法
TW201741759A (zh) * 2016-05-18 2017-12-01 Ulsee Inc 車輛之三維環景系統及其方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007038773A (ja) * 2005-08-02 2007-02-15 Auto Network Gijutsu Kenkyusho:Kk 車載カメラ点検装置
WO2007049266A1 (en) * 2005-10-28 2007-05-03 Hi-Key Limited A method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset
JP4803449B2 (ja) * 2006-11-17 2011-10-26 アイシン精機株式会社 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法
CN101202905A (zh) * 2006-12-11 2008-06-18 财团法人工业技术研究院 影像调整校正方法及使用所述方法的车辆安全警示系统
JP4937030B2 (ja) * 2007-07-24 2012-05-23 ルネサスエレクトロニクス株式会社 車両用画像処理装置
JP5011049B2 (ja) * 2007-09-28 2012-08-29 日立オートモティブシステムズ株式会社 画像処理システム
CN101408423B (zh) * 2007-10-09 2011-05-18 财团法人工业技术研究院 影像撷取装置角度侦测方法及其车辆碰撞警示系统
JP5112131B2 (ja) * 2008-03-25 2013-01-09 アルパイン株式会社 車両用異常検出装置
JP5173551B2 (ja) * 2008-04-23 2013-04-03 アルパイン株式会社 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法
JP4690476B2 (ja) * 2009-03-31 2011-06-01 アイシン精機株式会社 車載カメラの校正装置
JP4636346B2 (ja) * 2009-03-31 2011-02-23 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
CN101540046B (zh) * 2009-04-10 2011-07-27 凌阳电通科技股份有限公司 基于图像特征的全景图拼接方法和装置
JP5588812B2 (ja) * 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
JP5081313B2 (ja) * 2011-04-06 2012-11-28 アイシン精機株式会社 車載カメラの校正装置
CN102970460B (zh) * 2011-08-31 2015-08-26 帷享科技有限公司台中分公司 调校车用影像装置的方法及其系统
JP6019646B2 (ja) * 2012-03-21 2016-11-02 株式会社リコー 位置ずれ検出装置、車両及び位置ずれ検出方法
JP2014074632A (ja) * 2012-10-03 2014-04-24 Isuzu Motors Ltd 車載ステレオカメラの校正装置及び校正方法
JP5905846B2 (ja) * 2013-03-29 2016-04-20 株式会社日本自動車部品総合研究所 横断判定装置およびプログラム
JP6024581B2 (ja) * 2013-04-15 2016-11-16 株式会社デンソー 車両用画像処理装置
WO2015015542A1 (ja) * 2013-07-29 2015-02-05 株式会社日立製作所 車載ステレオカメラシステム及びそのキャリブレーション方法
TWI511081B (zh) * 2014-01-28 2015-12-01 Altek Semiconductor Corp 影像擷取裝置及其影像形變校正方法
CN104869384B (zh) * 2014-02-25 2017-04-12 华晶科技股份有限公司 电子装置及其校正方法
JP2016053748A (ja) * 2014-09-02 2016-04-14 株式会社デンソー 運転支援装置および運転支援方法
TWI569641B (zh) * 2014-09-05 2017-02-01 宏達國際電子股份有限公司 影像擷取方法及電子裝置
JP6471522B2 (ja) * 2015-02-10 2019-02-20 株式会社デンソー カメラパラメータ調整装置
US20160307048A1 (en) * 2015-04-17 2016-10-20 General Electric Company Simulating camera node output for parking policy management system
US20170155889A1 (en) * 2015-11-30 2017-06-01 Altek Semiconductor Corp. Image capturing device, depth information generation method and auto-calibration method thereof
WO2018008631A1 (ja) * 2016-07-06 2018-01-11 パナソニックＩｐマネジメント株式会社 電子ミラー装置
CN106449513B (zh) 2016-11-11 2023-04-21 华南理工大学 一种防过热csp荧光膜片模压装置及方法
US10504241B2 (en) * 2016-12-19 2019-12-10 Magna Electronics Inc. Vehicle camera calibration system
CN108401133A (zh) * 2017-02-07 2018-08-14 中升兴业股份有限公司 环景影像的影像缝合方法
GB2559760B (en) * 2017-02-16 2019-08-28 Jaguar Land Rover Ltd Apparatus and method for displaying information
CN107424181A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种改进的图像拼接关键帧快速提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202573989U (zh) * 2012-01-04 2012-12-05 辉创电子股份有限公司 环车鸟瞰装置
US20170008562A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Autonomous vehicle navigation based on recognized landmarks
WO2017056484A1 (ja) * 2015-09-28 2017-04-06 京セラ株式会社 画像処理装置、ステレオカメラ装置、車両及び画像処理方法
WO2017157826A1 (en) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Method for detecting a rolling shutter effect in images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle
TW201738115A (zh) * 2016-04-28 2017-11-01 H P B Optoelectronic Co Ltd 車輛安全防護系統及其方法
TW201741759A (zh) * 2016-05-18 2017-12-01 Ulsee Inc 車輛之三維環景系統及其方法

Also Published As

Publication number Publication date
CN111693254A (zh) 2020-09-22
US11450028B2 (en) 2022-09-20
US20200294268A1 (en) 2020-09-17
CN111693254B (zh) 2022-09-20
TW202033389A (zh) 2020-09-16

Similar Documents

Publication Publication Date Title
CN102219001B (zh) 外部镜模拟装置和用于外部镜模拟的方法
US11310461B2 (en) Imaging apparatus, imaging system, and display system
JP4645452B2 (ja) 車両用表示装置
EP2476588B1 (en) Vehicle surrounding monitor apparatus
CN104641405B (zh) 车辆用警报装置和车辆用车外后视镜装置
US20150138047A1 (en) Head-up display system
US20120154589A1 (en) Vehicle surrounding monitor apparatus
TWI705011B (zh) 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統
US20200039435A1 (en) Onboard camera system for eliminating a-pillar blind areas of a mobile vehicle and image processing method thereof
TWM562412U (zh) 車輛之環景偵測系統
JP2011223075A (ja) 複数カメラ画像使用車外表示装置
JP2008285105A (ja) 情報表示装置
JP2007028540A (ja) 車両外状況提示システム及び車両外状況提示方法
US10775791B2 (en) Image processing apparatus and method for vehicle
JP2019001325A (ja) 車載用撮像装置
KR101729030B1 (ko) 차량 주변의 위험요소 경고장치 및 경고방법
JP2005182305A (ja) 車両走行支援装置
KR102010407B1 (ko) 스마트 리어뷰 시스템
JP6624383B2 (ja) キャリブレーション装置及び車載カメラシステム
JP7143430B2 (ja) 車両カメラシステムをモニタリングする装置および方法
CN109429042B (zh) 一种周围视野监控系统及其盲点视野监控图像提供方法
CN105751862A (zh) 一种汽车挡风玻璃防远光灯结构及其控制方法
CN114222684A (zh) 车辆周围环境的错误鲁棒的检测
JP2019116158A (ja) 車両後方視認装置
JP6690315B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム