TW201536609A - 障礙物偵測裝置 - Google Patents
障礙物偵測裝置 Download PDFInfo
- Publication number
- TW201536609A TW201536609A TW103110206A TW103110206A TW201536609A TW 201536609 A TW201536609 A TW 201536609A TW 103110206 A TW103110206 A TW 103110206A TW 103110206 A TW103110206 A TW 103110206A TW 201536609 A TW201536609 A TW 201536609A
- Authority
- TW
- Taiwan
- Prior art keywords
- vertical
- obstacle
- module
- edge detection
- vertical edge
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Abstract
一種障礙物偵測裝置,包括儲存單元、類垂直邊緣偵測模組、交會判斷模組、位置判斷模組以及障礙物偵測模組。類垂直邊緣偵測模組接收輸入影像並對此輸入影像進行類垂直邊緣偵測程序而獲取複數個類垂直邊緣。交會判斷模組判斷這些類垂直邊緣是否與預設的虛擬地面水平線相交。若這些類垂直邊緣其中之一與虛擬地面水平線相交,位置判斷模組判斷與虛擬地面水平線相交的類垂直邊緣其中之一的一端是否位於偵測區域內。若與虛擬地面水平線相交的類垂直邊緣其中之一的一端位於偵測區域內,障礙物偵測模組判定偵測到障礙物的存在並提供警示。
Description
本發明是有關於一種障礙物偵測裝置,且特別是有關於一種基於影像處理技術的障礙物偵測裝置。
隨著汽車數量日益增長,發生道路事故的機率也逐年增加。顯然地,車輛科技除了在動力部份持續進步外,行車過程中安全性之增進亦是另一需要專注的課題。研究顯示,倘若駕駛員能在發生碰撞前得到預警,可以大幅降低道路事故發生的機率。因此,良好且準確的障礙物偵測與警示系統實為當前車用安全系統中非常重要的一個環節。
一般來說,雷達或超音波系統已普遍見於現今的車用安全系統中,但雷達或超音波系統可能會因為無法辨識環境而降低辨識率,且雷達或超音波系統的電磁波功率也可能對人體造成影響。另一方面,隨著影像處理與攝影感測技術的進步,利用影像來進行障礙物偵測的方式也越來越常見。許多影像式安全警示系統藉由辨識影像中障礙物,提醒駕駛者與其保持安全距離。然而,對於各式各樣的影像處理與分析方式而言,其各自對應的辨識準
確度或運算所需時間等系統效能表現皆有所差異。因此,如何基於影像處理方式提供一種高準確率的障礙物偵測系統實為本領域技術人員所關心的議題之一。
有鑑於此,本發明提供一種障礙物偵測裝置,可提高藉由影像偵測與辨識障礙物的準確率,以適時地提供正確的障礙物警示予駕駛人。
本發明提出一種障礙物偵測裝置,此障礙物偵測裝置包括儲存單元、類垂直邊緣偵測模組、交會判斷模組、位置判斷模組以及障礙物偵測模組。儲存單元至少儲存一張影像。類垂直邊緣偵測模組耦接儲存單元,接收輸入影像並對此輸入影像進行類垂直邊緣偵測程序而獲取複數個類垂直邊緣。交會判斷模組判斷這些類垂直邊緣是否與預設的虛擬地面水平線相交。若這些類垂直邊緣其中之一與虛擬地面水平線相交,位置判斷模組判斷與虛擬地面水平線相交的類垂直邊緣其中之一的一端是否位於偵測區域內。若與虛擬地面水平線相交的類垂直邊緣其中之一的一端位於偵測區域內,障礙物偵測模組判定偵測到障礙物的存在並提供警示。
在本發明的一實施例中,上述的類垂直邊緣偵測模組係包含第一方向邊緣偵測與第二方向邊緣偵測,以獲取複數個第一方向邊緣與複數個第二方向邊緣。類垂直邊緣偵測模組並依據這
些第一方向邊緣與這些第二方向邊緣之間的夾角關係而獲取類垂直邊緣。
在本發明的一實施例中,上述的垂直邊緣偵測模組聚合彼此靠近的多個類垂直邊緣。
在本發明的一實施例中,上述的類垂直邊緣偵測模組之第一方向邊緣偵測為水平邊緣偵測,而第二方向邊緣偵測為垂直邊緣偵測。
另一方面,本發明提出一種障礙物偵測裝置,此障礙物偵測裝置包括儲存單元、類垂直邊緣偵測模組、類垂直邊緣追蹤模組、斜率變化計算模組以及障礙物偵測模組。儲存單元至少儲存包含複數張影像的視訊串流。類垂直邊緣偵測模組耦接儲存單元,接收視訊串流之輸入影像並對輸入影像進行類垂直邊緣偵測程序而獲取複數個類垂直邊緣。類垂直邊緣追蹤模組耦接類垂直邊緣偵測模組,持續分別追蹤這些類垂直邊緣一段追蹤時間。斜率變化計算模組於追蹤時間內比較每一類垂直邊緣的斜率變化值,並判斷這些斜率變化值是否小於門檻值。若斜率變化值其中之一小於門檻值,障礙物偵測模組判定偵測到障礙物的存在並提供警示。
在本發明的一實施例中,上述的類垂直邊緣偵測模組係包含第一方向邊緣偵測與第二方向邊緣偵測,以獲取複數個第一方向邊緣與複數個第二方向邊緣。類垂直邊緣偵測模組並依據這些第一方向邊緣與這些第二方向邊緣之間的夾角關係而獲取第一
類垂直邊緣。
在本發明的一實施例中,上述的垂直邊緣偵測模組聚合彼此靠近且斜率相似的多個第一類垂直邊緣。
在本發明的一實施例中,上述的類垂直邊緣偵測模組之第一方向邊緣偵測為水平邊緣偵測,而第二方向邊緣偵測為垂直邊緣偵測。
基於上述,於本發明的一實施例中,障礙物偵測裝置對輸入影像進行類垂直邊緣偵測程序而獲取類垂直邊緣。更進一步來說,障礙物偵測裝置透過不同方向性的邊緣偵測來偵測出接近垂直線或完全垂直的邊緣。藉此,透過判斷類垂直偵測所產生的類垂直邊緣是否與地平線交會來進行障礙物偵測,可進一步提高辨識障礙物的準確度並降低誤判發生的機率,以增加駕駛人的行車安全性。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
10‧‧‧障礙物偵測系統
12‧‧‧影像擷取單元
15、100、400、700‧‧‧障礙物偵測裝置
110、410、710‧‧‧儲存單元
120、420、720‧‧‧類垂直邊緣偵測模組
130、730‧‧‧交會判斷模組
140、740‧‧‧位置判斷模組
150、450、770‧‧‧障礙物偵測模組
430、750‧‧‧類垂直邊緣追蹤模組
440、760‧‧‧斜率變化計算模組
Img1、Img2、Img3‧‧‧影像
M1‧‧‧物件
L1‧‧‧虛擬地面水平線
E1、E2、E2’、E3、E3’‧‧‧類垂直邊緣
Z1‧‧‧偵測區域
C1、C1’、C2、C2’‧‧‧單位區域
S201~S204‧‧‧本發明一實施例所述的障礙物偵測方法的各步
驟
S501~S504‧‧‧本發明另一實施例所述的障礙物偵測方法的各步驟
S801~S806‧‧‧本發明又一實施例所述的障礙物偵測方法的各步驟
圖1是依照本發明所繪示之障礙物偵測系統的示意圖。
圖2為依照本發明一實施例所繪示的障礙物偵測裝置的方塊圖。
圖3是依照本發明一實施例所繪示障礙物偵測方法的流程
圖。
圖4為依照本發明一實施例所繪示的障礙物偵測的情境示意圖。
圖5為依照本發明另一實施例所繪示的障礙物偵測裝置的方塊圖。
圖6是依照本發明另一實施例所繪示障礙物偵測方法的流程圖。
圖7A與圖7B為依照本發明一實施例所繪示的障礙物偵測的情境示意圖。
圖8為依照本發明又一實施例所繪示的障礙物偵測裝置的方塊圖。
圖9是依照本發明又一實施例所繪示障礙物偵測方法的流程圖。
圖1是依照本發明所繪示之障礙物偵測系統的示意圖。請參照圖1,障礙物偵測系統10包括影像擷取單元12以及障礙物偵測裝置15。障礙物偵測系統10適用於一車輛上,影像擷取單元12設置於車輛上,用以擷取車輛周圍的環境影像。舉例來說,影像擷取單元12可設置於車輛的前方,像是車輛擋風玻璃的上方,以擷取車輛前方的車道影像。影像擷取單元12例如是具有電荷耦合元件(Charge Coupled Device,CCD)或互補式金氧半導體
(Complementary Metal-Oxide Semiconductor,CMOS)元件的影像感測器,用以擷取車輛四周的環境影像。更具體來說,影像擷取單元12例如是具有錄影設備的行車記錄攝影機,也可以是具有攝影功能的數位照相機,但本發明並不侷限於此等實作態樣。
障礙物偵測裝置15為具有影像處理功能的電子裝置,可以被實作為電腦、車用電腦或其他車用電子裝置。障礙物偵測裝置15直接或間接連接影像擷取單元12,以接收影像擷取單元12所擷取到的影像或視訊串流。基此,障礙物偵測裝置15可依據影像擷取單元12所擷取到的影像或視訊串流來進行障礙物的偵測與警示。於本發明的實施例中,障礙物偵測裝置15根據影像中的邊緣資訊來進行障礙物的偵測。需特別說明的是,障礙物偵測裝置15將進行類垂直邊緣(Quai-vertical edge)偵測,從而偵測出影像中其邊緣方向與垂直方向接近的類垂直邊緣。
因此,基於障礙物會遮擋住駕駛人視線中的地面水平線的原理,於本發明的一實施例中,障礙物偵測裝置15藉由判斷影像中的類垂直邊緣是否通過影像上的虛擬水平線而據以得知車輛四周是否有障礙物的存在。此外,於本發明的另一實施例當中,障礙物偵測裝置15還可藉由視訊串流中類垂直邊緣的斜率變化而進一步區別障礙物輪廓與馬路上的車道線。為了進一步說明如何根據類垂直邊緣偵測所獲取的類垂直邊緣來進行障礙物偵測,以下特舉多個實施例來對本發明進行說明
圖2為依照本發明一實施例所繪示的障礙物偵測裝置的
方塊圖。請參照圖2,障礙物偵測裝置100包括儲存單元110、類垂直邊緣偵測模組120、交會判斷模組130、位置判斷模組140以及障礙物偵測模組150。儲存單元110例如是隨機存取記憶體(random access memory)、快閃記憶體(Flash)或其他的記憶體,用以儲存影像資料。類垂直邊緣偵測模組120耦接儲存單元110,以讀取或接收儲存單元所儲存的至少一張影像。
另一方面,類垂直邊緣偵測模組120、交會判斷模組130、位置判斷模組140以及障礙物偵測模組150可由軟體、硬體或其組合實作而得,在此不加以限制。軟體例如是原始碼、應用軟體、驅動程式或專門用以實現特定功能的軟體模塊或函式等。硬體例如是中央處理單元(Central Processing Unit,CPU),可程式化控制器、數位訊號處理器(Digital Signal Processor,DSP),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)等。舉例來說,類垂直邊緣偵測模組120、交會判斷模組130、位置判斷模組140以及障礙物偵測模組150例如是電腦程式或指令,其可載入障礙物偵測裝置100的處理器,從而執行障礙物偵測的功能。
圖3是依照本發明一實施例所繪示障礙物偵測方法的流程圖。請同時參照圖2與圖3,在本實施例中,障礙物偵測方法例如可利用圖2中的障礙物偵測裝置100來執行。以下搭配障礙物偵測裝置100中的各項元件來說明本實施例之障礙物偵測方法的步驟。
首先,於步驟S201,類垂直邊緣偵測模組120接收輸入影像並對此輸入影像進行類垂直邊緣偵測程序而獲取複數個類垂直邊緣。進一步來說,類垂直邊緣偵測用以偵測出影像中邊緣方向與垂直方向相近或相同的邊緣,其中上述垂直方向與地平線方向垂直。具體來說,於本發明的實施例中,類垂直邊緣的邊緣方向與垂直方向之間的夾角會小於一個角度值,而此角度值可視實際應用狀況而定,本發明對此並不限制。
進一步來說,於一實施例中,類垂直邊緣偵測模組120例如係包含第一方向邊緣偵測與第二方向邊緣偵測,以獲取複數個第一方向邊緣與複數個第二方向邊緣。類垂直邊緣偵測模組並依據這些第一方向邊緣與這些第二方向邊緣之間的夾角關係而獲取類垂直邊緣。需說明的是,由於第一方向邊緣偵測與第二方向邊緣偵測各自對應的方向並不相同但為已知的參數,因此類垂直邊緣偵測模組120可基於第一方向邊緣與第二方向邊緣之間的夾角關係而分析出影像中每一邊緣的方向性,並進一步藉由影像中的邊緣方向而獲得類垂直邊緣。換言之,於執行邊緣偵測程序時,類垂直邊緣偵測模組120可利用不同的遮罩來進行不同方向性的邊緣偵測。然,本發明並不特別限制第一方向邊緣偵測與第二方向邊緣偵測各自對應的方向,可視實際應用狀況與需求而定。
舉例來說,第一方向邊緣偵測可為水平邊緣偵測,而第二方向邊緣偵測可為垂直邊緣偵測。因此,於一實施例中,類垂直邊緣偵測模組120可利用不同方向性的索貝爾(Sobel)遮罩計
算出水平方向的邊緣值與垂直方向的邊緣值。於是,類垂直邊緣偵測模組120不僅可透過水平方向的邊緣值與垂直方向的邊緣值而偵測出影像中的邊緣,還可利用水平方向的邊緣值與垂直方向的邊緣值的比例分析出邊緣的方向性。類垂直邊緣偵測模組120可藉由邊緣的方向性而偵測出影像中的類垂直邊緣。但本發明並不限於上述實施態樣,可偵測出邊緣方向性的演算法皆適用於本發明。舉例來說,類垂直邊緣偵測模組120也可利用Prewitt遮罩進行本實施例之類垂直邊緣偵測。
之後,於步驟S202,交會判斷模組130判斷這些類垂直邊緣是否與預設的虛擬地面水平線相交。虛擬地面水平線係為影像中預設的一條基準線,虛擬地面水平線於影像中的位置可視實際應用情形而設定之。除了直接判斷類垂直邊緣是否通過虛擬地面水平線之外,交會判斷模組130例如係以虛擬地面水平線為基準線而定義出包括虛擬地面水平線的一影像區間。舉例來說,與虛擬地面水平線上下距離十個像素之內的區域可作為用來偵測類垂直邊緣是否與虛擬地面水平線相交的影像區間。倘若類垂直邊緣的部份位於此影像區間內,交會判斷模組130可據以判定此類垂直邊緣與虛擬地面水平線相交。
需說明的是,在交會判斷模組130判定類垂直邊緣是否與虛擬地面水平線相交之前,垂直邊緣偵測模組120還可聚合(grouping)彼此靠近的多個類垂直邊緣。具體來說,垂直邊緣偵測模組120可依據這些類垂直邊緣的位置而得知一類垂直邊緣是
否與另一類垂直邊緣彼此靠近,並聚合彼此靠近的多個第一類垂直邊緣。簡單來說,同一障礙物的類垂直邊緣可透過此步驟整合或合併,因而降低交會判斷模組130判斷類垂直邊緣是否與虛擬地面水平線相交的計算量。
若這些第一類垂直邊緣其中之一與虛擬地面水平線相交,於步驟S203,位置判斷模組140判斷與虛擬地面水平線相交的類垂直邊緣其中之一的一端是否位於偵測區域內。進一步來說,位置判斷模組140可依據類垂直邊緣的位置資訊而判斷出這些與虛擬地面水平線相交的類垂直邊緣其中之一的一端是否位於偵測區域內,此舉可進一步分辨出虛擬地面水平線相交的類垂直邊緣所關聯的物件是否為阻擋行車的障礙物。具體來說,位置判斷模組140可藉由步驟S203的判斷而進一步辨識出與車輛之間的距離夠接近的障礙物。由於與車輛距離太遙遠的物體並不會阻礙車輛的行進,因此位置判斷模組140可排除與車輛距離太遙遠的物體係為障礙物的可能性。也就是說,基於遠方物體於影像中的邊緣並不會落在本實施例所述的偵測區域內,障礙物偵測裝置100可藉由判斷類垂直邊緣的一端是否位於偵測區域內而分辨出障礙物與遠方的物體。
於是,若與虛擬地面水平線相交的第一類垂直邊緣其中之一的一端位於偵測區域內,於步驟S204,障礙物偵測模組150判定偵測到障礙物的存在並提供警示。障礙物偵測模組150提供的警示例如提示文字、聲響與燈光之其一或其組合,但並不限制
於此。障礙物偵測模組150可隨實際應用需求來改變提示警示的呈現方式。
圖4為依照本發明一實施例所繪示的障礙物偵測的情境示意圖。請參照圖4,假設影像Img1係為車輛上的影像擷取單元所拍攝的車前影像,且影像Img1中具有物件M1。首先,障礙物偵測裝置對影像Img1進行類垂直邊緣偵測程序。於圖4所示的範例中,障礙物偵測裝置至少可偵測到類垂直邊緣E1,並判定類垂直邊緣E1與虛擬地面水平線L1相交。如圖4所示,類垂直邊緣E1係為與垂直方向角度接近的邊緣。此外,障礙物偵測裝置也判定類垂直邊緣E1的一端落在偵測區域Z1內。基此,由於類垂直邊緣E1與虛擬地面水平線L1相交且其一端落在偵測區域Z1內,因此障礙物偵測裝置將判定車輛附近具有障礙物並提供警示與駕駛人。
圖5為依照本發明另一實施例所繪示的障礙物偵測裝置的方塊圖。請參照圖5,障礙物偵測裝置400包括儲存單元410、類垂直邊緣偵測模組420、類垂直邊緣追蹤模組430、斜率變化計算模組440以及障礙物偵測模組450。儲存單元410與前述實施例之儲存單元110相似或相同,與此不再贅述。
另一方面,於本實施例中,類垂直邊緣偵測模組410耦接儲存單元410,以接收訊串流中的多張影像。類垂直邊緣追蹤模組430耦接類垂直邊緣偵測模組410,以對多張影像上的邊緣進行追蹤。類垂直邊緣偵測模組420、類垂直邊緣追蹤模組430、斜率
變化計算模組440以及障礙物偵測模組450可由軟體、硬體或其組合實作而得,在此不加以限制。
軟體例如是原始碼、應用軟體、驅動程式或專門用以實現特定功能的軟體模塊或函式等。硬體例如是中央處理單元(Central Processing Unit,CPU),可程式化控制器、數位訊號處理器(Digital Signal Processor,DSP),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)等。舉例來說,類垂直邊緣偵測模組420、類垂直邊緣追蹤模組430、斜率變化計算模組440以及障礙物偵測模組450例如是電腦程式或指令,其可載入障礙物偵測裝置400的處理器,從而執行障礙物偵測的功能。
圖6是依照本發明另一實施例所繪示障礙物偵測方法的流程圖。請同時參照圖5與圖6,在本實施例中,障礙物偵測方法例如可利用圖5中的障礙物偵測裝置400來執行。以下搭配障礙物偵測裝置400中的各項元件來說明本實施例之障礙物偵測方法的步驟。
首先,於步驟S501,類垂直邊緣偵測模組420接收視訊串流之輸入影像並對輸入影像進行類垂直邊緣偵測程序而獲取複數個類垂直邊緣。簡單來說,類垂直邊緣偵測模組420從儲存單元410獲取視訊串流,而此視訊串流係由拍攝時間連續的多張影像所構成。類垂直邊緣偵測模組420對這些視訊串流所包括的影像進行類垂直邊緣偵測,從而獲取各影像上的複數個類垂直邊緣。其中,類垂直邊緣偵測模組420執行類垂直邊緣偵測的詳細
實施方式與前述實施例之類垂直邊緣偵測模組120相似,與此不再贅述。於一實施例中,類垂直邊緣偵測模組420可針對各影像進行類垂直邊緣偵測而獲取各影像所對應的類垂直邊緣影像,而各類垂直影像包括了複數個類垂直邊緣。
接著,於步驟S502,類垂直邊緣追蹤模組430持續分別追蹤這些類垂直邊緣一段追蹤時間。於步驟S503,斜率變化計算模組440於追蹤時間內比較每一類垂直邊緣的斜率變化值,並判斷這些斜率變化值是否小於門檻值。進一步來說,為了對不同影像上相互對應的類垂直邊緣進行比較,類垂直邊緣追蹤模組430持續分別追蹤這些類垂直邊緣一段追蹤時間。另一方面,斜率變化計算模組440將比較不同影像上相互對應的類垂直邊緣各自的斜率,並判斷斜率變化值是否小於門檻值。
於一實施例當中,類垂直邊緣追蹤模組430以及斜率變化計算模組440可利用梯度角度直方圖(Histogram of Oriented Gradient,HOG)來追蹤這些類垂直邊緣以及比較相互對應之類垂直邊緣的斜率。詳細來說,類垂直邊緣影像可被區分成多個單位區域(cell),透過統計各像素點的特徵值可建立各單位區域的梯度角度直方圖。基此,藉由比較各單位區域的梯度角度直方圖,類垂直邊緣追蹤模組430可獲取不同影像上代表相同景物的單位區域,以獲取不同影像上相互對應的單位區域,從而達到追蹤類垂直邊緣的目的。
斜率變化計算模組440例如可藉由比較梯度角度直方圖
的統計結果來判斷斜率變化值是否小於門檻值。進一步來說,透過梯度角度直方圖的統計,斜率變化計算模組440可得知每個梯度角度直方圖中最高統計槽(most significant bin)所對應的角度值。基此,藉由比對相互對應之單位區域的最高統計槽所對應的角度值,斜率變化計算模組440可據以得知各類垂直邊緣的斜率變化。
需說明的是,對於道路上的車道線而言,車道線的邊緣會隨著車輛的轉向而改變方向。相反地,障礙物的邊緣並不會隨因為車輛轉向而改變方向,因此障礙物偵測裝置可透過於一追蹤時間內分析與比對類垂直邊緣的斜率變化值而判定是否偵測到障礙物。換言之,藉由類垂直邊緣的斜率變化值,障礙物偵測裝置可據以分辨出影像中的立體物件與平面物件,其中平面物件上尚不足以阻礙車輛行進。藉此,若斜率變化值其中之一小於門檻值,於步驟S504,障礙物偵測模組450判定偵測到障礙物的存在並提供警示。
圖7A與圖7B為依照本發明一實施例所繪示的障礙物偵測的情境示意圖。請同時參照圖7A與圖7B,假設車輛上的影像擷取單元所擷取的視訊串流包括影像Img2與影像Img3,且此車輛於轉向的狀態下獲得影像Img2與影像Img3。換言之,影像Img2與影像Img3為車輛上的影像擷取單元於不同時間所擷取的車前影像,且影像Img2的擷取時間早於影像Img3的擷取時間。再者,從影像Img2與影像Img3中的景物可知,假設車輛正處於向右轉
的狀態下。
首先,障礙物偵測裝置分別對影像Img2與影像Img3進行類垂直邊緣偵測程序。於圖7A與圖7B所示的範例中,障礙物偵測裝置至少可偵測到影像Img2的類垂直邊緣E2與類垂直邊緣E3,且障礙物偵測裝置至少可偵測到影像Img3的類垂直邊緣E2’與類垂直邊緣E3’。再者,基於HOG的計算,障礙物偵測裝置可得知影像Img2的單位區域C1與影像Img3的單位區域C1’係為相互對應的關係,並可得知影像Img2的單位區域C2與影像Img3的單位區域C2’係為相互對應的關係。
於是,藉由比對單位區域C1的梯度方向直方圖與單位區域C1’的梯度方向直方圖,障礙物偵測裝置可得知類垂直邊緣E3與類垂直邊緣E3’之間的斜率變化值是否大於門檻值。同樣的,藉由比對單位區域C2的梯度方向直方圖與單位區域C2’的梯度方向直方圖,障礙物偵測裝置可得知類垂直邊緣E2與類垂直邊緣E2’之間的斜率變化值是否大於門檻值。
於本範例中,類垂直邊緣E3與類垂直邊緣E3’為關聯於前方障礙物的邊緣,類垂直邊緣E2與類垂直邊緣E2’為關聯於車道線的邊緣。如圖7A與7B所示,當車輛轉向時,類垂直邊緣E3與類垂直邊緣E3’之間的斜率變化並不大。相反地,當車輛轉向時,類垂直邊緣E2與類垂直邊緣E2’之間的斜率變化非常明顯。基此,障礙物偵測裝置僅將類垂直邊緣E3與類垂直邊緣E3’視為對應至障礙物的邊緣。也就是說,障礙物偵測裝置可藉
由於追蹤時間內比較每一類垂直邊緣的斜率變化值,來判斷是否偵測到障礙物。
圖8為依照本發明又一實施例所繪示的障礙物偵測裝置的方塊圖。請參照圖8,障礙物偵測裝置700包括儲存單元710、類垂直邊緣偵測模組720、交會判斷模組730、位置判斷模組740、類垂直邊緣追蹤模組750、斜率變化計算模組760以及障礙物偵測模組770。上述各項元件與圖2以及圖5所示之實施例相同或相似,本領域具通常知識者可參照圖2與圖5的相關說明而類推之,於此不再贅述。
圖9是依照本發明又一實施例所繪示障礙物偵測方法的流程圖。請同時參照圖8與圖9,在本實施例中,障礙物偵測方法例如可利用圖8中的障礙物偵測裝置700來執行。此外,於本實施例中,障礙物偵測裝置可同時透過單張影像與視訊串流中的多張影像來進行障礙物偵測,因而提高障礙物偵測的準確度。以下搭配障礙物偵測裝置700中的各項元件來說明本實施例之障礙物偵測方法的步驟。
於步驟S801,類垂直邊緣偵測模組720接收視訊串流的輸入影像並對輸入影像進行類垂直邊緣偵測程序而獲取複數個類垂直邊緣。於步驟S802,交會判斷模組730判斷這些類垂直邊緣是否與預設的虛擬地面水平線相交。若步驟S802判斷為否,於步驟S803,類垂直邊緣追蹤模組750持續分別追蹤這些類垂直邊緣一段追蹤時間。
之後,於步驟S805,斜率變化計算模組760於追蹤時間內比較每一類垂直邊緣的斜率變化值,並判斷這些斜率變化值是否小於門檻值。若步驟S805判斷為是或步驟S802判斷為是,於步驟S804,位置判斷模組740判斷與虛擬地面水平線相交的類垂直邊緣其中之一的一端是否位於偵測區域內,以及判斷對應至斜率變化值小於門檻值的類垂直邊緣其中之一的一端是否位於偵測區域內。若步驟S804判斷為是,於步驟S806,障礙物偵測模組770判定偵測到障礙物的存在並提供警示。上述步驟S801~步驟S806的詳細內容可以參照圖1至圖7的相關說明而類推之,於此不再贅述。
綜上所述,本發明一實施例中的障礙物偵測裝置藉由影像處理的方式來進行障礙物偵測。障礙物偵測裝置透過不同方向性的邊緣偵測來偵測出接近垂直線但非完全垂直的邊緣,並利用這些類垂直邊緣所產生的資訊來判斷是否有障礙物的存在。基此,藉由類垂直邊緣的偵測,可避免因過於複雜的邊緣資訊或特定的邊緣特徵所造成的誤判,從而提高辨識障礙物的準確度。除此之外,於利用類垂直邊緣偵測障礙物的過程中,本發明還可藉由單攝影裝置所產生的視訊串流辨識出影像中的立體物件與平面物件,相較於多攝影裝置的立體視覺技術,本發明可節省大量的成本與降低運算量。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的
精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S801~S806‧‧‧障礙物偵測方法的各步驟
Claims (8)
- 一種障礙物偵測裝置,包括:一儲存單元,至少儲存一張影像;一類垂直邊緣偵測模組,耦接該儲存單元,接收一輸入影像,對該輸入影像進行一類垂直邊緣偵測程序而獲取複數個類垂直邊緣;一交會判斷模組,判斷該些類垂直邊緣是否與預設之一虛擬地面水平線相交;一位置判斷模組,若該些類垂直邊緣其中之一與該虛擬地面水平線相交,該位置判斷模組判斷與該虛擬地面水平線相交的該些類垂直邊緣其中之一的一端是否位於一偵測區域內;以及一障礙物偵測模組,若與該虛擬地面水平線相交的該些類垂直邊緣其中之一的一端位於該偵測區域內,該障礙物偵測模組判定偵測到一障礙物的存在並提供一警示。
- 如申請專利範圍第1項所述的障礙物偵測裝置,其中該類垂直邊緣偵測模組係包含一第一方向邊緣偵測與一第二方向邊緣偵測,以獲取複數個第一方向邊緣與複數個第二方向邊緣,並依據該些第一方向邊緣與該些第二方向邊緣之間的夾角關係而獲取該些類垂直邊緣。
- 如申請專利範圍第1項所述的障礙物偵測裝置,其中該垂直邊緣偵測模組聚合彼此靠近的該些類垂直邊緣。
- 如申請專利範圍第2項所述的障礙物偵測裝置,其中該類 垂直邊緣偵測模組之第一方向邊緣偵測為水平邊緣偵測,第二方向邊緣偵測為垂直邊緣偵測。
- 一種障礙物偵測裝置,包括:一儲存單元,至少儲存包含複數張影像之一視訊串流;一類垂直邊緣偵測模組,耦接該儲存單元,接收該視訊串流之輸入影像,對該輸入影像進行一類垂直邊緣偵測程序而獲取複數個類垂直邊緣;一類垂直邊緣追蹤模組,耦接該類垂直邊緣偵測模組,持續分別追蹤該些類垂直邊緣一段追蹤時間;一斜率變化計算模組,於該追蹤時間內比較每一該些類垂直邊緣的斜率變化值,並判斷該些斜率變化值是否小於一門檻值;以及一障礙物偵測模組,若該些斜率變化值其中之一小於該門檻值,該障礙物偵測模組判定偵測到一障礙物的存在並提供一警示。
- 如申請專利範圍第5項所述的障礙物偵測裝置,其中該類垂直邊緣偵測模組係包含一第一方向邊緣偵測與一第二方向邊緣偵測,以獲取複數個第一方向邊緣與複數個第二方向邊緣,並依據該些第一方向邊緣與該第二方向邊緣之間的夾角關係而獲取該些第一類垂直邊緣。
- 如申請專利範圍第5項所述的障礙物偵測裝置,其中該類垂直邊緣偵測模組聚合彼此靠近且斜率相似的該些第一類垂直邊緣。
- 如申請專利範圍第6項所述的障礙物偵測裝置,其中該類垂直邊緣偵測模組之該第一方向邊緣偵測為水平邊緣偵測,該第二方向邊緣偵測為垂直邊緣偵測。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103110206A TWI561418B (en) | 2014-03-19 | 2014-03-19 | Obstacle detection device |
US14/262,800 US9245342B2 (en) | 2014-03-19 | 2014-04-27 | Obstacle detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103110206A TWI561418B (en) | 2014-03-19 | 2014-03-19 | Obstacle detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201536609A true TW201536609A (zh) | 2015-10-01 |
TWI561418B TWI561418B (en) | 2016-12-11 |
Family
ID=54142608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103110206A TWI561418B (en) | 2014-03-19 | 2014-03-19 | Obstacle detection device |
Country Status (2)
Country | Link |
---|---|
US (1) | US9245342B2 (zh) |
TW (1) | TWI561418B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3309707A1 (en) * | 2016-10-13 | 2018-04-18 | Conti Temic microelectronic GmbH | Device and method for gradient-based object recognition of an input image |
GB2556911A (en) * | 2016-11-25 | 2018-06-13 | Continental Automotive Gmbh | Object recognition system and object recognition method |
DE102017217008A1 (de) * | 2017-09-26 | 2019-03-28 | Robert Bosch Gmbh | Verfahren zum Ermitteln der Steigung einer Fahrbahn |
CN115240471B (zh) * | 2022-08-09 | 2024-03-01 | 东揽(南京)智能科技有限公司 | 一种基于图像采集的智慧厂区避撞预警方法和系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4544028B2 (ja) * | 2005-05-13 | 2010-09-15 | 日産自動車株式会社 | 車載画像処理装置、および画像処理方法 |
JP4410292B1 (ja) * | 2008-10-20 | 2010-02-03 | 本田技研工業株式会社 | 車両の周辺監視装置 |
CN101436300B (zh) | 2008-12-10 | 2012-10-31 | 东软集团股份有限公司 | 障碍物分割方法及装置 |
TW201029867A (en) * | 2009-02-09 | 2010-08-16 | Whetron Electronics Co Ltd | Vehicle image surveillance system and method thereof |
TW201031538A (en) * | 2009-02-23 | 2010-09-01 | Whetron Electronics Co Ltd | Bird's-eye view image parking assistant device capable of detecting and labeling obstacle and method thereof |
US9280711B2 (en) | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
TWI417207B (zh) * | 2010-12-28 | 2013-12-01 | Automotive Res & Testing Ct | Image - based obstacle detection reversing warning system and method |
TWM433988U (en) * | 2011-08-02 | 2012-07-21 | Chin-Teng Lin | Obstacle detection device for vehicle |
-
2014
- 2014-03-19 TW TW103110206A patent/TWI561418B/zh active
- 2014-04-27 US US14/262,800 patent/US9245342B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20150269732A1 (en) | 2015-09-24 |
TWI561418B (en) | 2016-12-11 |
US9245342B2 (en) | 2016-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11093801B2 (en) | Object detection device and object detection method | |
JP6416293B2 (ja) | 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車 | |
US10719699B2 (en) | Pedestrian detection method and system in vehicle | |
WO2016129403A1 (ja) | 物体検知装置 | |
JP6453490B2 (ja) | 路面反射を認識し評価するための方法及び装置 | |
US11288833B2 (en) | Distance estimation apparatus and operating method thereof | |
US9165197B2 (en) | Vehicle surroundings monitoring apparatus | |
CN109766867B (zh) | 车辆运行状态确定方法、装置、计算机设备和存储介质 | |
CN102792314A (zh) | 交叉通行碰撞警报系统 | |
Kowsari et al. | Real-time vehicle detection and tracking using stereo vision and multi-view AdaBoost | |
US10748014B2 (en) | Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium | |
JP6038422B1 (ja) | 車両判定装置、車両判定方法及び車両判定プログラム | |
US10672141B2 (en) | Device, method, system and computer-readable medium for determining collision target object rejection | |
CN107787496B (zh) | 消失点修正装置及方法 | |
US8160300B2 (en) | Pedestrian detecting apparatus | |
US20220055618A1 (en) | Apparatus, method, and computer program for object detection | |
US9508000B2 (en) | Object recognition apparatus | |
CN113297881A (zh) | 一种目标检测方法及相关装置 | |
US9824449B2 (en) | Object recognition and pedestrian alert apparatus for a vehicle | |
TW201536609A (zh) | 障礙物偵測裝置 | |
CN107255470B (zh) | 障碍物检测装置 | |
US11816902B2 (en) | Vehicle external environment recognition apparatus | |
JP7064400B2 (ja) | 物体検知装置 | |
CN113128264A (zh) | 一种车辆区域确定方法、装置及电子设备 | |
US11010625B2 (en) | Vehicle exterior environment recognition apparatus and method of recognizing exterior environment outside vehicle |