TWI468647B - 障礙物偵測系統及其障礙物偵測方法 - Google Patents

障礙物偵測系統及其障礙物偵測方法 Download PDF

Info

Publication number
TWI468647B
TWI468647B TW100137072A TW100137072A TWI468647B TW I468647 B TWI468647 B TW I468647B TW 100137072 A TW100137072 A TW 100137072A TW 100137072 A TW100137072 A TW 100137072A TW I468647 B TWI468647 B TW I468647B
Authority
TW
Taiwan
Prior art keywords
obstacle
image
module
area
distance
Prior art date
Application number
TW100137072A
Other languages
English (en)
Other versions
TW201315968A (zh
Inventor
Chih Huan Wu
Chung Fang Chien
Original Assignee
Altek Autotronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Autotronics Corp filed Critical Altek Autotronics Corp
Priority to TW100137072A priority Critical patent/TWI468647B/zh
Priority to US13/348,148 priority patent/US20130093887A1/en
Publication of TW201315968A publication Critical patent/TW201315968A/zh
Application granted granted Critical
Publication of TWI468647B publication Critical patent/TWI468647B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9317—Driving backwards
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Description

障礙物偵測系統及其障礙物偵測方法
本發明是有關於一種障礙物偵測系統及其障礙物偵測方法，特別是有關於一種結合雷達、聲納及影像技術，可對車輛之周遭環境進行障礙物偵測及影像攝影，並於影像中標示出障礙物之位置及距離之障礙物偵測系統及其障礙物偵測方法。
在科技越來越發達的今天，倒車雷達幾乎已成為汽車之基本配備，一般倒車雷達係於車尾處裝設超音波感測器，於排入倒退檔時即啟動超音波感測器發射超音波信號，當超音波信號遇到障礙物時，係折返而由該超音波感測器接收，再利用一設於車內之聲音警示器提示傳達障礙物訊息予駕駛人，藉此輔助駕駛人可順利完成停車之過程。
目前市面上有一種較佳的倒車雷達，係更進一步利用一攝影機拍攝後方影像，再由一顯示器呈現後方影像供駕駛人觀看，令駕駛人除可經由聲音提示瞭解車後障礙物訊息，更可藉由觀看顯示器所呈現之影像，更加瞭解車後之障礙物位置；甚至更有利用計算超音波折返之時間，求得障礙物與車尾之距離，並於顯示器上以數字呈現該距離，希望可提供駕駛人最完備之資訊。
惟使用上述倒車雷達裝置時，仍無法具體得知車尾與障礙物在空間上之相對位置關係，雖然顯示器上已呈現表示距離的數字資訊，但對駕駛人而言這僅是一數字呈現，必須要將數字概念再次轉換為實際的距離概念，故無法由畫面上直接獲得代表障礙物距離的圖像式概念。因此，若要提供駕駛人更多更完善之倒車資訊，以減少駕駛人倒車時發生碰撞之機會，仍有待謀求一較佳之方案。
有鑑於上述習知技藝之問題，本發明之其中一目的就是在提供一種障礙物偵測系統及其障礙物偵測方法，以解決習知技術無法進階提供駕駛人於行車時，車輛與障礙物間更詳盡之資訊之問題。
根據本發明之目的，提出一種障礙物偵測系統，適用於一行動載具，障礙物偵測系統包含一物件偵測模組、一攝像模組、一計算模組及一物件搜尋模組。物件偵測模組係偵測外在環境一範圍內之至少一障礙物所在之一距離及一方向。攝像模組係對該範圍擷取一攝像影像，攝像影像中包含有對應於障礙物之影像。計算模組係根據所偵測到之障礙物之距離及方向，計算出障礙物於攝像影像中所在之一第一區域。物件搜尋模組係對第一區域執行一第一影像處理，以搜尋障礙物之位置並取得障礙物之影像。
較佳地，物件搜尋模組取得障礙物之影像時，計算模組係計算障礙物所在位置之一距離值。
較佳地，計算模組更根據行動載具之一行駛資訊計算距離值。
較佳地，物件搜尋模組取得障礙物之影像時，係對障礙物之影像 進行一標記。
較佳地，物件偵測模組係為一聲納偵測裝置或一雷達偵測裝置。
較佳地，若物件搜尋模組無法於第一區域中搜尋出障礙物之位置，計算模組則根據距離及方向重新計算一第二區域，並由物件搜尋模組於第二區域進行搜尋，其中第二區域係大於第一區域。
較佳地，計算模組係根據障礙物位於地面或非地面之預設條件，以分別計算出第一區域或第二區域。
較佳地，攝像影像係為包含複數張影像之一連續影像，而物件搜尋模組係利用複數張影像於第二區域執行一第二影像處理，以搜尋障礙物之位置並取得障礙物之影像。
根據本發明之目的，又提出一種障礙物偵測系統，適用於一行動載具，障礙物偵測系統包含一物件偵測模組、一攝像模組、一處理模組及一顯示模組。物件偵測模組係偵測外在環境一範圍內之至少一障礙物所在之一距離及一方向。攝像模組係對該範圍擷取一攝像影像，攝像影像中包含有對應於障礙物之影像。處理模組係根據所偵測到之障礙物之距離及方向，計算出障礙物於攝像影像中所在之一第一區域，並對第一區域執行一第一影像處理，以於該第一區域中搜尋障礙物之位置並取得障礙物之影像，進而計算出障礙物所在位置之一更精確距離值，且對攝像影像中障疑物之影像做一標記；若於第一區域中無法搜尋出障礙物之位置，處理模組則根據距離及方向重新計算一第二區域，並對第二區域執行一第二影像處理，以於第二區域中搜尋障礙物之位置。顯示模組係顯示具有標記之攝像影像，並顯示障礙物所在位置之距離值 。
根據本發明之目的，再提出一種障礙物偵測方法，適用於一行動載具，障礙物偵測方法包含下列步驟：利用一物件偵測模組偵測外在環境一範圍內之至少一障礙物所在之一距離及一方向；藉由一攝像模組對該範圍擷取一攝像影像，攝像影像中包含有對應於障礙物之影像；利用一計算模組根據所偵測到之障礙物之距離及方向，計算出障礙物於攝像影像中所在之一第一區域；經由物件搜尋模組對第一區域執行一第一影像處理，以搜尋障礙物之位置並取得障礙物之影像。
承上所述，本發明之障礙物偵測系統及其障礙物偵測方法，係結合雷達或聲納偵測技術及影像擷取技術，使得車輛於行駛中，可對於週遭環境進行障礙物之偵測，並於影像中以框選或顏色等各種形式對障礙物之物件進行標示，並可顯示車輛與障礙物之距離圖式及距離數值。基於障礙物偵測系統所提供較詳盡之行車資訊，可讓駕駛者清楚地了解週遭環境之變化，進而大幅提升行車時之安全性及便利性。
1、100‧‧‧障礙物偵測系統
11、101‧‧‧物件偵測模組
12、102‧‧‧攝像模組
13‧‧‧計算模組
14‧‧‧物件搜尋模組
103‧‧‧處理模組
104‧‧‧顯示模組
2、200‧‧‧行動載具
21、201‧‧‧行駛資訊
3、300‧‧‧範圍
4、400、700‧‧‧障礙物
41、401‧‧‧距離
42、402‧‧‧方向
5、500‧‧‧攝像影像
51、501、R1‧‧‧第一區域
52、502、R2‧‧‧第二區域
503‧‧‧距離值
504‧‧‧標記
600‧‧‧車輛
S31~S34、S91~S98‧‧‧步驟
D‧‧‧距離
A‧‧‧方向
第1圖係為本發明之障礙物偵測系統之第一實施例之示意圖。
第2圖係為本發明之障礙物偵測系統之第二實施例之示意圖。
第3圖係為本發明之障礙物偵測方法之流程圖。
第4圖係為本發明之障礙物偵測系統及其方法之第三實施例之第一示意圖。
第5圖係為本發明之障礙物偵測系統及其方法之第三實施例之第二示意圖。
第6圖係為本發明之障礙物偵測系統及其方法之第三實施例之第三示意圖。
第7圖係為本發明之障礙物偵測系統及其方法之第三實施例之第四示意圖。
第8圖係為本發明之障礙物偵測系統及其方法之第三實施例之第五示意圖。
第9圖係為本發明之障礙物偵測系統及其方法之第三實施例之流程圖。
以下將參照相關圖式，說明依本發明之障礙物偵測系統及其障礙物偵測方法之實施例，為使便於理解，下述實施例中之相同元件係以相同之符號標示來說明。
本發明之障礙物偵測系統及其障礙物偵測方法，其主要可裝設於一行動載具中，該行動載具可為任一型號或款式之車輛，或為其餘可用以乘載使用者之交通工具，以下所述之各實施例，所舉例者主要係將行動載具視為一車輛，但不以此為限。
請參閱第1圖，其係為本發明之障礙物偵測系統之第一實施例之示意圖。圖中，障礙物偵測系統1係適用於一行動載具2，其可裝設於行動載具2之前方或後方，但不以為限。障礙物偵測系統1包含有一物件偵測模組11、一攝像模組12、一計算模組13及一物件搜尋模組14，計算模組13係分別與物件偵測模組11、攝像模組12及物件搜尋模組14電性連接。物件偵測模組11可為雷達偵測裝置或為聲納偵測裝置，若為雷達偵測裝置可為紅外線雷達偵測、超音波雷達偵測等等，其僅為一舉例，不以此為限。攝像模組12可 為任一款式或型號之攝影機。其中，此障礙物偵測系統1又可包含一儲存模組(圖未示)，可用以儲存攝像模組12所擷取下來之影像，或經由計算模組13及物件搜尋模組14處理後之資料。
於此實施例中，物件偵測模組11可以水平方向左右移動或是上下移動進行偵測動作，用以偵測行動載具2之週遭外在環境一範圍3是否具有障礙物4，若是，物件偵測模組11則可對障礙物4進行距離41及方向42之偵測，並將偵測到之距離41及方向42之資訊傳至計算模組13。攝像模組12則可用以對此範圍3進行攝影以取得一攝像影像5，其包含有一對應於障礙物4之影像，其中，此攝影影像5可為包含複數張影像之一連續影像。攝像模組12可將擷取到之攝像影像5傳送至計算模組13，以進行後續之處理動作。接著，計算模組13可根據所偵測到之障礙物4之距離41及方向42，計算出障礙物4於攝像影像5中可能出現位置之第一區域51。其中，計算模組13主要係先判別障礙物係位於地面上或非地面上，再開始計算進行第一區域51之計算。當第一區域51計算出來之後，物件搜尋模組14則開始對第一區域51執行一第一影像處理動作，以於第一區域51中搜尋出障礙物4之位置並取得障礙物4之影像，再對障礙物4之影像進行一標記動作，其標記可以記號、顏色或框選等方式進行。當物件搜尋模組14取得障礙物4之影像時，計算模組13可用以計算出障礙物4與行動載具2間實際之距離值，並將此距離值於攝像影像5中顯示出來，其顯示方式可以數字、圖形之方式顯現。
上述中，若物件搜尋模組14於第一區域51中，無法搜尋出障礙物4之影像時，計算模組13則將再次根據所偵測之障礙物4之距離41 及方向42重新進行計算出一第二區域52，物件搜尋模組14則將對第二區域執行一第二影像處理，以於第二區域52中搜尋障礙物4，第二區域52係大於第一區域51，以此來擴大搜尋之區域範圍。
上述中，計算模組13在計算障礙物4與行動載具2間之距離值時，更會根據行動載具2之一行駛資訊21進行計算。此行駛資訊21包含了行駛之速度、方向盤之舵角等等，以更精確地計算出障礙物4與行動載具2間之距離值。於此實施例中，物件偵測模組11與攝像模組12分別所進行之偵測動作及攝影動作，其動作順序僅為一實施態樣，物件偵測模組11與攝像模組12亦可同時進行偵測及攝影動作，或是攝像模組12先進行攝影動作再由偵測模組11進行偵測，應不以此實施例所舉列而有所限制者。
上述之計算模組13及物件搜尋模組14可以一處理晶片執行軟體的方式來實現。而第一影像處理與第二影像處理可分別以不同影像處理演算法來實現。
請參閱第2圖，其係為本發明之障礙物偵測系統之第二實施例之示意圖。圖中，障礙物偵測系統100係將設於一行動載具200中，障礙物偵測系統100包含一物件偵測模組101、一攝像模組102、一處理模組103及一顯示模組104。處理模組103係與物件偵測模組101、攝像模組102及顯示模組104電性連接。
於此實施例中，物件偵測模組101可用以偵測行動載具200於行駛時之週遭外在環境，若偵測到外在環境一範圍300內具有障礙物400時，物件偵測模組101可將對障礙物400所偵測之距離401及方向402之資訊傳至處理模組103。同時，攝像模組102可對該範圍 300進行攝像影像500之擷取動作，攝像影像500中包含有對應於障礙物400之影像，而攝像模組102所擷取到之攝像影像500亦將傳送至處理模組103中。處理模組103則可根據所偵測到障礙物400之距離401及方向402，計算出障礙物400於攝像影像500中可能所在之第一區域501，再對第一區域501執行一第一影像處理，以於第一區域501中搜尋出障礙物400之位置並取得障礙物400之影像。若處理模組103無法於第一區域501中搜尋到障礙物400，處理模組103則根據距離401及方向402重新計算一第二區域502，並對第二區域502執行一第二影像處理，以於該第二區域502中搜尋障礙物400之位置並取得障礙物400之影像。若於第一區域501或第二區域502中取得障礙物400之影像時，處理模組103則更根據行動載具200之一行駛資訊201計算障礙物400與行動載具200間之一距離值503，並於攝像影像500中，對障礙物400之影像進行一標記504。最後，處理模組103則將運算後之攝像影像500傳送至顯示模組104，並由顯示模組104顯示標示有距離值503及標記504之攝像影像500。其中，處理模組103係以記號、顏色、框選等方式對障礙物400之影像進行標記504動作，而距離值503係以數值或圖表等方式顯示。
請參閱第3圖，其係為本發明之障礙物偵測方法之流程圖。其步驟為：S31：利用一物件偵測模組偵測外在環境一範圍內之至少一障礙物所在之一距離及一方向；S32：藉由一攝像模組對該範圍擷取一攝像影像，攝像影像中包含有對應於障礙物之影像；S33：利用一計算模組根據所偵測到之障礙物之距離及方向，計算出障礙物於攝像影像中所在之一第一區域；S34：經由物件搜 尋模組對第一區域執行一第一影像處理，以搜尋障礙物之位置並取得障礙物之影像。
請參閱第4圖，其係為本發明之障礙物偵測系統及其方法之第三實施例之第一示意圖。圖中，車輛600裝置有本發明所述之障礙物偵測系統，當車輛600行駛於道路上或進行倒車時，並且開啟障礙物偵測系統時，障礙物偵測系統中之雷達或聲納偵測裝置(主動式偵測)將於車輛600週遭一有效範圍內偵測障礙物700，當有偵測到障礙物700時，將會回傳障礙物700之距離D及方向A之位置所在至障礙物偵測系統裡一處理晶片。
請參閱第5圖，其係為本發明之障礙物偵測系統及其障礙物偵測方法之第三實施例之第二示意圖，並請參閱第6圖，其係為本發明之障礙物偵測系統及其障礙物偵測方法之第三實施例之第三示意圖，及參閱第7圖，其係為本發明之障礙物偵測系統及其障礙物偵測方法之第三實施例之第四示意圖，再請同時參閱第8圖，其係為本發明之障礙物偵測系統及其障礙物偵測方法之第三實施例之第五示意圖。於雷達或聲納偵測裝置取得障礙物700之距離D及方向A時，可同時經由障礙物偵測系統包含之攝像機對該有效範圍擷取一攝像影像，在對該有效範圍擷取攝像影像時，障礙物700同樣將被擷取入攝像影像中，以成為攝像影像之一影像物件。此時處理晶片將根據取得障礙物700之距離D及方向A，進行一障礙物700可能位於攝像影像中之區域之計算，其區域計算的方式係根據障礙物700位於地面或非地面之條件來進行。當處理晶片將一區域運算出來後，可根據所擷取之攝像影像對該區域進行影像處理的動作，以於該區域中將障礙物700的位置搜尋出來。
上述計算區域及影像處理之動作，進一步說明如下：
1、障礙物700係位在地面上且位於同一立面上，處理晶片根據此條件計算出第一區域R1：當攝像機裝設至車輛600上後，攝影機之各項參數及投影角度皆已知，因此地面上之障礙物700與車輛600的距離，可事先由攝像影像中障礙物700之影像位置得知，所以可設定適當的角度範圍作障礙物700的搜尋。利用投影原理，我們將攝像機座標的點(Xc,Yc,Zc)投影到攝像影像座標平面(u,v)，如第5圖所示。在計算空間轉換時，需要先得到攝像機鏡頭高度H值，攝像機鏡頭視角相關之e u 與e v 值。當世界座標為Xr與Yr時，代入以下公式可求出攝像影像中座標u與v值。u=e u ．X r /Y r ，v=e v ．(Z r -H)/Y r ，其中Z r =m θ ．Y r ，而m θ 代表道路斜率，因此也可由前述關係，由在世界座標上之距離，計算出障礙物700可能位於攝像影像中之第一區域R1，如第6圖所示。第一區域R1係障礙物700距攝像機Y1處，左右在X1~X2範圍內，並預設障礙物700可能最小之高度W1之範圍區域。處理晶片更將對第一區域R1進行第一影像處理動作以搜尋出障礙物700之位置。利用所擷取之攝像影像中，障礙物700與背景間之明暗差異、特徵差異及材質之差異等進行第一影像處理，使得攝像影像中存在之障礙物700可被搜尋出來。上述中，處理晶片係根據攝像機所擷取之攝像影像中之單一靜態影像來進行障礙物700之位置判斷，以計算第一區域R1，但不以此為限。
2、障礙物700非位於地面上之同一立面上(障礙物700距離近於落 於地面接觸點之距離)，處理晶片根據此條件計算出第二區域R2：若處理晶片於上述第一區域R1中無法搜尋到障礙物700之位置，或一開始障礙物偵測系統所設定條件係以障礙物700於非地面上進行計算時，處理晶片則將計算出一第二區域R2。
由於攝像機所取得之攝像影像係為多張影像組成之一連續影像，利用影像比對之技術比對兩張以上之影像以重新判斷障礙物700可能所在之位置，例如光流法(optical flow)、影像檢測及追蹤(feature detection and tracking)、環境外觀(environment appearance)等方法來找出攝像影像內移動之物體(障礙物700)，或具有視差之可能立體物(障礙物700)。此時再根據雷達偵測裝置所測得之距離Y2、方向角度之可能範圍X1~X2重新計算出一第二區域R2。由於先前於第一區域R1無法搜尋到障礙物700，因此對於障礙物700將重新預設一高度W2，使得第二區域R2將大於第一區域R1，以擴大搜尋障礙物700之區域範圍。隨後再於第二區域R2進行一第二影像處理，以搜尋出障礙物700，如第7圖所示。
於上述計算方式可得知，當處理晶片在進行區域之計算時，係依據障礙物700所座落之位置(地面或非地面)，來根據偵測到之距離D及方向A進行計算，以計算出障礙物700可能位於影像中之第一區域R1，再於該第一區域R1中搜尋障礙物700之位置。若於第一區域R1中無法搜尋到障礙物700時，處理晶片則可藉由第一影像及第二影像(由於攝像機所擷取之影像為一影像，其可分為第一影像、第二影像等等)，來重新根據距離D及方向A計算出一第二區域R2，此第二區域R2係大於第一區域R1，以擴大對障礙物 700之搜尋範圍。處理晶片於第二區域R2進行障礙物700搜尋時，係先根據第一影像、第二影像等進行一影像處理動作。若於第一區域R1或由第二區域R2可搜尋到障礙物700時，處理晶片將對此障礙物700進行定位，並根據車輛600之一行駛資訊(包含行駛速度及方向盤舵角)計算出障礙物700與車輛600實際之距離值，並於攝像影像中對障礙物700以框選、顏色等明顯標示方式進行標記，最後再於一顯示器上顯示被標記後之攝像影像，顯示器除了顯示具標記之攝像影像外，更以數值或圖示方式顯示障礙物700與車輛600之距離值，以及顯示障礙物700與車輛600於道路上實際距離圖表，如第8圖所示。如此一來，可讓使用者清楚明白車輛600週遭環境變化，以提升行駛安全。
上述中，處理晶片在計算區域時，不限定於先計算障礙物700於地面時之區域，亦可先直接以多張影像分析出一較大之區域(亦即直接判斷障礙物700位於非地面上)，上述舉例僅係為一實施態樣，因不以此為限制者。
請參閱第9圖，其係為本發明之障礙物偵測系統及其障礙物偵測方法之第三實施例之流程圖。其步驟為：S91：以一雷達或聲納偵測器偵測一範圍內之一障礙物之距離及方向；S92：以攝像機擷取該範圍內之一攝像影像；S93：利用處理晶片根據偵測之距離及方向於影像中界定出一第一區域；S94：利用處理晶片於攝像影像中第一區域追蹤障礙物；S95：判斷是否追蹤到並定位出障礙物之位置，若是，則至步驟S98，若否，至步驟S96；S98：於一顯示器上標記此障礙物及顯示障礙物所在之一距離值；S96：以處理晶片根據偵測之距離及方向於影像中界定出大於第一區 域之第二區域；S97：以處理晶片於攝像影像中第二區域追蹤障礙物，並至步驟S98。
綜上所述，本發明之障礙物偵測系統及其障礙物偵測方法，可藉由雷達或聲納偵測器與影像擷取技術之結合，進而更精確地計算出障礙物與車輛間之距離，以及障礙物所在之方位，更可以標記方式於影像畫面中標示出障礙物的位置，並顯示障礙物與車輛間的距離值，以及障礙物與車輛間於道路上實際之距離標示。如此一來，可有效的提升駕駛人於車輛行駛時之安全。
以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。
1‧‧‧障礙物偵測系統
11‧‧‧物件偵測模組
12‧‧‧攝像模組
13‧‧‧計算模組
14‧‧‧物件搜尋模組
2‧‧‧行動載具
21‧‧‧行駛資訊
3‧‧‧範圍
4‧‧‧障礙物
41‧‧‧距離
42‧‧‧方向
5‧‧‧攝像影像
51‧‧‧第一區域
52‧‧‧第二區域

Claims (18)

  1. 一種障礙物偵測系統，適用於一行動載具，該障礙物偵測系統包含：一物件偵測模組，係偵測外在環境一範圍內之至少一障礙物所在之一距離及一方向；一攝像模組，係對該範圍擷取一攝像影像，該攝像影像中包含有對應於該障礙物之影像；一計算模組，係根據所偵測到之該障礙物之該距離及該方向，計算出該障礙物於該攝像影像中所在之一第一區域；以及一物件搜尋模組，係對該第一區域執行一第一影像處理，以搜尋該障礙物之位置並取得該障礙物之影像；其中，該物件搜尋模組取得該障礙物之影像時，該計算模組係計算該障礙物所在位置之一距離值，並將該距離值加入該攝像影像。
  2. 如申請專利範圍第1項所述之障礙物偵測系統，其中該物件搜尋模組取得該障礙物之影像時，該計算模組係計算該障礙物所在位置之該距離值。
  3. 如申請專利範圍第2項所述之障礙物偵測系統，其中該計算模組更根據該行動載具之一行駛資訊計算該距離值。
  4. 如申請專利範圍第1項所述之障礙物偵測系統，其中該物件搜尋模組取得該障礙物之影像時，係對該障礙物之影像進行一標記。
  5. 如申請專利範圍第1項所述之障礙物偵測系統，其中該物件偵測 模組係為一聲納偵測裝置或一雷達偵測裝置。
  6. 如申請專利範圍第1項所述之障礙物偵測系統，其中若該物件搜尋模組無法於該第一區域中搜尋出該障礙物之位置，該計算模組則根據該距離及該方向重新計算一第二區域，並由該物件搜尋模組於該第二區域進行搜尋，其中該第二區域係大於該第一區域。
  7. 如申請專利範圍第6項所述之障礙物偵測系統，其中該計算模組係根據該障礙物位於地面或非地面之預設條件，以分別計算出該第一區域或該第二區域。
  8. 如申請專利範圍第6項所述之障礙物偵測系統，其中該攝像影像係為包含複數張影像之一連續影像，而該物件搜尋模組係利用該複數張影像於該第二區域執行一第二影像處理，以搜尋該障礙物之位置並取得該障礙物之影像。
  9. 一種障礙物偵測系統，適用於一行動載具，該障礙物偵測系統包含：一物件偵測模組，係偵測外在環境一範圍內之至少一障礙物所在之一距離及一方向，該物件偵測模組係為一聲納偵測裝置或一雷達偵測裝置；一攝像模組，係對該範圍擷取一攝像影像，該攝像影像中包含有對應於該障礙物之影像；一處理模組，係根據所偵測到之該障礙物之該距離及該方向，計算出該障礙物於該攝像影像中所在之一第一區域，並對該第一區域執行一第一影像處理，以於該第一區域中搜尋該障礙物之位置並取得該障礙物之影像，進而計算出該障礙物所在位置之一距離值，且對該攝像影像中該障疑物之影像做一標記；若於該第一區域中無法搜尋出該障礙物之位置，該處理模組則根據該距離及該 方向重新計算一第二區域，並對該第二區域執行一第二影像處理，以於該第二區域中搜尋該障礙物之位置；以及一顯示模組，係顯示具有該標記之該攝像影像，並顯示該障礙物所在位置之該距離值。
  10. 如申請專利範圍第9項所述之障礙物偵測系統，其中該處理模組係根據該障礙物位於地面或非地面之預設條件，以分別計算出該第一區域或該第二區域。
  11. 如申請專利範圍第9項所述之障礙物偵測系統，其中該處理模組更根據該行動載具之一行駛資訊計算出該距離值。
  12. 如申請專利範圍第9項所述之障礙物偵測系統，其中該攝像影像係為包含複數張影像之一連續影像，而該處理模組係利用該複數張影像於該第二區域執行該第二影像處理。
  13. 一種障礙物偵測方法，適用於一行動載具，該障礙物偵測方法包含下列步驟：利用一物件偵測模組偵測外在環境一範圍內之至少一障礙物所在之一距離及一方向；藉由一攝像模組對該範圍擷取一攝像影像，該攝像影像中包含有對應於該障礙物之影像；利用一計算模組根據所偵測到之該障礙物之該距離及該方向，計算出該障礙物於該攝像影像中所在之一第一區域；經由該物件搜尋模組對該第一區域執行一第一影像處理，以搜尋該障礙物之位置並取得該障礙物之影像；以及於該物件搜尋模組取得該障礙物之影像時，利用該計算模組根據該行動載具之一行駛資訊計算該障礙物所在位置之一距離值，並將該距離值加入該攝像影像。
  14. 如申請專利範圍第13項所述之障礙物偵測方法，更包含下列步驟：於該物件搜尋模組取得該障礙物之影像時，利用該計算模組根據該行動載具之一行駛資訊計算該障礙物所在位置之該距離值。
  15. 如申請專利範圍第13項所述之障礙物偵測方法，更包含下列步驟：經由該物件搜尋模組對該障礙物之影像進行一標記。
  16. 如申請專利範圍第13項所述之障礙物偵測方法，更包含下列步驟：若該物件搜尋模組無法於該第一區域中搜尋出該障礙物之位置，則利用該計算模組根據該距離及該方向重新計算一第二區域，並由該物件搜尋模組於該第二區域進行搜尋，其中該第二區域係大於該第一區域。
  17. 如申請專利範圍第16項所述之障礙物偵測方法，更包含下列步驟：利用該計算模組根據該障礙物係位於地面或非地面之預設條件，以分別計算出該第一區域或該第二區域。
  18. 如申請專利範圍第16項所述之障礙物偵測方法，更包含下列步驟：經由該物件搜尋模組根據該攝像影像所包含之複數張影像，於該第二區域執行一第二影像處理，以搜尋該障礙物之位置以及取得該障礙物之影像。
TW100137072A 2011-10-13 2011-10-13 障礙物偵測系統及其障礙物偵測方法 TWI468647B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100137072A TWI468647B (zh) 2011-10-13 2011-10-13 障礙物偵測系統及其障礙物偵測方法
US13/348,148 US20130093887A1 (en) 2011-10-13 2012-01-11 Obstacle Detection System and Obstacle Detection Method Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100137072A TWI468647B (zh) 2011-10-13 2011-10-13 障礙物偵測系統及其障礙物偵測方法

Publications (2)

Publication Number Publication Date
TW201315968A TW201315968A (zh) 2013-04-16
TWI468647B true TWI468647B (zh) 2015-01-11

Family

ID=48085735

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100137072A TWI468647B (zh) 2011-10-13 2011-10-13 障礙物偵測系統及其障礙物偵測方法

Country Status (2)

Country Link
US (1) US20130093887A1 (zh)
TW (1) TWI468647B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6015314B2 (ja) * 2012-09-28 2016-10-26 アイシン精機株式会社 駐車目標位置を算出する装置、駐車目標位置を算出する方法およびプログラム
JP6212880B2 (ja) * 2013-03-04 2017-10-18 株式会社デンソー 物標認識装置
WO2015186395A1 (ja) * 2014-06-03 2015-12-10 本田技研工業株式会社 車両周辺監視装置
GB2528098B (en) * 2014-07-09 2018-11-21 Jaguar Land Rover Ltd Vehicle camera system
DE102014014662A1 (de) * 2014-09-19 2016-03-24 Mekra Lang North America, Llc Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
CN104918009A (zh) * 2015-05-22 2015-09-16 魅族科技（中国）有限公司 终端场景显示方法和系统
US11648876B2 (en) 2015-09-02 2023-05-16 SMR Patents S.à.r.l. System and method for visibility enhancement
EP3139340B1 (en) 2015-09-02 2019-08-28 SMR Patents S.à.r.l. System and method for visibility enhancement
US11091162B2 (en) 2018-01-30 2021-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. Fusion of front vehicle sensor data for detection and ranging of preceding objects
US10712744B2 (en) * 2018-03-09 2020-07-14 Pony Ai Inc. Active off-vehicle notification to autonomous-driving vehicle
CN112215031B (zh) * 2019-07-09 2024-03-19 北京地平线机器人技术研发有限公司 一种障碍物的确定方法及装置
CN113537047A (zh) * 2021-07-14 2021-10-22 广东汇天航空航天科技有限公司 障碍物检测方法、装置、交通工具及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191837A1 (en) * 2001-05-23 2002-12-19 Kabushiki Kaisha Toshiba System and method for detecting obstacle
TW200903379A (en) * 2007-04-02 2009-01-16 Objectvideo Inc Automatic camera calibration and geo-registration using objects that provide positional information
US20090099728A1 (en) * 2007-10-16 2009-04-16 Hitachi, Ltd. Control apparatus for avoiding collision
US20100066516A1 (en) * 2008-09-15 2010-03-18 Denso Corporation Image displaying in-vehicle system, image displaying control in-vehicle apparatus and computer readable medium comprising program for the same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6326915B1 (en) * 2000-01-26 2001-12-04 Tung Thih Enterprise Co., Ltd. Radar device with multiplexed display functions for use in backing up a vehicle
TWI246665B (en) * 2001-07-12 2006-01-01 Ding-Jang Tzeng Method for aiding the driving safety of road vehicle by monocular computer vision
CN201792814U (zh) * 2010-06-09 2011-04-13 德尔福技术有限公司 全方位泊车辅助系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191837A1 (en) * 2001-05-23 2002-12-19 Kabushiki Kaisha Toshiba System and method for detecting obstacle
TW200903379A (en) * 2007-04-02 2009-01-16 Objectvideo Inc Automatic camera calibration and geo-registration using objects that provide positional information
US20090099728A1 (en) * 2007-10-16 2009-04-16 Hitachi, Ltd. Control apparatus for avoiding collision
US20100066516A1 (en) * 2008-09-15 2010-03-18 Denso Corporation Image displaying in-vehicle system, image displaying control in-vehicle apparatus and computer readable medium comprising program for the same

Also Published As

Publication number Publication date
US20130093887A1 (en) 2013-04-18
TW201315968A (zh) 2013-04-16

Similar Documents

Publication Publication Date Title
TWI468647B (zh) 障礙物偵測系統及其障礙物偵測方法
JP7461720B2 (ja) 車両位置決定方法及び車両位置決定装置
JP5867273B2 (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
US11620837B2 (en) Systems and methods for augmenting upright object detection
JP4337929B2 (ja) 移動状態推定装置
JP4899424B2 (ja) 物体検出装置
WO2019044185A1 (ja) 映像出力装置、映像生成プログラム、およびコンピュータ読み出し可能持続的有形記録媒体
CN108269235A (zh) 一种基于opengl的车载环视多视角全景生成方法
US20110103650A1 (en) Method and system for assisting driver
TW201014730A (en) Image-based vehicle maneuvering assistant method and system
US20190347808A1 (en) Monocular Visual Odometry: Speed And Yaw Rate Of Vehicle From Rear-View Camera
US20100104138A1 (en) Vehicle periphery monitoring device, vehicle periphery monitoring program, and vehicle periphery monitoring method
KR20150051735A (ko) 주차 보조 시스템 및 그 방법
US20110169957A1 (en) Vehicle Image Processing Method
JP2007030700A (ja) 駐車支援装置
JP5511431B2 (ja) 駐車支援装置
JP2009211624A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
CN112776797A (zh) 泊出原始车位创建方法、系统、车辆和存储介质
JP2004120661A (ja) 移動体周辺監視装置
JP5287344B2 (ja) 駐車支援装置及び障害物検知方法
US8031908B2 (en) Object recognizing apparatus including profile shape determining section
JP2021154969A (ja) 障害物検知装置、障害物検知方法、および、プログラム
KR101734726B1 (ko) 주차공간 탐지 방법 및 이를 실행하는 장치
JPWO2019123582A1 (ja) 物体情報生成装置及び物体情報生成プログラム
JP2003030627A (ja) 車両周辺画像処理装置及び記録媒体

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees