TWI308891B - - Google Patents
Download PDFInfo
- Publication number
- TWI308891B TWI308891B TW096109955A TW96109955A TWI308891B TW I308891 B TWI308891 B TW I308891B TW 096109955 A TW096109955 A TW 096109955A TW 96109955 A TW96109955 A TW 96109955A TW I308891 B TWI308891 B TW I308891B
- Authority
- TW
- Taiwan
- Prior art keywords
- driver
- road
- safety monitoring
- line
- directional information
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 7
- 101100037313 Drosophila melanogaster Rlip gene Proteins 0.000 claims description 6
- 101100140140 Xenopus laevis ralbp1-a gene Proteins 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 101100301089 Homo sapiens RALBP1 gene Proteins 0.000 claims description 2
- 102100038914 RalA-binding protein 1 Human genes 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 239000004575 stone Substances 0.000 claims 1
- 238000012549 training Methods 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010029412 Nightmare Diseases 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
1308891 九、發明說明: 【發明所屬之技術領域】 本發明是有關於一種行車監測系統及方法,特別是指 一種結合多重方向資訊以判斷目前行車模式之智慧型行車 安全監視系統及方法。 【先前技術】 曰〜、i 運輸系統(Intelligent
System;簡稱ITS)之技術是結合控制、資訊、通訊及 傳輸領域的科技,目前在智慧型車輛的研究大致包括 有強化車輛之動力及輔助轉向系統以增進其動態性能 ;結合電子技術及資訊處理以創造安全服務的:加價b 值,如:自動跟車系統與防撞系統;或是建立車内的 數位網路系統等。 然而,目前的智慧型車輛大多著重單一資訊分析, 像疋以雷射光來測量與鄰近車輛的距離資訊 攝衫機取得前方行車影像來 ^ ^ 如像孓。十异與刖方車輛的距離資 訊,或是判斷車輛行駛時是 貝 π疋古愒離目刖的行車線等。 ::廷些系統因未考慮結合駕駛者開車資 法㈣描述駕駛者開車的掌握程纟,例如:當二、 右行駛離開目前的行車唆 向 可能希望_路肩來檢查車輛。 為馬敬者 【發明内容】 —〜个货明之目的,即在提仏 訊之智慧3LMf車安全監視I統及方法 1308891 本發明結合多重方向資訊之智慧型行車安全監视系统 係安裝於一駕駛者之車輛,包含一第一影像擷取裴置、— 第二影像擷取裝置、一資料處理裝置及一指示裝置。 該第一影像擷取裝置用以擷取該駕駛者之臉部影像. °亥第二影像擷取裝置用以擷取該車輛的一前方道路影像. 該貧料處理裝置係依據該駕駛者之臉部影像及該前方道路 知像運算後,將該駕駛者的一視線方向及一車道方向映射
在一全域座標空間並整合為一多重方向資訊;該指示裴置 係輪出該多重方向資訊給該駕駛者作為駕駛狀態是否 之依據。 王 ^本發明結合多重方向資訊之智慧型行車安全監視方法 係用於-駕敬者之車輛,包含下述步驟:(a)擷取該駕敬者 之臉部影像;(b)操取該車輛的-前方道路影像;⑷依據 該駕馱者之臉部㈣及該前方道路f彡像運算後,將該駕敬 :的-視線方向及一車道方向映射在—全域座標空間並整 :為-多重方向資訊;及⑷提供該多重方向資訊給該駕駛 者作為駕駛狀態是否安全之依據。 本發明結合多重方向資訊之智慧型行車安全監視系統 及方法提供給駕駛者參考的應用層面有: μh可以結合行車方向、車道方向及駕歇者的視線方向 專資訊顯示在螢幕上。 、加2.可以運算出多重方向資訊如:道路線相關係數^ 馬駛者相關係數,或者综合該道路線相關係數 -及該駕駛者相關係i 計算之行駛危險係數 6 1308891 ",並進一步依據係數判斷其是屬於將該駕駛者之駕駛 狀態區分為安全模式、具風險模式或危險模式, 3.可以依據道路線相關係數判斷目前路況是一 直線道路、—彎路這路、_轉彎或―變換車道等路況。 【實施方式】 有關本發明之前述及其他技術内容、特點與功效,在 以下配合參考圖式之較佳實施例的詳細說明中,將可清楚 的呈現。 /閱圖1與圖2,本發明結合多重方向資訊之智慧型行 車安全監視系統1的—較佳實施例係安裝於—駕駛者Μ之 車輛8上,該智慧型行車安全監視线 擷取裝置U、一第一景,像眘材痛11Λ 弟如像 1〇 ^ 弟"像貝㈣110、—第二影像擷取裝置 置;4像貧料庫12°、-資料處理裝置13及一指示裝 .首Γ:: …糸統1執行之方法包括下物 •Γ 車輛8㈣行料1第—輯録裝置 取駕敬者W之㈣料,麟其料於第 ㈣ ㈣,以及第二影像擷取褒置12用以 =肩 路9之影像,並將其儲存於第二影像資料庫=。的别方讀 如圖3所示,資料處理裝置13 部影像及衫料9以彡㈣Dm 81之驗 視線方向W、-車道方處理後’將駕駛㈣的- 在-全域座標空間制車方向仙, _bal eGGfdlnate)内 道路線相關係數C一戈一駕駛者相闕 =如- 寻多重方 1308891 14是一顯示裝置,用以 作為參考其駕駛狀態是否 向資訊(作用容後再述);指示褒置 顯示該多重方向資訊給駕駛者81 安全之依據。 的 v 的視線方向Η及車輛 車道方向ΙΙ-ΙΙ,經運算處理後 / 设'J將視線方向Ι,-Γ及車道 ° ·ΙΓ係整合在一全域座標空間7内,又笛_ y 梦罟第—影像擷取 裝置12疋§又置於在車輛8定 J 縱釉方向ΙΙΙ-ΙΙΙ上 ,因此映射在全域座標空間7為行車方向山,货。 參閱圖4,資料處理裝置13 ΜέΒ 171 匕括一臉部偏轉角度運算 楔、、且111、一視線標示模組112、— 遷緣偵測才果組121、一 子轉換模組122、一形態學運算 ΊΟ/1 ± ^异镇,、且123、一直線偵測 楔汲124、一車道方向標示模組125、一 _ 130、 , 订車方向標示模組 130、一道路相關係數算 座n9 胰、,且131、一道路相關係數資料 庫132、一杈型判斷模組Π3、_ 141,- ^ ^ 馬駛相關係數運算模組 14ΐ、一危險係數運算模組151、— 肷、ν於山》 方向輸出模組161、一 兄輸出減162及-開車模式輸出模組⑹。 車方H向標示模組13〇是在全域座標空間7標示出行 瓜 接11(如圖3)’本較佳實施例中’該行車方向 將㈣運声為位在中央轴線。視線標示模組出是 理後得到之視線方向r_r : 王域座標空間7内; 交正口在 # i5 ^ 、,車道方向標示模組125是將 、丄過運异處理後得到之車道 疋將 7内標示出來。其整a方式_ —起在全域座標空間 道方向述包括視線方向Γ_Γ、車 仃 肖仙柳之資訊皆是-起傳送給方 1308891 向輸出模組161,最後由方向輸出模組161輸出整合各方向 標線之多重方向資訊給指示裝置14。 (一)駕駛者之視線方向取得 ^ 内一"从w啊π η,入〜τ π肌U i疋田弟一
衫像賓料庫11 〇取得一臉部影像2後,利用臉部影像2中人 臉的複數特徵點(如:瞳孔、嘴唇等)來決定一頭部偏轉角度 (如圖3之0 〇,其一較佳實施例決定頭部偏轉角度的原理 ’是可利用雙眼的瞳孔位置E1及E2至山根位置E4 的比例會隨著轉頭角度Θ丨料同而有差異變化判斷駕駛 者81的頭部偏轉角度0 1,並將此頭部偏轉 二…的視線方向,設…2為雙眼的瞳孔= 二及E2分別至山根位置以的距離則利用公式1可 汁异出一瞳孔比例Reye。 I 公式i 轉頭孔比Reye變化即可製作出其與不同 ㈣度之對照表,藉此,即可用 偏轉角度<9 !。 」鯽馬駛者81的頭部 兩蠕位置。1Ύ异^式’另-實施例亦可利用嘴唇 歇者81的㈣偏韓2二人中位置Ρ4的比例差異來判斷駕 為駕敬者81的視^ ’並將此頭部偏轉角度^視 的視線方向。假設。及L4為喈辰^ P1及P2分則s 七4為背唇兩端位置
至人中位置P4的郎魅 g J 計算出一喈f ^ 的距離,則利用公式2可 方唇比例RUP。 公式2
Rlip = sign(L3 - L4) 咖(尤4,13) 9 1308891 本較佳實施例是採用計算嘴唇 算嘴唇比例rlip後,可依據如表丨所示u^方式。當計 該嘴唇比例RLIP換算為該頭部偏轉角^的1定對照表將
嘴唇比例rlip 介於1至0.7 介於0.7至0.5 介於0.5至0.3 介於0_3至〇, 介於-1至-0.7, 介於-0.7至-0.5 ------- 介於-0.5至-0.3 介於-0.3至-〇 度 兔^^^6度 大於36度 參閱圖4,當臉部偏轉角度運算模 角度θ,後,視線標示模組112即_部偏轉 在全域座標空間7内標示出駕 -, (二)車道方向之取得 的視線方向Γ-Γ。 參閲圖4及圖6,邊緣伯測模组121用以自第二 = =:=1邊將前方道路影像二過 绫心/ 到—邊_測處理影像I邊 緣偵測處理影像32具有複數邊緣點。 ^接著,反透視轉換模組122將邊緣侦測處理影像32 该等邊緣點作反透視轉換(inv⑽卿㈣以將 =座標點轉換為二維座標點,並將該等二維座標點映射 在-全域座標空間7内,使用反透視轉換目的為了得到消 10 1308891 除透視效應的真實座標空間。 反透視轉換模組122的原理說明如下: ρ像處理方法之透視轉換(perSpective瓜叩口丨叫)是將三 維空間的點投影到二維影像平面上,由於在二維影像平面 上原本平行的兩條直線會交會於一個消失點,因此我們必 須將其做逆轉換(inverse perspective ma卯丨叫)以消除透視效 應。其原理首先是定義三個空間: 『={x,_y,z}e五3,表示真實世界的三維空間; ,={«,v } e五2,表示影像的二維空間;及 S = {u,〇}e妒,重新對應的影像,被定義為真實空 間的二維投影。 、工 參閱圖7’為第二影像鮮裝置12擺設位置的俯視圖 與侧視圖,進行反透視轉換需要知道包括以下幾個參數: 第二影像擷取裝置12的位置:,其位置c 以三個參數定義分別為攝影機高度;卩攝影機中心到 鏡頭距離;及:攝影機與水平原點的距離。 第二影像操取裝置12的攝影方向,其光軸δ是利以 下的角度所定義J : X軸的偏移角度;否:γ軸的偏 度’也即是俯視角。另外,還有包括第二影像擷取裝置12 的孔控、焦距與光圈、解析度(影像解析度w χ 等參數。 利用代數及二角函數可以得到反透視轉換的公式如下 x(u,v)~hxcot {e~a)+u-^- xcos (/-a)+v-?^L +i 八々 L «-1」L n~\ 1 A 式 3 11 1308891 y{u,v) = Ax cot ^-a)+u- 2a n-l xsin [r- a) + v 2a n~\ + d 公式4 z(u,v) = 0 經由公式3、公式4及式公式5會得到像素位置 〇,_y,0) e S對應像素位置(w,v) e /,如此將該等邊緣點的各像 素運算後即可得到消除透視效果的二維座標點。
參閱圖6及圖8,本較佳實施例中是以該原始影像η 邊緣偵測後所得到的邊緣偵測影像32,而圖8即是邊緣偵 测影像3 2經由反透視轉換後的一透視轉換影像3 3。 再參閱圖3,形態學運算模組123是使用膨脹 (Dilation)、侵蝕(Erosion)、斷開(〇peningm 閉合(ci〇s_) 等形態學運算子以增強後續直線偵測的效果。直線偵測模 組124是依據可能具有道路邊線33的區域範圍以霍夫 轉換(Hough Transf0rm)之直線偵測方法來取得實際的車道邊 線33。
公式5 直線偵測模組124的作用原理即是偵測反透視轉換後 之該等二維座標點形成之直線’本較佳實施例是採用霍夫 轉換(Hough transform)。 隹夫轉換主要用於檢測影像中某些特定的形狀(例如: 直線、圓或橢圓等)常用的_種方法。在霍夫轉換的做法中 ,是將直角座標系統(Cartesian c〇〇rdinates)中直線上的點 (X,Y)以公式6映射到(p,0 )空間,即: p = Xcos0 + Fsin0 公式 6 參閱圖9(a),以其中的一直線^為例,其與χ水平線 12 1308891 ^ Λ角為0 ο,過原點(〇,〇)之法線距離為p 。對任意直線而 離及夾角6>。兩變數可記為0與0,分別代表原 γ直線的向量長度和方向;霍夫映射可分為(χ,γ)映射到( . )及(, 61 )映射到(Χ,Υ)兩種方向。(χ,γ)分別以 (Χι’Υι)及(Χ2,γ〇來表示直線L〗上的二座標點。 如圖9(b)所不,對於前者而言,χ_γ平面内的點 (Χ〇,Υ〇)將在卜θ平面内映射出一條正弦曲線,其轉換方程 式如公式7所示: p = x0 cos Θ + YQ sine = A sin + ) 公式 7 ;其中 ltan-,〇他2;?。 △式7中,起始角0 〇和振幅A隨χ〇和γ〇的值而變。 - 而從(ρ,θ)到(X_Y)的映射,且X-Y平面内的-條直線將 在P-θ平面上皆會映射出—個點。霍夫轉換直線制演算 法介紹如下: • ⑴將影像二值化,卩〇表示背景,1表示物體的點集 合。 (2) 建立一累積陣列(accumulat〇r array)H( ρ0 ),對 二值影像中的每一個以1表示的點(xi,Yi)作轉換,即 /?-;^观6> + }^1116»對於所有符合轉換方程式^]^』)之内 的點(p , 0 ),且令好(A0 = i/(A<9) + 1。 (3) 檢查累積陣列H(以),H(p,0)内之值表示在由( P,0 )所確疋直線上的點數,並給定一臨界值做為下限,藉 此求得Η(ρ,θ)中大於臨界值的點,從而得出待測直線的 13 1308891
【主要元件符號說明】 1 .......... 智慧型行車安全 料庫 監視系統 133 ..… …模型判斷模組 11......... 第一影像擷取裝 141 …· …駕駛相關係數運 置 算模組 110....... 第一影像資料庫 151 ···.. …危險係數運算模 12......... 第二影像擷取裝 組 置 161…… …方向輸出模組 120....... 第二影像資料庫 162 …·· ••路況輸出模組 13......... 資料處理裝置 163 … …開車模式輸出模 111 ....... 臉部偏轉角度運 組 算模組 14....... ••指不裝置 112....... 視線標示模組 2 ........ ••臉部影像 121....... 邊緣偵測模組 31....... …前方道路影像 122....... 反透視轉換模組 32....... …邊緣偵測處理影 123....... 形態學運算模組 像 124....... 直線偵測模組 33....... …透視轉換影像 125....... 車道方向標示模 41 > 42 ••原始道路影像 組 411、421邊緣偵測影像 130....... 行車方向標示模 412、422車道邊線影像 組 51 ·…… …駕駛者影像 131....... 道路相關係數運 52....... …前方道路影像 算模組 53....... …全域標準座標 132....... 道路相關係數資 61 〜63 ••測試晝面 21 1308891
7 ..........全域座標空間 II-II、ΙΓ-ΙΓ車道方向 8 ..........車輛 III-III…縱軸方向 81.........駕駛者 ΙΙΓ-ΙΙΓ·行車方向 I-I、Ι’-Γ視、線方向 22
Claims (1)
1308891 十、申請專利範圍: 1.=結合多重方向資訊之智慧型行車安全監視系統 女裝於一駕駛者之車輛,該系統包含: 糸 像; 第一影像擷取裝置, 用以擷取該駕駛者之臉部 影 路影:第二影像擷取裝置’用以擷取該車輛的—前方道 1料處理裝置,電性連接該第—及第二影像操取 算後,將該駕駛者的1線= : : :方道路影像運 全域座標空間内並:向映射在一 正口為一多重方向資訊;及 者作=示裝置,錢出該整合多重方向資訊給該駕駛 者作為馬駛狀態是否安全之依據。 2 ·依據申請專利餘圖楚 ㈣心 項所述之結合多重方向資訊之智 〜饤女全監視系統,其中’該第二影像擷取裝置係 設置於該㈣戟義的映射㈣全域絲 車 方向。 』仃早 ==士利範圍第2項所述之結合多重方向資訊之智 ;入I :全1^視系統’其中,該資料處理裝置係依據 I * '1中該車辅的車道方向及該行車方向之 貝5fU十异出—道路線相 . 離行車道路之程度。’、數“以作為该車輛目前偏 4_依據申請專利範圍 _ 項所述之結合多重方向資訊之智 〜、订女全監視系統,其中,該資料處理裝置係依據 23 1308891 該全域座標空間中該車輛的車道方向及該駕駛者的視 線方向之資訊計算出一駕駛者相關係數Cw以作為該 駕駛者是否注意道路變化之依據。 5. 依據申請專利範圍第4項所述之結合多重方向資訊之智 慧型行車安全監視系統,其中,該資料處理裝置係利用 軟性形狀絡(Soft Shape Contexts)來計算該道路線相關係 數及该駕驶者相關係數。 6. 依據申請專利範圍第4項所述之結合多重方向資訊之智 慧型行車安全監視系統,其中,該資料處理裝置係將該 道路線相關係數仏_乘以該駕駛者相關係數Q…"來計 算一行駛危險係數Q)a/^er,其公式定義如下: ^Danger = C^ X C〇 7_依據申請專利範圍第6項所述之結合多重方向資訊之智 慧型行車安全監視系統,|中,該資料處理裝置係將該 行駛危險絲依係數大小,將該駕驶者之駕驶狀 態區分為一安全模式、一具風險模式及一危險模式。 8.依據申請專利範圍第}項所述之結合多重方向資訊之智 慧型仃車安全監視系統,其中,該資料處理裝置具有: 臉4偏轉角度運算模組,用以依據該臉部影像之 複數特徵點決定一偏轉角度;及 一駕驶者視線標示模組,用以依據該偏轉角度在該 全域座標空間内標示出該駕駛者的視線方向。 9·依據中請專利範圍第8項所述之結合多重方向資訊之智 24 1308891 慧型行車安全監視系統,甘a 株 1丁平叉 丁凡其中,該臉部偏轉角度運算模 組係計算下述公式: RL,p = sign{Ly ^ min(I4,L,);及 4 ηΐ^〇ζ7ζ) * 項所述之結合多重方向資訊之智 ’其中,該資料處理裝置具有: 用以取得該前方道路影像的複數
田°十算該嘴唇tb例Rlip後,再依據-預S對照表 將該嘴唇比M RLIP換算為該偏㈣度。 i〇.依據申請專利範圍第1 慧型行車安全監視系統 一邊緣偵測模組, 邊緣點;及 -反透視轉換模組’將該等邊緣點作反透視轉換以 將三維座標點轉換為二維座標點,並將該等二維座標點 映射在該全域座標空間内。 11·依據申請專利範圍第10項 •^所述之結合多重方向資訊之智 慧型行車安全監視系統, _ ^ ^ 丁% 其中,該貢料處理裴置更具有 一形態學運算模組,係對該等邊緣點以膨脹、侵钮 、斷開或閉合其中任-種形態學運算子作運算。 12.依據中請專利範圍第1G項所述之結合多重方向資訊之知 慧型行車安全監視系統,其中,該資料處理裝置更具: 一直線偵測模組,用以 直線;及 一車道方向標示模 之 偵測該等二維座標點形成 .^ M 用以在别迷所禎測到的直缘 中,依據所設定的-長度、的直線 ^ 距行車方向 25 1308891 的距離其中任一者來選擇最有可能為左右兩邊的二 車道邊線’最後依該等車道邊線之中線標示出該車道 中線。 13.依據中請專利範圍第12項所述之結合多重方向資訊之智 慧至灯車女全監視系統’其中’該直線偵測模組係採用 霍夫轉換運算偵測出該直線。 14·依據申請專利範圍第3項所述之結合多重方向資訊之智 慧型行車安全監視系統,其中,該資 曰 -模型運算模組,用以預先取得—段先前V間 的該道路線相關係數,並利用該道路線相關係數 分布的特性來訓練-隱藏馬可夫模組以供辨認是 何種開車模式;及 疋 行車狀態判斷模組,用以取得現在的該道略 彎路道路、一轉彎或一變換車 線相關係數,並輸入該模型運算模組來辨認目々 路況是一直線道路 W 峒 道 15=據中請專利範圍第丨項所述之結合多重方向資訊之智 :型仃車安全監視系統’其中,該指示裝置係一顯示 置或—警報裝置。 、 16·~種結合多重方向資訊之智慧型行車安全監視方法,係 用於—駕駛者之車輛,該方法包含下述步驟: 〜 (a) 擷取該駕駛者之臉部影像; (b) 擷取該車輛的一前方道路影像; (c) 依據該駕駛者之臉部影像及該前方道路影像運 26 l3〇889l 鼻後’將該駕驶者的一視線方向及_康增士 a 早道方向映射在一 王域座標空間内並整合為一多重方向資訊;及 β⑷提供該多重方向資訊給該駕敬者作為駕驶狀態 疋否安全之依據。 依據申請專利範圍第16項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟⑷中該車輛定義 有一映射在該全域座標空間的一行車方向。 18. 依據申請專利範圍第17項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟(c)係依據該全域 j標空間中該車輛的車道方向及該行車方向之資訊計 算出一這路線相關係數c£ane以作為該車輛目前偏離行 車道路之程度。 19. 依據申請專利範圍第丨8項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟(c)係依據該全域 座&空間中該車輛的車道方向及該駕駛者的視線方向 之貧訊計算出一駕驶者相關係數以作為該駕駛者 是否注意道路變化之依據。 20. 依據申請專利範圍第丨9項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟係利用軟性形 狀絡(Soft Shape Contexts)來計算該道路線相關係數 及該駕駛者相關係數匸 ^ ^Driver 21 ·依據申凊專利範圍第19項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟(〇係將該道路線相 關係數乘以該駕駛者相關係數,來計算一行 27 1308891 驶危險係數Ci)e„ger,其公式定義如下: ^Danger ~ ^Lane ^ ^Driver 。 22. 依據申請專利範圍第21項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟(c)係將該行駛危險 係數依係數大小,將該駕駛者之駕駛狀態區分為一安全 模式、一具風險模式及一危險模式。 23. 依據申請專利範圍第16項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟(c)具有下述子步驟 (c-1)依據該臉部影像之複數特徵點決定一偏轉角度 ;及 (c-2)依據該偏轉角度在該全域座標空間内標示出該 駕驶者的視線方向。 24. 依據申請專利範圍第23項所述之結合多重方向資訊之智 慧型仃車安全監視方法,其中,步驟(e—i)係計算下述公 式: Rlip =sign(L3 -£4) min(乙4,Z3);及 max(Z4,Z3) 田计算忒嘴唇比例RLip後,再依據一預定對照表 將該嘴唇比例RLIp換算為該偏轉角度。 25. 依據中請專利範圍第16項所述之結合多重方向資訊之智 慧5订車安全監視方法,其中,步驟⑷具有下述子步驟 (3) 取得δ亥蚋方道路影像的複數邊緣點;及 (4) 將該等邊緣點作反透視轉換以將三維座標點轉 28 1308891 換為一維座n並將該等:維座標點映射在該全域座 標空間内。 26·依據中請專利範圍第25項所述之結合多重方向資訊之智 慧型盯車安全監視方法,其申,步驟⑷更具有下述子步 驟· (c 5)對該等邊緣點以膨脹、侵#、斷開或閉合里 中任一種形態學運算子作運算。 射請專利範圍第25項所述之結合多重方向資訊之智 型灯車安全監視方法,其十,步驟⑷更具有下述子步 驟: (c-6)偵測該等二維座標點形成之直線;及 ㈣在前述所侦測到的直線中,依據所設定的一 長度、一斜率或一距行車方向的距離其中任一者來 選擇最有可能為左右兩邊的-直 石兩邊的一車道邊線,最後依該 等車道邊線之中線標示出該車道中線。 28^申請料J範圍第27項所述之結合多重方向資訊之智 施型Γ車安全監視方法’其中’步驟(C.6)係採用霍夫轉 換運算偵測出該直線。 29.依據申請專利範圍第18項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟⑷具有下述子步: (U)預先取得-段先前時間的該道路線相關係 二並利用該道路線相關係數分布的特 圳練一模型運算模組以供辨認是何種開車模式;及 29 1308891 (c-9)取得現在的該道路線相關係數,並輸 入該模型運算模組來辨認目前路況是一直線道路、一彎 路道路、一轉彎或一變換車道。 30.依據申請專利範圍第29項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,該模型運算模組是内建 一隱藏馬可夫模組。
30
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW096109955A TW200838750A (en) | 2007-03-22 | 2007-03-22 | Intelligent driving safety monitoring system integrating multiple direction information and method thereof |
US11/902,140 US7826964B2 (en) | 2007-03-22 | 2007-09-19 | Intelligent driving safety monitoring system and method integrating multiple direction information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW096109955A TW200838750A (en) | 2007-03-22 | 2007-03-22 | Intelligent driving safety monitoring system integrating multiple direction information and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200838750A TW200838750A (en) | 2008-10-01 |
TWI308891B true TWI308891B (zh) | 2009-04-21 |
Family
ID=39773581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW096109955A TW200838750A (en) | 2007-03-22 | 2007-03-22 | Intelligent driving safety monitoring system integrating multiple direction information and method thereof |
Country Status (2)
Country | Link |
---|---|
US (1) | US7826964B2 (zh) |
TW (1) | TW200838750A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI397865B (zh) * | 2009-08-12 | 2013-06-01 | Utechzone Co Ltd | Security personnel to monitor the degree of focus monitoring system |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI419804B (zh) * | 2008-11-28 | 2013-12-21 | Chi Mei Comm Systems Inc | 行車安全監控裝置及方法 |
DE102011018157A1 (de) * | 2011-04-19 | 2012-10-25 | GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) | Erkennung einer Bushaltestelle |
US9043042B2 (en) * | 2011-07-19 | 2015-05-26 | GM Global Technology Operations LLC | Method to map gaze position to information display in vehicle |
US8848978B2 (en) * | 2011-09-16 | 2014-09-30 | Harman International (China) Holdings Co., Ltd. | Fast obstacle detection |
KR101541483B1 (ko) * | 2014-01-03 | 2015-08-03 | 현대모비스(주) | 차선 변경 감시 장치 및 그 제어 방법 |
US10068472B2 (en) * | 2014-06-06 | 2018-09-04 | Veoneer Us, Inc. | Automotive lane discipline system, method, and apparatus |
US10532659B2 (en) | 2014-12-30 | 2020-01-14 | Joyson Safety Systems Acquisition Llc | Occupant monitoring systems and methods |
US10614328B2 (en) | 2014-12-30 | 2020-04-07 | Joyson Safety Acquisition LLC | Occupant monitoring systems and methods |
USD751437S1 (en) | 2014-12-30 | 2016-03-15 | Tk Holdings Inc. | Vehicle occupant monitor |
US9533687B2 (en) | 2014-12-30 | 2017-01-03 | Tk Holdings Inc. | Occupant monitoring systems and methods |
CN107609486A (zh) * | 2017-08-16 | 2018-01-19 | 中国地质大学(武汉) | 一种车辆前向防撞预警方法及系统 |
TWI641516B (zh) | 2018-03-06 | 2018-11-21 | 國立交通大學 | 車道線偵測方法 |
TWI719330B (zh) * | 2018-07-27 | 2021-02-21 | 群邁通訊股份有限公司 | 電子裝置及行車安全提醒方法 |
CN109934175B (zh) * | 2019-03-15 | 2021-07-06 | 百度在线网络技术(北京)有限公司 | 一种车辆导航方法、装置、电子设备及存储介质 |
CN110532997B (zh) * | 2019-09-05 | 2022-04-12 | 杭州视在科技有限公司 | 一种用于机场的多相机融合自动获取站坪完整信息的方法 |
TWI723657B (zh) * | 2019-12-02 | 2021-04-01 | 宏碁股份有限公司 | 車輛控制方法與車用控制系統 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6272431B1 (en) * | 1997-04-29 | 2001-08-07 | Thomas Zamojdo | Method for displaying a map in a vehicle en-route guidance system |
JP4501888B2 (ja) * | 2005-07-07 | 2010-07-14 | 株式会社デンソー | 車両用前照灯装置 |
-
2007
- 2007-03-22 TW TW096109955A patent/TW200838750A/zh not_active IP Right Cessation
- 2007-09-19 US US11/902,140 patent/US7826964B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI397865B (zh) * | 2009-08-12 | 2013-06-01 | Utechzone Co Ltd | Security personnel to monitor the degree of focus monitoring system |
Also Published As
Publication number | Publication date |
---|---|
US20080230297A1 (en) | 2008-09-25 |
TW200838750A (en) | 2008-10-01 |
US7826964B2 (en) | 2010-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI308891B (zh) | ||
US10665025B2 (en) | Method and apparatus for representing a virtual object in a real environment | |
JP6364049B2 (ja) | 点群データに基づく車両輪郭検出方法、装置、記憶媒体およびコンピュータプログラム | |
Zhe et al. | Inter-vehicle distance estimation method based on monocular vision using 3D detection | |
US10366538B2 (en) | Method and device for illustrating a virtual object in a real environment | |
CN113408324A (zh) | 目标检测方法、装置及系统、高级驾驶辅助系统 | |
KR101163042B1 (ko) | 차량 검출 장치 및 방법 | |
Stein et al. | Stereo-assist: Top-down stereo for driver assistance systems | |
Fei et al. | SemanticVoxels: Sequential fusion for 3D pedestrian detection using LiDAR point cloud and semantic segmentation | |
Nguyen et al. | A fast evolutionary algorithm for real-time vehicle detection | |
Li et al. | A survey of 3D object detection algorithms for intelligent vehicles development | |
Li et al. | Automatic parking slot detection based on around view monitor (AVM) systems | |
Yiruo et al. | Complex ground plane detection based on v-disparity map in off-road environment | |
WO2023131203A1 (zh) | 语义地图更新方法、路径规划方法以及相关装置 | |
Yoo et al. | Real-time rear obstacle detection using reliable disparity for driver assistance | |
CN112990049A (zh) | 用于车辆自动驾驶的aeb紧急制动方法、装置 | |
Doval et al. | Traffic sign detection and 3D localization via deep convolutional neural networks and stereo vision | |
CN114966696A (zh) | 一种基于Transformer的跨模态融合目标检测方法 | |
Xiong et al. | A 3d estimation of structural road surface based on lane-line information | |
Konno et al. | Incremental multi-view object detection from a moving camera | |
Teutsch et al. | 3d-segmentation of traffic environments with u/v-disparity supported by radar-given masterpoints | |
Vatavu et al. | Environment perception using dynamic polylines and particle based occupancy grids | |
KR101316387B1 (ko) | 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법 | |
JP6385621B2 (ja) | 画像表示装置、画像表示方法及び画像表示プログラム | |
EP4246455A1 (en) | Method and device for detecting object and vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees | ||
MM4A | Annulment or lapse of patent due to non-payment of fees |