TWI308891B - - Google Patents

Download PDF

Info

Publication number
TWI308891B
TWI308891B TW096109955A TW96109955A TWI308891B TW I308891 B TWI308891 B TW I308891B TW 096109955 A TW096109955 A TW 096109955A TW 96109955 A TW96109955 A TW 96109955A TW I308891 B TWI308891 B TW I308891B
Authority
TW
Taiwan
Prior art keywords
driver
road
safety monitoring
line
directional information
Prior art date
Application number
TW096109955A
Other languages
English (en)
Other versions
TW200838750A (en
Inventor
Jiann Der Lee
Li Chang Liu
Jiann Der Li
Original Assignee
Univ Chang Gung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Chang Gung filed Critical Univ Chang Gung
Priority to TW096109955A priority Critical patent/TW200838750A/zh
Priority to US11/902,140 priority patent/US7826964B2/en
Publication of TW200838750A publication Critical patent/TW200838750A/zh
Application granted granted Critical
Publication of TWI308891B publication Critical patent/TWI308891B/zh

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

1308891 九、發明說明: 【發明所屬之技術領域】 本發明是有關於一種行車監測系統及方法,特別是指 一種結合多重方向資訊以判斷目前行車模式之智慧型行車 安全監視系統及方法。 【先前技術】 曰〜、i 運輸系統(Intelligent
System;簡稱ITS)之技術是結合控制、資訊、通訊及 傳輸領域的科技,目前在智慧型車輛的研究大致包括 有強化車輛之動力及輔助轉向系統以增進其動態性能 ;結合電子技術及資訊處理以創造安全服務的:加價b 值,如:自動跟車系統與防撞系統;或是建立車内的 數位網路系統等。 然而,目前的智慧型車輛大多著重單一資訊分析, 像疋以雷射光來測量與鄰近車輛的距離資訊 攝衫機取得前方行車影像來 ^ ^ 如像孓。十异與刖方車輛的距離資 訊,或是判斷車輛行駛時是 貝 π疋古愒離目刖的行車線等。 ::廷些系統因未考慮結合駕駛者開車資 法㈣描述駕駛者開車的掌握程纟,例如:當二、 右行駛離開目前的行車唆 向 可能希望_路肩來檢查車輛。 為馬敬者 【發明内容】 —〜个货明之目的,即在提仏 訊之智慧3LMf車安全監視I統及方法 1308891 本發明結合多重方向資訊之智慧型行車安全監视系统 係安裝於一駕駛者之車輛,包含一第一影像擷取裴置、— 第二影像擷取裝置、一資料處理裝置及一指示裝置。 該第一影像擷取裝置用以擷取該駕駛者之臉部影像. °亥第二影像擷取裝置用以擷取該車輛的一前方道路影像. 該貧料處理裝置係依據該駕駛者之臉部影像及該前方道路 知像運算後,將該駕駛者的一視線方向及一車道方向映射
在一全域座標空間並整合為一多重方向資訊;該指示裴置 係輪出該多重方向資訊給該駕駛者作為駕駛狀態是否 之依據。 王 ^本發明結合多重方向資訊之智慧型行車安全監視方法 係用於-駕敬者之車輛,包含下述步驟:(a)擷取該駕敬者 之臉部影像;(b)操取該車輛的-前方道路影像;⑷依據 該駕馱者之臉部㈣及該前方道路f彡像運算後,將該駕敬 :的-視線方向及一車道方向映射在—全域座標空間並整 :為-多重方向資訊;及⑷提供該多重方向資訊給該駕駛 者作為駕駛狀態是否安全之依據。 本發明結合多重方向資訊之智慧型行車安全監視系統 及方法提供給駕駛者參考的應用層面有: μh可以結合行車方向、車道方向及駕歇者的視線方向 專資訊顯示在螢幕上。 、加2.可以運算出多重方向資訊如:道路線相關係數^ 馬駛者相關係數,或者综合該道路線相關係數 -及該駕駛者相關係i 計算之行駛危險係數 6 1308891 ",並進一步依據係數判斷其是屬於將該駕駛者之駕駛 狀態區分為安全模式、具風險模式或危險模式, 3.可以依據道路線相關係數判斷目前路況是一 直線道路、—彎路這路、_轉彎或―變換車道等路況。 【實施方式】 有關本發明之前述及其他技術内容、特點與功效,在 以下配合參考圖式之較佳實施例的詳細說明中,將可清楚 的呈現。 /閱圖1與圖2,本發明結合多重方向資訊之智慧型行 車安全監視系統1的—較佳實施例係安裝於—駕駛者Μ之 車輛8上,該智慧型行車安全監視线 擷取裝置U、一第一景,像眘材痛11Λ 弟如像 1〇 ^ 弟"像貝㈣110、—第二影像擷取裝置 置;4像貧料庫12°、-資料處理裝置13及一指示裝 .首Γ:: …糸統1執行之方法包括下物 •Γ 車輛8㈣行料1第—輯録裝置 取駕敬者W之㈣料,麟其料於第 ㈣ ㈣,以及第二影像擷取褒置12用以 =肩 路9之影像,並將其儲存於第二影像資料庫=。的别方讀 如圖3所示,資料處理裝置13 部影像及衫料9以彡㈣Dm 81之驗 視線方向W、-車道方處理後’將駕駛㈣的- 在-全域座標空間制車方向仙, _bal eGGfdlnate)内 道路線相關係數C一戈一駕駛者相闕 =如- 寻多重方 1308891 14是一顯示裝置,用以 作為參考其駕駛狀態是否 向資訊(作用容後再述);指示褒置 顯示該多重方向資訊給駕駛者81 安全之依據。 的 v 的視線方向Η及車輛 車道方向ΙΙ-ΙΙ,經運算處理後 / 设'J將視線方向Ι,-Γ及車道 ° ·ΙΓ係整合在一全域座標空間7内,又笛_ y 梦罟第—影像擷取 裝置12疋§又置於在車輛8定 J 縱釉方向ΙΙΙ-ΙΙΙ上 ,因此映射在全域座標空間7為行車方向山,货。 參閱圖4,資料處理裝置13 ΜέΒ 171 匕括一臉部偏轉角度運算 楔、、且111、一視線標示模組112、— 遷緣偵測才果組121、一 子轉換模組122、一形態學運算 ΊΟ/1 ± ^异镇,、且123、一直線偵測 楔汲124、一車道方向標示模組125、一 _ 130、 , 订車方向標示模組 130、一道路相關係數算 座n9 胰、,且131、一道路相關係數資料 庫132、一杈型判斷模組Π3、_ 141,- ^ ^ 馬駛相關係數運算模組 14ΐ、一危險係數運算模組151、— 肷、ν於山》 方向輸出模組161、一 兄輸出減162及-開車模式輸出模組⑹。 車方H向標示模組13〇是在全域座標空間7標示出行 瓜 接11(如圖3)’本較佳實施例中’該行車方向 將㈣運声為位在中央轴線。視線標示模組出是 理後得到之視線方向r_r : 王域座標空間7内; 交正口在 # i5 ^ 、,車道方向標示模組125是將 、丄過運异處理後得到之車道 疋將 7内標示出來。其整a方式_ —起在全域座標空間 道方向述包括視線方向Γ_Γ、車 仃 肖仙柳之資訊皆是-起傳送給方 1308891 向輸出模組161,最後由方向輸出模組161輸出整合各方向 標線之多重方向資訊給指示裝置14。 (一)駕駛者之視線方向取得 ^ 内一"从w啊π η,入〜τ π肌U i疋田弟一
衫像賓料庫11 〇取得一臉部影像2後,利用臉部影像2中人 臉的複數特徵點(如:瞳孔、嘴唇等)來決定一頭部偏轉角度 (如圖3之0 〇,其一較佳實施例決定頭部偏轉角度的原理 ’是可利用雙眼的瞳孔位置E1及E2至山根位置E4 的比例會隨著轉頭角度Θ丨料同而有差異變化判斷駕駛 者81的頭部偏轉角度0 1,並將此頭部偏轉 二…的視線方向,設…2為雙眼的瞳孔= 二及E2分別至山根位置以的距離則利用公式1可 汁异出一瞳孔比例Reye。 I 公式i 轉頭孔比Reye變化即可製作出其與不同 ㈣度之對照表,藉此,即可用 偏轉角度<9 !。 」鯽馬駛者81的頭部 兩蠕位置。1Ύ异^式’另-實施例亦可利用嘴唇 歇者81的㈣偏韓2二人中位置Ρ4的比例差異來判斷駕 為駕敬者81的視^ ’並將此頭部偏轉角度^視 的視線方向。假設。及L4為喈辰^ P1及P2分則s 七4為背唇兩端位置
至人中位置P4的郎魅 g J 計算出一喈f ^ 的距離,則利用公式2可 方唇比例RUP。 公式2
Rlip = sign(L3 - L4) 咖(尤4,13) 9 1308891 本較佳實施例是採用計算嘴唇 算嘴唇比例rlip後,可依據如表丨所示u^方式。當計 該嘴唇比例RLIP換算為該頭部偏轉角^的1定對照表將
嘴唇比例rlip 介於1至0.7 介於0.7至0.5 介於0.5至0.3 介於0_3至〇, 介於-1至-0.7, 介於-0.7至-0.5 ------- 介於-0.5至-0.3 介於-0.3至-〇 度 兔^^^6度 大於36度 參閱圖4,當臉部偏轉角度運算模 角度θ,後,視線標示模組112即_部偏轉 在全域座標空間7内標示出駕 -, (二)車道方向之取得 的視線方向Γ-Γ。 參閲圖4及圖6,邊緣伯測模组121用以自第二 = =:=1邊將前方道路影像二過 绫心/ 到—邊_測處理影像I邊 緣偵測處理影像32具有複數邊緣點。 ^接著,反透視轉換模組122將邊緣侦測處理影像32 该等邊緣點作反透視轉換(inv⑽卿㈣以將 =座標點轉換為二維座標點,並將該等二維座標點映射 在-全域座標空間7内,使用反透視轉換目的為了得到消 10 1308891 除透視效應的真實座標空間。 反透視轉換模組122的原理說明如下: ρ像處理方法之透視轉換(perSpective瓜叩口丨叫)是將三 維空間的點投影到二維影像平面上,由於在二維影像平面 上原本平行的兩條直線會交會於一個消失點,因此我們必 須將其做逆轉換(inverse perspective ma卯丨叫)以消除透視效 應。其原理首先是定義三個空間: 『={x,_y,z}e五3,表示真實世界的三維空間; ,={«,v } e五2,表示影像的二維空間;及 S = {u,〇}e妒,重新對應的影像,被定義為真實空 間的二維投影。 、工 參閱圖7’為第二影像鮮裝置12擺設位置的俯視圖 與侧視圖,進行反透視轉換需要知道包括以下幾個參數: 第二影像擷取裝置12的位置:,其位置c 以三個參數定義分別為攝影機高度;卩攝影機中心到 鏡頭距離;及:攝影機與水平原點的距離。 第二影像操取裝置12的攝影方向,其光軸δ是利以 下的角度所定義J : X軸的偏移角度;否:γ軸的偏 度’也即是俯視角。另外,還有包括第二影像擷取裝置12 的孔控、焦距與光圈、解析度(影像解析度w χ 等參數。 利用代數及二角函數可以得到反透視轉換的公式如下 x(u,v)~hxcot {e~a)+u-^- xcos (/-a)+v-?^L +i 八々 L «-1」L n~\ 1 A 式 3 11 1308891 y{u,v) = Ax cot ^-a)+u- 2a n-l xsin [r- a) + v 2a n~\ + d 公式4 z(u,v) = 0 經由公式3、公式4及式公式5會得到像素位置 〇,_y,0) e S對應像素位置(w,v) e /,如此將該等邊緣點的各像 素運算後即可得到消除透視效果的二維座標點。
參閱圖6及圖8,本較佳實施例中是以該原始影像η 邊緣偵測後所得到的邊緣偵測影像32,而圖8即是邊緣偵 测影像3 2經由反透視轉換後的一透視轉換影像3 3。 再參閱圖3,形態學運算模組123是使用膨脹 (Dilation)、侵蝕(Erosion)、斷開(〇peningm 閉合(ci〇s_) 等形態學運算子以增強後續直線偵測的效果。直線偵測模 組124是依據可能具有道路邊線33的區域範圍以霍夫 轉換(Hough Transf0rm)之直線偵測方法來取得實際的車道邊 線33。
公式5 直線偵測模組124的作用原理即是偵測反透視轉換後 之該等二維座標點形成之直線’本較佳實施例是採用霍夫 轉換(Hough transform)。 隹夫轉換主要用於檢測影像中某些特定的形狀(例如: 直線、圓或橢圓等)常用的_種方法。在霍夫轉換的做法中 ,是將直角座標系統(Cartesian c〇〇rdinates)中直線上的點 (X,Y)以公式6映射到(p,0 )空間,即: p = Xcos0 + Fsin0 公式 6 參閱圖9(a),以其中的一直線^為例,其與χ水平線 12 1308891 ^ Λ角為0 ο,過原點(〇,〇)之法線距離為p 。對任意直線而 離及夾角6>。兩變數可記為0與0,分別代表原 γ直線的向量長度和方向;霍夫映射可分為(χ,γ)映射到( . )及(, 61 )映射到(Χ,Υ)兩種方向。(χ,γ)分別以 (Χι’Υι)及(Χ2,γ〇來表示直線L〗上的二座標點。 如圖9(b)所不,對於前者而言,χ_γ平面内的點 (Χ〇,Υ〇)將在卜θ平面内映射出一條正弦曲線,其轉換方程 式如公式7所示: p = x0 cos Θ + YQ sine = A sin + ) 公式 7 ;其中 ltan-,〇他2;?。 △式7中,起始角0 〇和振幅A隨χ〇和γ〇的值而變。 - 而從(ρ,θ)到(X_Y)的映射,且X-Y平面内的-條直線將 在P-θ平面上皆會映射出—個點。霍夫轉換直線制演算 法介紹如下: • ⑴將影像二值化,卩〇表示背景,1表示物體的點集 合。 (2) 建立一累積陣列(accumulat〇r array)H( ρ0 ),對 二值影像中的每一個以1表示的點(xi,Yi)作轉換,即 /?-;^观6> + }^1116»對於所有符合轉換方程式^]^』)之内 的點(p , 0 ),且令好(A0 = i/(A<9) + 1。 (3) 檢查累積陣列H(以),H(p,0)内之值表示在由( P,0 )所確疋直線上的點數,並給定一臨界值做為下限,藉 此求得Η(ρ,θ)中大於臨界值的點,從而得出待測直線的 13 1308891
【主要元件符號說明】 1 .......... 智慧型行車安全 料庫 監視系統 133 ..… …模型判斷模組 11......... 第一影像擷取裝 141 …· …駕駛相關係數運 置 算模組 110....... 第一影像資料庫 151 ···.. …危險係數運算模 12......... 第二影像擷取裝 組 置 161…… …方向輸出模組 120....... 第二影像資料庫 162 …·· ••路況輸出模組 13......... 資料處理裝置 163 … …開車模式輸出模 111 ....... 臉部偏轉角度運 組 算模組 14....... ••指不裝置 112....... 視線標示模組 2 ........ ••臉部影像 121....... 邊緣偵測模組 31....... …前方道路影像 122....... 反透視轉換模組 32....... …邊緣偵測處理影 123....... 形態學運算模組 像 124....... 直線偵測模組 33....... …透視轉換影像 125....... 車道方向標示模 41 > 42 ••原始道路影像 組 411、421邊緣偵測影像 130....... 行車方向標示模 412、422車道邊線影像 組 51 ·…… …駕駛者影像 131....... 道路相關係數運 52....... …前方道路影像 算模組 53....... …全域標準座標 132....... 道路相關係數資 61 〜63 ••測試晝面 21 1308891
7 ..........全域座標空間 II-II、ΙΓ-ΙΓ車道方向 8 ..........車輛 III-III…縱軸方向 81.........駕駛者 ΙΙΓ-ΙΙΓ·行車方向 I-I、Ι’-Γ視、線方向 22

Claims (1)

1308891 十、申請專利範圍: 1.=結合多重方向資訊之智慧型行車安全監視系統 女裝於一駕駛者之車輛,該系統包含: 糸 像; 第一影像擷取裝置, 用以擷取該駕駛者之臉部 影 路影:第二影像擷取裝置’用以擷取該車輛的—前方道 1料處理裝置,電性連接該第—及第二影像操取 算後,將該駕駛者的1線= : : :方道路影像運 全域座標空間内並:向映射在一 正口為一多重方向資訊;及 者作=示裝置,錢出該整合多重方向資訊給該駕駛 者作為馬駛狀態是否安全之依據。 2 ·依據申請專利餘圖楚 ㈣心 項所述之結合多重方向資訊之智 〜饤女全監視系統,其中’該第二影像擷取裝置係 設置於該㈣戟義的映射㈣全域絲 車 方向。 』仃早 ==士利範圍第2項所述之結合多重方向資訊之智 ;入I :全1^視系統’其中,該資料處理裝置係依據 I * '1中該車辅的車道方向及該行車方向之 貝5fU十异出—道路線相 . 離行車道路之程度。’、數“以作為该車輛目前偏 4_依據申請專利範圍 _ 項所述之結合多重方向資訊之智 〜、订女全監視系統,其中,該資料處理裝置係依據 23 1308891 該全域座標空間中該車輛的車道方向及該駕駛者的視 線方向之資訊計算出一駕駛者相關係數Cw以作為該 駕駛者是否注意道路變化之依據。 5. 依據申請專利範圍第4項所述之結合多重方向資訊之智 慧型行車安全監視系統,其中,該資料處理裝置係利用 軟性形狀絡(Soft Shape Contexts)來計算該道路線相關係 數及该駕驶者相關係數。 6. 依據申請專利範圍第4項所述之結合多重方向資訊之智 慧型行車安全監視系統,其中,該資料處理裝置係將該 道路線相關係數仏_乘以該駕駛者相關係數Q…"來計 算一行駛危險係數Q)a/^er,其公式定義如下: ^Danger = C^ X C〇 7_依據申請專利範圍第6項所述之結合多重方向資訊之智 慧型行車安全監視系統,|中,該資料處理裝置係將該 行駛危險絲依係數大小,將該駕驶者之駕驶狀 態區分為一安全模式、一具風險模式及一危險模式。 8.依據申請專利範圍第}項所述之結合多重方向資訊之智 慧型仃車安全監視系統,其中,該資料處理裝置具有: 臉4偏轉角度運算模組,用以依據該臉部影像之 複數特徵點決定一偏轉角度;及 一駕驶者視線標示模組,用以依據該偏轉角度在該 全域座標空間内標示出該駕駛者的視線方向。 9·依據中請專利範圍第8項所述之結合多重方向資訊之智 24 1308891 慧型行車安全監視系統,甘a 株 1丁平叉 丁凡其中,該臉部偏轉角度運算模 組係計算下述公式: RL,p = sign{Ly ^ min(I4,L,);及 4 ηΐ^〇ζ7ζ) * 項所述之結合多重方向資訊之智 ’其中,該資料處理裝置具有: 用以取得該前方道路影像的複數
田°十算該嘴唇tb例Rlip後,再依據-預S對照表 將該嘴唇比M RLIP換算為該偏㈣度。 i〇.依據申請專利範圍第1 慧型行車安全監視系統 一邊緣偵測模組, 邊緣點;及 -反透視轉換模組’將該等邊緣點作反透視轉換以 將三維座標點轉換為二維座標點,並將該等二維座標點 映射在該全域座標空間内。 11·依據申請專利範圍第10項 •^所述之結合多重方向資訊之智 慧型行車安全監視系統, _ ^ ^ 丁% 其中,該貢料處理裴置更具有 一形態學運算模組,係對該等邊緣點以膨脹、侵钮 、斷開或閉合其中任-種形態學運算子作運算。 12.依據中請專利範圍第1G項所述之結合多重方向資訊之知 慧型行車安全監視系統,其中,該資料處理裝置更具: 一直線偵測模組,用以 直線;及 一車道方向標示模 之 偵測該等二維座標點形成 .^ M 用以在别迷所禎測到的直缘 中,依據所設定的-長度、的直線 ^ 距行車方向 25 1308891 的距離其中任一者來選擇最有可能為左右兩邊的二 車道邊線’最後依該等車道邊線之中線標示出該車道 中線。 13.依據中請專利範圍第12項所述之結合多重方向資訊之智 慧至灯車女全監視系統’其中’該直線偵測模組係採用 霍夫轉換運算偵測出該直線。 14·依據申請專利範圍第3項所述之結合多重方向資訊之智 慧型行車安全監視系統,其中,該資 曰 -模型運算模組,用以預先取得—段先前V間 的該道路線相關係數,並利用該道路線相關係數 分布的特性來訓練-隱藏馬可夫模組以供辨認是 何種開車模式;及 疋 行車狀態判斷模組,用以取得現在的該道略 彎路道路、一轉彎或一變換車 線相關係數,並輸入該模型運算模組來辨認目々 路況是一直線道路 W 峒 道 15=據中請專利範圍第丨項所述之結合多重方向資訊之智 :型仃車安全監視系統’其中,該指示裝置係一顯示 置或—警報裝置。 、 16·~種結合多重方向資訊之智慧型行車安全監視方法,係 用於—駕駛者之車輛,該方法包含下述步驟: 〜 (a) 擷取該駕駛者之臉部影像; (b) 擷取該車輛的一前方道路影像; (c) 依據該駕駛者之臉部影像及該前方道路影像運 26 l3〇889l 鼻後’將該駕驶者的一視線方向及_康增士 a 早道方向映射在一 王域座標空間内並整合為一多重方向資訊;及 β⑷提供該多重方向資訊給該駕敬者作為駕驶狀態 疋否安全之依據。 依據申請專利範圍第16項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟⑷中該車輛定義 有一映射在該全域座標空間的一行車方向。 18. 依據申請專利範圍第17項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟(c)係依據該全域 j標空間中該車輛的車道方向及該行車方向之資訊計 算出一這路線相關係數c£ane以作為該車輛目前偏離行 車道路之程度。 19. 依據申請專利範圍第丨8項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟(c)係依據該全域 座&空間中該車輛的車道方向及該駕駛者的視線方向 之貧訊計算出一駕驶者相關係數以作為該駕駛者 是否注意道路變化之依據。 20. 依據申請專利範圍第丨9項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟係利用軟性形 狀絡(Soft Shape Contexts)來計算該道路線相關係數 及該駕駛者相關係數匸 ^ ^Driver 21 ·依據申凊專利範圍第19項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟(〇係將該道路線相 關係數乘以該駕駛者相關係數,來計算一行 27 1308891 驶危險係數Ci)e„ger,其公式定義如下: ^Danger ~ ^Lane ^ ^Driver 。 22. 依據申請專利範圍第21項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟(c)係將該行駛危險 係數依係數大小,將該駕駛者之駕駛狀態區分為一安全 模式、一具風險模式及一危險模式。 23. 依據申請專利範圍第16項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟(c)具有下述子步驟 (c-1)依據該臉部影像之複數特徵點決定一偏轉角度 ;及 (c-2)依據該偏轉角度在該全域座標空間内標示出該 駕驶者的視線方向。 24. 依據申請專利範圍第23項所述之結合多重方向資訊之智 慧型仃車安全監視方法,其中,步驟(e—i)係計算下述公 式: Rlip =sign(L3 -£4) min(乙4,Z3);及 max(Z4,Z3) 田计算忒嘴唇比例RLip後,再依據一預定對照表 將該嘴唇比例RLIp換算為該偏轉角度。 25. 依據中請專利範圍第16項所述之結合多重方向資訊之智 慧5订車安全監視方法,其中,步驟⑷具有下述子步驟 (3) 取得δ亥蚋方道路影像的複數邊緣點;及 (4) 將該等邊緣點作反透視轉換以將三維座標點轉 28 1308891 換為一維座n並將該等:維座標點映射在該全域座 標空間内。 26·依據中請專利範圍第25項所述之結合多重方向資訊之智 慧型盯車安全監視方法,其申,步驟⑷更具有下述子步 驟· (c 5)對該等邊緣點以膨脹、侵#、斷開或閉合里 中任一種形態學運算子作運算。 射請專利範圍第25項所述之結合多重方向資訊之智 型灯車安全監視方法,其十,步驟⑷更具有下述子步 驟: (c-6)偵測該等二維座標點形成之直線;及 ㈣在前述所侦測到的直線中,依據所設定的一 長度、一斜率或一距行車方向的距離其中任一者來 選擇最有可能為左右兩邊的-直 石兩邊的一車道邊線,最後依該 等車道邊線之中線標示出該車道中線。 28^申請料J範圍第27項所述之結合多重方向資訊之智 施型Γ車安全監視方法’其中’步驟(C.6)係採用霍夫轉 換運算偵測出該直線。 29.依據申請專利範圍第18項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,步驟⑷具有下述子步: (U)預先取得-段先前時間的該道路線相關係 二並利用該道路線相關係數分布的特 圳練一模型運算模組以供辨認是何種開車模式;及 29 1308891 (c-9)取得現在的該道路線相關係數,並輸 入該模型運算模組來辨認目前路況是一直線道路、一彎 路道路、一轉彎或一變換車道。 30.依據申請專利範圍第29項所述之結合多重方向資訊之智 慧型行車安全監視方法,其中,該模型運算模組是内建 一隱藏馬可夫模組。
30
TW096109955A 2007-03-22 2007-03-22 Intelligent driving safety monitoring system integrating multiple direction information and method thereof TW200838750A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW096109955A TW200838750A (en) 2007-03-22 2007-03-22 Intelligent driving safety monitoring system integrating multiple direction information and method thereof
US11/902,140 US7826964B2 (en) 2007-03-22 2007-09-19 Intelligent driving safety monitoring system and method integrating multiple direction information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW096109955A TW200838750A (en) 2007-03-22 2007-03-22 Intelligent driving safety monitoring system integrating multiple direction information and method thereof

Publications (2)

Publication Number Publication Date
TW200838750A TW200838750A (en) 2008-10-01
TWI308891B true TWI308891B (zh) 2009-04-21

Family

ID=39773581

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096109955A TW200838750A (en) 2007-03-22 2007-03-22 Intelligent driving safety monitoring system integrating multiple direction information and method thereof

Country Status (2)

Country Link
US (1) US7826964B2 (zh)
TW (1) TW200838750A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI397865B (zh) * 2009-08-12 2013-06-01 Utechzone Co Ltd Security personnel to monitor the degree of focus monitoring system

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI419804B (zh) * 2008-11-28 2013-12-21 Chi Mei Comm Systems Inc 行車安全監控裝置及方法
DE102011018157A1 (de) * 2011-04-19 2012-10-25 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Erkennung einer Bushaltestelle
US9043042B2 (en) * 2011-07-19 2015-05-26 GM Global Technology Operations LLC Method to map gaze position to information display in vehicle
US8848978B2 (en) * 2011-09-16 2014-09-30 Harman International (China) Holdings Co., Ltd. Fast obstacle detection
KR101541483B1 (ko) * 2014-01-03 2015-08-03 현대모비스(주) 차선 변경 감시 장치 및 그 제어 방법
US10068472B2 (en) * 2014-06-06 2018-09-04 Veoneer Us, Inc. Automotive lane discipline system, method, and apparatus
US10532659B2 (en) 2014-12-30 2020-01-14 Joyson Safety Systems Acquisition Llc Occupant monitoring systems and methods
US10614328B2 (en) 2014-12-30 2020-04-07 Joyson Safety Acquisition LLC Occupant monitoring systems and methods
USD751437S1 (en) 2014-12-30 2016-03-15 Tk Holdings Inc. Vehicle occupant monitor
US9533687B2 (en) 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
CN107609486A (zh) * 2017-08-16 2018-01-19 中国地质大学(武汉) 一种车辆前向防撞预警方法及系统
TWI641516B (zh) 2018-03-06 2018-11-21 國立交通大學 車道線偵測方法
TWI719330B (zh) * 2018-07-27 2021-02-21 群邁通訊股份有限公司 電子裝置及行車安全提醒方法
CN109934175B (zh) * 2019-03-15 2021-07-06 百度在线网络技术(北京)有限公司 一种车辆导航方法、装置、电子设备及存储介质
CN110532997B (zh) * 2019-09-05 2022-04-12 杭州视在科技有限公司 一种用于机场的多相机融合自动获取站坪完整信息的方法
TWI723657B (zh) * 2019-12-02 2021-04-01 宏碁股份有限公司 車輛控制方法與車用控制系統

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272431B1 (en) * 1997-04-29 2001-08-07 Thomas Zamojdo Method for displaying a map in a vehicle en-route guidance system
JP4501888B2 (ja) * 2005-07-07 2010-07-14 株式会社デンソー 車両用前照灯装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI397865B (zh) * 2009-08-12 2013-06-01 Utechzone Co Ltd Security personnel to monitor the degree of focus monitoring system

Also Published As

Publication number Publication date
US20080230297A1 (en) 2008-09-25
TW200838750A (en) 2008-10-01
US7826964B2 (en) 2010-11-02

Similar Documents

Publication Publication Date Title
TWI308891B (zh)
US10665025B2 (en) Method and apparatus for representing a virtual object in a real environment
JP6364049B2 (ja) 点群データに基づく車両輪郭検出方法、装置、記憶媒体およびコンピュータプログラム
Zhe et al. Inter-vehicle distance estimation method based on monocular vision using 3D detection
US10366538B2 (en) Method and device for illustrating a virtual object in a real environment
CN113408324A (zh) 目标检测方法、装置及系统、高级驾驶辅助系统
KR101163042B1 (ko) 차량 검출 장치 및 방법
Stein et al. Stereo-assist: Top-down stereo for driver assistance systems
Fei et al. SemanticVoxels: Sequential fusion for 3D pedestrian detection using LiDAR point cloud and semantic segmentation
Nguyen et al. A fast evolutionary algorithm for real-time vehicle detection
Li et al. A survey of 3D object detection algorithms for intelligent vehicles development
Li et al. Automatic parking slot detection based on around view monitor (AVM) systems
Yiruo et al. Complex ground plane detection based on v-disparity map in off-road environment
WO2023131203A1 (zh) 语义地图更新方法、路径规划方法以及相关装置
Yoo et al. Real-time rear obstacle detection using reliable disparity for driver assistance
CN112990049A (zh) 用于车辆自动驾驶的aeb紧急制动方法、装置
Doval et al. Traffic sign detection and 3D localization via deep convolutional neural networks and stereo vision
CN114966696A (zh) 一种基于Transformer的跨模态融合目标检测方法
Xiong et al. A 3d estimation of structural road surface based on lane-line information
Konno et al. Incremental multi-view object detection from a moving camera
Teutsch et al. 3d-segmentation of traffic environments with u/v-disparity supported by radar-given masterpoints
Vatavu et al. Environment perception using dynamic polylines and particle based occupancy grids
KR101316387B1 (ko) 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법
JP6385621B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
EP4246455A1 (en) Method and device for detecting object and vehicle

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees
MM4A Annulment or lapse of patent due to non-payment of fees