TWI609807B - 影像評估方法以及其電子裝置 - Google Patents

影像評估方法以及其電子裝置 Download PDF

Info

Publication number
TWI609807B
TWI609807B TW105115125A TW105115125A TWI609807B TW I609807 B TWI609807 B TW I609807B TW 105115125 A TW105115125 A TW 105115125A TW 105115125 A TW105115125 A TW 105115125A TW I609807 B TWI609807 B TW I609807B
Authority
TW
Taiwan
Prior art keywords
column
image
pixels
candidate
brightness change
Prior art date
Application number
TW105115125A
Other languages
English (en)
Other versions
TW201741174A (zh
Inventor
郭俊麟
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW105115125A priority Critical patent/TWI609807B/zh
Priority to CN201610390135.2A priority patent/CN107392080B/zh
Priority to US15/264,615 priority patent/US10255508B2/en
Publication of TW201741174A publication Critical patent/TW201741174A/zh
Application granted granted Critical
Publication of TWI609807B publication Critical patent/TWI609807B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

影像評估方法與其電子裝置。影像評估方法適於安裝在車輛的電子裝置以評估車輛是否偏離車道,並且前述電子裝置包括至少一攝像單元。影像評估方法包括下列步驟。藉由攝像單元,取得相關於行車環境的影像。由影像的任意列像素開始,依據評估準則,評估影像中的多組候選對以及對應的多個候選點以辨識影像中的車道線。計算車輛的特徵部對應影像的對應位置。比對特徵部對應影像的對應位置以及車道線以判斷車輛是否偏向或跨越實體車道線。

Description

影像評估方法以及其電子裝置
本發明是有關於一種評估方法以及其電子裝置,且特別是有關於一種影像評估方法以及其電子裝置,用於評估車輛是否偏離車道。
隨著科技的進步,車輛逐漸地普及於日常生活之中,並且成為常見的代步工具。然而,車輛普及化後,隨之而來的是許多的交通事故以及高攀不下的傷亡數字。在交通事故中,駕駛者的不當操作、精神不集中等都是常見的肇禍原因。為了降低交通事故,先進駕駛輔助系統(Advanced Driver Assistance Systems;ADAS)被提出以輔助駕駛者。先進駕駛輔助系統主要是收集行車時的資料並且進行辨識,然後對應地提醒駕駛者路況或可能發生的各種情況。通常來說,車輛間的交通事故都是由一方車輛跨越或偏離目前行駛的車道而與其他車輛發生追撞或擦撞。因此,若能在車輛偏離車道時對應提醒駕駛者,則應可使駕駛者心生警惕而降地發生交通事故的機率。
具體來說,由於車輛是行駛在具有實體車道線的道路上,因此可藉由判斷車輛是否跨越實體車道線來決定車輛是否偏離車道。一般而言,車道線偵測首先是取得包括車道線的前方影像,然後從前方影像中確認車道線的位置,進而推斷車輛是否跨越了實體車道線。然而,目前的車道線偵測通常是單純地以前方影像中的亮度資訊來判斷車道線的位置,但不能有效地濾除其他如車燈、車牌、白色石頭、地面光線反射等帶來的雜訊。具體而言,許多行車環境中的物體都可能造成與車道線類似的偵測亮度。因此,如何提出一個更精準的影像估方法以及其電子裝置,用於評估車輛是否偏離車道,仍是本領域人員努力的目標之一。
本發明提供一種影像評估方法以及其電子裝置,透過一個評估準則來辨識車道線,並且以車輛的特徵部位來判斷車輛是否跨越實體車道線,藉以更精準地評估車輛是否偏離車道。
本發明的實施例提供一種影像評估方法,適於安裝在車輛的電子裝置以評估車輛是否偏離車道。電子裝置包括至少一攝像單元。影像評估方法包括下列步驟。藉由攝像單元取得相關於行車環境的影像。由影像的任意列像素開始,依據評估準則,評估影像中的多組候選對以及對應的多個候選點以辨識影像中的車道線。計算車輛的特徵部對應影像的對應位置。比對特徵部對應影像的對應位置以及車道線以判斷車輛是否偏向或跨越實體車道線。
本發明的實施例提供一種電子裝置,適於安裝在車輛並評估車輛是否偏離車道。電子裝置包括至少一攝像單元、辨識單元、計算單元與比對單元。攝像單元用於取得相關於行車環境的影像。辨識單元耦接於攝像單元。辨識單元由影像的任意列像素開始,依據評估準則,評估影像中的多組候選對以及對應的多個候選點以辨識影像中的車道線。計算單元,耦接於攝像單元與辨識單元。計算單元計算車輛的特徵部對應影像的對應位置。比對單元,耦接於辨識單元與計算單元。比對單元比對特徵部對應影像的對應位置以及車道線以判斷車輛是否偏向或跨越實體車道線。
基於上述,本發明實施例所提供的影像評估方法以及其電子裝置,利用評估準則來評估影像中的候選對以及對應的候選點以辨識車道線,並且比較特徵部的對應位置與車道線來判斷車輛是否跨越實體車道線,藉此達到更精準的車道線辨識與車道偏離評估。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
現將詳細參考本發明之示範性實施例,在附圖中說明所述示範性實施例之實例。另外,凡可能之處,在圖式及實施方式中使用相同標號的元件與構件代表相同或類似部分。
在評估車輛是否偏離車道時,首先必須進行車道線偵測,然後由所偵測的車道線來判斷車輛是否偏離車道。換言之,車道偏離評估技術分為兩大部分,分別為車道線偵測以及偏離車道偵測。在本發明的實施例中,影像評估方法以及其電子裝置,首先取得行車環境的影像,並且透過一個評估準則來從影像中辨識車道線。然後,比對車道線與車輛的特徵部對應影像的對應位置,藉以判斷車輛是否跨越實體車道線。
圖1A是依照本發明一實施例所繪示之電子裝置的示意圖。參照圖1A,電子裝置100包括攝像單元110、辨識單元120、計算單元130與比對單元140。在本實施例中,攝像單元110的數量為一個,但本發明不限於此。在其他實施例中,攝像單元110的數量為兩個以上。在本發明的一實施例中,電子裝置100例如是平板電腦、智慧型手機、智慧型行動裝置或行車紀錄器,但本發明不以此為限。電子裝置100例如是設置於車輛內。
參照圖1A,攝像單元110耦接辨識單元120與計算單元130。於本實施例中,攝像單元110例如是電荷耦合元件(Charge Coupled Device, CCD)或互補金氧半導體(Complementary Metal-Oxide Semiconductor, CMOS)影像感測器,但本發明不限於此。於本發明的一實施例中,攝像單元110用於取得行車環境的影像。具體而言,不論車輛是行進或停止,攝像單元110用於取得車輛前方的影像。然而,於本發明的另一實施例中,攝像單元110僅在車輛的行進速度達到一個速限後才取得行車環境的影像。另一方面,於本發明的又一實施例中,攝像單元110在車輛進行U字型迴轉時,由於行進速度較慢,並且此時影像較易產生畫面雜訊或攝像單元110容易截取到非關於行車環境的畫面,故電子裝置100不進行車道偏離評估。
參照圖1A,於本實施例中,辨識單元120耦接計算單元130,而比對單元140耦接辨識單元120與計算單元130。值得注意的是,於本發明的一實施例中,辨識單元120、計算單元130與比對單元140可以透過軟體或韌體來實作,並且由電子裝置100的處理單元(未繪示)載入以實現辨識單元120、計算單元130與比對單元140的功能,但本發明不限於此。值得注意的是,於本發明的另一實施例中,辨識單元120、計算單元130與比對單元140還可以是透過實體電路結構來分別實作。
於本發明的一實施例中,電子裝置100的處理單元例如是微控制器(micro-controller)、嵌入式控制器(embedded controller)、中央處理器(central processing unit, CPU)、場效可程式邏輯閘陣列(Field programmable gate array, FPGA)、特殊應用積體電路(Application-specific integrated circuit, ASIC)或類似的元件,但不限於此。
圖1B是依照本發明另一實施例所繪示之電子裝置的示意圖。參照圖1B,於圖1A相比,本實施例的電子裝置100更包括影像單元150、輸出單元160與校正單元170。影像單元150耦接於攝像單元110、辨識單元120與計算單元130之間,而校正單元170耦接於攝像單元110與影像單元150。更詳細而言,影像單元150適於進行影像處理,並且與攝像單元110、校正單元170一同用於取得行車環境的影像。於本實施例中,影像單元150、校正單元170例如是透過軟體或韌體來實作,並且由電子裝置100的處理單元(未繪示)載入以實現。然而,於本發明的另一實施例中,影像單元150、校正單元170例如是透過實體電路結構來實作。
於本發明的一實施例中,輸出單元160例如是顯示螢幕、揚聲器、耳機等裝置。於本實施例中,輸出單元160用於輸出電子裝置100的訊息。於本發明的一實施例中,電子裝置100還例如是包括儲存單元(未繪示)。儲存單元例如是硬碟(Hard Disk)、隨機存取記憶體(Random Access Memory, RAM)或具有儲存功能的類似元件,用以儲存各類訊息與資料。
圖2是依照本發明一實施例所繪示之影像評估方法的流程圖。於本實施例中,圖2所示的影像評估方法例如是適用於圖1A與圖1B所繪示的電子裝置100,藉以評估車輛是否偏離車道,但本發明不以此為限。參照圖1A、圖1B與圖2,首先藉由攝像單元110,取得相關於行車環境的影像(步驟S220)。辨識單元120取得相關於行車環境的影像後,由影像的任意列像素開始,依據評估準則,評估影像中的多組候選對以及對應的多個候選點以辨識影像中的車道線(步驟S240)。另一方面,計算單元130取得相關於行車環境的影像後,計算車輛的特徵部對應影像的對應位置(步驟S260)。值得一提的是,於本實施例中,車輛的特徵部例如是左車前燈與右車前燈。最後,比對單元140比對特徵部對應影像的對應位置以及車道線以判斷車輛是否跨越實體車道線(步驟S280)。以下將搭配圖示詳細說明影像評估方法的各個步驟。
參照圖2,在本實施例中,攝像單元110用於取得行車環境的影像,並且例如是直接地取得行車環境的灰階影像,但本發明不限於此。於本發明的另一實施例中,攝像單元110取得行車環境的原始影像後,更交由影像單元150對原始影像執行數位影像處理以取得相關於行車環境的灰階影像或二值化影像。具體而言,數位影像處理包括灰階化處理、二值化處理與降噪處理等,但不限於此。
更詳細而言,本發明的影像評估方法採用灰階化影像或二值化影像以便正確地由影像中判斷出車道線並過濾可能造成誤判的雜訊。於本實施例中,相關於行車環境的影像由多個像素(pixel)組成。若影像的像素規格為320x180,則代表影像具有320行以及180列,並且共有320x180個像素,但本發明不以此為限。
取得相關於行車環境的影像後,如圖2所示,由影像的任意列像素開始,辨識單元120依據評估準則,評估影像中的多組候選對以及對應的多個候選點以辨識影像中的車道線。更詳細而言,在本實施例中,辨識單元120首先尋找影像中的一組亮度變化點。具體而言,一組的前述亮度變化點包括第一亮度變化點與第二亮度變化點。在本實施例中,第一亮度變化點與第二亮度變化點例如是亮度突升點與亮度突降點,但不以此為限。然後,基於每一組的亮度變化點(亮度突升點與亮度突降點)來辨識影像中的車道線。
圖3是依照本發明一實施例所繪示之相關於行車環境的影像的示意圖。影像的像素規格例如為前述的320x180,並且具有影像中心PC。參照圖3,一般而言,在灰階化的影像中,車道線LL、RL相對於其餘馬路部分,通常具有較高的亮度值,並且通常具有較為一致的寬度。換言之,車道線LL、RL在同一列的像素中,通常介於一個亮度突升點(第一亮度變化點)與亮度突降點(第二亮度變化點)之間。舉例而言,例如是圖3中的第一列像素的亮度突升點LR1與亮度突降點LD1之間、第二列像素的亮度突升點LR2與亮度突降點LD2之間、第三列像素的亮度突升點LR3與亮度突降點LD3之間與某一列像素的亮度突升點LRC與亮度突降點LDC之間。因此,若能辨識出屬於車道線的多組亮度變化點,然後沿前述多組亮度變化點內的亮度突升點與亮度突降點的中點C1、C2、C3、CC進行描繪,即可確認車道線在影像中的位置。另一方面,對於不屬於車道線的亮度變化點,則必須對應地過濾或排除。需要注意的是,前述的任意列像素例如是影像中最接近行車環境中的地面的一端的第一列像素,但本發明不以此為限。
圖4是依照本發明一實施例所繪示之辨識影像中的車道線的流程圖。參照圖4,以下將描述如何判斷在影像中的一組亮度變化點是否為車道線的過程。於本實施例中,辨識單元120依據影像的影像中心,以影像的部分作為辨識影像(步驟S241)。具體而言,影像中的車道線如圖3所示,可能具有左車道線LL與右車道線RL。因此,在辨識車道線的過程中,首先以影像中心PC為界,取得影像的左半部分或右半部分作為辨識影像。以下實施例將以圖3的左半部分為辨識影像以詳述車道線辨識的流程,但本發明不以此為限。
參照圖4,接著,辨識單元120由辨識影像的任意列像素開始,取得辨識影像的一列像素的一組亮度變化點(步驟S242)。一組亮度變化點包括第一亮度變化點與第二亮度變化點,而第一亮度變化點與第二亮度變化點例如是亮度突升點與亮度突降點。接著,辨識單元120依據評估準則,判斷前述該組的亮度變化點是否定義為候選對(步驟S243)。詳細而言,於本實施例中,辨識單元120是由辨識影像的任意一列像素開始,每當取得一組亮度變化點,便以評估準則來判斷前述該組的亮度變化點是否為車道線可能的候選對。任意列像素可以為辨識影像之中,較接近地面一端的第一列像素,但不限於此。相對來說,若該組的亮度變化點不符合評估準則,則不將該組的亮度變化點作為車道線可能的候選對。
圖5A與突5B是依照本發明一實施例所繪示之評估準則的示意圖。具體而言,於本實施例中,評估準則包括多項不同的準則,而辨識單元120是基於評估準則1、評估準則2與評估準則3來判斷一列像素的一組亮度變化點是否定義為候選對。需要注意的是,在圖5A與圖5B的各項評估準則中,波形高低代表亮度值高低,而波形所對應的點為一列像素上的亮度突升點(第一亮度變化點)或亮度突降點(第二亮度變化點),例如是圖3所示的亮度突升點LR1、LR2、LR3或亮度突降點LD1、LD2、LD3,但不以此為限。
參照圖5A,評估準則1以亮度突升點LR1與亮度突降點LD1為例,但實施對象不以此為限。在本發明的一實施例中,評估準則1主要是比較亮度突升點LR1與亮度突降點LD1間的亮度值以及亮度突升點LR1前的亮度值,或者是比較亮度突升點LR1與亮度突降點LD1間的亮度值以及亮度突降點LD1後的亮度值。具體來說,由於影像中的車道線相較於周遭的路面部分是較亮的。因此,車道線所對應的亮度突升點LR1與亮度突降點LD1間的亮度值,理論上是大於亮度突升點LR1前的亮度值以及亮度突降點LD1後的亮度值。
因此,在本實施例中,辨識單元120依據評估準則1,判斷一組亮度變化點間的亮度值以及第一亮度變化點前的亮度值之間的亮度值差異是否大於亮度差異閥值,或者是判斷一組亮度變化點間的亮度值以及第二亮度變化點後的亮度值之間的亮度值差異是否大於亮度差異閥值。若否,則前述該組的亮度變化點不定義為候選對。
參照圖5A,評估準則2以亮度突升點LR1與亮度突降點LD1為例,但實施對象不以此為限。在本發明的一實施例中,評估準則2主要是判斷亮度突升點LR1與亮度突降點LD1間的寬度是否落於一個合適的範圍內。詳細而言,實體車道線的寬度通常有一定的規範,並且例如是10至15公分(cm)。相對來說,影像中的車道線也應有對應的寬度,並且前述寬度單位為像素數。除了實體車道線的寬度外,影像中的車道線寬度還受攝像單元110的設置高度與俯仰角度影響。因此,依據實體車道線的寬度、攝像單元110的設置高度與攝像單元110的俯仰角度,一個適宜寬度範圍可以被取得並儲存於儲存單元中。
因此,在本實施例中,辨識單元120依據評估準則2,判斷一組亮度變化點間的寬度是否符合適宜寬度範圍。若否,則前述該組的亮度變化點不定義為候選對。
參照圖5A,評估準則3以亮度突升點LR1與亮度突降點LD1為例,但實施對象不以此為限。在本發明的一實施例中,評估準則3主要是判斷亮度突升點LR1與亮度突降點LD1所分別對應的亮度梯度的方向是否一致。一般而言,屬於同一車道線的亮度突升點LR1與亮度突降點LD1,其亮度值的梯度(gradient)的方向應為一致。
因此,在本實施例中,辨識單元120依據評估準則3,判斷一組亮度變化點所分別對應的亮度梯度的方向是否一致。若否,則前述該組的亮度變化點不定義為候選對。
於本實施例中,若一組亮度變化點通過評估準則1、評估準則2與評估準則3的評估,則辨識單元120將前述該組的亮度變化點定義為候選對。換言之,前述該組亮度變化點沒有因評估準則1、評估準則2與評估準則3而被排除並且不定義為候選對。參照圖4,此時,若前述該組的亮度變化點定義為候選對,並且所屬的該列像素為前述的任意列像素,則辨識單元120新增表單以存放候選對以及對應的候選點(步驟S244)。於本發明的一實施例中,候選對所對應的候選點為其亮度變化點間的中點,亦即第一亮度變化點與第二亮度變化點間的中點。
參照圖3,以第一列像素上的亮度突升點LR1與亮度突降點LD1為例,當辨識單元120依據評估準則1、評估準則2與評估準則3判斷亮度突升點LR1與亮度突降點LD1可定義為候選對時,此時前述的任意列像素為第一列像素,則辨識單元120新增表單以存放亮度突升點LR1、亮度突降點LD1以及亮度突升點LR1與亮度突降點LD1的中點C1。
另一方面,於本實施例中,若一組亮度變化點定義為候選對,並且所屬的列像素不為前述的任意列像素,則辨識單元120進一步依據評估準則,判斷候選對以及對應的候選點所應存放的表單或新增表單以存放候選對以及對應的候選點(步驟S245)。詳細而言,本發明實施例所提出的影像評估方法,是由任意一列像素開始尋找多組亮度變化點來做為候選對。因此,一旦搜尋的對象移動至前述任意列像素以外的其他列像素時,辨識單元120還需要判斷每個定義的候選對與其他候選對之間的關係來選擇用於存放的表單或者是新增表單。在本實施例中,前述的任意列像素例如為圖3的影像中的第一列像素。
參照圖3、圖5A與圖5B,以第二列像素上的亮度突升點LR2與亮度突降點LD2視為一組亮度變化點的第一亮度變化點與第二亮度變化點來舉例,當辨識單元120依據評估準則1、評估準則2與評估準則3判斷亮度突升點LR2與亮度突降點LD2可定義為候選對後,在影像評估方法的步驟S245中,辨識單元120更依據評估準則4、評估準則5、評估準則6、評估準則7、評估準則8與評估準則9判斷候選對(亮度突升點LR2與亮度突降點LD2)以及對應的候選點(亮度突升點LR2與亮度突降點LD2的中點C2)所應存放的表單或新增表單以存放候選對以及對應的候選點。需要注意的是,雖然以下將以亮度突升點LR2(第一亮度變化點)與亮度突降點LD2(第二亮度變化點)作為範例來詳述評估準則4~評估準則9,但評估準則4~評估準則9的實施對象不以前述亮度突升點LR2與亮度突降點LD2為限。
在本發明的一實施例中,對於定義作為候選對的一列像素的亮度變化點(亮度突升點LR2與亮度突降點LD2)而言,評估準則4~評估準則7更需要利用該列像素在辨識影像上的前一列像素的候選對來評估亮度突升點LR2與亮度突降點LD2所應存放的表單或新增表單以存放候選對以及對應的候選點。前一列像素的候選對為一組先前亮度變化點,包括第一先前亮度變化點與第二先前亮度變化點。具體來說,亮度突升點LR2與亮度突降點LD2例如是屬於圖3所示的第二列像素,故而辨識單元120更取得屬於辨識影像的第一列像素的候選對,例如是包括亮度突升點LR1(即為第一先前亮度變化點)與亮度突降點LD1(即為第二先前亮度變化點)的候選對。在本實施例中,第一列像素與第二列像素相鄰。辨識單元120以亮度突升點LR2與亮度突降點LD2相比於第一列像素上的所有存在的候選對來決定是否將包括亮度突升點LR2與亮度突降點LD2的候選對加入既有的表單,或者是新增新表單來存放包括亮度突升點LR2與亮度突降點LD2的候選對以及對應的候選點(亮度突升點LR2與亮度突降點LD2的中點C2)。
基於以上實施例,可類推進行評估準則4~評估準則7的條件。再舉一例而言,對於定義作為候選對的第三列像素的亮度突升點LR3與亮度突降點LD3而言,評估準則4~評估準則7需要利用第二列像素的候選對來評估包括亮度突升點LR3與亮度突降點LD3的候選對所應存放的表單或新增表單以存放包括亮度突升點LR3與亮度突降點LD3的候選對以及對應的候選點(亮度突升點LR3與亮度突降點LD3的中點C3)。
參照圖5A,評估準則4比較亮度突升點LR2所對應的亮度梯度的方向以及亮度突升點LR1(即為第一先前亮度變化點)所對應的亮度梯度(即為先前亮度梯度)的方向是否一致。詳細而言,對於屬於同一車道線的相鄰兩列像素的亮度突升點LR1、LR2而言,其亮度梯度的方向應為一致。因此,若亮度突升點LR1、LR2的亮度梯度的方向不一致,則包括亮度突升點LR2的候選對與包括亮度突升點LR1的候選對中的一者應不屬於車道線。值得注意的是,於本發明另一實施例中,評估準則4也可以是比較亮度突降點LD2以及亮度突降點LD1間的亮度梯度的方向是否一致。
因此,在本實施例中,根據評估準則4,辨識單元120利用第一先前亮度變化點所對應的先前亮度梯度的方向,判斷一列像素的候選對的第一亮度變化點所對應的亮度梯度的方向是否一致。若否,則前述該列像素的候選對不存放於前一列像素的候選對所對應的表單。
參照圖5A,評估準則5判斷亮度突升點LR2與亮度突升點LR1(即為第一先前亮度變化點)是否相近。一般而言,若亮度突升點LR2與亮度突升點LR1屬於同一車道線LL,則其距離應不至於差異過大。辨識單元120可依據一個距離閥值來判斷亮度突升點LR2與亮度突升點LR1是否相近。若亮度突升點LR1、LR2間的距離不低於距離閥值,則包括亮度突升點LR2的候選對與包括亮度突升點LR1的候選對中的一者應不屬於車道線。值得注意的是,於本發明另一實施例中,評估準則5也可以是比較亮度突降點LD2以及亮度突降點LD1間的距離是否低於距離閥值。
因此,在本實施例中,根據評估準則5,辨識單元120利用第一先前亮度變化點所在的先前像素位置,判斷一列像素的候選對的第一亮度變化點所在的像素位置與先前像素位置間的距離是否低於距離閥值。若否,則前述該列像素的候選對不存放於前一列像素的候選對所對應的表單。
參照圖5A,評估準則6判斷亮度突升點LR2與亮度突降點LD2間的寬度是否小於亮度突升點LR1(即為第一先前亮度變化點)與亮度突降點LD1(即為第二先前亮度變化點)間的寬度(即為先前寬度)。具體而言,由於影像中的車道線的寬度是由第一列像素逐漸地縮小。因此,若亮度突升點LR2與亮度突降點LD2間的寬度小於亮度突升點LR1與亮度突降點LD1間的寬度,則代表亮度突升點LR2、亮度突降點LD2、亮度突升點LR1與亮度突降點LD1可能屬於同一條車道線。
因此,在本實施例中,根據評估準則6,辨識單元120利用先前亮度變化點(第一先前亮度變化點與第二先前亮度變化點)之間的先前寬度,判斷一列像素的候選對的亮度變化點(第一亮度變化點與第二亮度變化點)之間的寬度是否低於先前寬度。若否,則前述該列像素的候選對不存放於前一列像素的候選對所對應的表單。
參照圖5B,評估準則7判斷亮度突升點LR2是否相比於亮度突升點LR1(即為第一先前亮度變化點)而更接近影像的影像中心PC。一般而言,影像中的車道線都有向影像中心PC逐漸靠近的特性,因此可藉由判斷亮度突升點LR2、亮度突升點LR1與影像中心PC的相對位置關係來判斷亮度突升點LR2、亮度突升點LR1是否屬於同一條車道線。
然而,需要注意的是,評估準則7有不能適用的例外情形。如圖5B所示,例外1是指評估準則7所評估的第一亮度變化點所屬的該列像素已經達到辨識影像的限制列。具體而言,由於車道線可能為右彎或左彎的車道線,則在超過辨識影像的限制列後,就不再有向影像中心靠近的趨勢。此時,評估準則7不適用。於本發明的一實施例中,限制列的設定是基於攝像單元110的俯仰角度與設置高度而決定。如圖5B所示,例外2是指評估準則7所評估的第一亮度變化點已經接觸到辨識影像的中心區間。此時,評估準則7同樣不適用。
值得注意的是,於本發明另一實施例中,評估準則7也可以是判斷亮度突降點LD2是否相比於亮度突降點LD1(即為第二先前亮度變化點)而更接近影像的影像中心PC。
因此,在本實施例中,當辨識影像的一列像素未達到辨識影像的限制列,並且前述該列像素的第一亮度變化點未置於辨識影像的中心區間時,根據評估準則7,辨識單元120利用第一先前亮度變化點所在的先前像素位置,判斷前述該列像素的候選對的第一亮度變化點所在的像素位置是否更接近於影像中心。若否,則前述該列像素的候選對不存放於前一列像素的候選對所對應的表單。
在本發明的一實施例中,經由評估準則4~評估準則7進行評估後,若包括一列像素的一組亮度變化點的候選對不存放於前一列像素的任一候選對所對應的表單時,辨識單元120例如是新增表單來存放前述該列像素的候選對,但本發明不以此為限。
在本發明的一實施例中,評估準則8與評估準則9更依據辨識影像中連續多列像素的多組候選對以及所對應的多個候選點來判斷一列像素上作為候選對的一組亮度變化點所應存放的表單或新增表單以存放前述該列像素的候選對以及對應的候選點。
參照圖5B,評估準則8例如是判斷第二列像素上,一組亮度變化點的第一亮度變化點與第二亮度變化點(亮度突升點LR2與亮度突降點LD2)作為候選對是否鄰近於辨識影像的其他候選對,例如是包括亮度突升點LR1與亮度突降點LD1的候選對以及包括亮度突升點LR3與亮度突降點LD3的候選對。若包括亮度突升點LR2與亮度突降點LD2的候選對基於一個鄰近距離閥值而不鄰近於任何候選對,則新增表單以存放第二列像素上,包括亮度突升點LR2與亮度突降點LD2的候選對。
因此,在本實施例中,辨識單元120判斷一列像素的候選對是否鄰近於辨識影像的其他候選對。若否,則新增表單以存放前述該列像素的候選對。
評估準則9例如是利用多個候選對的亮度突升點間的斜率來判斷是否需要新增表單來儲存一個候選對。參照圖5B,亮度突升點LR1、LR2間與亮度突升點LR2、LR3間的斜率皆為斜率1,故而代表亮度突升點LR1、LR2、LR3可能屬於同一車道線。相對的,以包括亮度突升點LRW的候選對為例,亮度突升點LR2、LRW間的斜率為斜率2。由於斜率2與斜率1相差甚多,故而包括亮度突升點LRW的候選對應存放於新增的表單之中。值得注意的是,於本發明一實施例中,可基於一個斜率閥值來判斷斜率2與斜率1的斜率差異是否大到需要新增一個表單來存放包括亮度突升點LRW的候選對。於本發明另一實施例中,評估準則9也可以是判斷亮度突降點LD1、LD2、LD3、LDW間的斜率變化來判斷是否需要新增表單以存放包括亮度突降點LD2、LD3或LDW的候選對。
因此,在本實施例中,依據評估準則9,辨識單元120取得對應前一列像素的第一先前亮度變化點的先前斜率,計算一列像素的候選對的第一亮度變化點與第一先前亮度變化點之間的斜率,並且判斷先前斜率與斜率間的斜率差異是否低於斜率閥值。若否,則新增表單以存放前述該列像素的候選對。
參照圖4,在存放定義的候選對以及所對應的候選對進入表單後,辨識單元120判斷任一表單所存放的候選對是否達到預設數量(步驟S246)。具體而言,於本發明提出的車道線辨識過程中,在辨識影像內的多組亮度變化點,由辨識單元120依據評估準則來依序檢視以決定對應的多組候選對所存放的表單或新增表單進行存放。具體而言,被存入同一表單的候選對代表在辨識影像中具有較強的關聯性,並且可能同屬於辨識影像中的車道線。
因此,當任一表單的候選對達到預設數量時,辨識單元120判定達到預設數量的表單內的多組候選對的多組亮度變化點屬於辨識影像中的車道線。此時,辨識單元120選擇達到預設數量的表單為固定表單(步驟S247)。預設數量例如是13,但本發明不限於此。
相對的,若任一表單中的候選對的數量都未達到預設數量,則辨識單元120重新執行步驟S242,並且取得辨識影像中的下一組亮度變化點,判斷下一組亮度變化點是否定義為候選對,然後判斷候選對所存放的表單或新增表單以存放候選對。
在本發明的一實施例中,辨識單元120取得辨識影像的一列像素的一組亮度變化點(步驟S242),並且判斷該組的亮度變化點是否定義為候選對(步驟S243)後,若存在固定表單,並且當該組的亮度變化點定義為候選對,然後該組的亮度變化點所屬的該列像素不為任意列像素時,辨識單元120依據評估準則,判斷前述該列像素的候選對以及對應的候選點是否合適存放於固定表單(步驟S248)。換言之,一旦固定表單出現,則對於後續尋找到的一組定義作為候選對的亮度變化點而言,辨識單元120依據評估準則4~評估準則9,以固定表單內的候選對來判斷是否能將後續尋找到的該組亮度變化點作為候選對加入固定表單。
參照圖4,於本發明的一實施例中,在車道線的辨識過程中,辨識單元120更在取得辨識影像的一列像素的一組亮度變化點(步驟S242)後,判斷前述該列像素是否達到辨識影像中的截止線(步驟S249)。若前述該列像素達到辨識影像中的截止線,則辨識單元依據固定表單中所存放的候選對以及對應的候選點,取得車道線(步驟S250)。一般而言,辨識影像中的截止線通常為地表的水平線。在本實施例中,作為車道辨識起始的任意列像素通常是低於辨識影像中的截止線。
如同前述,辨識影像例如是相關於行車環境的影像的左半部分或右半部分。因此,於本發明的一實施例中,辨識單元120更分別對不同的辨識影像執行車道線辨識以取得如圖3所示的影像中的左車道線LL與右車道線RL。
在本發明實施例所提出的影像評估方法中,偏離車道偵測是以相關行車環境的影像中的車道線作為基準,然後比較車輛的特徵部對應前述影像的對應位置與前述車道線來決定裝設電子裝置100的車輛是否跨越實體車道線。在本發明的一實施例中,前述車輛的特徵部例如是左車前燈與右車前燈。詳細而言,一般的攝像單元110在取得相關於行車環境的影像時,可能無法確實的同時拍攝到車輛的特徵部。因此,需要進一步地計算特徵部對應影像的對應位置,而對應位置可能位於影像的延伸範圍中。
基於前述,計算單元130更基於投影幾何學,計算車輛的特徵部在影像的延伸範圍中的對應位置。首先,計算單元130取得特徵部相對於攝像單元110的位置參數。圖6是依照本發明一實施例所繪示之攝像單元與車前燈的關係示意圖。參照圖6,車輛中10的攝像單元110用於取得相關於行車環境的影像。在實質座標系(x’, y’, z’)中,攝像單元110與左車前燈20L在x’軸上的距離例如是攝像單元110到左車門30L的距離,標示如CAM_TO_L_DOOR。攝像單元110與左車前燈20L在y’軸上的距離則例如是攝像單元110到地面的距離,意即攝像單元110的高度,標示為CAM_H。在此需要注意的是,判斷左車前燈20L是否跨越實體車道線時,都是以左車前燈20L投影在地面的點來判斷是否跨越實體車道線,因此將攝像單元110與左車前燈20L在y’軸上的距離視為攝像單元110到地面的距離。攝像單元110與左車前燈20L在z’軸上的距離則是攝像單元110到車頭F的距離,標示為CAM_TO_HEAD。在本實施例中,位置參數CAM_TO_L_DOOR、CAM_H、CAM_TO_HEAD的單位例如為公尺。若以攝像單元110作為實質座標系(x’, y’, z’)的原點,則(CAM_TO_L_DOOR, CAM_H, CAM_TO_HEAD)為左車前燈20L在實質座標系(x’, y’, z’)的座標點。需要注意的是,若以左方為x’軸的負方向,則位置參數CAM_TO_L_DOOR應取負值。
類似地,在本實施例中,攝像單元110與右車前燈20R在x’軸上的距離例如是攝像單元110到右車門30R的距離,標示如CAM_TO_R_DOOR。攝像單元110與右車前燈20R在y’軸上的距離例如是攝像單元110到地面的距離,標示為CAM_H。攝像單元110與右車前燈20R在z’軸上的距離則是攝像單元110到車頭F的距離,標示為CAM_TO_HEAD。若以攝像單元110作為實質座標系(x’, y’, z’)的原點,則(CAM_TO_R_DOOR, CAM_H, CAM_TO_HEAD)為右車前燈20R在實質座標系(x’, y’, z’)的座標點。位置參數CAM_TO_R_DOOR的單位例如是公尺。
值得注意的是,攝像單元110的焦距F_L以及俯仰角P_A也都作為位置參數。焦距F_L單位例如是公尺,而俯仰角P_A在俯角時為大於0的位置參數,並且在仰角時為小於0的位置參數。
在取得前述位置參數後,計算單元130依據位置參數,計算特徵部(左車前燈20L與右車前燈20R)在相關於行車環境的影像的延伸範圍中的對應位置。具體而言,在本發明中,假設攝像單元110的取像範圍夠大,則同樣可以捕捉到左車前燈20L與右車前燈20R的影像。因此,在本發明的一實施例中,若相關行車環境的影像具有影像座標系(x, y),則基於投影幾何學,計算單元130可以計算左車前燈20L與右車前燈20R在影像座標系(x, y)上的對應位置。
詳細而言,若影像中心PC的座標為(CAM_CEN_C, CAM_CEN_V),則左車前燈20L在影像座標系(x, y)上的對應位置(LX, LY)可以由下式取得。
Figure TWI609807BD00001
………(1)
Figure TWI609807BD00002
…(2)
類似地,若影像中心PC的座標為(CAM_CEN_C, CAM_CEN_V),則右車前燈20R在影像座標系(x, y)上的對應位置(RX, RY)可以由下式取得。
Figure TWI609807BD00003
………(3)
Figure TWI609807BD00004
…(4)
需要注意的是,在相關於行車環境的影像上,影像座標系(x, y)例如是以影像的左上角為原點,並且影像座標系(x, y)的單位為像素數。此外,在y軸上,對應位置LY以及RY為相同的位置。
取得車輛10的特徵部(左車前燈20L與右車前燈20R)在相關於行車環境的影像的延伸範圍中的對應位置後,比對單元140更比對前述對應位置以及車道線以判斷車輛10是否跨越實體車道線。圖7是依照本發明一實施例所繪示之判斷車輛是否跨越實體車道線的示意圖。參照圖7,左車前燈20L與右前車燈20R在影像的延伸範圍ER的對應位置(亦即座標)分別為(LX, LY)以及(RX, RY)。另外一方面,由組成車道線LL與RL的候選對以及候選點,比對單元140進一步地進行延伸而取得在延伸範圍ER的p點與q點。p點與q點在y軸上的對應位置Yp、Yq分別與左車前燈20L與右車前燈20R在y軸上的對應位置LY、RY平行。因此,在本實施例中,比對單元140僅需以左車前燈20L和p點在x軸上的對應位置LX和Xp來判斷車輛是否跨越左車道線LL,並且以右車前燈20R和q點在x軸上的對應位置RX和Xq來判斷車輛是否跨越右車道線RL。
更詳細而言,若LX減去Xp小於零,則代表車輛10正跨越實體的左車道線。另一方面,若Yq減去RX小於零,則代表車輛10正跨越實體的右車道線。
此外,依據投影幾何學,實質座標系(x’, y’, z’)上,左車前燈20L與實體左車道線的距離LD可由下式求得。 LD=
Figure TWI609807BD00005
…(5)
另一方面,依據投影幾何學,實質座標系(x’, y’, z’)上,右車前燈20R與實體右車道線的距離RD可由下式求得。 RD=
Figure TWI609807BD00006
…(6)
距離LD、RD的單位皆為公尺,並且若距離LD或距離RD小於零,則代表車輛10是跨越了實體車道線。此外,若經由多次的計算發現距離LD或距離RD逐漸地變小,則代表車輛10是漸漸地偏向左實體車道線或右實體車道線。
在本發明的一實施例中,在執行車道偏離評估時,攝像單元110需要對準車輛行進方向以正確地擷取影像並提供精確的評估。換言之,攝像單元110的設置角度若有所偏轉,則可能造成不精準的評估結果。圖8是依照本發明一實施例所繪示之攝像單元的偏轉示意圖。參照圖8,在實質座標系(x’, y’, z’)上,攝像單元110沿x’軸方向(第一方向)、y’軸方向(第二方向)與z’軸方向(第一方向)皆可能分別發生偏轉而產生第一偏離角度、第二偏離角度與第三偏離角度。
於本實施例中,電子裝置100中的校正單元170耦接攝像單元110,並且計算攝像單元110沿x’軸方向(第一方向)、y’軸方向(第二方向)與z’軸方向(第三方向)的第一偏離角度、第二偏離角度與第三偏離角度,然後基於前述第一偏離角度、第二偏離角度與第三偏離角度來選擇性地校正攝像單元110的設置位置或校正相關於行車環境的影像。需要注意的是,由於攝像單元110在設置時,會沿x’軸方向(第一方向)而調整出一個俯仰角度,故而第一偏離角度的計算還需要考量俯仰角度。
圖9是依照本發明一實施例所繪示之計算偏離角度的示意圖。參照圖9,於本實施例中,校正單元120利用現實中的多條平行直線,例如是多條車道線來計算第一偏離角度、第二偏離角度與第三偏離角度。具體而言,藉由攝像單元110,拍攝具有平行的多條直線的場景來取得第一校正影像I1。更詳細而言,攝像單元110需要朝向前述直線所延伸的方向,並且進行拍攝來取得第一校正影像I1。如同圖9的(a)部分所示,於第一校正影像I1中,對應現實場景的多條平行直線的多個第一直線特徵,最終將交會在一個第一消失點位置D1。
具體而言,若攝像單元110沿x’軸方向(第一方向)沒有第一偏離角度與俯仰角度時,則第一消失點位置D1在第一校正影像I1的y軸上的座標應近似於第一校正影像I1在y軸上的總高度的一半。基於前述事實,校正單元170可以對應地校正攝像單元110沿x’軸方向(第一方向)上的設置或直接地校正相關於行車環境的影像。類似地,若攝像單元110沿y’軸方向(第二方向)沒有第二偏離角度時,則第一消失點位置D1在第一校正影像I1的x軸上的座標應近似於第一校正影像I1在x軸上的總寬度的一半。基於前述事實,校正單元170可以對應地校正攝像單元110沿y’軸方向(第二方向)上的設置或直接地校正相關於行車環境的影像。
需要注意的是,若第三偏離角度存在,則計算第一偏離角度與第二偏離角度時,第三偏離角度會造成計算上的誤差。因此,在前述實施例中,計算第一偏離角度與第二偏離角度時,需要排除第三偏離角度的影響。
參照圖9的(b)部分,於本實施例中,藉由攝像單元110拍攝具有平行的多條直線的場景以取得第一校正影像I1後,使裝載攝像單元110的車輛旋轉一個旋轉角度,然後再藉由攝像單元110拍攝具有平行的多條直線的場景以取得第二校正影像I2。接著,校正單元170比對第一消失點位置D1與第二消失點位置D2,界以判斷第三偏離角度。於第二校正影像I2中,對應現實場景的多條平行直線的多個第二直線特徵,最終將交會在一個第二消失點位置D2。
一般而言,若攝像單元110沿z’軸方向(第三方向)沒有偏轉,則在合併或融合第一校正影像I1與第二校正影像I2後,第一消失點位置D1與第二消失點位置D2間延伸的消失線DL應平行於影像邊緣,而影像邊緣則對應車輛所在環境的地面。然而,若攝像單元110沿z’軸方向(第三方向)偏轉而具有第三偏離角度,則消失線DL與影像邊緣間會產生一個歪斜角度。基於前述歪斜角度,校正單元170可以對應地校正攝像單元110沿z’軸方向(第三方向)上的設置或直接地校正相關於行車環境的影像。
在本發明的一實施例中,若電子裝置100判斷車輛10跨越實體車道線,則輸出單元160更產生警示訊息。具體而言,警示訊息例如是警示文字或警示音。
綜上所述,本發明實施例所提供的影像評估方法以及其電子裝置,利用評估準則來評估影像中的候選對以及對應的候選點以辨識車道線,並且比較特徵部的對應位置與車道線來判斷車輛是否跨越實體車道線,藉此達到更精準的車道線辨識與車道偏離評估。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:電子裝置 110:攝像單元 120:辨識單元 130:計算單元 140:比對單元 150:影像單元 160:輸出單元 170:校正單元 x’、y’、z’:實質座標系 x、y:影像座標系 10:車輛 20L:左車前燈 20R:右車前燈 30L:左車門 30R:右車門 D1:第一消失點位置 D2:第二消失點位置 DL:消失線 F:車頭 ER:延伸範圍 p:p點 q:q點 Xp、Yp:p點的對應位置 Xq、Yq:q點的對應位置 I1:第一校正影像 I2:第二校正影像 LX、LY:左車前燈的對應位置 RX、RY:右車前燈的對應位置 LL、RL:車道線 LR1、LR2、LR3、LRC、LRW:亮度突升點 LD1、LD2、LD3、LDC、LDW:亮度突降點 C1、C2、C3、CC:亮度突升點與亮度突降點的中點 PC:影像中心 S220、S240、S260、S280:影像評估方法的步驟 S241、S242、S243、S244、S245、S246、S247、S248、S249、S250:車道線辨識的步驟
圖1A是依照本發明一實施例所繪示之電子裝置的示意圖。 圖1B是依照本發明另一實施例所繪示之電子裝置的示意圖。 圖2是依照本發明一實施例所繪示之影像評估方法的流程圖。 圖3是依照本發明一實施例所繪示之相關於行車環境的影像的示意圖。 圖4是依照本發明一實施例所繪示之辨識影像中的車道線的流程圖。 圖5A與圖5B是依照本發明一實施例所繪示之評估準則的示意圖。 圖6是依照本發明一實施例所繪示之攝像單元與車前燈的關係示意圖。 圖7是依照本發明一實施例所繪示之判斷車輛是否跨越實體車道線的示意圖。 圖8是依照本發明一實施例所繪示之攝像單元的偏轉示意圖。 圖9是依照本發明一實施例所繪示之計算偏離角度的示意圖。
S220、S240、S260、S280:影像評估方法的步驟

Claims (30)

  1. 一種影像評估方法,適於安裝在車輛的電子裝置以評估該車輛是否偏離車道,該電子裝置包括至少一攝像單元,該影像評估方法包括: 藉由該至少一攝像單元,取得相關於行車環境的影像; 由該影像中的任意列像素開始,依據評估準則,評估該影像中的多組候選對以及對應的多個候選點以辨識該影像中的車道線; 計算該車輛的特徵部對應該影像的對應位置;以及 比對該特徵部在對應該影像的該對應位置以及該車道線以判斷該車輛是否偏向或跨越實體車道線。
  2. 如申請專利範圍第1項所述的影像評估方法,其中取得相關於該行車環境的該影像的步驟,包括: 取得該行車環境的原始影像;以及 對該原始影像執行數位影像處理以取得該影像。
  3. 如申請專利範圍第1項所述的影像評估方法,其中依據該評估準則,評估該些候選對以及對應的該些候選點以辨識該車道線的步驟,包括: 依據該影像的影像中心,以該影像的部分作為辨識影像; 由該辨識影像的一列像素,取得該列像素的一組亮度變化點,其中該組的該些亮度變化點包括第一亮度變化點與第二亮度變化點;以及 依據該評估準則,判斷該組的該些亮度變化點是否定義為該候選對。
  4. 如申請專利範圍第3項所述的影像評估方法,其中依據該評估準則,評估該些候選對以及對應的該些候選點以辨識該車道線的步驟,更包括: 若該組的該些亮度變化點定義為該候選對,並且所屬的該列像素為該任意列像素,則新增一表單以存放該候選對以及對應的該候選點,其中所對應的該候選點為該些亮度變化點的中點;以及 若該組的該些亮度變化點定義為該候選對,並且所屬的該列像素不為該任意列像素,則進一步依據該評估準則,判斷該候選對以及對應的該候選點所應存放的該表單或新增該表單以存放該候選對以及對應的該候選點。
  5. 如申請專利範圍第4項所述的影像評估方法,其中依據該評估準則,判斷該組的該些亮度變化點是否定義為該候選對的步驟,包括: 判斷該些亮度變化點間的亮度值以及該第一亮度變化點前的亮度值或該第二亮度變化點後的亮度值之間的亮度值差異是否大於亮度差異閥值,若否,則該組的該些亮度變化點不定義為該候選對; 判斷該些亮度變化點間的寬度是否符合適宜寬度範圍,若否,則該組的該些亮度變化點不定義為該候選對;以及 判斷該些亮度變化點所分別對應的亮度梯度的方向是否一致,若否,則該組的該些亮度變化點不定義為該候選對。
  6. 如申請專利範圍第4項所述的影像評估方法,其中依據該評估準則,判斷該列像素的該候選對以及對應的該候選點所應存放的該表單或新增該表單以存放該列像素的該候選對以及對應的該候選點的步驟,包括: 取得屬於該辨識影像的前一列像素的該候選對,其中該列像素與該前一列像素相鄰,並且該前一列像素的該候選對為一組先前亮度變化點,該組的該些先前亮度變化點包括第一先前亮度變化點與第二先前亮度變化點;以及 依據該第一先前亮度變化點所對應的先前亮度梯度的方向,判斷該列像素的該候選對的該第一亮度變化點所對應的亮度梯度的方向是否一致,若否,則該列像素的該候選對不存放於該前一列像素的該候選對所對應的該表單, 其中,當該列像素的該候選對不存放於該前一列像素的任一該候選對所對應的該表單時,新增該表單以存放該列像素的該候選對。
  7. 如申請專利範圍第6項所述的影像評估方法,其中依據該評估準則,判斷該列像素的該候選對以及對應的該候選點所應存放的該表單或新增該表單以存放該列像素的該候選對以及對應的該候選點的步驟,更包括: 依據該第一先前亮度變化點所在的先前像素位置,判斷該列像素的該候選對的該第一亮度變化點所在的像素位置與該先前像素位置間的距離是否低於距離閥值,若否,則該列像素的該候選對不存放於該前一列像素的該候選對所對應的該表單;以及 依據該些先前亮度變化點之間的先前寬度,判斷該列像素的該候選對的該些亮度變化點之間的寬度是否低於該先前寬度,若否,則該列像素的該候選對不存放於該前一列像素的該候選對所對應的該表單。
  8. 如申請專利範圍第7項所述的影像評估方法,其中依據該評估準則,判斷該列像素的該候選對以及對應的該候選點所應存放的該表單或新增該表單以存放該列像素的該候選對以及對應的該候選點的步驟,更包括: 當該辨識影像的該列像素未達到該辨識影像的限制列,並且該列像素的該第一亮度變化點未置於該辨識影像的中心區間時,依據該第一先前亮度變化點所在的該先前像素位置,判斷該列像素的該候選對的該第一亮度變化點所在的該像素位置是否更接近於該影像中心,若否,則該列像素的該候選對不存放於該前一列像素的該候選對所對應的該表單。
  9. 如申請專利範圍第6項所述的影像評估方法,其中依據該評估準則,判斷該列像素的該候選對以及對應的該候選點所應存放的該表單或新增該表單以存放該列像素的該候選對以及對應的該候選點的步驟,更包括: 判斷該列像素的該候選對是否鄰近於該辨識影像的其他該些候選對,若否,則新增該表單以存放該列像素的該候選對;以及 取得對應該前一列像素的該第一先前亮度變化點的先前斜率,計算該列像素的該候選對的該第一亮度變化點與該第一先前亮度變化點之間的斜率,並且判斷該先前斜率與該斜率間的斜率差異是否低於一斜率閥值,若否,則新增該表單以存放該列像素的該候選對。
  10. 如申請專利範圍第4項所述的影像評估方法,其中依據該組評估準則,評估該些候選對以及對應的該些候選點以辨識該車道線的步驟,更包括: 判斷任一該表單所存放的該些候選對是否達到一預設數量; 若任一該表單所存放的該些候選對達到該預設數量,則選擇達到該預設數量的該表單為固定表單;以及 若存在該固定表單,則當該組的該些亮度變化點定義為該候選對,並且所屬的該列像素不為該任意列像素時,依據該評估準則,判斷該列像素的該候選對以及對應的該候選點是否合適存放於該固定表單。
  11. 如申請專利範圍第10項所述的影像評估方法,其中依據該組評估準則,評估該些候選對以及對應的該些候選點以辨識該車道線的步驟,更包括: 判斷該列像素是否達到該辨識影像中的截止線;以及 若該列像素達到該辨識影像中的該截止線,則依據該固定表單中所存放的該些候選對以及對應的該些候選點,取得該車道線。
  12. 如申請專利範圍第1項所述的影像評估方法,其中計算該車輛的該特徵部對應該影像的該對應位置的步驟,包括: 取得該特徵部相對於該至少一攝像單元的位置參數;以及 依據該些位置參數,計算該特徵部在該影像的延伸範圍中的該對應位置。
  13. 如申請專利範圍第1項所述的影像評估方法,包括: 若判斷該車輛跨越該實體車道線,產生警示訊息。
  14. 如申請專利範圍第1項所述的影像評估方法,包括: 計算該至少一攝像單元分別沿第一方向、第二方向與第三方向的第一偏離角度、第二偏離角度與第三偏離角度;以及 基於該第一偏離角度、該第二偏離角度與該第三偏離角度,校正該至少一攝像單元或相關於該行車環境的該影像。
  15. 如申請專利範圍第14項所述的影像評估方法,其中計算該第一偏離角度、該第二偏離角度與該第三偏離角度的步驟,包括: 藉由該至少一攝像單元,拍攝具有平行的多條直線的場景以取得第一校正影像; 使該車輛旋轉一個旋轉角度,並且藉由該至少一攝像單元,拍攝具有該些直線的該場景以取得第二校正影像; 依據該第一校正影像上的第一消失點位置,判斷該第一偏離角度與該第二偏離角度,其中該第一消失點位置為對應該些直線的多個第一直線特徵在該第一校正影像上的交會位置;以及 比對該第一消失點位置與該第二校正影像上的第二消失點位置,判斷該第三偏離角度,其中該第二消失點位置為對應該些直線的多個第二直線特徵在該第二校正影像上的交會位置。
  16. 一種電子裝置,適於安裝在車輛並評估該車輛是否偏離車道,該電子裝置包括: 至少一攝像單元,用於取得相關於行車環境的影像; 辨識單元,耦接於該至少一攝像單元,由該影像的任意列像素開始,依據評估準則,評估該影像中的多組候選對以及對應的多個候選點以辨識該影像中的車道線; 計算單元,耦接於該至少一攝像單元與該辨識單元,計算該車輛的特徵部對應該影像的對應位置;以及 比對單元,耦接於該辨識單元與該計算單元,比對該特徵部對應該影像的該對應位置以及該車道線以判斷該車輛是否偏向或跨越實體車道線。
  17. 如申請專利範圍第16項所述的電子裝置,更包括: 一影像單元,耦接該至少一攝像單元、該辨識單元與該計算單元, 其中該至少一攝像單元取得該行車環境的原始影像,而該影像單元對該原始影像執行數位影像處理以取得該影像。
  18. 如申請專利範圍第16項所述的電子裝置,其中該辨識單元依據該影像的影像中心,以該影像的部分作為辨識影像,並且由該辨識影像的一列像素,取得該列像素的一組亮度變化點,該組的該些亮度變化點包括第一亮度變化點與第二亮度變化點, 該辨識單元依據該評估準則,判斷該組的該些亮度變化點是否定義為該候選對。
  19. 如申請專利範圍第18項所述的電子裝置,其中若該組的該些亮度變化點定義為該候選對,並且所屬的該列像素為該任意列像素,則該辨識單元新增一表單以存放該候選對以及對應的該候選點,其中所對應的該候選點為該些亮度變化點的中點, 若該組的該些亮度變化點定義為該候選對,並且所屬的該列像素不為該任意列像素,則該辨識單元進一步依據該評估準則,判斷該候選對以及對應的該候選點所應存放的該表單或新增該表單以存放該候選對以及對應的該候選點。
  20. 如申請專利範圍第19項所述的電子裝置,其中該辨識單元判斷該些亮度變化點間的亮度值以及該第一亮度變化點前的亮度值或該第二亮度變化點後的亮度值之間的亮度值差異是否大於亮度差異閥值,若否,則該組的該些亮度變化點不定義為該候選對, 該辨識單元判斷該些亮度變化點間的寬度是否符合適宜寬度範圍,若否,則該組的該些亮度變化點不定義為該候選對, 該辨識單元判斷該些亮度變化點所分別對應的亮度梯度的方向是否一致,若否,則該組的該些亮度變化點不定義為該候選對。
  21. 如申請專利範圍第19項所述的電子裝置,其中該辨識單元取得屬於該辨識影像的前一列像素的該候選對,其中該列像素與該前一列像素相鄰,並且該前一列像素的該候選對為一組先前亮度變化點,該組的該些先前亮度變化點包括第一先前亮度變化點與第二先前亮度變化點, 該辨識單元依據該第一先前亮度變化點所對應的先前亮度梯度的方向,判斷該列像素的該候選對的該第一亮度變化點所對應的亮度梯度的方向是否一致,若否,則該列像素的該候選對不存放於該前一列像素的該候選對所對應的該表單, 其中,當該列像素的該候選對不存放於該前一列像素的任一該候選對所對應的該表單時,該辨識單元新增該表單以存放該列像素的該候選對。
  22. 如申請專利範圍第21項所述的電子裝置,其中該辨識單元依據該第一先前亮度變化點所在的先前像素位置,判斷該列像素的該候選對的該第一亮度變化點所在的像素位置與該先前像素位置間的距離是否低於距離閥值,若否,則該列像素的該候選對不存放於該前一列像素的該候選對所對應的該表單, 該辨識單元依據該些先前亮度變化點之間的先前寬度,判斷該列像素的該候選對的該些亮度變化點之間的寬度是否低於該先前寬度,若否,則該列像素的該候選對不存放於該前一列像素的該候選對所對應的該表單。
  23. 如申請專利範圍第22項所述的電子裝置,當該辨識影像的該列像素未達到該辨識影像的限制列,並且該列像素的該第一亮度變化點未置於該辨識影像的中心區間時,該辨識單元依據該第一先前亮度變化點所在的該先前像素位置,判斷該列像素的該候選對的該第一亮度變化點所在的該像素位置是否更接近於該影像中心,若否,則該列像素的該候選對不存放於該前一列像素的該候選對所對應的該表單。
  24. 如申請專利範圍第21項所述的電子裝置,其中該辨識單元判斷該列像素的該候選對是否鄰近於該辨識影像的其他該些候選對,若否,則新增該表單以存放該列像素的該候選對, 該辨識單元取得對應該前一列像素的該第一先前亮度變化點的先前斜率,計算該列像素的該候選對的該第一亮度變化點與該第一先前亮度變化點之間的斜率,並且判斷該先前斜率與該斜率間的斜率差異是否低於一斜率閥值,若否,則新增該表單以存放該列像素的該候選對。
  25. 如申請專利範圍第19項所述的電子裝置,其中該辨識單元判斷任一該表單所存放的該些候選對是否達到一預設數量, 若任一該表單所存放的該些候選對達到該預設數量,則該辨識單元選擇達到該預設數量的該表單為固定表單, 若存在該固定表單,則當該組的該些亮度變化點定義為該候選對,並且所屬的該列像素不為該任意列像素時,該辨識單元依據該評估準則,判斷該列像素的該候選對以及對應的該候選點是否合適存放於該固定表單。
  26. 如申請專利範圍第25項所述的電子裝置,其中該辨識單元判斷該列像素是否達到該辨識影像中的截止線,並且若該列像素達到該辨識影像中的該截止線,則該辨識單元依據該固定表單中所存放的該些候選對以及對應的該些候選點,取得該車道線。
  27. 如申請專利範圍第16項所述的電子裝置,其中該計算單元取得該特徵部相對於該至少一攝像單元的位置參數,並且依據該些位置參數,計算該特徵部在該影像的延伸範圍中的該對應位置。
  28. 如申請專利範圍第16項所述的電子裝置,包括: 輸出單元,耦接該比對單元,其中若該比對單元判斷該車輛跨越該實體車道線,則該輸出單元產生一警示訊息。
  29. 如申請專利範圍第16項所述的電子裝置,更包括: 校正單元,耦接該至少一攝像單元,計算該至少一攝像單元分別沿第一方向、第二方向與第三方向的第一偏離角度、第二偏離角度與第三偏離角度,並且基於該第一偏離角度、該第二偏離角度與該第三偏離角度,校正該至少一攝像單元或相關於該行車環境的該影像。
  30. 如申請專利範圍第29項所述的電子裝置,其中該電子裝置藉由該至少一攝像單元,拍攝具有平行的多條直線的場景以取得第一校正影像,並且於該車輛旋轉一個旋轉角度後,該電子裝置藉由該至少一攝像單元,拍攝具有該些直線的該場景以取得第二校正影像, 該校正單元依據該第一校正影像上的第一消失點位置,判斷該第一偏離角度與該第二偏離角度,其中該第一消失點位置為對應該些直線的多個第一直線特徵在該第一校正影像上的交會位置, 該校正單元比對該第一消失點位置與該第二校正影像上的第二消失點位置,判斷該第三偏離角度,其中該第二消失點位置為對應該些直線的多個第二直線特徵在該第二校正影像上的交會位置。
TW105115125A 2016-05-17 2016-05-17 影像評估方法以及其電子裝置 TWI609807B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW105115125A TWI609807B (zh) 2016-05-17 2016-05-17 影像評估方法以及其電子裝置
CN201610390135.2A CN107392080B (zh) 2016-05-17 2016-06-03 影像评估方法以及其电子装置
US15/264,615 US10255508B2 (en) 2016-05-17 2016-09-14 Image evaluation method and electronic apparatus thereof to evaluate whether the vehicle is deviated from a lane

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105115125A TWI609807B (zh) 2016-05-17 2016-05-17 影像評估方法以及其電子裝置

Publications (2)

Publication Number Publication Date
TW201741174A TW201741174A (zh) 2017-12-01
TWI609807B true TWI609807B (zh) 2018-01-01

Family

ID=60330800

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105115125A TWI609807B (zh) 2016-05-17 2016-05-17 影像評估方法以及其電子裝置

Country Status (3)

Country Link
US (1) US10255508B2 (zh)
CN (1) CN107392080B (zh)
TW (1) TWI609807B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3567518B1 (en) * 2018-05-08 2022-05-18 Aptiv Technologies Limited Lane marker recognition
CN110533958A (zh) * 2018-05-24 2019-12-03 上海博泰悦臻电子设备制造有限公司 车辆变道提醒方法及系统
CN108806609B (zh) * 2018-06-15 2020-03-31 京东方科技集团股份有限公司 一种数据处理方法及其装置、介质
CN113408407B (zh) * 2018-10-31 2023-06-23 百度在线网络技术(北京)有限公司 电子地图车道线修正方法、设备及计算机可读存储介质
CN110515054B (zh) * 2019-08-23 2021-07-23 斯坦德机器人(深圳)有限公司 滤波方法和装置、电子设备、计算机存储介质
US11869226B2 (en) * 2020-10-25 2024-01-09 Pixart Imaging Inc. Computer readable recording medium which can perform image pattern determining method
CN112989946B (zh) * 2021-02-10 2024-03-19 福瑞泰克智能系统有限公司 一种车道线的确定方法、装置、设备及车辆

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI337144B (zh) * 2007-11-30 2011-02-11 Automotive Res & Testing Ct
TWI338643B (en) * 2009-01-19 2011-03-11 Univ Nat Taiwan Science Tech Lane departure warning method and system thereof
TWI438729B (zh) * 2011-11-16 2014-05-21 Ind Tech Res Inst 車道偏移警示方法及系統
US20140192195A1 (en) * 2013-01-08 2014-07-10 Pixart Imaging Inc. Lane departure warning system, lane identification apparatus and related method thereof
TWI478833B (zh) * 2011-08-31 2015-04-01 Autoequips Tech Co Ltd 調校車用影像裝置之方法及其系統
US20150291095A1 (en) * 2014-04-09 2015-10-15 Papago Inc. Lane departure warning system and method in combination with driving behavior
US20150375755A1 (en) * 2010-03-17 2015-12-31 Clarion Co., Ltd. Vehicle Attitude Angle Calculating Device, and Lane Departure Warning System Using Same

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
CN101470801B (zh) * 2007-12-24 2011-06-01 财团法人车辆研究测试中心 车辆偏移的检知方法
US8311283B2 (en) * 2008-07-06 2012-11-13 Automotive Research&Testing Center Method for detecting lane departure and apparatus thereof
US8306269B2 (en) * 2009-03-12 2012-11-06 Honda Motor Co., Ltd. Lane recognition device
CN101984478B (zh) * 2010-08-03 2012-08-08 浙江大学 基于双目视觉车道线检测的非正常s型驾驶预警方法
JP5389002B2 (ja) * 2010-12-07 2014-01-15 日立オートモティブシステムズ株式会社 走行環境認識装置
TW201224954A (en) 2010-12-10 2012-06-16 Ind Tech Res Inst Embedded system and method for processing and identifying image
KR101362324B1 (ko) * 2012-06-05 2014-02-24 현대모비스 주식회사 차선 이탈 경보 시스템 및 방법
CN103935293B (zh) * 2013-01-21 2016-05-11 原相科技股份有限公司 车道偏离警示系统与车道辨识装置以及相关方法
CN103213579B (zh) * 2013-04-07 2015-08-19 杭州电子科技大学 一种相机参数和车辆系统无关的车道偏离提前预警方法
CN104648397B (zh) * 2013-11-19 2017-05-17 沙漠科技股份有限公司 车道偏移警示系统及方法
CN103714538B (zh) * 2013-12-20 2016-12-28 中联重科股份有限公司 道路边缘检测方法、装置及车辆
CN104952254B (zh) * 2014-03-31 2018-01-23 比亚迪股份有限公司 车辆识别方法、装置和车辆
KR102255432B1 (ko) * 2014-06-17 2021-05-24 팅크웨어(주) 전자 장치 및 그의 제어 방법
CN105046198B (zh) * 2015-06-12 2018-07-06 上海修源网络科技有限公司 一种车道检测方法
US20170123430A1 (en) * 2015-10-30 2017-05-04 Ford Global Technologies, Llc In-path target selection during lane change
JP6538547B2 (ja) * 2015-12-25 2019-07-03 株式会社Soken 道路曲率計測装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI337144B (zh) * 2007-11-30 2011-02-11 Automotive Res & Testing Ct
TWI338643B (en) * 2009-01-19 2011-03-11 Univ Nat Taiwan Science Tech Lane departure warning method and system thereof
US20150375755A1 (en) * 2010-03-17 2015-12-31 Clarion Co., Ltd. Vehicle Attitude Angle Calculating Device, and Lane Departure Warning System Using Same
TWI478833B (zh) * 2011-08-31 2015-04-01 Autoequips Tech Co Ltd 調校車用影像裝置之方法及其系統
TWI438729B (zh) * 2011-11-16 2014-05-21 Ind Tech Res Inst 車道偏移警示方法及系統
US20140192195A1 (en) * 2013-01-08 2014-07-10 Pixart Imaging Inc. Lane departure warning system, lane identification apparatus and related method thereof
TWI493513B (zh) * 2013-01-08 2015-07-21 Pixart Imaging Inc 車道偏離警示系統與車道辨識裝置以及相關方法
US20150291095A1 (en) * 2014-04-09 2015-10-15 Papago Inc. Lane departure warning system and method in combination with driving behavior

Also Published As

Publication number Publication date
CN107392080B (zh) 2021-01-05
CN107392080A (zh) 2017-11-24
US20170337433A1 (en) 2017-11-23
US10255508B2 (en) 2019-04-09
TW201741174A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
TWI609807B (zh) 影像評估方法以及其電子裝置
US20200026930A1 (en) Lane line detection method and apparatus
US8184859B2 (en) Road marking recognition apparatus and method
US9846823B2 (en) Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line
JP6707022B2 (ja) ステレオカメラ
US9619895B2 (en) Image processing method of vehicle camera and image processing apparatus using the same
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
CN112598922B (zh) 车位检测方法、装置、设备及存储介质
CN107748882B (zh) 一种车道线检测方法及装置
CN110135377B (zh) 车路协同中物体运动状态检测方法、装置和服务器
WO2015125296A1 (ja) 自己位置算出装置及び自己位置算出方法
CN109191516B (zh) 结构光模组的旋转纠正方法、装置及可读存储介质
US20200193193A1 (en) Image processing device and image processing method
JP2015064752A (ja) 車両監視装置、および車両監視方法
KR101236223B1 (ko) 차선 검출 방법
KR101026778B1 (ko) 차량 영상 검지 장치
JP5189556B2 (ja) 車線検出装置
CN114882491B (zh) 一种非机动车目标的跟踪方法、装置和电子设备
TW201536609A (zh) 障礙物偵測裝置
JP6569416B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム
JP2000259997A (ja) 先行車の高さおよび車間距離計測装置
JP6719328B2 (ja) 車外監視装置
JP6218514B2 (ja) 歩行者検出装置及び交通制御システム
JP7142131B1 (ja) 車線検出装置、車線検出方法および車線検出プログラム
CN112784671A (zh) 障碍物检测装置及障碍物检测方法