TWI607901B - 影像修補系統及其方法 - Google Patents

影像修補系統及其方法 Download PDF

Info

Publication number
TWI607901B
TWI607901B TW104136709A TW104136709A TWI607901B TW I607901 B TWI607901 B TW I607901B TW 104136709 A TW104136709 A TW 104136709A TW 104136709 A TW104136709 A TW 104136709A TW I607901 B TWI607901 B TW I607901B
Authority
TW
Taiwan
Prior art keywords
image
noise
pixel
repairing
dirty
Prior art date
Application number
TW104136709A
Other languages
English (en)
Other versions
TW201716266A (zh
Inventor
詹聖瑋
林哲聰
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW104136709A priority Critical patent/TWI607901B/zh
Priority to CN201510979177.5A priority patent/CN106686280A/zh
Priority to US14/982,775 priority patent/US10037597B2/en
Publication of TW201716266A publication Critical patent/TW201716266A/zh
Application granted granted Critical
Publication of TWI607901B publication Critical patent/TWI607901B/zh

Links

Classifications

    • G06T5/77—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Description

影像修補系統及其方法
一種影像修補系統及其方法，尤指一種能夠提供消除影像中的雜訊，以提升行車安全的方法與系統。
現有的機動車輛，如汽車或機車，其係廣泛地應用於人們的日常生活中。機動車輛的駕駛人係以肉眼判斷車前/車旁的其他物體，但肉眼會有誤判，或者反應不及的問題。
現有的安全警示系統係能夠克服上述之誤判或反應不及的問題。舉例而言，現有的安全警示系統係裝設於車輛的前擋風玻璃之後，以拍攝車輛前方的影像，並辨識該影像中的障礙物或危險物，藉以提醒駕駛人保持安全距離，或避免危險的駕駛行為。
然於惡劣天候，如雨天，現有的安全警示系統的辨識率可能會大幅下降，因為影像中的雜訊，如往復擺動的雨刷、雨滴或泥水，其係可能遮蔽現有的安全警示系統之辨識標的。該辨識標的係為行人、車輛或交通號誌。因前述之遮蔽有可能使得現有的安全警示系統產生誤判，駕駛者於此行車情境下行駛，其係充滿著危險性。
常見的技術係使用單一攝影機將前方影像中雨刷的週期性雜訊利用不同時段之無雨刷影像予以修補，以產生一雨刷透明化的影像。
雖上述之方法使用多個時段之影像進行修補，但可能會產生 所欲修補的影像具有行人，而所抽取修補參考影像未具有行人，故修補後之影像反而顯示為無行人之影像。
另一技術係使用多通道全景攝影機系統，其所擷取的影像係以圖形處理器(Graphics Processing Unit，GPU)高速平行處理，以實現即時高清影像的拼接、校正、調光、壓碼及傳輸功能，但此另一技術亦無影像重疊區域之雜訊修補的功能。
又一技術係提出不同焦距攝影機之影像中選取清晰影像，以計算物件距離，提升測距效果，然該又一技術係無法處理輸入影像含有雜訊的問題。
本發明係提供一種影像修補系統，其包含有：一攝影模組，其係擷取複數影像；以及一修補模組，其係耦接該攝影模組，以接收來自該攝影模組之複數影像，並對該複數影像進行一雜訊偵測，該複數影像係分割為含有雜訊像素影像與未含有雜訊像素影像，確認該雜訊像素影像之各雜訊像素的位置，找出該含有雜訊像素影像與對應該雜訊像素之未受雜訊影響且具最小視差之像素對應關係的偏移地圖或幾何關係，利用該偏移地圖或幾何關係，以抽取未受雜訊影響之對應像素，並修補並取代該複數影像中之雜訊像素，而產生至少一不含雜訊之合成影像。
本發明又提供一種影像修補方法，其步驟包含有：雜訊分割，擷取複數影像，並將該複數影像分割為含有雜訊像素影像與未含有雜訊像素影像；以及針對含雜訊像素影像進行修補，找出該含有雜訊像素影像與對應雜訊像素之未受雜訊影響且具最小視差之像素對應關係的偏移地圖或幾何關係，利用該偏移地圖或幾何關係，以抽取未受雜訊影響之對應像素，並修補並取代該複數影像中之雜訊像素，而產生至少一不含雜訊之合成影像。
1‧‧‧機動車輛
10‧‧‧視窗
100‧‧‧設置面
11‧‧‧攝影模組
110‧‧‧攝影單元
12‧‧‧修補模組
120‧‧‧接收單元
121‧‧‧演算單元
122‧‧‧儲存單元
123‧‧‧雨滴感測器
S1~S11‧‧‧步驟
SA~SQ‧‧‧步驟
13A‧‧‧修補影像對影像
13A1‧‧‧雜訊
13A2‧‧‧修補後影像
14A‧‧‧髒污影像
14A1‧‧‧雜訊
14A2‧‧‧修補後影像
15A‧‧‧雨滴影像
15A1‧‧‧雜訊
15A2‧‧‧修補後影像
第1圖為裝設有本發明之一種影像修補系統之機動車輛之示意圖。
第2圖為本發明之一種影像修補系統位於一視窗之示意圖。
第3圖為本發明之一種影像修補系統之示意圖。
第4圖為一修補模組之示意圖。
第5圖係本發明之一種影像修補方法之流程示意圖。
第6圖係本發明之影像分割之第一實施例之髒汙雜訊影像分割方法之流程示意圖。
第7圖係本發明之影像分割之第二實施例之雨滴雜訊影像分割方法之流程示意圖。
第8圖係本發明之影像分割之第三實施例之雨刷雜訊影像分割方法之流程示意圖。
第9圖為本發明之一使用偏移地圖與修補影像的方法之流程示意圖。
第10圖係本發明之一雨刷修補之示意圖。
第11圖係本發明之一髒污修補之示意圖。
第12圖係本發明之一雨滴修補之示意圖。
第13圖為一貝茲曲線之取樣點之示意圖。
第14圖為又一貝茲曲線之取樣點之示意圖。
第15圖為一貝茲曲線之取樣之示意圖。
第16圖為一貝茲曲線之垂直座標與強度之示意圖。
以下係藉由特定的具體實施例說明本發明之實施方式，所屬技術領域中具有通常知識者可由本說明書所揭示之內容，輕易地瞭解本發明之其他優點與功效。
請配合參考第1圖至第3圖所示，本發明係一種影像修補系統，其係應用於一機動車輛1，機動車輛1具有至少一視窗10，視窗10具有一設置面100，設置面100係位於機動車輛1的內部。 該影像修補系統包含有一攝影模組11與一修補模組12。如第1圖所示，於本實施例中之該視窗10係為機動車輛1的擋風玻璃，然本發明除了可裝置於如第一圖之位置外，亦可裝設於機動車輛1之前端、後端、左側或右側，或者各側的視窗，於本實施例中僅為了便於論述，而非將本發明限制於本實施例中，特先陳明。
請再配合參考第2圖所示，攝影模組11係設於設置面100。攝影模組11具有至少二攝影單元110。至少二攝影單元110係以一陣列方式排列。
攝影單元110係能夠為一影像感測器、一紅外線影像擷取裝置、一光電耦合元件或一互補式金氧半導體之光學感測元件之其中一者或至少任二者之組合。此處所論述與後所提及之攝影單元110係能夠被視為至少一攝影機。攝影模組11係用以擷取不同來源之複數影像。
請配合參考第3圖與第4圖所示，修補模組12係訊號連接攝影模組11。修補模組12具有一接收單元120、一演算單元121與一儲存單元122。
修補模組12能夠為可程式化集體電路微控制器或元件可程式邏輯閘陣列(Field Programmable Gate Array，FPGA)。修補模組12係接收來自攝影模組11之複數影像，對該複數影像中每張影像均單獨進行一雜訊偵測，以得到複數影像中哪幾張影像含雜訊，且得知各張含雜訊影像中的雜訊像素位置。
對於每張含雜訊影像中的雜訊像素位置，在其它影像中利用近似最鄰近迭代法找出代表對應關係的偏移地圖，其中偏移地圖分別對應：雜訊像素位置與未受雜訊影響且具最小視差之像素位置。
最後利用此偏移地圖抽取未受雜訊影響之對應像素以修補受 雜訊干擾之像素，產生至少一合成影像。
。
若更進一步說明，修補模組12為下述之影像修補方法、安全警示系統或下述之演算單元121能夠使用於任何具有運算功能之裝置中。
接收單元120係訊號連接攝影單元110，以接收攝影單元110於多個時段所擷取之影像。
演算單元121能夠為車道偏離警示系統(Lane Departure Warning System，LDWS)、前方防碰撞警示系統(Forward Collision Warning System，FCWS)、交通號誌辨識系統(Traffic Sign Recognition System，TSRS)。
儲存單元122係訊號連接演算單元121。儲存單元122係能夠儲存演算單元121之合成影像，或者攝影單元120所擷取之影像，亦或為一警示系統結果影像。
於一實施例中，修補模組12能夠進一步具有至少一雨滴感測器123，雨滴感測器123係訊號連接演算單元121。雨滴感測器123可為一光學反射型感測器(Reflective Sensor)、一音頻型感測器(Audio Sensor)或一傳導型感測器(conductive sensor)之其中一者或其任意組合。雨滴感測器123係感測雨刷之動作或雨滴，以啟動本發明。並且雨滴感測器123係能夠感測外界是否正在下雨。
請配合參考第5圖所示，本發明係一種影像修補方法，其步驟包含有：若本發明具有如第4圖之雨滴感測器123，於進行下述之S1步驟前，雨滴感測器123係感測是否有雨滴滴落於視窗10，若有，則雨滴感測器123將一啟動訊號給予修補模組12，以進行下述之S1步驟。而當雨滴感測器123感測雨滴時，雨滴感測器123並啟動雨刷。
另外，若無裝設如第4圖之雨滴感測器123，則當雨刷啟動時，修補模組12收到一啟動訊號，亦可進行下述之S1步驟。
S1，雜訊分割(Interference Segmentation)。其具有至少三個實施方式，以下將一一敘明。
攝影模組11係透過視窗10擷取機動車輛1前方之複數個多個時間點的影像，並將該影像傳送至接收單元120，接收單元120再將該些影像傳送至演算單元121，以使演算單元121對該些影像進行一影像分割，以及確認該影像中雜訊像之位置。
。如下所述，雜訊像素係能夠分為雨刷像素、雨滴像素或髒汙素之其中一者或至少任二者的組合。請配合參考第6圖所示，其為影像分割之第一實施例之髒汙雜訊影像分割方法，其步驟為：
SA，抽取綠色影像。以一顏色濾波器(Bayer Filter)將所擷取之複數個多個時間的影像中綠色影像抽取出來。因影像係為三原色，紅色、綠色、藍色(Red，Green，Blue，RGB)，所構成的。若演算單元121直接對三原色影像進行演算，對演算單元121的負荷恐會增加，因此為了降低運算負荷，所以僅對單色進行演算，上述之實施例僅以綠色影像進行論述，而非將本案限制於綠色影像，特先陳明。於此步驟中係抽取單色影像，該單色影像可為綠色影像、紅色影像或藍色影像，為了便於論述，以下係以綠色影像為代表。顏色濾波器於此處係將抽取所選定的單色，並濾除非選定的單色。
SB，綠色影像平滑化，亦可稱為單色影像平滑化。將綠色影像以一中值濾波器(Median Filter)平滑化。中值濾波器能為一9x9中值濾波器。因影像的邊緣會因演算法的緣故，而使放大的影像或經處理之影像的邊緣產生鋸齒或模糊化(blurry effect)的像素，所以需要藉由影像平滑化，以平滑前述之鋸齒或模糊化的像素。
中值濾波器係於圖像處理中，用於去除圖像或其它信號中的雜訊。中值濾波器可以將強的突峰訊號分量組成之高頻訊雜訊去除，而仍然能保持影像中之邊緣的銳度。
於圖像處理中中值濾波為一常見步驟。中值濾波對於斑點噪音(Speckle Noise)與椒鹽噪音(Salt and Pepper Noise)尤其有 用。保持邊緣的特性使它在不希望出現邊緣模糊的場合也很有用。
中值濾波係在不改變影像像素值結構的情況下，將影像作平滑處理。
SC，形成貝茲曲線(B-Spline)圖。將以平滑化的綠色影像形成為一貝茲曲線圖。
在數學的數值分析領域中，貝茲曲線是電腦圖形學中相當重要的參數曲線。更高維度的廣泛化貝茲曲線就稱作貝茲曲面。
若更進一步說明，於影像中取樣控制點，先以垂直控制點產生垂直貝茲曲線(vertical B-Spline)，再以此些資訊來產生水平貝茲曲線(horizontal B-Spline)，之後即可得到B-Spline surface。
上述之B-Spline係以二次方貝茲曲線公式產生，使用3個控制點可產生一段貝茲曲線，其公式係如下。
其中，p i -1、p i 與p i +1為控制點設置，S i 為第i點貝茲曲線段。t為時間，m為自然數。
舉例而言，如第13圖至第16圖所示。如第13圖所示取樣控制點，於圖中之複數個點係為控制點，於圖中之每行(column)選出6像素(M=6)，而圖中係具有6行(N=6)。如第14圖所示，針對各矩形區域與在其中之控制點產生各自垂直貝茲曲線。如第15圖所示，產生水平貝茲曲線如此一來影像中每一pixel之強度均可由各貝茲曲線取得，進而得到一貝茲曲線面(B-Spline surface)，該水平貝茲曲線係為如第15所示之實心矩形。如第16圖所示，貝茲曲線為每像素中各自顏色強度值所連成之曲線。以上係為貝茲曲線的簡易說明，本實施例僅用於舉例，而非將本發明予以限制。
SD，影像相減。將平滑化之綠色影像與貝茲曲線圖相減，以取得至少一初步影像髒汙雜訊所佔像素圖。
SE，直方均化。使用直方均化(Histogram Equalization)將初步影像髒汙雜訊所佔像素圖之對比予以增強。於增強後之初步影像髒汙雜訊所佔像素圖中的亮像素群，即具有最高像素質之像素群，視為髒汙雜訊之可能成分之一。
SF，修補像素群。將增強後之初步影像髒汙雜訊所佔像素圖，以侵蝕或膨脹演算方式進行修正。若初步影像髒汙雜訊所佔像素圖中之亮像像素較為完整，則將亮像素群的外型修正的更為完整。假若亮像素群較為破碎，則將破碎的亮像素群消除。
SG，以區域閥值區分髒汙區域。將已修正之初步影像髒汙雜訊所佔像素圖進行二值化，對所有的亮像素群二值化為1，其係是為可能的髒汙像素群。對不含髒汙雜訊的像素群二值化為0，藉此區分影像中髒汙區域，以分割影像。
請配合參考第7圖所示，其為影像分割之第二實施例，其為雨滴雜訊影像分割方法，其步驟為：
SH，判定所擷取之影像為白天或夜晚。若為夜晚，則執行SI步驟。若為白日，則執行SJ步驟。
SI，濾除干擾光源。若所擷取之影像為夜晚，以一濾波器濾除干擾光源，待濾除干擾光源後，則執行SJ步驟。該濾波器為一高通濾波器。該干擾光源為車燈、路燈、廣告燈或來自建築物之燈源。
SJ，尋找邊緣。將上述之SH或SJ之影像，以一索貝爾濾波器(Sobel Filter)凸顯可能為雨滴雜訊之邊緣。
SK，以區域閥值區分髒汙區域。將SK之結果進行二值化。對所有可能的雨滴像素群二值化為1。對被視為不含雨滴像素群二值化為0。藉此區分影像中之雨滴區域，以分割影像。
SL，進行膨脹。以膨脹將雨滴像素群之雨滴中心像素由黑變白，而完整雨滴像素群。
請配合參考第8圖所示，其為影像分割之第三實施例，其為 雨刷雜訊影像分割方法，其步驟為：
SM，將暗像素群視為雨刷物件之一。以一自然數平均(K-means)演算法將當前影像的所有像素，舉例而言，像素以三原色(RGB)信號來表示，分成K群，K為自然數，並將暗像素群，亦即具有最低RGB訊號的像素群，視為雨刷物件的可能成份之一。因雨刷物件通常是黑色且為影像中最暗的一群像素，所以暗像素群視為可能的雨刷成份之一。
若更進一步說明，上述之自然數平均演算法亦稱為K-means(K平均演算法)，其是一種聚類(Cluster)的方式聚類基本上就是依照著物以類聚的方式在進行，(或許也可能想成相似的東西有著相似的特徵，給予一組資料，將之分為K類，K係為一設定值。
所以K平均演算法係源於訊號處理中的一種向量量化方法，現在則更多地作為一種聚類分析方法流行於資料探勘領域。K平均聚類的目的是：把n個點，可以是樣本的一次觀察或一個例項，劃分到K個聚類中，使得每個點都屬於離他最近的均值，此即聚類中心，對應的聚類，以之作為聚類的標準。其公式如下： 已知觀測集(x 1,x 2,...,x n )，其中每個觀測都是一個d維實向量，K平均聚類要把這n個觀測劃分到K個集合中(Kn)，使得組內平方和最小。μ i 是S i 中所有點的均值。
其中，每個x p 都只被分配到一個確定的聚類S t 中，其係可能被分配到2個或者更多的聚類。
計算得到上步得到聚類中每一聚類觀測值的圖心，作為新的均值點。如上述之公式。
SN，修正暗像素群的外型。將SM步驟之結果以侵蝕、膨脹等演算法消除當前影像較為破碎的暗像素群，並將較完整暗像素群的外型修正的更加完整。因雨刷的形狀是完整的，而其他暗色障礙物，舉例而言，如陰影，則有可能是破碎的形狀。所以於此步驟中，將破碎的暗色像素群去除，並將可能是雨刷物件的較完整暗像素群修正其外型。
SO，以區域閥值區分髒汙區域。將SN步驟之結果進行二值化。對所有可能的雨刷像素群二值化為1，對被視為不含雨刷物件的像素群則二值化為0。進行縮減取樣(Downsampling)至像素總量為P，P為正整數，以計算出被二值化為1的像素總個數q，q為正整數。q/P為二值化雨刷影像的平均值。將p個矩陣像素皆減去此平均值，p為正整數，並將所得到矩陣向量化(Vectorizing)，使其成為行向量(Column Vector)並進行縮減取樣而得到向量I。
縮減取樣(Downsampling)係將原影像的像素予以縮減，舉例而言，若原影像為750像素，進行縮減曲像係可能變為350像素。
區域閥值為一數值，其係用一區分某些特性參數是否符合需求，所以區域閥值會因應不同環境與情況，有不同的適合值。舉例而言，灰階值範圍為0~255(黑~白)，如設定一固定灰階值70為區域閥值，以此區域閥值對一張灰階影像進行二值化代表：對此張影像的每個像素之灰階值進行判斷，大於70則設定為1；小於70則設定為0，最後得到二值化影像，像素值只有1或0，顏色只有白或黑。
SP，取得一內積值。將向量I與特徵雨刷矩陣(Eigen Wipers Matrix)U依下列公式(1)得到其內積值。
ItU (1)
於本實施例中，特徵雨刷矩陣U之求法係利用主成份分析(Principal Component Analysis,PCA)演算法。先搜集的N筆訓練影像，N為正整數，該訓練影像係包含有雨刷影像，並先標記出各 筆影像中的雨刷位置。故每一筆N筆訓練影像中，複數個雨刷像素之複數個座標點為已知。
於另一實施例，假使裝設具本實施例的前視安全警示系統之車輛所使用的雨刷以及其攝影機所安裝的角度，使得雨刷在影像中出現的大小、位置、外型與預設訓練影像不同，該預設訓練影像包含有雨刷影像。則可設計自動人機訓練模式，其實施方式可為，在攝影機面前放置純白背景物件，舉例而言，如純白海報，使得攝影機所擷取之影像為全白之影像，在開啟雨刷的情形下，進行SM與SN步驟即可準確地，不受任何雜訊干擾地自動擷取或學習雨刷影像，以供後續使用。
將上述的複數個雨刷影像進行SO步驟之處理，並將處理結果排列成觀測矩陣(observation matrix)，其維度為PxN。使用奇異值分解(Singular Value Decomposition)來解下列公式(2) O=UDVt (2)
其中，U為特徵雨刷矩陣，其維度也為PxN；D為對角矩陣，維度為NxN，其記錄著每個特徵雨刷的重要性或顯著性；V記錄著特徵雨刷空間中，此N筆訓練影像所投影出之係數，其維度為NxN。
SQ，找出具有最大內積值的訓練資料與雨刷影像。於SP步驟中得到N筆訓練影像的內積值後，找出具有最大內積值的訓練資料及其對應之原始雨刷影像。因N筆訓練資料為預先找出的，故其雨刷位置皆為已知。
S2，判斷當前各影像內是否含有雜訊像素。於一實施例中，若當前某一影像中的雜訊像素數量大於預設閥值(threshold)，則進入S3步驟。若所有當前影像的各個雜訊像素數量均小於閥值，則判斷當前影像不含雜訊。因通過閥值之當前影像所含雜訊會對安全警示系統造成較大之影響而需要進行修補處理。
於另一實施例中，若當前影像P(t)對應之I藉由ItU所計算出來的N筆內積值中的最大值大於預設閥值(threshold)，則判斷當前影像P(t)中含有雨刷物件並進入S3步驟。若當前影像P(t)對應之 I藉由ItU所計算出來的N筆內積值中的最大值小於閥值，則判斷當前影像P(t)不含雨刷物件。因P(t)中的暗像素群不符合N筆訓練資料之雨刷形狀的話，則依ItU所計算出的N筆內積值皆較小。
S3，判斷每張含雜訊之當前影像均有受修補處理。若否，則進入S4步驟。若是，則不進行修補處理。
S4，針對含雜訊影像進行修補。求出當前影像與參考影像間之像素對應關係並進行影像修補，至此複數影像交互修補方法之流程已完成。前述之對應關係能夠被視為一幾何關係，其為二影像(P1,P2)間像素之對應關係，舉例而言，可為一轉換矩陣或偏移地圖，故P1(x,y)=P2(X,Y)，P為像素(Pixel)。(x,y)或(X,Y)為座標位置。
於修補時，當前一含雜訊影像中構成雜訊的複數個像素不能直接以參考影像中相同位置的複數個像素來修補。因複數攝影機架構中，每一影像均存在微小視差。
於上述之多個實施例中，使用偏移地圖(Offset map)或任一種足以描述兩影像間的修補像素對應關係之轉換方程式，來模型化不同的兩影像(亦即當前一含雜訊影像與參考影像)之間的像素對應關係。也就是說，對於影像任意像素位置而言，偏移地圖可描述此一像素位置之像素值能使用參考影像之某位置之像素值修補，而達到較自然的結果。
請配合參考第9圖所示，其為一使用偏移地圖與修補影像的方法。其步驟包含有：
S5，選擇修補影像對。選擇已知之攝影機相對關係來選用無雜訊且最小視差影像與含雜訊影像配對，該配對係為修補影像對。此處所述之攝影機係為上述之攝影單元110。
S6，隨機產生一偏移地圖。以一獨立均勻取樣(Independent Uniform Samples)方法或任一種能夠於參考影像隨機取樣像素點之隨機方法，來產生一修補影像對之初始隨機偏移地圖。若更進一步論述，在參考圖影像範圍(size)中，使用獨立均勻取樣隨機生成偏移地圖中每一像素(pixel)之偏移量
S7，判斷n次迭代。判斷修補影像對進行一次迭代，若否，則至S8步驟，該迭代次數為累進制直至n次，n為一常數。判斷來自S8步驟之修補影像對是否進行n次迭代，若是則至S11步驟，若否則至S8步驟。
迭代是重複反饋過程的活動，其目的通常是為了接近並到達所需的目標或結果。每一次對過程的重複被稱為一次「迭代」，而每一次迭代得到的結果會被用來作為下一次迭代的初始值。
S8，判斷修補影像對中無當次迭代，未進行更新補丁。若是，來自S7步驟之修補影像對係已進行當次迭代，並更新補丁，則回到S7步驟。假若來自S7步驟之修補影像對無當次迭代，未進行更新補丁，則至S9步驟。
S9，針對當前補丁，以鄰近補丁與偏移量中最小值覆寫。更新每個補丁，並定義含雜訊影像中當前補丁偏移量為f(x,y)且D(v)為當前補丁(x,y)與參考影像中補丁(x,y)+v之間的距離，則在鄰近補丁中找尋最小偏移量來覆寫當前補丁偏移量，如下公式(3)。
f(x,y)={D(f(x,y)),D(f(x-1,y)),D(f(x,y-1)) (3)
S10，針對當前補丁，於一預設半徑(隨次衰減)內，隨機找尋一偏移量，直到半徑衰減至1像素。在當前補丁周圍(x,y)，以一遞減半徑區域隨機搜索來更新當前補丁偏移量f(x,y)，如公式(4)所表示，其中R i 是在[-1,1]×[-1,1]區間的隨機值，w是最大搜索半徑，α是一遞減比值，i則為搜索次數其由0持續地增直到搜索半徑wα i 低於1像素。再回到S8步驟。
u i =f(x,y)+wα i R i (4)
S11，以一新偏移地圖修補含雜訊影像。以偏移地圖所含的2張影像對應關係，將含雜訊影像中雜訊像素群以參考影像做修補。舉例說明，若含雜訊影像中Nt為一雜訊位置，則利用偏移地 圖查找參考影像中對應位置DNt之像素值來修補雜訊。
請配合參考第10圖所示，其為本發明之一雨刷修補之示意圖。一修補影像對影像13A被雨刷物件遮住，但影像對中雨刷物件遮蔽區域並不相同。如上所述之本發明之複數且重疊區域之影像修補系統及其方法可偵測雜訊13A1並將參考影像拿來修補另一影像中被雨刷影像所遮住的像素群，以得到修補後影像13A2，故修補後影像13A2不再有雨刷影像，且影像不會被雨刷影像遮住。
請配合參考第11圖所示，其為本發明之一髒污修補之示意圖。髒污影像14A係於一影像中呈現有至少一髒汙，如上所述之本發明之複數且重疊區域之影像修補系統及其方法可偵測雜訊14A1並將參考影像拿來修補另一影像中被髒污所遮住的像素群，以得到修補後影像14A2，故修補後影像14A2不再有髒汙影像，且影像不會被髒污影像遮住。
請配合參考第12圖所示，雨滴影像15A係於一影像中呈現有至少一雨滴，如上所述之本發明之複數且重疊區域之影像修補系統及其方法可偵測雜訊15A1並將參考影像拿來修補另一影像中被雨滴所遮住的像素群，以得到修補後影像15A2，故修補後影像15A2不再有雨滴影像，且影像不會被雨滴影像遮住。
綜合上述，在即時運算應用中，用以修補的參考影像可為足以修補當前影像之任一先前擷取影像；在非即時運算當中，用以修補的參考影像可為足以修補當前影像之任一先前擷取影像或任一稍後擷取影像。
另外，本發明之複數且重疊區域之影像修補系統係能夠使用於任何具有運算功能之裝置中，舉例而言，如桌上型電腦、平板電腦、智慧型手機或筆記型電腦。
再者，本發明可去除影像中的雜訊(如雨滴)，即便在雨天的情況中，各類安全警示系統之辨識率仍可維持，因而得以提昇駕駛者之安全性。
再一，本發明係可使得複數影像雖有視角差異但其影像的時 間為相同，因此影像修補時能使用同一時間點的複數影像，所以修補後的真實性可以得到保證，也因此能夠保證影像安全警示系統之真實性。
再二，本發明亦可藉由接收實體雨刷訊號或是雨滴訊號，以決定本實施例之複數影像交互修補方法是否需開始執行，如此的話，可降低系統運算負荷，並降低誤判率。
再三，於有雜訊干擾時，本發明係以影像分割技術及影像修補技術，偵測並修補雜訊像素群，即修補被雜訊所遮擋住的影像，使得障礙物辨識不受如雨滴等雜訊的影響，因而得以提昇障礙物的辨識率。
以上所述之具體實施例，僅係用於例釋本發明之特點及功效，而非用於限定本發明之可實施範疇，於未脫離本發明上揭之精神與技術範疇下，任何運用本發明所揭示內容而完成之等效改變及修飾，均仍應為下述之申請專利範圍所涵蓋。
S1~S4‧‧‧步驟

Claims (21)

  1. 一種影像修補系統，其包含有：一攝影模組，其係擷取複數影像；以及一修補模組，其係耦接該攝影模組，以接收來自該攝影膜組之複數影像，並對該複數影像進行一雜訊偵測，該複數影像係分割為含有雜訊像素影像與未含有雜訊像素影像，確認該雜訊像素影像之各雜訊像素的位置，並判斷當前各影像內是否含有雜訊像素，若所有當前影像的各個雜訊像素數量均小於一閥值，則判斷該當前影像不含雜訊，找出該含有該雜訊像素影像與對應雜訊像素之未受雜訊影響且具最小視差之像素對應關係的偏移地圖或幾何關係，利用該偏移地圖或幾何關係，以抽取未受雜訊影響之對應像素，並修補並取代該複數影像中之雜訊像素，而產生至少一不含雜訊之合成影像。
  2. 如申請專利範圍第1項所述之影像修補系統，其中該攝影模組具有至少二攝影單元，該至少二攝影單元係以一陣列方式排列。
  3. 如申請專利範圍第2項所述之影像修補系統，其中該攝影單元為一影像感測器、一紅外線影像擷取裝置、一光電耦合元件或一互補式金氧半導體之光學感測元件之其中一者或至少任二者之組合。
  4. 如申請專利範圍第1項所述之影像修補系統，其中該修補模組具有一接收單元、一演算單元與一儲存單元，該接收單元係訊號連接該攝影模組，該演算單元係訊號連接該接收單元，該儲存單元係訊號連接該演算單元。
  5. 如申請專利範圍第1項所述之影像修補系統，其中該修補模組係對該複數影像進行一雜訊像素偵測，雜訊像素為雨刷像素、雨滴像素或髒汙像素之其中一者或至少任二者的組合。
  6. 一種影像修補方法，其步驟包含有：影像分割，擷取複數影像，並將該複數影像分割為含有 雜訊像素影像與未含有雜訊像素影像，並確認該雜訊像素影像之各雜訊像素的位置；判斷當前各影像內是否含有雜訊像素，若所有當前影像的各個雜訊像素數量均小於一閥值，則判斷該當前影像不含雜訊；以及針對含該雜訊像素影像進行修補，找出該含有雜訊像素影像與對應雜訊像素之未受雜訊影響且具最小視差之像素對應關係的偏移地圖或幾何關係，利用該偏移地圖或幾何關係，以抽取未受雜訊影響之對應像素，並修補並取代該複數影像中之雜訊像素，而產生至少一不含雜訊之合成影像。
  7. 如申請專利範圍第6項所述之影像修補方法，其中該雜訊像素為雨刷像素、雨滴像素或髒汙像素之其中一者或至少任二者的組合。
  8. 如申請專利範圍第6項所述之影像修補方法，其中於該影像分割之步驟中，其含有一髒污影像分割方法，其步驟為：抽取單色影像，以一顏色濾波器將該複數影像中的單色影像抽取出來；單色影像平滑化，將該單色影像以一中值濾波器平滑化；形成貝茲曲線，將平滑化的單色影像形成為一貝茲曲線圖；影像相減，將該平滑化的單色影像與該貝茲曲線圖相減，以取得至少一初步影像髒汙雜訊所佔像素圖；直方均化，使用一直方均化將該初步影像髒汙雜訊所佔像素圖之對比予以增強；修補像素群，將該增強後之初步影像髒汙雜訊所佔像素圖，以侵蝕或膨脹演算方式進行修正；以及以區域閥值區分髒汙區域，將該已修正之初步影像髒汙雜訊所佔像素圖進行二值化，以分割影像。
  9. 如申請專利範圍第8項所述之影像修補方法，其中該單色影 像為綠色影像、紅色影像或藍色影像。
  10. 如申請專利範圍第8項所述之影像修補方法，其中於該以區域閥值區分髒汙區域之步驟中，對該初步影像髒汙雜訊所佔像素圖中之所有的亮像素群二值化為1，其係是為可能的髒汙像素群。對不含髒汙雜訊的像素群二值化為0，藉此區分影像中髒汙區域，以分割影像。
  11. 如申請專利範圍第8項所述之影像修補方法，其中於該修補像素群之步驟中，若該初步影像髒汙雜訊所佔像素圖中之亮像像素較為完整，則將該亮像素群的外型修正的更為完整。假若該亮像素群較為破碎，則將破碎的亮像素群消除。
  12. 如申請專利範圍第8項所述之影像修補方法，其中於該直方均化之步驟中，於該增強後之初步影像髒汙雜訊所佔像素圖中的亮像素群，視為髒汙雜訊之可能成分之一。
  13. 如申請專利範圍第6項所述之影像修補方法，其中於該影像分割之步驟中，其含有一雨滴雜訊影像分割方法，其步驟包含有：判定所擷取之影像為白天或夜晚，若為夜晚，則進行一濾除干擾光源之步驟；若為白日，則進行一尋找邊緣之步驟；濾除干擾光源，若為夜晚，則以一濾波器濾除干繞光源，待濾除該干擾光源後，則進行該尋找邊緣之步驟；尋找邊緣，將上述之該判定所擷取之影像為白天或夜晚與該濾除干擾光源之步驟的結果，以一索貝爾濾波器凸顯為雨滴雜訊之邊緣；以區域閥值區分髒汙區域，將該尋找邊緣之步驟的結果進行二值化；以及進行膨脹，以膨脹將該雨滴像素群之雨滴中心像素由黑變白，而完整該雨滴像素群。
  14. 如申請專利範圍第13項所述之影像修補方法，其中於該以區域閥值區分髒汙區域之步驟中，對所有可能的雨滴像素群二 值化為1，對被視為不含雨滴像素群二值化為0，藉此區分影像中之雨滴區域，以分割影像。
  15. 如申請專利範圍第13項所述之影像修補方法，其中於該濾除干擾光源之步驟中，該濾波器為一高通濾波器；該干擾光源為車燈、路燈、廣告燈或來自建築物之燈源。
  16. 如申請專利範圍第6項所述之影像修補方法，其中於該影像分割之步驟中，其含有一雨刷雜訊影像分割方法，其步驟包含有：將暗像素群視為雨刷物件之一；修正暗像素群的外型，將該將暗像素群視為雨刷物件之一之步驟的結果以侵蝕、膨脹等演算法消除當前影像較為破碎的暗像素群，並將較完整暗像素群的外型修正的更加完整；以區域閥值區分髒汙區域，將該修正暗像素群的外型之步驟的結果進行二值化，以取得一向量；取得一內積值，由該以區域閥值區分髒汙區域所得之向量與特徵雨刷矩陣，而得出該內積值；以及找出具有最大內積值的訓練資料與雨刷影像。
  17. 如申請專利範圍第16項所述之影像修補方法，其中於該將暗像素群視為雨刷物件之一之步驟中，以一自然數平均演算法將當前影像的所有像素分成K群，K為自然數，並將該暗像素群視為雨刷物件的可能成份之一，該暗像素群為具有最低三原色訊號的像素群。
  18. 如申請專利範圍第16項所述之影像修補方法，其中於該以區域閥值區分髒汙區域之步驟中，對所有可能的雨刷像素群二值化為1，對被視為不含雨刷物件的像素群則二值化為0，在進行一縮減取樣，以取得該向量。
  19. 如申請專利範圍第6項所述之影像修補方法，其更具有一判斷每張含雜訊之當前影像均有受修補處理之步驟，若否，則進行該針對含雜訊影像進行修補；若是，則不進行修補處理； 以及該判斷當前各影像內是否含有雜訊像素之步驟中，若當前某一影像中的雜訊像素數量大於預設閥值，則進入該判斷每張含雜訊之當前影像均有受修補處理之步驟。
  20. 如申請專利範圍第6項所述之影像修補方法，其更具一使用偏移地圖與修補影像的方法，其步驟包含有：選擇修補影像對，選用無雜訊且最小視差影像與含雜訊影像配對，該配對係為修補影像對；隨機產生一偏移地圖，以一獨立均勻取樣方法或任一種能夠於參考影響隨機取樣像素點之隨機方法，來產生一修補影像對之初始隨機偏移地圖；判斷n次迭代，該修補影像對是否經過一次迭代，該迭代為累進制，該迭代次數為n次，若否，則至下一步驟；若是，該修補影像對已進行n次迭代，則至一以一新偏移地圖修補含雜訊影像之步驟；判斷修補影像對中無當次迭代，未進行更新補丁，若來自上一步驟之修補影像對已進行當次迭代，並更新補丁，則回到上一步驟；若來自上一步驟之修補補影像對未進行當次迭代，未進行更新補丁，則至下一步驟；針對當前補丁，以鄰近補丁與偏移量中最小值覆寫；針對當前補丁，於一預設半徑內，隨機找尋一偏移量，直到半徑衰減至1像素，並回到該判斷修補影像對中無當次迭代，未進行更新補丁之步驟；以及以一新偏移地圖修補含雜訊影像。
  21. 如申請專利範圍第6項所述之影像修補方法，其中於進行該影像分割之步驟前，當雨刷啟動時，一修補模組係收到一啟動訊號，以進行該影像分割之步驟。
TW104136709A 2015-11-06 2015-11-06 影像修補系統及其方法 TWI607901B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW104136709A TWI607901B (zh) 2015-11-06 2015-11-06 影像修補系統及其方法
CN201510979177.5A CN106686280A (zh) 2015-11-06 2015-12-23 影像修补系统及其方法
US14/982,775 US10037597B2 (en) 2015-11-06 2015-12-29 Image inpainting system and method for using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104136709A TWI607901B (zh) 2015-11-06 2015-11-06 影像修補系統及其方法

Publications (2)

Publication Number Publication Date
TW201716266A TW201716266A (zh) 2017-05-16
TWI607901B true TWI607901B (zh) 2017-12-11

Family

ID=58664236

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104136709A TWI607901B (zh) 2015-11-06 2015-11-06 影像修補系統及其方法

Country Status (3)

Country Link
US (1) US10037597B2 (zh)
CN (1) CN106686280A (zh)
TW (1) TWI607901B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6501696B2 (ja) * 2015-11-26 2019-04-17 アルパイン株式会社 映像表示システム
TWI639152B (zh) 2017-09-18 2018-10-21 上波科技股份有限公司 光學調適系統及其實施方法
TWI642295B (zh) * 2017-09-18 2018-11-21 上波科技股份有限公司 光學調適系統及其實施方法
CN109951629A (zh) * 2017-12-21 2019-06-28 姜鹏飞 一种降噪处理方法及装置
CN110377791A (zh) * 2018-04-11 2019-10-25 刘谨铭 快速影像排序方法
CN108537833B (zh) * 2018-04-18 2022-06-21 昆明物理研究所 一种红外图像快速拼接方法
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
US10694105B1 (en) * 2018-12-24 2020-06-23 Wipro Limited Method and system for handling occluded regions in image frame to generate a surround view
CN110544217B (zh) * 2019-08-30 2021-07-20 深圳市商汤科技有限公司 一种图像处理方法及装置、电子设备和存储介质
US11180117B2 (en) * 2019-08-31 2021-11-23 Light Labs Inc. Methods and apparatus for capturing and using images in a system including wipers
CN110766624B (zh) * 2019-10-14 2022-08-23 中国科学院光电技术研究所 一种基于迭代修复的点目标和暗斑图像背景均衡方法
CN111861943B (zh) * 2020-08-04 2024-02-20 北京惠朗时代科技有限公司 一种多尺度像素级深度优化的图像修复方法
CN112070684B (zh) * 2020-08-04 2023-05-23 辽宁师范大学 基于形态先验特征的甲骨刻辞文字修复方法
CN113077398A (zh) * 2021-04-09 2021-07-06 上海申瑞继保电气有限公司 断路器圆形分合指示灯图像噪声滤波方法
CN113298808B (zh) * 2021-06-22 2022-03-18 哈尔滨工程大学 一种面向倾斜遥感图像中建筑物遮挡信息的修复方法
CN114283091B (zh) * 2021-12-27 2022-08-09 国网黑龙江省电力有限公司伊春供电公司 基于视频融合的电力设备图像恢复系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW350182B (en) * 1997-03-17 1999-01-11 Mustek System Inc Image restoration device and method
JP2001344285A (ja) * 2000-05-30 2001-12-14 Matsushita Electric Ind Co Ltd 被害情報収集管理装置
CN101888536A (zh) * 2010-06-17 2010-11-17 沈阳理工大学 抗雨干扰图像采集系统
TW201113831A (en) * 2009-10-02 2011-04-16 Univ Nat Chunghsing Image inpainting method based on Bezier curves
TW201227609A (en) * 2010-12-17 2012-07-01 Univ Tamkang Image restoration method
TW201337787A (zh) * 2012-03-08 2013-09-16 Ind Tech Res Inst 基於單一影像的影像內雨紋去除方法與裝置
TW201426635A (zh) * 2012-12-19 2014-07-01 Ind Tech Res Inst 影像內週期性雜訊修補方法
CN104021527A (zh) * 2014-06-10 2014-09-03 北京邮电大学 一种图像中雨雪的去除方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7655894B2 (en) * 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US6535242B1 (en) * 2000-10-24 2003-03-18 Gary Steven Strumolo System and method for acquiring and displaying vehicular information
AU2002308651A1 (en) * 2001-05-04 2002-11-18 Leberl, Franz, W. Digital camera for and method of obtaining overlapping images
US20030137586A1 (en) * 2002-01-22 2003-07-24 Infinite Innovations, Inc. Vehicle video switching system and method
JP4134939B2 (ja) * 2004-04-22 2008-08-20 株式会社デンソー 車両周辺表示制御装置
TWI306816B (en) 2006-12-13 2009-03-01 Ind Tech Res Inst Lane departure warning method and apparatus of using the same
EP2195688B1 (en) * 2007-08-30 2018-10-03 Valeo Schalter und Sensoren GmbH Method and system for weather condition detection with image-based road characterization
JP5216010B2 (ja) * 2009-01-20 2013-06-19 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
CN102685516A (zh) 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
TWI421624B (zh) * 2011-04-01 2014-01-01 Ind Tech Res Inst 環場監控裝置及其方法
JP5762211B2 (ja) * 2011-08-11 2015-08-12 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
TWM436598U (en) 2012-03-02 2012-09-01 Ame Lighting Co Ltd Image recognition headlamp control system
TWI578271B (zh) * 2012-10-23 2017-04-11 義晶科技股份有限公司 動態影像處理方法以及動態影像處理系統
TWI505203B (zh) * 2012-11-02 2015-10-21 Avisonic Technology Corp 產生車用影像的影像處理方法及影像處理裝置
CN103935293B (zh) 2013-01-21 2016-05-11 原相科技股份有限公司 车道偏离警示系统与车道辨识装置以及相关方法
JP6246014B2 (ja) * 2014-02-18 2017-12-13 クラリオン株式会社 外界認識システム、車両、及びカメラの汚れ検出方法
CN103905741B (zh) 2014-03-19 2017-01-11 合肥安达创展科技股份有限公司 超高清全景视频实时生成与多通道同步播放系统
US9781361B2 (en) * 2015-09-01 2017-10-03 Delphi Technologies, Inc. Integrated camera, ambient light detection, and rain sensor assembly

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW350182B (en) * 1997-03-17 1999-01-11 Mustek System Inc Image restoration device and method
JP2001344285A (ja) * 2000-05-30 2001-12-14 Matsushita Electric Ind Co Ltd 被害情報収集管理装置
TW201113831A (en) * 2009-10-02 2011-04-16 Univ Nat Chunghsing Image inpainting method based on Bezier curves
CN101888536A (zh) * 2010-06-17 2010-11-17 沈阳理工大学 抗雨干扰图像采集系统
TW201227609A (en) * 2010-12-17 2012-07-01 Univ Tamkang Image restoration method
TW201337787A (zh) * 2012-03-08 2013-09-16 Ind Tech Res Inst 基於單一影像的影像內雨紋去除方法與裝置
TW201426635A (zh) * 2012-12-19 2014-07-01 Ind Tech Res Inst 影像內週期性雜訊修補方法
CN104021527A (zh) * 2014-06-10 2014-09-03 北京邮电大学 一种图像中雨雪的去除方法

Also Published As

Publication number Publication date
TW201716266A (zh) 2017-05-16
US10037597B2 (en) 2018-07-31
CN106686280A (zh) 2017-05-17
US20170132764A1 (en) 2017-05-11

Similar Documents

Publication Publication Date Title
TWI607901B (zh) 影像修補系統及其方法
JP6772113B2 (ja) 付着物検出装置、および、それを備えた車両システム
US9224052B2 (en) Method for in-image periodic noise pixel inpainting
Wu et al. Lane-mark extraction for automobiles under complex conditions
CN107808392B (zh) 开放场景的安检车辆自动跟踪定位方法及系统
KR101717613B1 (ko) 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助系统和方法
CN104657735A (zh) 车道线检测方法、系统、车道偏离预警方法及系统
CN111860120B (zh) 车载相机自动遮挡检测方法和装置
US10318824B2 (en) Algorithm to extend detecting range for AVM stop line detection
CN110659547B (zh) 物体识别方法、装置、车辆和计算机可读存储介质
KR101224027B1 (ko) 영상의 장면 정보를 이용한 전방 차량 검출 방법
CN104616258A (zh) 一种针对道路图像的快速去雾方法
CN110060221B (zh) 一种基于无人机航拍图像的桥梁车辆检测方法
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
Cord et al. Towards rain detection through use of in-vehicle multipurpose cameras
Sultana et al. Robust nighttime road lane line detection using bilateral filter and SAGC under challenging conditions
CN111815556A (zh) 基于纹理提取和小波变换的车载鱼眼相机自诊断方法
JP7206909B2 (ja) 付着物検出装置および付着物検出方法
CN111046741A (zh) 车道线识别的方法和装置
Sultana et al. Vision-based robust lane detection and tracking in challenging conditions
Hautiere et al. Meteorological conditions processing for vision-based traffic monitoring
Balisavira et al. Real-time object detection by road plane segmentation technique for ADAS
CN113537147B (zh) 一种基于光照补偿的夜间车道线检测方法
CN110321828B (zh) 一种基于双目摄像机和车底阴影的前方车辆检测方法