TWI630818B - Dynamic image feature enhancement method and system - Google Patents

Abstract

本創作揭露一種動態影像特徵加強方法與系統，該方法包含步驟：自一攝影機擷取複數個影像；透過一感興趣區域切換單元自該攝影機的一畫面中選取一感興趣區域；在該感興趣區域中設定複數個亮度權重值；根據各該亮度權重值，調整該攝影機之該畫面的一亮度參數；利用一銳利化調整單元執行一多層漸進銳利化程序以更新該攝影機的一實際銳利化參數。直接且即時調整攝影機的攝影參數，改善所擷取之影像的亮度或解析度等參數，進而使智慧型先進駕駛輔助系統可以清晰辨識道路與對方來車。

Description

動態影像特徵加強方法與系統

本創作係有關於一種動態影像特徵加強方法與系統，特別是有關於一種可直接調整攝影機之攝影參數的動態影像特徵加強方法與系統。

隨著數位攝影機普及於日常生活中，加上電腦視覺領域的發展，智慧型影像技術已被應用在許多領域為人類生活帶來安全與便利。舉例來說，安全監控之應用有人臉辨識、指紋辨識、煙霧偵測等等。在車用電子方面，智慧型先進駕駛輔助系統(Advanced Driver Assistance Systems，ADAS)近年來迅速發展，希望藉由人工智慧的應用降低交通事故的肇事率。智慧型先進駕駛輔助系統包含車道線偵測系統、倒車輔助系統、前方車輛防撞系統等等，都是國內外車廠近來積極開發的技術。

請參閱圖6，現有的智慧型先進駕駛輔助系統60包含影像擷取模組61、計算模組62、車輛分類器63、車輛偵測器64、警示裝置65與顯示器66。影像擷取模組61擷取前方道路的影像，計算模組62連接至該影像擷取模組61，將所擷取的影像進行分析與辨識，車輛分類器63連接計算模組62，將該影像中車輛的種類進行分類，以便於判斷發生碰撞時的劇烈程度，車輛偵測器64連接至計算模組62，用於偵測前方與對方來車，警示裝置65連接至車輛分類器63與車輛偵測器64，當判斷異常狀況(例如對方來車、太靠近前方車輛或前方有大卡車等情況)發生時，該警示裝置65發出警示，該顯示器66連接該車輛偵測器64，接收該影像以顯示路況。

而在該智慧型先進駕駛輔助系統60的應用中，影像處理為最主要的核心技術，影像品質決定辨識結果正確率。然而，現有的影像擷取模組61中，在任何情況下都是使用固定的攝影機參數(例如固定白平衡、固定亮度或固定色彩等參數)，而固定的攝影機參數無法適用於各種不同的環境(例如逆光環境、低光源環境或普通光源環境等)，而導致所擷取的影像曝光過度或影像亮度過低，造成該智慧型先進駕駛輔助系統60無法有效判斷對方來車或障礙物，導致車禍發生。

在中國專利第CN105684417A號的專利中，公開了一種復原強度及銳化強度的調整方法，主要透過輪廓增強處理部對圖像數據進行使用了銳化濾波器的銳化處理，根據銳化率的增減來調整復原率，並通過復原率而補償由銳化率的增減帶來的影響，進而能夠穩定地改善圖像數據的畫質。該專利著重於輸出影像的邊緣改善處理，而未對影像亮度進行改善。

因此，需要創作一種動態影像特徵加強方法與系統，讓攝影機可以針對不同環境下的攝影參數進行自動調整，進而使該智慧型先進駕駛輔助系統可以清晰辨識道路與對方來車。

本創作的目的在創作一種動態影像特徵加強方法，透過在該動態影像特徵加強方法，可針對不同光線下的環境進行攝影機之攝影參數的調整，進而使智慧型先進駕駛輔助系統可以清晰辨識道路與對方來車。

根據上述的目的，本創作提供一種動態影像特徵加強方法，其包含步驟： 自一攝影機擷取複數個影像； 透過一感興趣區域切換單元自該攝影機的一畫面中選取一感興趣區域； 在該感興趣區域中設定複數個亮度權重值； 根據各該亮度權重值，調整該攝影機之該畫面的一亮度參數； 利用一銳利化調整單元執行一多層漸進銳利化程序以更新該攝影機的一實際銳利化參數。

本創作的另一目的，在創作提供一種動態影像特徵加強系統，直接自動調整該攝影機的影像參數，提高該攝影機所拍攝之影像的解析度。

根據上述之目的，本創作提供一種動態影像特徵加強系統，包含： 一攝影機； 一顯示螢幕連接該攝影機； 一感興趣區域切換單元，電連接該顯示螢幕，該感興趣區域切換單元切換該顯示螢幕之一畫面的一感興趣區域。 一區塊畫分單元電連接該顯示螢幕，以將該顯示螢幕的該畫面畫分為複數個區塊； 一影像分析單元電連接該攝影機，以將該攝影機所拍攝的複數個影像分析其亮度參數與銳利化參數； 一亮度權重設置單元電連接該影像分析單元與該顯示螢幕，接收該複數個影像的複數個亮度參數，並參照一亮度權重對照表，設定該顯示螢幕之各該區塊內的各該影像的一亮度權重值； 一亮度調整單元電連接該亮度權重設置單元與該攝影機，根據各該區塊的各該亮度的該亮度權重值，將該畫面之各該區塊的各該影像的亮度調整至一致； 一銳利化調整單元電連接該攝影機與該影像分析單元，調整各該區塊之各該影像的該銳利化參數。

本創作的優點在於：直接且即時調整攝影機的攝影參數，改善所擷取之影像的亮度或解析度等參數，進而使智慧型先進駕駛輔助系統可以清晰辨識道路與對方來車。

請參閱圖1以及圖2A與圖2B，本創作之動態影像特徵加強系統10包含一攝影機11、一顯示螢幕12、一感興趣區域(Region of Interest，ROI)切換單元13、一區塊畫分單元14、一影像分析單元15、一亮度權重設置單元16、一亮度調整單元17與一銳利化調整單元18。

該攝影機11可以是一般的數位相機或數位攝影機，該攝影機11包含顯示螢幕12，或者該攝影機11外接該顯示螢幕12。該攝影機11具有一記憶體111，該記憶體111可儲存該攝影機11所拍攝的影像。該ROI切換單元13電連接該顯示螢幕12，根據不同的道路狀況、不同的時間或不同的天氣，使用者可透過該ROI切換單元13切換該顯示螢幕12之一畫面121的一感興趣區域122的大小。

該區塊畫分單元14電連接該顯示螢幕12，用於將該顯示螢幕12的該畫面121畫分為複數個區塊123。該影像分析單元15電連接該攝影機11，其用於將該攝影機11所拍攝的複數個影像分析其亮度或銳利化參數等影像參數。該亮度權重設置單元16電連接該影像分析單元15與該顯示螢幕12，從該影像分析單元15接收該複數個影像的複數個亮度參數，並參照儲存於該記憶體111的一亮度權重對照表，設定該顯示螢幕12之各該區塊123內的各該影像的亮度權重。不同廠牌的該攝影機11會有不同的該亮度權重對照表，透過該亮度權重對照表，使本創作之動態影像特徵加強系統10可以根據每個權重值所代表的亮度範圍，調整該畫面達到亮度清晰可視，而如何設計該亮度權重對照表為本領域具有通常知識者所熟知，在此不再贅述。該亮度調整單元17電連接該亮度權重設置單元16與該攝影機11，根據各該區塊123的各該亮度的亮度權重值，將該畫面121之各該區塊123的各該影像的亮度調整至一致性。

該銳利化調整單元18電連接該攝影機11與該影像分析單元15，在亮度調整後，根據該影像分析單元15分析的該複數個影像的銳利化參數，該銳利化調整單元18使用一多層漸進銳利化程序加強該複數個影像的輪廓，並根據各該區塊123的各該影像之破損程度修正該實際銳利化參數，最後將該複數個影像的邊緣資訊轉至高頻域，進而將該複數個影像的多層邊緣進行合併，達到該複數個影像之輪廓加強的目的。

請參閱圖3，並參考圖1的元件標號，本創作的動態影像特徵加強方法包含下列步驟。在步驟S301中，利用一攝影機11擷取複數個影像並將之存入一記憶體111中，該動態影像特徵加強系統10的該攝影機11會持續拍攝前方道路的該複數個影像，因環境亮度與影像輪廓不會瞬間改變，可透過將前一時間區間的該複數個影像進行影像處理，進而調整該攝影機11的攝影參數，讓在一顯示螢幕12所呈現的該複數個影像清楚可辨。

在步驟S302中，自該顯示螢幕12的一畫面121中選取一感興趣區域(Region of Interest)122。在該顯示螢幕12所顯示的該畫面121中，並非所有區域都需要進行影像強化處理，設定該感興趣區域122可以降低影像運算的時間，加速影像強化的時間。舉例來說，如圖2A所示，在該畫面121的周圍區域為樹木或靜止的車輛，這些物體並非在一車輛行駛路徑上，並無需進行影像強化處理。因此透過選取該感興趣區域122，縮小需要進行影像處理的範圍，降低該動態影像特徵加強系統10進行影像處理的負荷與時間。

該動態影像特徵加強系統10可以嵌入一車輛的電子系統(例如導航系統或中控系統中)，或者該動態影像特徵系統10是安裝於一車輛自動駕駛系統中，在此並不侷限。而且，根據不同環境，該感興趣區域122的範圍也就不同，使用者根據不同的路況與不同的視野調整該感興趣區域的範圍。

在步驟S303中，設定該顯示螢幕12之該畫面121的複數個亮度權重值。本創作的動態影像特徵強化方法在設定該感興趣區域122後，將該畫面121與該感興趣區域122畫分為複數個區塊123，並標示各該區塊123的各該亮度權重值。在各該影像中，並非每個區塊123的曝光過度或亮度不足，有些區塊123的亮度過亮(曝光過度)，有些區塊123的亮度過暗，因此需要針對各個區塊123進行亮度調整。該複數個亮度權重值的設定，可以先設計一亮度權重對照表，根據各該區塊123的各該影像的實際亮度值，參照該亮度權重對照表給予各該區塊123的各該亮度權重值。該亮度權重對照表可儲存該亮度權重設置單元16內，或者該亮度權重對照表可儲存於該攝影機11的該記憶體111內，在此並不侷限。該亮度權重對照表可依照個人的設定有所不同，在此所示的該亮度權重對照表僅是舉例，並非侷限該亮度權重對照表的數值，根據不同的車輛與不同的該攝影機可以有不同的該亮度權重對照表。

舉例來說，如圖2B所示，在該感興趣區域122外的區域並非是各該影像強化的重點區域，因此在該區域的該亮度權重值皆設為1。在該感興趣區域122內則依據該實際亮度值的大小給予各該區塊123一個該亮度權重值，例如，該亮度權重值為5，表示該區塊123的亮度過暗，該亮度權重值為2，表示該區塊123的曝光過度。

在步驟S304中，根據各該亮度權重值，調整該攝影機11之該畫面的亮度。根據各該亮度權重值，將該攝影機11的該畫面10的亮度參數進行調整。本創作的動態影像特徵強化方法，根據該攝影機11所擷取到的該複數個影像進行亮度調整，直接調整該攝影機11的該亮度參數，而非是對該複數個影像進行調整。

在步驟S305，調整該攝影機11之該畫面121的各該影像的銳利化。完成該攝影機11之該畫面121的亮度調整後，可加強該攝影機11之該畫面121的銳利化，而在銳利化調整之前，需進行該攝影機11之該畫面121的各該影像的輪廓分析。根據該攝影機11所擷取到的該複數個影像，進行各該影像的輪廓分析，分析各該影像的邊緣是否模糊或清楚。

在步驟S306，以一多層漸進銳利化程序更新該攝影機的一銳利化參數。因為本創作之該攝影機11的銳利化調整是利用該動態影像特徵加強系統10調整，該動態影像特徵加強系統10應用一微調機制，以漸進方式一步一步調整該銳利化參數，每次些微的調整該銳利化參數，進而將該攝影機11調整至一銳利化參數臨界值的一誤差容許值的範圍內。

請參閱圖4，該多層漸進銳利化程序包含下列步驟，在步驟S401中，設定一銳利化參數臨界值，該攝影機11的該畫面10中，在該感興趣區域121的該複數個區塊123的複數個影像分別具有不同銳利化參數，根據該銳利化參數臨界值調整該攝影機的實際銳利化參數，讓該攝影機11所拍攝的影像皆為輪廓清晰可視的影像。

在步驟S402中，比較一實際銳利化參數與該銳利化參數臨界值，以步階增減方式逐漸修正該實際銳利化參數以接近該銳利化參數臨界值。該銳利化參數臨界值為影像輪廓清晰的一設定值，該銳利化參數臨界值根據不同使用者可以修改為不同的該設定值，而且在調整時，可設定該銳利化參數臨界值的一誤差容許值，將該攝影機的該實際銳利化參數調整在該銳利化參數臨界值的該誤差容許值範圍內，使該攝影機所拍攝的影像為清晰可視。

在步驟S403中，若該實際銳利化參數小於該銳利化參數臨界值的該誤差容許值範圍內，增加該實際銳利化參數，反之，在步驟S404中，若該實際銳利化參數大於該銳利化參數臨界值的該誤差容許值範圍內，減少該實際銳利化參數。直到該實際銳利化參數在該銳利化參數臨界值的有效範圍內，則結束該多層漸進銳利化程序。

該多層漸進銳利化程序為設定該攝影機之該畫面每次增加或減少的參數值，例如，如圖5所示，在一實施例中，該多層漸進銳利化程序設定複數個銳利化層級(例如四層銳利化層級等)，其分別為一第一銳利化遞增層41、一第二銳利化遞增層42、一第一銳利化遞減層51與一第二銳利化遞減層52，其表示進行該多層漸進銳利化程序時，每次進行兩次銳利化參數的遞增或遞減。根據不同需求可設定不同層數的銳利化遞增層或銳利化遞減層，層數越多可加速將實際銳利化參數調整至該銳利化參數臨界值。

舉例來說，根據複數個影像輪廓清晰度，將該銳利化參數設定為0~255共256級，而某個區塊之該影像的該實際銳利化參數為200，而該動態影像特徵加強系統的該銳利化參數臨界值為231±5，換句話說需將該實際銳利化參數值調整至該誤差容許值範圍(226~236之間)內，多層漸進銳利化程序進入該第一銳利化遞增層41，而在該第一銳利化遞增層41將該實際銳利化參數增加5，此時該實際銳利化參數調整至205，其依舊小於該銳利化參數臨界值，因此再進入第一銳利化遞增層41進行增加該實際銳利化參數，直到該實際銳利化參數調整至該銳利化參數臨界值的該誤差容許值的該範圍內。反之，若該實際銳利化參數大於該銳利化參數臨界值，則進入該第一銳利化遞減層51，逐步將該實際銳利化參數調整至該銳利化參數臨界值的該誤差容許值的該範圍內。

另外，在步驟S306中，更包含將該畫面所呈現之該複數個影像的邊緣曝光程度分級，以強化該複數個區塊123所呈現之該複數個影像的輪廓。使用該多層漸進銳利化程序找出相對應邊緣，並根據對該複數個區塊123之該複數個影像的破損程度修正銳利化參數後，最後將該複數個影像的邊緣資訊轉至高頻域並分成多層邊緣資訊，如圖5所示之T1層邊緣資訊、T2層邊緣資訊、T3層邊緣資訊與T4層邊緣資訊等，再將該多層邊緣資訊合併，達到將該畫面121所呈現之該複數個影像的輪廓加強目的。利用該攝影機11所擷取的複數個影像逐步調整該攝影機11的該攝影參數，達到改善該攝影機11之輸出影像調整的目的。透過前端調整的方式(直接調整攝影機的攝影參數)調整該複數個影像的參數，而非如現有技術中，大都是在獲得該複數個影像後，再調整該複數個影像的亮度、對比或曝光等參數。因此，本創作的動態影像特徵加強方法可讓智慧型先進駕駛輔助系統即時掌握路況，根據該攝影機11所擷取的該複數個影像在第一時間作出判斷。

10 畫面 11 感興趣區域 111 記憶體 12 顯示螢幕 121 畫面 122 感興趣區域 123 區塊 13 感興趣區域切換單元 14 區塊畫分單元 15 影像分析單元 16 亮度權重設置單元 17 亮度調整單元 18 銳利化調整單元 41 第一銳利化遞增層 42 第二銳利化遞增層 51 第一銳利化遞減層 52 第二銳利化遞減層 60 智慧型先進駕駛輔助系統 61 影像擷取模組 62 計算模組 63 車輛分類器 64 車輛偵測器 65 警示裝置 66 顯示器

圖1為本創作之動態影像特徵加強系統的方塊圖。 圖2A為動態影像特徵加強方法選擇感興趣區域的示意圖。 圖2B為動態影像特徵加強方法之權重分佈的示意圖。 圖3為本創作之動態影像特徵加強方法的步驟流程圖。 圖4為多層漸進銳利化程序的流程圖。 圖5為多層漸進銳利化程序的示意圖。 圖6為現有之智慧型先進駕駛輔助系統的系統方塊圖。

Claims (9)

1. 一種動態影像特徵加強方法，包含步驟： 自一攝影機擷取複數個影像； 透過一感興趣區域切換單元自該攝影機的一畫面中選取一感興趣區域； 在該感興趣區域中設定複數個亮度權重值； 根據各該亮度權重值，調整該攝影機之該畫面的一亮度參數； 利用一銳利化調整單元執行一多層漸進銳利化程序以更新該攝影機的一實際銳利化參數。
2. 如請求項1所述之動態影像特徵加強方法，其中在該感興趣區域中設定該複數個亮度權重值的該步驟中，更包含：將該感興趣區域畫分成複數個區塊，並設定各該區塊的各該亮度權重值。
3. 如請求項2所述之動態影像特徵加強方法，其中該複數個亮度權重值的設定，係根據各該區塊的一實際亮度值並參照一亮度權重對照表而給予各該區塊的該亮度權重值。
4. 如請求項1或2所述之動態影像特徵加強方法，其中在該多層漸進銳利化程序，包含： 設定一銳利化參數臨界值； 比較該實際銳利化參數與該銳利化參數臨界值，以步階增減方式逐漸修正該實際銳利化參數以接近該銳利化參數臨界值； 將該畫面所呈現之該複數個影像的邊緣曝光程度分級，以強化該複數個區塊所呈現之該複數個影像的輪廓。
5. 如請求項4所述之動態影像特徵加強方法，其中該複數個影像與該銳利化參數臨界值係存放於一記憶體內。
6. 一種動態影像特徵加強系統，包含： 一攝影機； 一顯示螢幕連接該攝影機； 一感興趣區域切換單元，電連接該顯示螢幕，該感興趣區域切換單元切換該顯示螢幕之一畫面的一感興趣區域； 一區塊畫分單元電連接該顯示螢幕，以將該顯示螢幕的該畫面畫分為複數個區塊； 一影像分析單元電連接該攝影機，以將該攝影機所拍攝的複數個影像分析其亮度參數與銳利化參數； 一亮度權重設置單元電連接該影像分析單元與該顯示螢幕，接收該複數個影像的複數個亮度參數，並參照一亮度權重對照表，設定該顯示螢幕之各該區塊內的各該影像的一亮度權重值； 一亮度調整單元電連接該亮度權重設置單元與該攝影機，根據各該區塊的各該亮度的該亮度權重值，將該畫面之各該區塊的各該影像的亮度調整至一致； 一銳利化調整單元電連接該攝影機與該影像分析單元，調整各該區塊之各該影像的該銳利化參數。
7. 如請求項6所述之動態影像特徵加強系統，其中該複數個影像與該銳利化參數臨界值係存放於該攝影機的一記憶體內。
8. 如請求項6所述之動態影像特徵加強系統，其中該銳利化調整單元根據各該區塊的各該影像之破損程度修正一實際銳利化參數。
9. 如請求項6所述之動態影像特徵加強系統，其中根據該影像分析單元分析的各該影像的該銳利化參數，該銳利化調整單元以一多層漸進銳利化程序加強該複數個影像的輪廓。