TW202038194A

TW202038194A - 影像中含有馬賽克之檢查系統及其方法

Info

Publication number: TW202038194A
Application number: TW108111517A
Authority: TW
Inventors: 曾文洲; 朱大綱; 黃英華
Original assignee: 中華電信股份有限公司
Priority date: 2019-04-01
Filing date: 2019-04-01
Publication date: 2020-10-16
Also published as: TWI697871B

Abstract

本發明關於一種影像中含有馬賽克之檢查系統及其方法。圖片前處理模組係從已知含有馬賽克圖片集中取出圖片以得到灰階圖及原彩圖，且圖片用於機器學習之馬賽克辨識訓練。又，灰階邊線交點提取單元係對灰階圖分別提取水平邊線、垂直邊線、兩邊線之交點、及交點可合併範圍等特徵資訊，且MB邊線交點提取單元係對原彩圖之RGB三顏色分別進行MB平滑角與線特徵提取以取得水平邊線、垂直邊線、兩邊線之交點、及交點可合併範圍等特徵資訊。同時，馬賽克特徵分析模組係依據灰階圖之特徵資訊分析出灰階圖之馬賽克特徵，並依據原彩圖之RGB三顏色之特徵資訊分析出原彩圖之馬賽克特徵。

Description

影像中含有馬賽克之檢查系統及其方法

本發明係關於一種馬賽克檢查技術，特別是指一種影像中含有馬賽克之檢查系統及其方法。

馬賽克出現在影片中常會造成觀賞者不悅，並影響影視服務的品質，亦降低影片的品質。又，影片檢查人員通常用人眼主觀方式尋找影像中是否含有馬賽克，導致耗費大量人力與工作時間。同時，因應影片分級，影片檢查人員需過濾含有馬賽克的影片，以避免暴力、色情影片與一般影片不當混淆，從而在影片上架前多一道審查影片是否符合設定的觀賞級別。

另外，現有技術提出一種視頻馬賽克(video mosaic)影像檢測方法，先將待檢測影像轉換為灰階圖，以進行坎尼邊緣檢測(cannae edge detection)，獲得只具有輪廓資訊的影像；繼之，利用四個範本對輪廓影像進行範本匹配，獲得四個匹配影像；接著，對四個匹配影像進行二值化(thresholding)處理，獲得只保留相匹配的點的影像；然後，利用滑動視窗馬賽克檢測演算法檢測影像是否具有馬賽克。惟，此現有技術無法在馬賽克範圍邊界不明顯時(與周遭顏色相近)找出有馬賽克，亦無法分辨出網狀物體、文字與真正的馬賽克之差別，也無法找出紅綠藍(RGB)某一層含有馬賽克。

因此，如何提供一種新穎或創新之影像中含有馬賽克之檢查系統及其方法，實已成為本領域技術人員之一大研究課題。

本發明提供一種新穎或創新之影像中含有馬賽克之檢查系統及其方法，能解決影片檢查人員用人眼主觀方式尋找圖片或影片是否含有馬賽克而耗費大量人力與工作時間的問題，從而降低影片檢查的負擔及提升影片的品質。

本發明之影像中含有馬賽克之檢查系統包括：一圖片前處理模組，係從已知含有馬賽克圖片集中取出至少一圖片，以將圖片轉換成灰階圖及保留圖片之原彩圖，其中，圖片用於機器學習之馬賽克辨識訓練；一邊線與交點特徵提取模組，係具有一灰階邊線交點提取單元與一MB(巨集區塊)邊線交點提取單元，其中，灰階邊線交點提取單元對圖片前處理模組所轉換之灰階圖分別提取灰階圖之水平邊線、垂直邊線、水平邊線與垂直邊線之交點、及交點可合併範圍的特徵資訊，且MB邊線交點提取單元對圖片前處理模組所保留之原彩圖之紅綠藍(RGB)三顏色分別進行MB平滑角與線特徵提取，以得到原彩圖之紅綠藍(RGB)三顏色之水平邊線、垂直邊線、水平邊線與垂直邊線之交點、及交點可合併範圍的特徵資訊；以及一馬賽克特徵分析模組，係依據灰階邊線交點提取單元所提取之灰階圖之特徵資訊分析出灰階圖之馬賽克特徵，並依據MB邊線交點提取單元所提取之原彩圖之紅綠藍(RGB)三顏色之特徵資訊分析出原彩圖之紅綠藍(RGB)三顏色之馬賽克特徵。

本發明之影像中含有馬賽克之檢查方法包括：由一圖片前處理模組從已知含有馬賽克圖片集中取出至少一圖片，以將圖片轉換成灰階圖及保留圖片之原彩圖，其中，圖片用於機器學習之馬賽克辨識訓練；由一灰階邊線交點提取單元對圖片前處理模組所轉換之灰階圖分別提取灰階圖之水平邊線、垂直邊線、水平邊線與垂直邊線之交點、及交點可合併範圍的特徵資訊；由一MB(巨集區塊)邊線交點提取單元對圖片前處理模組所保留之原彩圖之紅綠藍(RGB)三顏色分別進行MB平滑角與線特徵提取，以得到原彩圖之紅綠藍(RGB)三顏色之水平邊線、垂直邊線、水平邊線與垂直邊線之交點、及交點可合併範圍的特徵資訊；以及由一馬賽克特徵分析模組依據灰階邊線交點提取單元所提取之灰階圖之特徵資訊分析出灰階圖之馬賽克特徵，並依據MB邊線交點提取單元所提取之原彩圖之紅綠藍(RGB)三顏色之特徵資訊分析出原彩圖之紅綠藍(RGB)三顏色之馬賽克特徵。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明。在以下描述內容中將部分闡述本發明之額外特徵及優點，且此等特徵及優點將部分自所述描述內容可得而知，或可藉由對本發明之實踐習得。本發明之特徵及優點借助於在申請專利範圍中特別指出的元件及組合來認識到並達到。應理解，前文一般描述與以下詳細描述兩者均僅為例示性及解釋性的，且不欲約束本發明所欲主張之範圍。

1‧‧‧影像中含有馬賽克之檢查系統

10‧‧‧檢測圖片擷取模組

11‧‧‧待測圖片片名單元

12‧‧‧圖片擷取單元

20‧‧‧圖片前處理模組

21‧‧‧RGB2Y單元

22‧‧‧馬賽克範圍粗估單元

30‧‧‧邊線與交點特徵提取模組

31‧‧‧灰階邊線交點提取單元

32‧‧‧MB邊線交點提取單元

40‧‧‧馬賽克特徵分析模組

41‧‧‧灰階馬賽克特徵分析單元

42‧‧‧MB馬賽克特徵分析單元

50‧‧‧特徵參數模組

51‧‧‧灰階交點與線特徵參數單元

52‧‧‧MB平滑交點與線特徵參數單元

60‧‧‧圖片馬賽克評估模組

61‧‧‧特徵加權參數調整單元

62‧‧‧馬賽克評估單元

63‧‧‧馬賽克準確率參數單元

64‧‧‧非馬賽克準確率參數單元

70‧‧‧待檢測圖片集

80‧‧‧已知含有馬賽克圖片集

90‧‧‧影片檔案

100‧‧‧特徵加權參數組

P‧‧‧角點

A01至A12、B01至B09、C01至C04‧‧‧步驟

第1圖為本發明之影像中含有馬賽克之檢查系統的架構示意圖；第2圖為本發明之影像中含有馬賽克之檢查方法於訓練模式時的流程示意圖；第3A圖至第3D圖分別為本發明之馬賽克特徵之四種直角形態的示意圖；第4圖為本發明之影像中含有馬賽克之檢查方法於檢查模式時的流程示意圖；第5A圖至第5D圖分別為本發明之影像中含有馬賽克的灰階圖、影像中含有馬賽克的直向邊線特徵、影像中含有馬賽克的橫向邊線特徵、影像中含有馬賽克的MB邊線與交點特徵；以及第6圖為本發明之影像中含有馬賽克之檢查方法於圖片擷取模式時的流程示意圖。

以下藉由特定的具體實施形態說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容了解本發明之其他優點與功效，亦可因而藉由其他不同的具體等同實施形態加以施行或應用。

本發明提供一種影像中含有馬賽克之檢查系統及其方法，可運用機器學習以尋找圖片或影片(待檢測圖片集)中是否含有馬賽克畫面，並提供馬賽克畫面所在的位置及相對片頭的播放時間，能解決檢查人員用人眼主觀方式尋找影片是否含有非人為馬賽克的存在，導致耗費大量人力與工作時間的問題，藉此降低影片檢查的負擔，以確保影片的品質。

又，本發明能找出因為原始圖片或影片已經損壞或轉檔時資訊的不完全所引起含有馬賽克的畫面，預先從這類已知含有馬賽克畫面的影片中搜集到一些已知含有馬賽克畫面的圖片，並運用機器學習之馬賽克辨識訓練後，獲得一個可找出目前搜尋到的馬賽克畫面之特徵加權參數組，再利用特徵加權參數組進行影像中含有馬賽克畫面的檢查，以找出含有馬賽克畫面的位置及相對片頭的播放時間。

同時，本發明能在馬賽克畫面的範圍邊界不明顯時(與周遭顏色相近)找出有馬賽克的存在範圍，亦能分辨出網狀物體、文字與真正的馬賽克範圍之差別，從而解決現有技術之問題。

第1圖為本發明之影像中含有馬賽克之檢查系統1的架構示意圖，且其主要技術內容如下，其餘技術內容如同第2圖至第6圖之詳細說明，於此不再重覆敘述。

如第1圖所示，本發明之影像中含有馬賽克之檢查系統1可包括一檢測圖片擷取模組10、一圖片前處理模組20、一邊線與交點特徵提取模組30、一馬賽克特徵分析模組40、一特徵參數模組50、一圖片馬賽克評估模組60、一待檢測圖片集70、一已知含有馬賽克圖片集80(存放已知含有馬賽克畫面的圖片)、一影片檔案90以及一特徵加權參數組100。而且，檢測圖片擷取模組10可具有一待測圖片片名單元11及一圖片擷取單元12，圖片前處理模組20可具有一RGB2Y(紅綠藍轉灰階)單元21及一馬賽克範圍粗估單元22，邊線與交點特徵提取模組30可具有一灰階邊線交點提取單元31及一MB(Macroblock；巨集區塊)邊線交點提取單元32，馬賽克特徵分析模組40可具有一灰階馬賽克特徵分析單元41及一MB馬賽克特徵分析單元42，特徵參數模組50可具有一灰階交點與線特徵參數單元51及一MB平滑交點與線特徵參數單元52，圖片馬賽克評估模組60可具有一特徵加權參數調整單元61、一馬賽克評估單元62、一馬賽克準確率參數單元63及一非馬賽克準確率參數單元64。

簡言之，本發明之影像中含有馬賽克之檢查系統1及其方法主要包括：由圖片前處理模組20從已知含有馬賽克圖片集80中取出至少一圖片，以將圖片轉換成灰階圖及保留圖片之原彩圖，其中，圖片用於機器學習之馬賽克辨識訓練；由邊線與交點特徵提取模組30之灰階邊線交點提取單元31對圖片前處理模組20所轉換之灰階圖分別提取灰階圖之水平邊線、垂直邊線、水平邊線與垂直邊線之交點、及交點可合併範圍的特徵資訊，並由邊線與交點特徵提取模組30之MB邊線交點提取單元32對圖片前處理模組20所保留之原彩圖之紅綠藍(RGB)三顏色分別進行MB平滑角與線特徵提取，以得到原彩圖之紅綠藍(RGB)三顏色之水平邊線、垂直邊線、水平邊線與垂直邊線之交點、及交點可合併範圍的特徵資訊；以及由馬賽克特徵分析模組40依據灰階邊線交點提取單元31所提取之灰階圖之特徵資訊分析出灰階圖之馬賽克特徵，並依據MB邊線交點提取單元32所提取之原彩圖之紅綠藍(RGB)三顏色之特徵資訊分析出原彩圖之紅綠藍(RGB)三顏色之馬賽克特徵。

另外，在影片中搜尋或檢查馬賽克前，本發明能預先從已知含有馬賽克畫面的影片中，搜集已知含有馬賽克畫面的圖片以存放於已知含有馬賽克圖片集80中，再將機器設為下列第2圖所示之訓練模式以進行機器學習如何辨識馬賽克的訓練。

第2圖為本發明之影像中含有馬賽克之檢查方法於訓練模式時的流程示意圖，其可包括下列步驟A01至步驟A12；第3A圖至第3D圖分別為本發明之馬賽克特徵之四種直角形態的示意圖(請一併參閱第1圖)。

在第2圖之步驟A01中，先查詢第1圖所示已知含有馬賽克圖片集80內的圖片是否皆完成檢測(完成馬賽克辨識訓練)？

若是(代表完成馬賽克辨識訓練)，則進行第2圖之步驟A02，由第1圖所示圖片馬賽克評估模組60將特徵加權參數組100的值儲存起來稱為訓練後特徵加權參數組。反之，若否(代表未完成馬賽克辨識訓練)，則進行第2圖之步驟A03，由第1圖所示圖片前處理模組20從已知含有馬賽克圖片集80中取出一張尚未辨識訓練的圖片，再由圖片前處理模組20之RGB2Y(紅綠藍轉灰階)單元21將圖片轉換成灰階圖，前述RGB2Y單元21中，RGB分別表示原彩圖之紅(Red)/綠(Green)/藍(Blue)三顏色，Y表示灰階或明亮度。例如，在第2圖之步驟A03中，由圖片前處理模組20從第1圖所示已知含有馬賽克圖片集80中取出一張尚未辨識訓練的圖片，再由RGB2Y單元21將圖片作YUV(明亮度/色度/濃度)轉換以保留Y的灰階圖及原彩圖。

在第2圖之步驟A04中，由第1圖所示邊線與交點特徵提取模組30之灰階邊線交點提取單元31對灰階圖分別提取其水平邊線、垂直邊線、水平邊線與垂直邊線之交點、及交點可合併範圍等特徵資訊，並將灰階圖之特徵資訊或相關資訊記錄或存放於第1圖所示特徵參數模組50之灰階交點與線特徵參數單元51。

在第2圖之步驟A05中，由第1圖所示邊線與交點特徵提取模組30之MB(巨集區塊)邊線交點提取單元32對原彩圖之紅綠藍(RGB)三顏色分別進行MB(巨集區塊)平滑角與線特徵提取以得到其水平邊線、垂直邊線、水平邊線與垂直邊線之交點、及交點可合併範圍等特徵資訊，並將原彩圖之紅綠藍(RGB)三顏色之特徵資訊存放於第1圖所示特徵參數模組50之MB平滑交點與線特徵參數單元52。

在第2圖之步驟A06中，由第1圖所示馬賽克特徵分析模組40之灰階馬賽克特徵分析單元41分析特徵參數模組50之灰階交點與線特徵參數單元51所記錄之灰階圖之特徵資訊是否有馬賽克特徵之四種直角形態(見第3A圖至第3D圖)，並將這些特徵資訊之參數依據有角特徵範圍之內外(以第3A圖至第3D圖所示16個點的範圍為例)對應於灰階圖之各點像素值當成分數，再將獲得之各組參數之分數與範圍之資訊記錄在灰階圖品質記分表。

同樣地，在第2圖之步驟A07中，由第1圖所示馬賽克特徵分析模組40之MB馬賽克特徵分析單元42分析特徵參數模組50之MB平滑交點與線特徵參數單元52所記錄之原彩圖之紅綠藍(RGB)三顏色的特徵資訊是否有馬賽克特徵，並依據第3A圖至第3D圖所示之四種直角形態沿直角6個點相鄰兩旁的各點範圍像素值當成分數，再將獲得之各組參數之分數與範圍之資訊記錄在MB(巨集區塊)品質記分表。

在第2圖之步驟A08中，由第1圖所示馬賽克特徵分析模組40之灰階馬賽克特徵分析單元41將灰階圖品質記分表中的數值乘以相關參數加權值，並由馬賽克特徵分析模組40之MB馬賽克特徵分析單元42將MB品質記分表中的數值乘以特徵加權參數組的相關加權值，再將前述相乘後的數值累進存放於圖片有馬賽克的準確率及圖片無馬賽克的準確率兩者的變數中。例如，由灰階馬賽克特徵分析單元41依據灰階圖品質記分表與相關灰階加權參數值分別計算圖片有馬賽克及圖片無馬賽克兩者的灰階準確率，以將兩者的灰階準確率分別存放於灰階準確率參數與灰階非準確率參數中。同時，由MB馬賽克特徵分析單元42依據MB品質記分表與相關MB加權參數值分別計算圖片有馬賽克及圖片無馬賽克兩者的MB準確率，以將兩者的MB準確率分別存放於MB準確率參數與MB非準確率參數中。

然後，由第1圖所示圖片馬賽克評估模組60依據灰階準確率參數、灰階非準確率參數、MB準確率參數、MB非準確率參數與相關加權參數值分別計算馬賽克準確率與非馬賽克準確率，以將馬賽克準確率與非馬賽克準確率分別記錄於圖片馬賽克評估模組60之馬賽克準確率參數單元63與非馬賽克準確率參數單元64。

在第2圖之步驟A09中，由第1圖所示圖片馬賽克評估模組60之馬賽克評估單元62比較圖片無馬賽克的準確率與圖片有馬賽克的準確率的大小。

若圖片無馬賽克的準確率較大，則進行第2圖之步驟A10，由圖片馬賽克評估模組60依序調整特徵加權參數組100內的一個加權值，並記錄特徵加權參數組100變動過，再依據灰階準確率參數、灰階非準確率參數、MB準確率參數、MB非準確率參數與相關加權參數值重新計算馬賽克準確率與非馬賽克準確率。反之，若圖片有馬賽克的準確率較大或等於圖片無馬賽克的準確率(代表圖片有馬賽克)，則進行第2圖之步驟A11，由圖片馬賽克評估模組60判斷特徵加權參數組100是否變動。若特徵加權參數組100有變動過，則由圖片馬賽克評估模組60之特徵加權參數調整單元61先清除特徵加權參數組100變動過的標記，並清除已分析過的標記(設定從第一張開始重作圖片中含有馬賽克的檢查分析)，再返回第2圖之步驟A01所示已知含有馬賽克圖片集80是否皆完成檢測之處，以判斷是否完成訓練還是進行下一圖片之馬賽克辨識訓練。或者，若特徵加權參數組100無變動過，則直接返回第2圖之步驟A01，繼續執行下一張馬賽克圖片。當完成馬賽克辨識訓練後，由圖片馬賽克評估模組60將特徵加權參數組100的值儲存起來稱為訓練後特徵加權參數組。

第4圖為本發明之影像中含有馬賽克之檢查方法於檢查模式時的流程示意圖(請一併參閱第1圖)。

簡言之，在第4圖之檢查模式中，可從第1圖所示待檢測圖片集70中取出至少一圖片，並由圖片前處理模組20之RGB2Y(紅綠藍轉灰階)單元21將圖片作YUV(明亮度/色度/濃度)轉換成灰階圖以進行檢查，其餘程序類似於第2圖所示之訓練模式，但不再變動訓練後特徵加權參數組的值。同時，當圖片有馬賽克的準確率較大或等於圖片無馬賽克的準確率時，由圖片馬賽克評估模組60將待檢測圖片集70之一圖片中含有馬賽克畫面的位置及相對片頭的播放時間記錄下來以繼續待檢測圖片集70之下一圖片之檢測，直到將待檢測圖片集70之內容檢查完成。

舉例而言，在第4圖之步驟B01中，先查詢第1圖所示待檢測圖片集70內的圖片是否皆完成檢測？

若是(已完成檢測)，則結束。反之，若否(未完成檢測)，則進行第4圖之步驟B02，由第1圖所示檢測圖片擷取模組10之待測圖片片名單元11向待檢測圖片集70取出一張未檢測的圖片作YUV轉換以保留Y的灰階圖及原彩圖。

在第4圖之步驟B03中(如同第2圖之步驟A04)，由第1圖所示邊線與交點特徵提取模組30之灰階邊線交點提取單元31對灰階圖分別提取水平邊線、垂直邊線、水平邊線與垂直邊線之交點、及交點可合併範圍等特徵資訊，並將特徵資訊或相關資訊記錄或存放於第1圖所示特徵參數模組50之灰階交點與線特徵參數單元51。

在第4圖之步驟B04中(如同第2圖之步驟A05)，由第1圖所示MB(巨集區塊)邊線交點提取單元32對原彩圖之紅綠藍(RGB)三顏色分別進行MB(巨集區塊)平滑角與線特徵提取以得到水平邊線、垂直邊線、水平邊線與垂直邊線之交點、及交點可合併範圍等特徵資訊，並將特徵資訊存放於第1圖所示特徵參數模組50之MB平滑交點與線特徵參數單元52。

在第4圖之步驟B05中，由第1圖所示馬賽克特徵分析模組40之灰階馬賽克特徵分析單元41分析灰階交點與線特徵參數單元51在灰階圖之一範圍內是否有成對的四個以上的角點P(見第3A圖至第3D圖)與四條線以上、範圍內的像素是否有相同值、及範圍的邊線是否與框外有相同值以得到複數參數，並對複數參數依據馬賽克特徵及非馬賽克特徵分別給與分數以得到各組參數之分數，再將各組參數之分數與範圍之資訊記錄在灰階圖品質記分表。

在第4圖之步驟B06中，由第1圖所示馬賽克特徵分析模組40之MB馬賽克特徵分析單元42分析MB平滑交點與線特徵參數單元52在原彩圖之紅綠藍(RGB)三顏色之一範圍內是否有成對的四個以上的角點P(見第3A圖至第3D圖)與四條線以上、範圍內的像素是否有相同值、及範圍的邊線是否與框外有相同值等參數，並將第3A圖至第3D圖所示之四種直角形態沿直角6個點相鄰兩旁的值分別結合特徵加權參數組100得到的分數記錄在MB品質記分表。

在第4圖之步驟B07中(如同第2圖之步驟A08)，由第1圖所示馬賽克特徵分析模組40之灰階馬賽克特徵分析單元41將灰階圖品質記分表中的數值乘以相關參數加權值，並由馬賽克特徵分析模組40之MB馬賽克特徵分析單元42將MB品質記分表中的數值乘以特徵加權參數組的相關加權值，再將前述相乘後的數值累進存放於圖片有馬賽克的準確率及圖片無馬賽克的準確率兩者的變數中。

在第4圖之步驟B08中，由第1圖所示圖片馬賽克評估模組60之馬賽克評估單元62比較圖片無馬賽克的準確率與圖片有馬賽克的準確率的大小。

若圖片無馬賽克的準確率較大，則進行第4圖之步驟B09，由圖片馬賽克評估模組60記錄含有馬賽克畫面的位置及相對片頭的播放時間，再返回步驟B01。反之，若圖片有馬賽克的準確率較大或等於圖片無馬賽克的準確率，則直接返回第4圖之步驟B01。

[第一實施例：訓練模式]

請參閱第1圖至第2圖與第5A圖至第5D圖，其中，第5A圖至第5D圖分別為本發明之影像中含有馬賽克的灰階圖、影像中含有馬賽克的直向邊線特徵、影像中含有馬賽克的橫向邊線特徵、影像中含有馬賽克的MB邊線與交點特徵。

舉例而言，如第2圖所示影像中含有馬賽克之檢查方法於訓練模式時的流程示意圖，在第2圖之步驟A01中，先查詢在第1圖所示已知含有馬賽克圖片集80內的圖片是否皆完成檢測？

若是(代表完成馬賽克辨識訓練)，則進行第2圖之步驟A02，由第1圖所示圖片馬賽克評估模組60將特徵加權參數組100的值儲存起來稱為訓練後特徵加權參數組。反之，若否(代表未完成馬賽克辨識訓練)，則進行第2圖之步驟A03，由第1圖所示圖片前處理模組20從已知含有馬賽克圖片集80中取出一張尚未辨識訓練的圖片，再由圖片前處理模組20之RGB2Y(紅綠藍轉灰階)單元21將圖片轉換成第5A圖所示含有馬賽克的灰階圖。

在第2圖之步驟A04中，由第1圖所示邊線與交點特徵提取模組30之灰階邊線交點提取單元31對第5A圖所示灰階圖分別進行3*3矩陣之直線卷積核與橫線卷積核之每次移動一點的邊緣檢測，以分別產生第5B圖至第5C圖所示直線與橫線的邊線4個點為一組資訊、及將直線與橫線有交集的點(交點)之直線上與橫線上各4個點之邊角特徵資訊，再分別將水平邊線、垂直邊線、水平邊線與垂直邊線之交點、及交點可合併範圍等特徵資訊或相關資訊記錄或存放於第1圖所示特徵參數模組50之灰階交點與線特徵參數單元51。

在第2圖之步驟A05中，由第1圖所示邊線與交點特徵提取模組30之MB(巨集區塊)邊線交點提取單元32依照下列程序P1至程序P3對圖片(原彩圖)的紅綠藍(RGB)分開進行MB(巨集區塊)平滑角與線特徵提取。

在程序P1中，由MB(巨集區塊)邊線交點提取單元32分別將圖片之x方向的第(4*n)線的像素值與第(4*n-1)線的像素值相減取絕對值(n=1)以獲得(圖片寬度/4)條水平方向的圖片資訊，並分別將圖片之y方向的第(4*n)線的像素值與第(4*n-1)線的像素值相減取絕對值(n=1)以取得y方向(圖片高度/4)條垂直方向的圖片資訊，其中n為正整數。前述選擇4*n的原因在於h264的最小MB(巨集區塊)為4x4、8*8、16*16，且高效率視訊編碼(High Efficiency Video Coding；HEVC)的最小編碼樹單元(Coding Tree Block；CTU)為8*8、64*64，故取最小值為4。

在程序P2中，由MB(巨集區塊)邊線交點提取單元32分別對水平方向的圖片資訊與垂直方向的圖片資訊找出同一條圖片資訊有相同的邊線或差值區間(可設門檻值比對)，再從邊線中找出交點(角)，以得到第5D圖所示影像中含有馬賽克的MB邊線與交點特徵的結果。

在程序P3中，由MB(巨集區塊)邊線交點提取單元32對上述第5D圖所示影像中含有馬賽克的MB邊線與交點特徵的結果進行顏色分群確認，包括：(i)沿邊線上一列或左一行的像素是否與邊線像素可成為兩個不同群的值，如果是標示為邊界，則將資訊存放於MB邊線與交點特徵參數；以及(ii)交點之周圍可成為兩個灰階不同群，第3A圖至第3D圖所示之四種直角形態的角點P(粗黑圈為角點P)，再將資訊存放於第1圖所示特徵參數模組50之MB平滑交點與線特徵參數單元52。

同樣地，在第2圖之步驟A07中，由第1圖所示馬賽克特徵分析模組40之MB馬賽克特徵分析單元42分析特徵參數模組50之MB平滑交點與線特徵參數單元52的資訊是否有馬賽克特徵，並依據第3A圖至第3D圖所示之四種直角形態沿直角6個點相鄰兩旁的各點範圍像素值當成分數，再將獲得之各組參數之分數與範圍之資訊記錄在MB(巨集區塊)品質記分表。

在第2圖之步驟A08中，由第1圖所示馬賽克特徵分析模組40之灰階馬賽克特徵分析單元41將灰階圖品質記分表中的數值乘以相關參數加權值，並將相乘後的數值分別累進圖片有馬賽克的準確率及圖片無馬賽克的準確率以各自存放於圖片馬賽克評估模組60之馬賽克準確率參數單元63的灰階準確率參數與灰階非準確率參數中。同時，由第1圖所示馬賽克特徵分析模組40之MB馬賽克特徵分析單元42將MB品質記分表中的數值乘以相關參數加權值，並將相乘後的數值分別累進圖片有馬賽克的準確率及圖片無馬賽克的準確率以各自存放於圖片馬賽克評估模組60之馬賽克準確率參數單元63的MB準確率參數與MB非準確率參數中。

然後，由第1圖所示圖片馬賽克評估模組60之馬賽克準確率參數單元63將「灰階準確率參數乘以灰階準確率加權值」加上「MB準確率參數乘以MB準確率加權值」以產生馬賽克準確率，並由第1圖所示圖片馬賽克評估模組60之非馬賽克準確率參數單元64將「灰階非準確率參數乘以灰階非準確率加權值」加上「MB非準確率參數乘以MB非準確率加權值」以產生非馬賽克準確率。

若圖片無馬賽克的準確率較大，則進行第2圖之步驟A10，由圖片馬賽克評估模組60依序調整特徵加權參數組100內的一個加權值，並記錄特徵加權參數組100變動過，再依據灰階準確率參數、灰階非準確率參數、MB準確率參數、MB非準確率參數與相關加權參數值重新計算馬賽克準確率與非馬賽克準確率。反之，若圖片有馬賽克的準確率較大或等於圖片無馬賽克的準確率(代表圖片有馬賽克)，則進行第2圖之步驟A11，由圖片馬賽克評估模組60判斷特徵加權參數組100是否變動。若特徵加權參數組100有變動過，則由圖片馬賽克評估模組60之特徵加權參數調整單元61先清除特徵加權參數組100變動過的標記，並清除已分析過的標記(設定從第一張開始重作圖片中含有馬賽克的檢查分析)，再返回第2圖之步驟A01所示已知含有馬賽克圖片集80是否皆完成檢測之處，以判斷是否完成訓練還是進行下一圖片之馬賽克辨識訓練。反之，若特徵加權參數組100無變動過，則直接返回第2圖之步驟A01，繼續執行下一張馬賽克圖片。當完成馬賽克辨識訓練後，由圖片馬賽克評估模組60將特徵加權參數組100的值儲存起來稱為訓練後特徵加權參數組。

[第二實施例：影像中含有馬賽克之檢查]

請參閱第1圖、第4圖與第6圖，其中，第6圖為本發明之影像中含有馬賽克之檢查方法於圖片擷取模式時的流程示意圖，且第6圖可包括下列步驟C01至步驟C04。

簡言之，在第6圖中，可由第1圖所示圖片擷取單元12對影片進行圖片擷取，並將圖片存放於待檢測圖片集70中，直到將影片完成擷取後，再由圖片擷取單元12通知圖片前處理模組20已全部擷取完畢。當擷取好第一張圖片時，由圖片擷取單元12通知圖片前處理模組20啟動執行影像中含有馬賽克之檢查。

舉例而言，在第6圖之步驟C01中，由第1圖所示檢測圖片擷取模組10之圖片擷取單元12對影片檔案進行圖片之擷取及處理。在第6圖之步驟C02中，由圖片擷取單元12將影片每t分鐘(t為可調整數值，且t之初值設為1)取出最近的I-frame(幀)轉為1張圖片存放於待檢測圖片集70，並將各圖片之片名依序存放於待測圖片片名單元11，當產生第一張圖片時，由圖片擷取單元12通知圖片前處理模組20啟動執行。在第6圖之步驟C03中，由圖片擷取單元12判斷影片是否結束(即影片完成擷取)？

若否(影片未結束)，則返回步驟C02。反之，若是(影片已結束)，則進行步驟C03，由圖片擷取單元12通知圖片前處理模組20已將影片之圖片全部擷取完畢。

然後，如第4圖所示影像中含有馬賽克之檢查方法於檢查模式時的流程圖，從第1圖所示待檢測圖片集70中取出至少一圖片，並由圖片前處理模組20之RGB2Y單元21(紅綠藍轉灰階)將圖片作YUV(明亮度/色度/濃度)轉換成灰階圖以進行檢查，其餘程序類似於第2圖所示之訓練模式，但不再變動訓練後特徵加權參數組的值。同時，當圖片有馬賽克的準確率較大或等於圖片無馬賽克的準確率時，由圖片馬賽克評估模組60將待檢測圖片集70中含有馬賽克畫面的位置及相對片頭的播放時間記錄下來以繼續待檢測圖片集70之下一圖片之檢測，直到將待檢測圖片集70之內容檢查完成。關於檢查模式之詳細技術內容，請參閱上述第4圖之步驟B01至步驟B09之完整說明，於此不再重覆敘述。

綜上，本發明之影像中含有馬賽克之檢查系統及其方法可至少具有下列特色、優點或技術功效。

一、本發明乃運用機器學習之馬賽克辨識訓練以及MB(巨集區塊)平滑邊線與交點RGB(紅綠藍)特徵提取，能在馬賽克畫面的範圍邊界不明顯時(與周遭顏色相近)找出有馬賽克的存在範圍，亦能分辨出網狀物體、文字與真正的馬賽克範圍之差別，也能找出紅綠藍(RGB)某一層有馬賽克之差別。

二、本發明可運用機器學習以尋找圖片或影片(待檢測圖片集)中是否含有馬賽克畫面的位置或相對片頭的播放時間，能解決影片檢查人員用人眼主觀方式尋找影片是否含有馬賽克而耗費大量人力與工作時間的問題，從而降低影片檢查的負擔及提升影片的品質。

三、本發明能找出因為原始圖片或影片已經損壞或轉檔時資訊的不完全所引起含有馬賽克的畫面，預先從這類已知含有馬賽克畫面的影片中搜集到一些已知含有馬賽克畫面的圖片，並運用機器學習之馬賽克辨識訓練後，獲得一個可找出目前搜尋到的馬賽克畫面之特徵加權參數組，再利用特徵加權參數組進行影像中含有馬賽克畫面的檢查，以找出含有馬賽克畫面的位置及相對片頭的播放時間。

四、本發明為因應影片分級，能用於過濾含有(人為)馬賽克畫面的影片以避免暴力、色情影片或一般影片不當混淆，亦能用於影片上架前多一道審查影片是否符合設定的觀賞級別，從而確保影片上片的品質或分級審查。

五、本發明能完成影片上片前的影片品質檢查或觀賞級別檢查。例如，針對MOD(隨選視訊的多媒體平台)、OTT(通過網際網路向用戶提供影音內容)等各種平台，執行影片上片前的影片品質檢查或觀賞級別檢查。

上述實施形態僅例示性說明本發明之原理、特點及其功效，並非用以限制本發明之可實施範疇，任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施形態進行修飾與改變。任何運用本發明所揭示內容而完成之等效改變及修飾，均仍應為申請專利範圍所涵蓋。因此，本發明之權利保護範圍，應如申請專利範圍所列。