TW202201969A - 用於對有害視頻文件進行過濾的裝置及方法 - Google Patents

用於對有害視頻文件進行過濾的裝置及方法 Download PDF

Info

Publication number
TW202201969A
TW202201969A TW110123858A TW110123858A TW202201969A TW 202201969 A TW202201969 A TW 202201969A TW 110123858 A TW110123858 A TW 110123858A TW 110123858 A TW110123858 A TW 110123858A TW 202201969 A TW202201969 A TW 202201969A
Authority
TW
Taiwan
Prior art keywords
video file
file
harmful
harmfulness
video
Prior art date
Application number
TW110123858A
Other languages
English (en)
Other versions
TWI793657B (zh
Inventor
金泰周
宋炳赫
鄭治茂
Original Assignee
金泰周
韓商普藍地科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 金泰周, 韓商普藍地科技股份有限公司 filed Critical 金泰周
Publication of TW202201969A publication Critical patent/TW202201969A/zh
Application granted granted Critical
Publication of TWI793657B publication Critical patent/TWI793657B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H04N21/4586—Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本發明係關於一種用於對智能電視（TV）的視頻時間進行控制並對有害視頻進行過濾的裝置以及方法，適用一實施例的有害視頻文件過濾裝置，可以包括：關鍵幀提取部，從發生打開事件的視頻文件提取出關鍵幀；圖像分類部，將所述所提取出的關鍵幀提供至分類器並計算出有害度；以及，內容攔截部，對所述所計算出的有害度與有害臨界值進行比較，在所述有害度為所述有害臨界值以上時將所述視頻文件確定為有害視頻文件並對所述所確定的有害視頻文件進行攔截處理。

Description

用於對有害視頻文件進行過濾的裝置及方法
本發明係關於一種用於對有害視頻文件進行過濾的裝置及方法，尤其係關於一種可以在視頻文件開始播放或播放過程中對有害度進行判斷和過濾的技術。
最近的通信服務以固有的服務領域即語音通話服務為基礎，正在逐漸將其服務領域擴展至無線資料服務。無線資料服務伴隨著智能通信終端的多功能化、資料傳送速度的提升等網路技術的發展，正在從以文本為主的服務進化至多媒體服務。
視頻點播（Video On Demand：VOD）服務就是如上所述的多媒體服務中的一種。視頻點播（VOD）服務是一種可以不受到時間限制地對影像媒體進行下載或即時播放的服務，其中最具代表性的視頻點播（VOD）服務包括各種視頻下載服務以及即時轉播服務等。
視頻點播（VOD）傳送方式包括下載方式與流媒體方式，最近伴隨著智能通信終端以及通信網路的發展，主要是廣泛使用流媒體方式的服務。
如上所述的視頻點播（VOD）服務可以利用智能通信終端與時間以及場所無關地通過通信網路接收通信服務企業以及影像提供者所提供的數字影像，因此有望借助於彩色終端的普及和擴展得到更加廣泛的應用。
此外，伴隨著智能通信終端使用的大眾化，很多兒童以及青少年也開始擁有智能通信終端，因此不僅僅是成年人，擁有智能通信終端的兒童以及青少年也可以使用視頻點播（VOD）服務以及在智能電視（TV）中提供視頻服務的網站。
但是，通過相關服務提供的內容中，不僅包括允許兒童以及青少年觀看的無害內容，還包括如含有暴力、性以及侮辱或低俗語言等的成人內容。
因此，在現有的智能通信服務中，成人內容可能會無差別地暴露于兒童以及青少年，從而可能會對兒童以及青少年的精神健康造成不良影響。
此外，在電視廣播中，對於禁止兒童以及青少年觀看的節目，會在播放節目之前顯示要求對兒童以及青少年的觀看進行限制的消息，而且在節目播放過程中還會顯示用於提示觀看限制年齡的標記。但是，即使是顯示如上所述的觀看限制標記也無法防止兒童以及青少年觀看，而且在父母或監護人不在時無法禁止兒童以及青少年觀看。
此外，在電腦中，為了防止兒童以及青少年通過互聯網無差別地訪問所有內容，開發出了用於禁止訪問預先設定的特定網站的程式。但是，禁止訪問的限制網站需要由使用者一一進行設定，因此在發現新的對兒童以及青少年有害的網站時需要追加設定為限制網站，而且對於沒有設定為禁止訪問的網站，將無法對其訪問行為進行限制。
韓國註冊專利第10-0725544號“智能通信終端及其有害信息攔截方法”。
韓國註冊專利第10-2022014號“有害內容探測裝置”。
韓國註冊專利第10-1496632號“用於提供放心內容服務的系統及其方法”。
本發明的目的在於提供一種可以在播放視頻文件時或在播放過程中判定為有害時通過執行過濾等處理而從源頭上對有害視頻進行攔截的技術。
本發明的目的在於利用從視頻文件中截取的整體畫面圖像，在判定相應的影像有害時通過過濾而從源頭上對相應影像進行攔截。
本發明的目的在於以截取圖像為基礎對有害影像進行過濾處理。
適用一實施例的有害視頻文件過濾裝置，可以包括：關鍵幀提取部，從發生打開事件的視頻文件提取出關鍵幀；圖像分類部，將所述所提取出的關鍵幀提供至分類器並計算出有害度；以及，內容攔截部，對所述所計算出的有害度與有害臨界值進行比較，在所述有害度為所述有害臨界值以上時將所述視頻文件確定為有害視頻文件並對所述所確定的有害視頻文件進行攔截處理。
適用一實施例的所述關鍵幀提取部，可以以所述發生打開事件的視頻文件的各播放區間加權值以及幀內加權值中的至少一個為基礎，提取出所述關鍵幀。
適用一實施例的所述關鍵幀提取部，可以在所述發生打開事件的視頻文件的播放區間中，為配置在開始部分的一部分幀、配置在結束部分的另一部分幀、除開始部分以及結束部分之外的剩餘部分的幀分配不同的加權值並提取出所述關鍵幀。
適用一實施例的所述關鍵幀提取部，可以通過在相鄰幀中對幀內各子區塊適用加權值而確定所述關鍵幀。
適用一實施例的所述關鍵幀提取部，可以通過在所述相鄰幀之間的圖像雜湊值中向各子區塊適用加權值而計算出漢明距離（Hamming Distance），將漢明距離大於各區間臨界值的關鍵幀分類為候選關鍵幀，並從所分類的候選關鍵幀中將臨界值最小的候選關鍵幀提取為所述關鍵幀。
適用一實施例的所述關鍵幀提取部，可以從發生打開事件的視頻文件的幀中排除開始部分的一部分幀以及配置在結束部分的另一部分幀並從剩餘的幀中提取出變化量為基準以上的候選關鍵幀，再從所述所提取出的候選關鍵幀中，利用清晰度以及亮度中的至少一個在各區間提取出至少一個以上的關鍵幀。
適用一實施例的有害視頻文件過濾裝置，還可以包括：資料庫管理部，對所述所確定的有害視頻文件的檢查結果緩存信息進行記錄並對資料庫進行更新。
適用一實施例的有害視頻文件過濾裝置，其特徵在於，還可以包括：有害度檢查預處理部，用於在提取關鍵幀之前對視頻文件的有害度進行檢查；所述有害度檢查預處理部，可以在發生文件的打開事件時判斷所述文件是否為所述視頻文件，而所述關鍵幀提取部，可以在所述文件為所述視頻文件時對所述關鍵幀進行提取。
適用一實施例的有害視頻文件過濾裝置，其特徵在於，還可以包括：有害度檢查預處理部，用於在提取關鍵幀之前對視頻文件的有害度進行檢查；所述有害度檢查預處理部，可以判斷發生文件的打開事件的所述視頻文件是否通過視頻播放機執行，而所述關鍵幀提取部，可以在所述文件通過所述視頻播放機執行時對所述關鍵幀進行提取。
適用一實施例的有害視頻文件過濾裝置，其特徵在於，還可以包括：有害度檢查預處理部，用於在提取關鍵幀之前對視頻文件的有害度進行檢查；所述有害度檢查預處理部，可以判斷所述發生打開事件的視頻文件的檢查結果緩存是否被記錄在資料庫中，而所述關鍵幀提取部，可以在所述檢查結果緩存沒有被記錄在資料庫中時對所述關鍵幀進行提取。
適用一實施例的有害視頻文件過濾裝置，其特徵在於，還可以包括：有害度檢查預處理部，用於在提取關鍵幀之前對視頻文件的有害度進行檢查；所述有害度檢查預處理部，可以對所述發生打開事件的視頻文件的文件緩存進行檢查，而所述關鍵幀提取部，可以在所述文件緩存的檢查結果為所述文件緩存無害時對所述關鍵幀進行提取。
適用一實施例的有害視頻文件過濾裝置，可以包括：偏移收集部，在發生視頻文件的讀取事件時，在緩存時間內對視頻文件的讀取偏移信息進行收集；縮略圖提取部，根據所述收集到的讀取偏移信息以及所述視頻文件的緩存速度計算出縮略圖的提取數量，並根據所述所計算出的提取數量提取出所述視頻文件的至少一個以上的縮略圖；圖像分類部，將所述所提取出的至少一個以上的縮略圖提供至分類器並計算出有害度；以及，內容攔截部，對所述所計算出的有害度與有害臨界值進行比較，在所述有害度為所述有害臨界值以上時將所述視頻文件確定為有害視頻文件並對所述所確定的有害視頻文件進行攔截處理。
適用一實施例的有害視頻文件過濾裝置，還可以包括：資料庫管理部，將所述所確定的有害視頻文件的檢查結果緩存信息更新到資料庫。
適用一實施例的有害視頻文件過濾裝置，可以在緩衝過程中對文件偏移進行確認時，在視頻文件的播放時間之後、緩存時間開始對有害度進行檢查。
適用一實施例的有害視頻文件過濾裝置，可以包括：有害度檢查預處理部，當在緩存時間內不提供視頻文件的讀取偏移信息的系統中發生視頻文件的打開事件時，對視頻播放機的執行與否進行確認；圖像生成部，在執行所述視頻播放機時，對通過所述視頻播放機顯示的整體畫面進行截取；圖像分類部，將所述生成的圖像提供至分類器並請求用於計算有害度的圖像分類，對包含所述所計算出的有害度的圖像分類結果進行收集；以及，內容攔截部，根據所述收集到的圖像分類結果確定是否對所述視頻文件進行攔截。
適用一實施例的有害視頻文件過濾裝置，可以在發生視頻文件的打開事件時，在截取週期計時器被驅動的期間內，驅動所述截取週期計時器重複執行確定是否對所述視頻文件進行攔截的過程。
適用一實施例的有害視頻文件過濾方法，可以包括：在文件發生打開事件時，判斷所述文件是否為所述視頻文件的步驟；在所述文件為所述視頻文件時，判斷發生打開事件的所述視頻文件是否通過視頻播放機執行；在所述視頻文件通過所述視頻播放機執行時，判斷所述視頻文件的檢查結果緩存是否被記錄在資料庫中的步驟；在所述視頻文件的檢查結果緩存沒有被記錄在資料庫中時，對所述視頻文件執行文件雜湊檢查的步驟；在所述視頻文件的文件雜湊無害時，提取出所述視頻文件的關鍵幀的步驟；將所述所提取出的關鍵幀提供至分類器並計算出有害度的步驟；對所述所計算出的有害度與有害臨界值進行比較的步驟；以及，在所述有害度為所述有害臨界值以上時，將所述視頻文件確定為有害視頻文件並對所述所確定的有害視頻文件進行攔截處理的步驟。
適用一實施例的提取出所述關鍵幀的步驟，可以包括：從發生打開事件的視頻文件的幀中排除開始部分的一部分幀以及配置在結束部分的另一部分幀並從剩餘的幀中提取出變化量為基準以上的候選關鍵幀的步驟；以及，從所述所提取出的候選關鍵幀中，利用清晰度以及亮度中的至少一個在各區間提取出至少一個以上的關鍵幀的步驟。
根據一實施例，可以提供一種可以在播放視頻文件時或在播放過程中判定為有害時通過執行過濾等處理而從源頭上對有害視頻進行攔截的技術。
根據一實施例，可以利用從視頻文件中截取的整體畫面圖像，在判定相應的影像有害時通過過濾而從源頭上對相應影像進行攔截。
根據一實施例，可以以截取圖像為基礎對有害影像進行過濾處理。
對本說明書中所公開的適用本發明之概念的實施例進行的特定結構性或功能性說明，只是用於對適用本發明之概念的實施例進行說明的示例性目的，適用本發明之概念的實施例可以以多種不同的形態實施，並不限定於在本說明書中進行說明的實施例。
適用本發明之概念的實施例可以進行多種變更並具有多種不同的形態，因此接下來將在附圖中對實施例進行例示並在本說明書中進行詳細的說明。但是，這並不是為了將適用本發明之概念的實施例限定於特定的公開形態，而是包含在本發明的思想以及技術範圍內所包含的所有變更、均等物或替代物。
在對各種構成要素進行說明的過程中可能會使用如第一或第二等術語，但是所述構成要素並不因為所述術語而受到限定。所述術語只是用於將一個構成要素與其他構成要素進行區分，例如在不脫離適用本發明之概念的權利要求範圍的情況下，第一構成要素可以被命名為第二構成要素，類似地，第二構成要素也可以被命名為第一構成要素。
當記載為某個構成要素與其他構成要素“連接”或“相連”時，雖然可以與所述其他構成要素直接連接或相連，但是應該理解為中間還可以有其他構成要素存在。與此相反，當記載為某個構成要素與其他構成要素“直接連接”或“直接相連”時，應該理解為中間沒有其他構成要素存在。用於對構成要素之間的關係進行說明的如“位於～之間”以及“直接位於～之間”或“與～直接相鄰”等表現方式，也應該按照同樣的方式做出解釋。
在本說明書中使用的術語只是用於對特定的實施例進行說明，並不是為了對本發明做出限定。除非上下文中有明確的相反記載，否則單數型語句還包含複數型含義。在本說明書中，如“包含”或“具有”等術語只是用於指定所羅列的特徵、數字、步驟、動作、構成要素、部件或上述之組合存在，並不應該理解為預先排除一個或多個其他特徵、數字、步驟、動作、構成要素、部件或上述之組合存在或被附加的可能性。
除非另有不同的定義，否則包含技術性或科學性術語在內的在此使用的所有術語的含義與具有本發明所屬技術領域之一般知識的人員所通常理解的含義相同。通常所使用的已在詞典中做出定義的術語，應解釋為與相關技術的上下文上的含義一致的含義，而且在本說明書中除非做出明確的定義，否則不應該解釋為過於理想化或誇張形式的含義。
接下來，將參閱附圖對實施例進行詳細的說明。但是，專利申請的範圍並不因為相應的實施例而受到限制或限定。在各個附圖中標記的相同的參考編號代表相同的部件。
圖1是對適用一實施例的有害視頻文件過濾裝置100進行說明的示意圖。
利用適用一實施例的有害視頻文件過濾裝置100，可以提供一種可以在播放視頻文件時或在播放過程中判定為有害時通過執行過濾等處理而從源頭上對有害視頻進行攔截的技術。
為此，有害視頻文件過濾裝置100可以包括文件系統監視部110、有害度檢查預處理部120、關鍵幀提取部130、圖像分類部140、內容攔截部150以及資料庫管理部160。
文件系統監視部110可以在內核級別上對視頻文件的生成（create）、播放（open）、關閉（close）事件進行監視。
有害度檢查預處理部120可以在計算視頻文件的有害度之前，對否需要計算有害度進行確認。
例如，有害度檢查預處理部120可以在發生文件的打開事件時判斷所述文件是否為視頻文件，並在所述文件為視頻文件時執行用於確定有害度的一系列過程。
作為另一實例，有害度檢查預處理部120可以判斷發生文件的打開事件的視頻文件是否實際通過視頻播放機執行。此時，可以僅在打開事件之後通過視頻播放機播放時執行用於確定有害度的一系列過程。
作為又一實例，有害度檢查預處理部120可以判斷發生打開事件的視頻文件的檢查結果緩存是否被記錄在資料庫中。此時，在檢查結果緩存被記錄在資料庫中時可以立即將相應的視頻文件分類為有害視頻。此外，在檢查結果緩存沒有被記錄在資料庫中時需要確認相應視頻文件是否為有害視頻。此時，有害視頻文件過濾裝置100可以執行用於確定有害度的一系列過程。
作為又一實例，有害度檢查預處理部120可以檢查發生打開事件的視頻文件的文件雜湊。根據文件雜湊的檢查結果，在文件雜湊有害時可以立即將視頻文件分類為有害視頻。此外，在文件雜湊無害時需要確認是否為有害視頻。此時，有害視頻文件過濾裝置100可以執行用於確定有害度的一系列過程。
有害視頻文件過濾裝置100為了執行用於確定有害度的一系列過程，對於發生打開事件的視頻文件，可以由關鍵幀提取部130從構成視頻文件的幀中提取出關鍵幀。
尤其是，關鍵幀提取部130可以從發生打開事件的視頻文件的幀中排除開始部分的一部分幀以及配置在結束部分的另一部分幀。
通常，在視頻的開始部分以及結束部分中包含與內容的關聯不大的信息的可能性較高。例如，在視頻文件的開始部分可能會配置空白畫面、廣告、發行公司畫面等，而在視頻文件的結束部分可能會配置空白畫面、演員陣容信息等。因此，可以從包含實質內容對應部分的可能性較高的排除開始部分以及結束部分之外的剩餘部分中提取出關鍵幀。
開始部分以及結束部分可以分為大約10分鐘左右的分量，但是也可以進行各種調節。
關鍵幀提取部130可以從排除開始部分以及結束部分之外的剩餘幀中提取出變化量為基準以上的候選關鍵幀。變化量為基準以上的幀是新場景開始的部分的可能性較高。因此，可以提取出相應場景開始的幀作為候選關鍵幀。
此外，關鍵幀提取部130可以從所提取出的候選關鍵幀中，利用清晰度以及亮度中的至少一個在各區間提取出至少一個以上的關鍵幀。
在一實施例中，關鍵幀提取部130還可以從排除開始部分以及結束部分之外的剩餘幀中提取出變化量為基準以上的幀作為關鍵幀。
作為一實例，關鍵幀提取部130可以在發生打開事件的視頻文件的播放區間中，為配置在開始部分的一部分幀、配置在結束部分的另一部分幀、除開始部分以及結束部分之外的剩餘部分的幀分配不同的加權值並提取出關鍵幀。
此外，關鍵幀提取部130可以通過在相鄰幀中對幀內各子區塊適用加權值而確定關鍵幀。
此外，關鍵幀提取部130可以通過在相鄰幀之間的圖像雜湊值中向各子區塊適用加權值而計算出漢明距離（Hamming Distance），將漢明距離大於各區間臨界值的關鍵幀分類為候選關鍵幀，並從所分類的候選關鍵幀中將臨界值最小的候選關鍵幀提取為關鍵幀。
在一實施例中，可以根據有害度檢查預處理部110的檢查結果判斷文件是否為視頻文件，並在文件為視頻文件時由關鍵幀提取部130開始執行提取關鍵幀的過程。
在一實施例中，可以根據有害度檢查預處理部110的檢查結果判斷視頻文件是否是通過視頻播放機執行，並在文件通過視頻播放機執行時由關鍵幀提取部130開始執行提取關鍵幀的過程。
在一實施例中，可以根據有害度檢查預處理部110的檢查結果判斷發生打開事件的視頻文件的檢查結果緩存是否被記錄在資料庫中，並在記錄在資料庫中時由關鍵幀提取部130開始執行提取關鍵幀的過程。
在一實施例中，可以根據有害度檢查預處理部110的檢查結果判斷發生打開事件的視頻文件的文件雜湊，並根據文件雜湊的檢查結果，在文件雜湊無害時開始執行提取關鍵幀的過程。
圖像分類部140可以將提取出的關鍵幀提供至分類器並計算出有害度。
分類器可以通過對圖像或文本等進行收集而判斷是否為有害影像。如上所述的判斷可以通過如卷積神經網路（CNN，Convolutional Neural Network）、遞迴神經網路（RNN，Recurrent Neural Networks）或深度神經網路（DNN，Deep Neural Network）等深度學習實現，也可以利用現有的可用於判斷有害無否的各種研究結果、軟體或模組等。
分類器可以以深度學習為基礎執行如對子圖像（元標記縮略圖等）的圖像分類定位（Image classification with localization）、物件檢測（Object detection）、物件分割（Object segmentation）、圖像風格轉換（Image style transfer）、圖像著色（Image colorization）、圖像重建（Image reconstruction）、圖像超分辨（Image super-resolution）、圖像合成（Image synthesis）等，並以此為基礎判斷有害程度。
內容攔截部150可以對計算出的有害度與有害臨界值進行比較，並在有害度為有害臨界值以上時將視頻文件確定為有害視頻文件，從而對所確定的有害視頻文件進行攔截處理。
資料庫管理部160可以對所確定的有害視頻文件的檢查結果緩存信息進行記錄並對資料庫進行更新。
圖2是對有害圖像分類模型的結構200進行說明的示意圖。
最新的卷積神經網路（CNN）演算法為了達成更高的圖像識別準確度而偏好使用更深層級的模型。利用按照各有害圖像類別收集的大量的資料集執行更深層級的卷積神經網路（CNN）模型的學習，生成有害圖像分類模型。
有害圖像分類模型由特徵提取部210以及分類部220構成。特徵提取部210通過在增加篩檢程式的數量的同時重複執行卷積層級，從輸入圖像提取出具有抽象畫的主要模式信息的特徵。更深層級的有害圖像分類模型為了解決梯度消失（gradient vanishing）問題而採用跳過層級進行計算的方法。分類部220可以以從特徵提取部210提取出的特徵信息為基礎，輸出如性、暴力、恐怖等各類別的圖像分類結果。
圖3是對提取出文件雜湊並判斷有害與否的實施例進行說明的示意圖。
如圖3所示，有害度檢查預處理部310可以使用從視頻文件的一部分或全部提取出的雜湊值。此外，有害度檢查預處理部310可以從所收集的有害視頻文件提取出雜湊值並存儲到資料庫320中。
此外，有害度檢查預處理部310可以通過將所提取出的文件雜湊傳送到本地或遠端伺服器340進行查詢的方式確定相應視頻文件的有害與否。
圖4是對適用一實施例的檢查結果緩存400進行圖示的示意圖。
檢查結果緩存400可以包含文件雜湊值、有害與否、檢查開始域。
例如，可以確認與文件雜湊值“9122082c4d8c37a28bafd03b661e5d81101a4305a3302d9df4e28c8029db207e”對應的檢查結果緩存的有害與否為“N”，屬於無害的緩存，是2019年12月30日的10點11分的檢查結果。接下來，當在視頻文件中發現具有相同文件雜湊值的檢查結果緩存時，可以判定相應的視頻文件為無害的視頻。此外，也可以與檢查結果緩存的判斷結果無關地提取出關鍵幀並對提取出的關鍵幀再次執行有害與否的判斷過程。
此外，與文件雜湊值“2f11e139cb0d417307b0f6e6421090dba04d0e9083d37ade2649b07cd6c68e76”對應的檢查結果緩存的有害與否為“Y”，屬於有害的緩存。對於發現所述檢查結果緩存的視頻文件，可以與關鍵幀的提取無關地判定為有害並進行攔截。
圖5是對提取出關鍵幀的方法進行說明的示意圖。
參閱圖5，有害視頻文件過濾裝置的關鍵幀提取部可以從排除最前以及最後區間之外的整體區間中提取出幀間的變化量較大的幀作為候選關鍵幀（步驟510）。此外，可以從所提取出的候選關鍵幀中，將清晰度或亮度為基準以上的候選關鍵幀作為各區間關鍵幀進行提取（步驟520）。
圖6是對提取出關鍵幀的具體實施例600進行說明的示意圖。
如實施例600所示，對於長度為t0到tn的視頻文件，可以僅將排除與t0對應的開始部分以及與tn對應的結束部分之外的剩餘部分確定為用於提取關鍵幀的有效區間。
因此，在實施例600中可以將幀間的變化量較大的幀作為候選關鍵幀進行提取，並從提取的候選關鍵幀中將最清晰且亮度適當的幀作為關鍵幀進行提取。
圖7是對適用一實施例的有害視頻文件過濾方法進行說明的示意圖。
適用一實施例的有害視頻文件過濾方法可以在發生文件的打開事件時，判斷文件是否為視頻文件（步驟701）。
根據步驟701的判斷結果，在文件不為視頻文件時不需要判斷是否為有害視頻文件，因此可以結束過程。
此外，根據步驟701的判斷結果，在文件為所述視頻文件時，可以判斷發生打開事件的視頻文件是否通過視頻播放機執行（步驟702）。
在沒有通過視頻播放機執行時，不會通過畫面顯示，因此不需要判斷是否為有害視頻文件。在如上所述的情況下，也可以結束過程。
根據步驟702的判斷結果，在視頻文件通過視頻播放機執行時，可以判斷視頻文件的檢查結果緩存是否被記錄在資料庫中（步驟703）。
根據步驟703的判斷結果，在檢查結果緩存被記錄在資料庫中時，可以跳轉到步驟707判斷相應視頻文件的有害度是否為有害臨界值以上。
根據步驟703的判斷結果，在視頻文件的檢查結果緩存沒有被記錄在資料庫中時，可以對視頻文件執行文件雜湊檢查並判斷文件雜湊是否有害（步驟704）。
根據步驟704的判斷結果，在文件雜湊有害時，可以跳轉到步驟707判斷相應視頻文件的有害度是否為有害臨界值以上。
根據步驟704的判斷結果，在視頻文件的文件雜湊無害時，可以提取出視頻文件的關鍵幀（步驟705）。
為了提取出關鍵幀，可以從發生打開事件的視頻文件的幀中排除開始部分的一部分幀以及配置在結束部分的另一部分幀鎮外的剩餘的幀中提取出變化量為基準以上的候選關鍵幀。
此外，有害視頻文件過濾方法可以從所提取出的候選關鍵幀中，利用清晰度以及亮度中的至少一個在各區間提取出至少一個以上的關鍵幀。
接下來，有害視頻文件過濾方法可以執行將提取出的關鍵幀提供至分類器並計算出有害度的圖像分類過程（步驟706）。
接下來，有害視頻文件過濾方法可以對計算出的有害度與有害臨界值進行比較（步驟707），並在有害度為有害臨界值以上時將視頻文件確定為有害視頻文件，從而對所確定的有害視頻文件進行攔截處理（步驟708）。此外，在確定為有害視頻文件並對相應的視頻文件進行攔截時，可以將其反映到緩存中並對緩存信息進行更新（步驟7010）。
根據步驟707的判斷結果，在有害度為有害臨界值以下時不將視頻文件確定為有害視頻文件而直接跳過（步驟709），並執行對緩存信息進行更新的過程（步驟710）。
圖8是對各播放區間加權值或幀內各區域加權值進行說明的示意圖。
首先，如附圖編號810所示，可以為視頻文件的各播放區間分配彼此不同的加權值。
與播放區間的開始以及結束部分相比，接近影像主題的關鍵幀分佈於中央部分的可能性較高。
例如，在將視頻文件的播放區間劃分為0～7的區間時，在相當於開始部分的0區間以及相當於結束部分的7區間中分佈與影像的主題關聯不大的幀的可能性較高。因此，可以通過在0區間以及7區間中分配加權值0而在實際上將其從關鍵幀候選中排除。
在附圖編號820中，對一個幀內的子區塊的加權值進行了圖示。同理，與邊緣區域相比，一個幀內的關注區域位於中間區域的可能性較高。
因此，在本發明中可以通過向更加接近於播放區間的中央的區域分配更大的加權值而提取出更多的幀。
可以通過向一個幀內更加接近中央的區域分配更大的加權值而更加敏感地對幀間變化進行檢測。
接下來的
Figure 02_image001
代表n區間的幀內各位置的加權值，如下所示，可以按照3區間的加權值、2區間的加權值、1區間的加權值以及0區間的加權值的順序對加權值進行設定。
Figure 02_image003
在本發明中，可以通過在相鄰幀之間的圖像雜湊值中向各子區塊適用加權值而利用【數學式1】計算出漢明距離（Hamming Distance）。
例如，圖像雜湊方法包括如平均雜湊（Average Hash）、感知雜湊（Perceptual Hash）、差值雜湊（Difference Hash）、小波雜湊（Wavelet Hash）等。
【數學式1】
Figure 02_image005
在【數學式1】中，Ht 代表t區間的加權值漢明距離，ht (x, y)代表x與y之間的漢明距離，bt (i)代表t區間的第i個子區塊的圖像雜湊值。此外，Gi 相當於第i個子區塊的加權值。
此外，有害視頻文件過濾裝置可以將漢明距離大於利用【數學式2】計算出的各區間臨界值（Tt ）的幀分類為候選關鍵幀。
此時，臨界值越小就可以提取出更多的關鍵幀。
【數學式2】
Figure 02_image007
在【數學式2】中，Tt 代表t區間的漢明距離臨界值，α代表子區塊的加權值的總和，Wt 代表播放區間t的加權值。
圖9是對適用幀內各區域加權值並提取出實際關鍵幀的實施例進行說明的示意圖。
具體來講，圖9相當於將幀劃分成8×8個子區塊的實施例。
例如，可以考慮P0=0、P1=1、P2=2、P3=3的情況。此時的所有子區塊的數量為64，α（子區塊的加權值的總和）可以利用【數學式3】計算得出56。
【數學式3】
Figure 02_image009
以將整個播放時間劃分為8個區間的情況為例，下述播放區間加權值（Wt ）可以在中間部分設定較低的值，從而與開始以及結束部分相比提取出相對較多的候選關鍵幀。
【數學式4】
Figure 02_image011
利用【數學式4】，可以計算出視頻文件的播放區間、播放區間的加權值、漢明距離臨界值，其結果如【表1】所示。
【表1】
播放區間（t） 播放區間加權值（Wt） 漢明距離臨界值（Tt）
0 1 56
1 0.8 45
2 0.4 22
3 0.2 11
4 0.2 11
5 0.4 22
6 0.8 45
7 1 56
候選關鍵幀中可能會包含如單色圖像或背景風景等沒有關注物件的圖像。
在如上所述的情況下，可以為了從所提取出的候選關鍵幀中去除如上所述的幀而對邊緣（edge）進行檢測。邊緣是指邊界線、輪廓線，邊緣檢測可以以亮度信息為基礎對影像中的物件的邊界進行探測。
作為邊緣檢測器，可以使用如Canny、Sobel、Prewitt、Roberts、Compass、Laplacian等。
最終，適用一實施例的有害視頻文件過濾裝置可以在所檢測到的邊緣的量大於臨界值時分類為最終關鍵幀。
圖10是對適用一實施例的關鍵幀提取方法進行說明的示意圖。
適用一實施例的有害視頻文件過濾方法，可以為了提取出關鍵幀而對相鄰幀之間的圖像雜湊進行計算（步驟1001）。
此外，有害視頻文件過濾方法可以對所計算出的圖像雜湊之間的漢明距離（Ht ）進行計算（步驟1002）。
此外，有害視頻文件過濾方法可以通過對所計算出的漢明距離（Ht ）與各區間臨界值（Tt ）進行比較而判斷漢明距離（Ht ）是否為各區間臨界值（Tt ）以上（步驟1003）。
根據判斷結果，在漢明距離（Ht ）為各區間臨界值（Tt ）以上時，可以提取出候選關鍵幀（步驟1004）。
根據步驟1003的判斷結果，在漢明距離（Ht ）為各區間臨界值（Tt ）以下時，將不提取候選關鍵幀而結束過程。
接下來，有害視頻文件過濾方法可以從所提取出的候選關鍵幀檢測邊緣（步驟1005）。
此外，有害視頻文件過濾方法對所檢測出的邊緣的量與邊緣臨界值（Te ）進行比較（步驟1006），在邊緣的量為邊緣臨界值（Te ）以上時，可以提取出最終關鍵幀（步驟1007）。
根據步驟1006的比較結果，在邊緣的量為邊緣臨界值（Te ）以下時，可以結束過程。
圖11是對適用另一實施例的有害視頻文件過濾裝置1100進行說明的示意圖。
圖11對如Windows等可以獲取讀取偏移信息的系統中的過濾過程進行權力化。
為此，適用一實施例的有害視頻文件過濾裝置1100可以包括偏移收集部1110、縮略圖提取部1120、圖像分離部1130、內容攔截部1140以及資料庫管理部1150。
適用一實施例的視頻文件過濾裝置1100可以為了在內核端對文件播放中的有害視頻文件進行過濾而對視頻文件的讀取事件進行檢測。
為此，偏移收集部1110可以在發生視頻文件的讀取事件時在緩存時間內對視頻文件的讀取偏移信息進行收集。
縮略圖提取部1120可以根據收集到的讀取偏移信息以及所述視頻文件的緩存速度計算出縮略圖的提取數量。此外，可以根據所計算出的提取數量提取出視頻文件的至少一個以上的縮略圖。
接下來，圖像分類部1130可以將提取出的一個以上的縮略圖提供至分類器並計算出有害度。
內容攔截部1140可以對計算出的有害度與有害臨界值進行比較，並在有害度為有害臨界值以上時將視頻文件確定為有害視頻文件。此外，視頻攔截部1140可以對所確定的有害視頻文件進行攔截處理。
資料庫管理部1150可以對所確定的有害視頻文件的檢查結果緩存信息更新到資料庫。
圖12是對發生視頻文件的打開事件或讀取事件時執行圖像分類處理的實施例進行說明的示意圖。
位於內核端的文件系統事件監視部1210可以對視頻文件的打開事件進行檢測。借此，有害視頻文件過濾裝置1220可以對所有關鍵幀進行檢查。
在如上所述的過程中，可以確定視頻文件的有害與否，在判定為無害時，可以在視頻文件的播放過程中判斷有害度。
為此，文件系統事件監視部1210可以對視頻文件的讀取事件進行檢測。借此，有害視頻文件過濾裝置1220可以根據緩存速度對縮略圖提取數量進行計算並從文件偏移信息提取出N張縮略圖。
此外，有害視頻文件過濾裝置1220可以將所提取出的N張縮略圖提供至分類器1230並請求圖像分類，然後作為分類請求結果對圖像的有害度進行回傳。
在圖12所示的實施例中，在圖像的有害度為有害臨界值以上時，可以將相應的視頻文件確定為有害視頻。
在圖13中，即使是在圖像的有害度為有害臨界值以上時，也可以在通過多種方法追加地對其他關鍵幀進行確認之後再確定是否為有害視頻。
圖13是對分類為有害圖像時的動作進行說明的實施例。
位於內核端的文件系統事件監視部1310可以對視頻文件的讀取事件進行檢測。借此，有害視頻文件過濾裝置1320可以從文件偏移信息提取出N張縮略圖。
此外，有害視頻文件過濾裝置1320可以將所提取出的N張縮略圖提供至分類器1330並請求圖像分類，然後作為分類請求結果對圖像的有害度進行回傳。
在所回傳的有害度為有害臨界值以上時，有害視頻文件過濾裝置1320並不直接將相應的視頻文件確定為有害視頻，而是如附圖編號1340所示，在從文件偏移提取出的縮略圖進一步提取出關鍵幀，並通過分類器1330進一步對所提取出的關鍵幀的有害度進行計算。
在如上所述的過程中，在所計算出的有害度為有害臨界值以上時，可以將相應的視頻文件確定為有害視頻，也可以進一步提取出追加的關鍵幀之後再次對有害度進行計算。
在判定視頻文件有害時，有害視頻文件過濾裝置1320可以對相應視頻文件的緩存信息進行更新並對視頻文件進行攔截。
圖14a至圖14c是對收集讀取偏移信息並確定播放時間以及緩存時間的實施例進行說明的示意圖。
參閱圖14a，讀取偏移信息是用於播放視頻文件的硬體規格，可以包括中央處理器（CPU）信息、隨機存取記憶體（RAM）信息、作業系統（OS）信息。此外，還可以同時包含用於播放視頻文件的程式相關的信息。
此外，讀取偏移信息還可以包含構成視頻文件的各個幀的幀大小、整體播放時間、文件大小。
參閱圖14b，所圖示的是對播放時間、偏移、緩存時間進行相互關聯記錄的表1420。
圖14c是根據圖14b的表1420對播放時間以及偏移進行圖示的示意圖。
例如，與播放時間第4秒對應的偏移為“13,107,200位元組”，可以確認為了在緩存之後進行檢查而需要118秒。
此外，與播放時間10秒對應的偏移為“13,762,560位元組”，可以確認緩存時間需要124秒，而且在播放時間之後經過緩存時間時開始執行檢查。
圖15是對適用又一實施例的有害視頻文件過濾裝置進行說明的示意圖。
根據適用一實施例的有害視頻文件過濾裝置1500，可以利用從視頻文件中截取的整體畫面圖像，在判定相應的影像有害時通過過濾而從源頭上對相應影像進行攔截。
為此，適用一實施例的有害視頻文件過濾裝置1500可以包括有害度檢查預處理部1510、圖像生成部1520、圖像分類部1530以及內容攔截部1540。
首先，有害度檢查預處理部1510可以當在緩存時間內不提供視頻文件的讀取偏移信息的系統中發生視頻文件的打開事件時，對視頻播放機的執行與否進行確認。
接下來，圖像生成部1520可以在執行所述視頻播放機時，對通過視頻播放機顯示的整體畫面進行截取並生成圖像。
圖像分類部1530可以將所述生成的圖像提供至分類器並請求用於計算有害度的圖像分類，對包含計算出的有害度的圖像分類結果進行收集。
內容攔截部1540可以根據收集到的圖像分類結果確定是否對所述視頻文件進行攔截。
在一實施例中，有害視頻文件過濾裝置1500可以在發生視頻文件的打開事件時，在截取週期計時器被驅動的期間內，驅動所述截取週期計時器重複執行確定是否對所述視頻文件進行攔截的過程。
在一實施例中，有害視頻文件過濾裝置1500還可以從對整體畫面進行截取的整體圖像中提取出子圖像。
為此，有害視頻文件過濾裝置1500可以從整體畫面的圖像中識別出至少一個以上的子圖像區域。
子圖像區域是為了顯示子圖像而在流覽器中分配整體畫面中的一部分的區域，在一個子圖像區域中可以插入一個子圖像，也可以插入相關聯的多個子圖像。
此外，在本說明書中是通過從整體畫面分割出多個子圖像區域的實例對本發明進行了說明，但是也可以考慮在整體畫面中只分配一個子圖像區域的實例。
有害視頻文件過濾裝置1500可以提取出被插入到所識別除的至少一個以上的子圖像區域內的至少一個以上的子圖像。
在一實施例中，子圖像區域與子圖像可以被解釋為相同的含義。在如上所述的情況下，不需要區分從整體畫面識別出子圖像區域以及從所識別出的子圖像區域提取出子圖像的過程，而是可以作為一個過程進行處理。例如，可以從整體畫面直接提取出子圖像。
有害視頻文件過濾裝置1500可以判斷當前是否正在對所提取出的至少一個以上的子圖像進行播放。
為了判斷當前是否正在對子圖像進行播放，有害視頻文件過濾裝置1500可以對在相同的子圖像區域以一定的時間間隔提取出的子圖像進行比較。
例如，可以在相同的子圖像區域以1秒的間隔提取出子圖像，然後對所提取出的子圖像的類似度進行確認，從而在類似度為基準以下時判定當前正在對相應的子圖像進行播放。
有害視頻文件過濾裝置1500可以在當前正在對所提取出的至少一個以上的子圖像進行播放時，對預先設定的至少一個以上的攔截條件進行確認。作為參考，在對圖像進行截取時可以生成子圖像。因此，在本說明書中的全部內容中使用的當前正在進行播放的子圖像，可以被解釋為影像或視頻。
此外，有害視頻文件過濾裝置1500可以在當前正在進行播放的子圖像符合所述預先設定的至少一個以上的攔截條件時，可以對當前正在進行播放的子圖像進行攔截。
例如，攔截條件可以實現進行設定並按照各使用者記錄在資料庫中。具體來講，攔截條件可以包含可觀看的類別、可觀看的時間段、可觀看的星期以及總觀看時間等。
如果當前正在對子圖像進行播放但卻處於符合攔截條件的時間段，則有害視頻文件過濾裝置1500可以對當前正在進行播放的子圖像進行攔截。
圖16是對利用分類器判斷圖像的有害與否的圖像分類過程進行說明的示意圖。
圖16是對利用分類器判斷截取圖像的有害與否的圖像分類過程進行說明的示意圖。
所安裝的應用1610可以通過與分類器1620連動而實現流媒體視頻過濾方法。
應用1610可以對整體畫面進行截取並從所截取的整體畫面提取出圖像並傳遞至分類器1620，從而請求用於計算有害程度的圖像分類。
分類器1620可以通過深度學習對所傳遞的圖像進行分析並計算出有害程度之後回傳給應用1610。
借此，應用1610可以將預先設定的有害臨界值與分類器1620所計算出的有害程度進行對比，從而確定是否對相應的影像進行攔截。
由應用1610以及分類器1620執行處理的如上所述的一系列過程，可以以預先設定的時間間隔重複處理。在一實施例中，可以以1秒為間隔重複執行對整體畫面進行截取並對圖像進行分類之後確定攔截與否的過程。
此外，如上所述的重複過程可以持續至影像播放結束時間點或應用1610結束時間點。
因此，利用本發明可以提供一種可以在播放視頻文件時或在播放過程中判定為有害時通過執行過濾等處理而從源頭上對有害視頻進行攔截的技術。
此外，可以利用從視頻文件截取的整體畫面圖像在判定相應影像有害時通過過濾從源頭上對相應影像進行攔截，並以截取圖像為基礎對有害影像執行過濾處理。
在上述內容中進行說明的裝置，可以通過硬體構成要素、軟體構成要素和/或硬體構成要素以及軟體構成要素的組合實現。例如，在實施例中進行說明的裝置以及構成要素可以通過如處理器、控制器、算數邏輯單位（ALU，arithmetic logic unit）、數字訊號處理器（digital signal processor）、微處電腦、現場可程式設計陣列（FPA，field programmable array）、可程式設計邏輯單元（PLU，programmable logic unit）、微處理器、或可以執行指令（instruction）並做出回應的其他任何裝置等一個以上的通用電腦或特殊用途電腦實現。處理裝置可以對作業系統（OS）以及在所述作業系統上處理的一個以上的軟體應用進行處理。此外，處理裝置可以對軟體的執行做出回應，從而執行資料的訪問、存儲、操作、處理以及生成。為了理解的便利，可以以使用一個處理裝置的情況為例進行說明，但是具有相關技術領域之一般知識的人員應該可以理解，處理裝置可以包括多個處理元件（processing element）和/或多種類型的處理組件。例如，處理裝置可以包含多個處理器或一個處理器以及一個控制器。此外，也可以採用如並行處理器（parallel processor）等其他處理構成（processing configuration）。
軟體可以包含電腦程式（computer program）、代碼（code）、指令（instruction）或上述中的一個以上的組合，可以構成處理裝置而使其按照所需要的方式工作，或使其獨立地或共同地向處理裝置發出指令。軟體和/或資料為了可以被處理裝置解析或向處理裝置提供指令或資料，可以被永久地或臨時性地具體化（embody）成某種類型的器械、構成要素（component）、無力裝置、虛擬裝置（virtual equipment）、計算出存儲介質或裝置、或傳送的信號波（signal wave）。軟體可以通過分散到通過網路連接的電腦系統上，以分散的方式得到存儲或執行。軟體以及資料可以被存儲在一個以上的電腦可讀取的存儲介質中。
適用實施例的方法可以以可通過多種電腦部件進行處理的程式指令形態實現並被記錄在電腦可讀取的介質中。所述電腦可讀取的介質，可以單獨或組合包含程式指令、資料文件、資料結構等。記錄在所述介質中的程式指令可以是為了實施例而特別設計和構成的程式指令，也可以使用電腦軟體的從業人員所公知的程式指令。電腦可讀取的存儲介質的實例，包括如硬碟和軟碟以及磁片等磁介質（magnetic media）、如唯讀光碟驅動器（CD-ROM）以及數字化視頻光碟（DVD）等光存儲介質（optical media）、如光磁軟碟（floptical disk）等磁-光介質（magneto-optical media）以及唯讀記憶體（ROM）、隨機訪問記憶體（RAM）、閃速記憶體等可以對程式指令進行存儲以及處理的特別構成的硬體裝置。作為程式指令的實例，不僅包括通過編譯器形成的機器語言代碼，還包括可以使用解譯器等在電腦中執行的高階語言代碼。所述硬體裝置可以為了對實施例的動作進行處理而由一個以上的軟體模組構成，反之亦然。
在上述內容中結合有限的附圖對實施例進行了說明，但是具有相關技術領域之一般知識的人員可以通過上述記載進行各種修改以及變形。例如，即使是所說明的技術可以按照與所說明的方法不同的順序進行處理，和/或所說名的系統、結構、裝置、回路等構成要素可以按照與所說明的方法不同的形態結合或組合，或被其他構成要素或均等物替代或置換，也可以達成所期望的結果。
因此，其他實現例、其他實施例以及與請求項範圍均等的方案也應該解釋為包含於所附的申請專利範圍之內。
100:有害視頻文件過濾裝置 110:文件系統監視部 120:有害度檢查預處理部 130:關鍵幀提取部 140:圖像分類部 150:內容攔截部 160:資料庫管理部 200:有害圖像分類模型的結構 210:特徵提取部 220:分類部 310:有害度檢查預處理部 320:資料庫 340:本地或遠端伺服器 400:檢查結果緩存 510、520:步驟 600:實施例 701-710:步驟 810:附圖編號 820:附圖編號 1001-1007:步驟 1100:有害視頻文件過濾裝置 1110:偏移收集部 1120:縮略圖提取部 1130:圖像分離部 1140:內容攔截部 1150:資料庫管理部 1210:文件系統事件監視部 1220:有害視頻文件過濾裝置 1230:分類器 1310:文件系統事件監視部 1320:有害視頻文件過濾裝置 1330:分類器 1340:附圖編號 1420:表 1500:有害視頻文件過濾裝置 1510:有害度檢查預處理部 1520:圖像生成部 1530:圖像分類部 1540:內容攔截部 1610:應用 1620:分類器
圖1是對適用一實施例的有害視頻文件過濾裝置進行說明的示意圖。 圖2是對有害圖像分類模型的結構進行說明的示意圖。 圖3是對提取出文件雜湊並判斷有害與否的實施例進行說明的示意圖。 圖4是對適用一實施例的檢查結果緩存進行圖示的示意圖。 圖5是對提取出關鍵幀的方法進行說明的示意圖。 圖6是對提取出關鍵幀的具體實施例進行說明的示意圖。 圖7是對適用一實施例的有害視頻文件過濾方法進行說明的示意圖。 圖8是對各播放區間加權值或幀內各區域加權值進行說明的示意圖。 圖9是對適用幀內各區域加權值並提取出實際關鍵幀的實施例進行說明的示意圖。 圖10是對適用一實施例的關鍵幀提取方法進行說明的示意圖。 圖11是對適用另一實施例的有害視頻文件過濾裝置進行說明的示意圖。 圖12是對發生視頻文件的打開事件或讀取事件時執行圖像分類處理的實施例進行說明的示意圖。 圖13是對分類為有害圖像時的動作進行說明的實施例。 圖14a至圖14c是對收集讀取偏移信息並確定播放時間以及緩存時間的實施例進行說明的示意圖。 圖15是對適用又一實施例的有害視頻文件過濾裝置進行說明的示意圖。 圖16是對利用分類器判斷圖像的有害與否的圖像分類過程進行說明的示意圖。
100:有害視頻文件過濾裝置
110:文件系統監視部
120:有害度檢查預處理部
130:關鍵幀提取部
140:圖像分類部
150:內容攔截部
160:資料庫管理部

Claims (18)

  1. 一種有害視頻文件過濾裝置，其特徵在於： 作為用於在文件開始播放時對視頻文件進行過濾的裝置，包括： 關鍵幀提取部，從發生打開事件的視頻文件提取出關鍵幀； 圖像分類部，將所述所提取出的關鍵幀提供至分類器並計算出有害度；以及， 內容攔截部，對所述所計算出的有害度與有害臨界值進行比較，在所述有害度為所述有害臨界值以上時將所述視頻文件確定為有害視頻文件並對所述所確定的有害視頻文件進行攔截處理。
  2. 如請求項1所述的有害視頻文件過濾裝置，其特徵在於： 所述關鍵幀提取部， 以所述發生打開事件的視頻文件的各播放區間加權值以及幀內加權值中的至少一個為基礎，提取出所述關鍵幀。
  3. 如請求項2所述的有害視頻文件過濾裝置，其特徵在於： 所述關鍵幀提取部， 在所述發生打開事件的視頻文件的播放區間中，為配置在開始部分的一部分幀、配置在結束部分的另一部分幀、除開始部分以及結束部分之外的剩餘部分的幀分配不同的加權值並提取出所述關鍵幀。
  4. 如請求項2所述的有害視頻文件過濾裝置，其特徵在於： 所述關鍵幀提取部， 通過在相鄰幀中對幀內各子區塊適用加權值而確定所述關鍵幀。
  5. 如請求項4所述的有害視頻文件過濾裝置，其特徵在於： 所述關鍵幀提取部， 通過在所述相鄰幀之間的圖像雜湊值中向各子區塊適用加權值而計算出漢明距離（Hamming Distance），將漢明距離大於各區間臨界值的關鍵幀分類為候選關鍵幀，並從所分類的候選關鍵幀中將臨界值最小的候選關鍵幀提取為所述關鍵幀。
  6. 如請求項1所述的有害視頻文件過濾裝置，其特徵在於： 所述關鍵幀提取部， 從發生打開事件的視頻文件的幀中排除開始部分的一部分幀以及配置在結束部分的另一部分幀鎮外的剩餘的幀中提取出變化量為基準以上的候選關鍵幀， 從所述所提取出的候選關鍵幀中，利用清晰度以及亮度中的至少一個在各區間提取出至少一個以上的關鍵幀。
  7. 如請求項1所述的有害視頻文件過濾裝置，其特徵在於，還包括： 資料庫管理部，對所述所確定的有害視頻文件的檢查結果緩存信息進行記錄並對資料庫進行更新。
  8. 如請求項1所述的有害視頻文件過濾裝置，其特徵在於，還包括： 有害度檢查預處理部，用於在提取關鍵幀之前對視頻文件的有害度進行檢查； 所述有害度檢查預處理部， 在發生文件的打開事件時判斷所述文件是否為所述視頻文件， 所述關鍵幀提取部， 在所述文件為所述視頻文件時對所述關鍵幀進行提取。
  9. 如請求項1所述的有害視頻文件過濾裝置，其特徵在於，還包括： 有害度檢查預處理部，用於在提取關鍵幀之前對視頻文件的有害度進行檢查； 所述有害度檢查預處理部， 判斷發生文件的打開事件的所述視頻文件是否通過視頻播放機執行， 所述關鍵幀提取部， 在所述文件通過所述視頻播放機執行時對所述關鍵幀進行提取。
  10. 如請求項1所述的有害視頻文件過濾裝置，其特徵在於，還包括： 有害度檢查預處理部，用於在提取關鍵幀之前對視頻文件的有害度進行檢查； 所述有害度檢查預處理部， 判斷所述發生打開事件的視頻文件的檢查結果緩存是否被記錄在資料庫中， 所述關鍵幀提取部， 在所述檢查結果緩存沒有被記錄在資料庫中時對所述關鍵幀進行提取。在所述文件通過所述視頻播放機執行時對所述關鍵幀進行提取。
  11. 如請求項1所述的有害視頻文件過濾裝置，其特徵在於，還包括： 有害度檢查預處理部，用於在提取關鍵幀之前對視頻文件的有害度進行檢查； 所述有害度檢查預處理部， 對所述發生打開事件的視頻文件的文件緩存進行檢查， 所述關鍵幀提取部， 在所述文件緩存的檢查結果為所述文件緩存無害時對所述關鍵幀進行提取。
  12. 一種有害視頻文件過濾裝置，其特徵在於： 作為用於在文件播放構成中對視頻文件進行過濾的裝置，包括： 偏移收集部，在發生視頻文件的讀取事件時，在緩存時間內對視頻文件的讀取偏移信息進行收集； 縮略圖提取部，根據所述收集到的讀取偏移信息以及所述視頻文件的緩存速度計算出縮略圖的提取數量，並根據所述所計算出的提取數量提取出所述視頻文件的至少一個以上的縮略圖； 圖像分類部，將所述所提取出的至少一個以上的縮略圖提供至分類器並計算出有害度；以及， 內容攔截部，對所述所計算出的有害度與有害臨界值進行比較，在所述有害度為所述有害臨界值以上時將所述視頻文件確定為有害視頻文件並對所述所確定的有害視頻文件進行攔截處理。
  13. 如請求項12所述的有害視頻文件過濾裝置，其特徵在於，還包括： 資料庫管理部，將所述所確定的有害視頻文件的檢查結果緩存信息更新到資料庫。
  14. 如請求項12所述的有害視頻文件過濾裝置，其特徵在於，還包括： 在緩衝過程中對文件偏移進行確認時，在視頻文件的播放時間之後、緩存時間開始對有害度進行檢查。
  15. 一種有害視頻文件過濾裝置，其特徵在於： 作為用於在文件播放構成中對視頻文件進行過濾的裝置，包括： 有害度檢查預處理部，當在緩存時間內不提供視頻文件的讀取偏移信息的系統中發生視頻文件的打開事件時，對視頻播放機的執行與否進行確認； 圖像生成部，在執行所述視頻播放機時，對通過所述視頻播放機顯示的整體畫面進行截取； 圖像分類部，將所述生成的圖像提供至分類器並請求用於計算有害度的圖像分類，對包含所述所計算出的有害度的圖像分類結果進行收集；以及， 內容攔截部，根據所述收集到的圖像分類結果確定是否對所述視頻文件進行攔截。
  16. 如請求項15所述的有害視頻文件過濾裝置，其特徵在於，還包括： 在發生視頻文件的打開事件時，在截取週期計時器被驅動的期間內，驅動所述截取週期計時器重複執行確定是否對所述視頻文件進行攔截的過程。
  17. 一種有害視頻文件過濾方法，其特徵在於： 作為用於在文件開始播放時對視頻文件進行過濾的方法，包括： 在文件發生打開事件時，判斷所述文件是否為所述視頻文件的步驟； 在所述文件為所述視頻文件時，判斷發生打開事件的所述視頻文件是否通過視頻播放機執行； 在所述視頻文件通過所述視頻播放機執行時，判斷所述視頻文件的檢查結果緩存是否被記錄在資料庫中的步驟； 在所述視頻文件的檢查結果緩存沒有被記錄在資料庫中時，對所述視頻文件執行文件雜湊檢查的步驟； 在所述視頻文件的文件雜湊無害時，提取出所述視頻文件的關鍵幀的步驟； 將所述所提取出的關鍵幀提供至分類器並計算出有害度的步驟； 對所述所計算出的有害度與有害臨界值進行比較的步驟；以及， 在所述有害度為所述有害臨界值以上時，將所述視頻文件確定為有害視頻文件並對所述所確定的有害視頻文件進行攔截處理的步驟。
  18. 如請求項17所述的有害視頻文件過濾方法，其特徵在於： 提取出所述關鍵幀的步驟，包括： 從發生打開事件的視頻文件的幀中排除開始部分的一部分幀以及配置在結束部分的另一部分幀並從剩餘的幀中提取出變化量為基準以上的候選關鍵幀的步驟；以及， 從所述所提取出的候選關鍵幀中，利用清晰度以及亮度中的至少一個在各區間提取出至少一個以上的關鍵幀的步驟。
TW110123858A 2020-06-29 2021-06-29 用於對有害視頻文件進行過濾的裝置及方法 TWI793657B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0078984 2020-06-29
KR1020200078984A KR102189482B1 (ko) 2020-06-29 2020-06-29 유해 동영상 파일을 필터링 하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
TW202201969A true TW202201969A (zh) 2022-01-01
TWI793657B TWI793657B (zh) 2023-02-21

Family

ID=73786254

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110123858A TWI793657B (zh) 2020-06-29 2021-06-29 用於對有害視頻文件進行過濾的裝置及方法

Country Status (3)

Country Link
KR (1) KR102189482B1 (zh)
TW (1) TWI793657B (zh)
WO (1) WO2022005060A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062186A (zh) * 2022-08-05 2022-09-16 北京远鉴信息技术有限公司 一种视频内容检索方法、装置、设备以及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102189482B1 (ko) * 2020-06-29 2020-12-11 김태주 유해 동영상 파일을 필터링 하기 위한 장치 및 방법
KR102454230B1 (ko) * 2021-01-28 2022-10-14 김민석 영상 컨텐츠 실시간 유해성 검사 장치 및 방법
KR20240065830A (ko) 2022-11-07 2024-05-14 ㈜기억 유해 콘텐츠 처리 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100725544B1 (ko) 2006-05-01 2007-06-08 삼성전자주식회사 이동통신 단말기 및 그의 유해정보 차단방법
KR101428037B1 (ko) * 2007-07-03 2014-08-07 엘지전자 주식회사 유해정보 차단 방법 및 시스템
KR101010523B1 (ko) * 2008-08-05 2011-01-25 구진국 Ｔｖ 방송 중의 유해 컨텐츠 대체 방법 및 시스템
KR101496632B1 (ko) 2010-11-04 2015-03-03 한국전자통신연구원 안심 콘텐츠 서비스를 위한 시스템 및 이를 위한 방법
KR101551879B1 (ko) * 2013-11-19 2015-09-10 경운대학교 산학협력단 비교데이터 프루닝과 가우시안 혼합 모델의 유사도 추정을 이용한 유해 동영상 필터링 시스템 및 방법
KR101574027B1 (ko) * 2014-12-19 2015-12-03 (주) 이비즈네트웍스 스마트폰 유해 차단 시스템
KR20160107417A (ko) * 2015-03-03 2016-09-19 한국전자통신연구원 유해 동영상 탐지 방법 및 장치
KR20160107734A (ko) * 2015-03-05 2016-09-19 한국전자통신연구원 동영상의 시간정보를 이용한 유해 동영상 분류방법 및 장치
KR102022014B1 (ko) 2017-07-12 2019-09-17 최갑천 유해 콘텐츠 탐지 장치
KR102189482B1 (ko) * 2020-06-29 2020-12-11 김태주 유해 동영상 파일을 필터링 하기 위한 장치 및 방법
KR102240018B1 (ko) * 2020-10-26 2021-04-14 김태주 유해 동영상 파일을 필터링 하기 위한 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062186A (zh) * 2022-08-05 2022-09-16 北京远鉴信息技术有限公司 一种视频内容检索方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
KR102189482B1 (ko) 2020-12-11
WO2022005060A1 (ko) 2022-01-06
TWI793657B (zh) 2023-02-21

Similar Documents

Publication Publication Date Title
TWI793657B (zh) 用於對有害視頻文件進行過濾的裝置及方法
CN112753225B (zh) 用于嵌入信息卡定位和内容提取的视频处理
WO2020119350A1 (zh) 视频分类方法、装置、计算机设备和存储介质
Sun et al. A deep learning based no-reference quality assessment model for ugc videos
CN110309795B (zh) 视频检测方法、装置、电子设备及存储介质
US11500916B2 (en) Identifying media components
CN109145784B (zh) 用于处理视频的方法和装置
KR101967086B1 (ko) 비디오 스트림들의 엔티티 기반 시간적 세그먼트화
JP5795580B2 (ja) タイムベースメディアにおけるソーシャルインタレストの推定および表示
Zhang et al. Efficient video frame insertion and deletion detection based on inconsistency of correlations between local binary pattern coded frames
CN110324729B (zh) 一种识别侵权视频链接的方法、装置、电子设备及介质
US9098807B1 (en) Video content claiming classifier
US20140310825A1 (en) System and method for identification of inappropriate multimedia content
WO2020259510A1 (zh) 信息植入区域的检测方法、装置、电子设备及存储介质
US10104345B2 (en) Data-enhanced video viewing system and methods for computer vision processing
KR101541495B1 (ko) 캡쳐된 이미지를 이용한 동영상 분석 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
CN111314732A (zh) 确定视频标签的方法、服务器及存储介质
CN110688524A (zh) 视频检索方法、装置、电子设备及存储介质
CN112686165A (zh) 视频中目标对象的识别方法、装置、电子设备及存储介质
KR102308303B1 (ko) 유해 동영상 파일을 필터링 하기 위한 장치 및 방법
Jin et al. Video logo removal detection based on sparse representation
JP5880558B2 (ja) 映像処理システム、視聴者の嗜好判定方法、映像処理装置およびその制御方法と制御プログラム
KR100930529B1 (ko) 비디오 식별을 통한 유해 동영상 검열 시스템 및 방법
CN113472834A (zh) 一种对象推送方法及设备
CN114359815B (zh) 一种快速审核视频内容的处理方法