WO2021085921A1 - 인공지능 기반의 유해 컨텐츠 차단 장치 - Google Patents

인공지능 기반의 유해 컨텐츠 차단 장치 Download PDF

Info

Publication number
WO2021085921A1
WO2021085921A1 PCT/KR2020/014382 KR2020014382W WO2021085921A1 WO 2021085921 A1 WO2021085921 A1 WO 2021085921A1 KR 2020014382 W KR2020014382 W KR 2020014382W WO 2021085921 A1 WO2021085921 A1 WO 2021085921A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
harmful
url
user
harmfulness determination
Prior art date
Application number
PCT/KR2020/014382
Other languages
English (en)
French (fr)
Inventor
김민석
Original Assignee
김민석
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김민석 filed Critical 김민석
Priority to JP2022525728A priority Critical patent/JP2023500879A/ja
Priority to EP20882678.4A priority patent/EP4053781A4/en
Priority to US17/772,177 priority patent/US20220398314A1/en
Priority to CN202080070574.XA priority patent/CN114514518A/zh
Publication of WO2021085921A1 publication Critical patent/WO2021085921A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/033—Test or assess software

Definitions

  • the present invention relates to an artificial intelligence-based harmful content blocking technology, and more particularly, an artificial intelligence-based harmful content capable of providing safe content that meets user needs by quickly and accurately inspecting harmful content among various contents posted on the Internet. It relates to a blocking device.
  • harmful content includes adult material depicting sexual activity and violent material with strong violence. Such harmful content can be easily used by anyone, regardless of age or gender, if adult authentication is performed through the Internet. Even if this is prevented, adult authentication can be easily performed using information of parents or other adults.
  • An embodiment of the present invention is to provide an artificial intelligence-based harmful content blocking device capable of providing safe content that meets user needs by quickly and accurately inspecting harmful content among various contents posted on the Internet.
  • An embodiment of the present invention provides an artificial intelligence-based harmful content blocking device capable of checking harmful content by configuring a local DB in which a harmful URL list is stored and comparing it with a harmful URL list stored in the local DB in real time offline. I want to provide.
  • an artificial intelligence capable of reducing the time required for inspection and blocking customized content according to personal preferences by configuring the harmfulness determination model into model files subdivided by category and performing a selective inspection based on user criteria. It is intended to provide a device for blocking harmful contents based on.
  • the artificial intelligence-based harmful content blocking device includes a library server including a harmful URL list and a harmfulness determination unit including a plurality of harmfulness determination model files, and a harmful URL list and one from the harmfulness determination unit of the library server.
  • a user terminal that downloads the above harmfulness determination model file and requests and executes the content, wherein the user terminal checks the registration of the harmful URL of the content based on the harmful URL list downloaded from the library server and is not registered as a harmful URL. If not, it is characterized in that it is determined whether the content is harmful based on the harmfulness determination model file downloaded from the library server.
  • the user terminal includes a content receiving unit that receives the content requested by the user, a local DB storing the harmful URL list, and a local library storing the harmfulness determination model files, and determines whether the content received by the content receiving unit is harmful. And a content display unit that displays content that satisfies a harmfulness determination criterion among contents received by the content receiving unit.
  • the harmfulness determination unit may configure a local DB as a personalized harmful URL list by storing URLs of harmful content including user criteria in a harmful URL list provided from the library server.
  • the harmfulness determination unit checks whether a harmful URL is registered by comparing the URL of the content requested by the user with the harmful URL list stored in the local DB, and when registered as a harmful URL, displays the URL inspection result through the content display unit, and Can be blocked or the content requested by the user can be replaced.
  • the harmfulness determination unit may check whether the content is harmful by using a harmfulness determination model stored in the local library, and may prevent an error through multi-faceted verification.
  • the local library is composed of a plurality of harmfulness determination model files that are updated in real time from the library server or are subdivided by category provided from the library server according to a user request, and any one selected by a user among the plurality of harmfulness determination model files
  • the hazard determination model file of may be set as the default model.
  • the harmfulness determination unit may check the harmfulness determination of the adult and pornographic material categories as a basis, and verify the harmfulness determination by adding a tag and string test, and a test according to a category and a setting value selected by the user.
  • the content receiving unit loads the content and displays an image or an advertisement image in the content output unit while the content is being loaded.
  • the harmfulness determination unit registers the URL of the content as a harmful URL in the local DB, and the content output unit writes, image, or video of the harmful content according to the user's setting. You can display it by purifying it as a video.
  • the disclosed technology can have the following effects. However, since it does not mean that a specific embodiment should include all of the following effects or only the following effects, it should not be understood that the scope of the rights of the disclosed technology is limited thereby.
  • the apparatus for blocking harmful contents based on artificial intelligence can quickly and accurately inspect harmful contents among various contents posted on the Internet by using artificial intelligence, and provide safe contents that meet user needs.
  • the apparatus for blocking harmful contents based on artificial intelligence configures a local DB in which a list of harmful URLs is stored, so that harmful contents are compared with the list of harmful URLs stored in the local DB in real-time as well as in an offline state. Inspection can be performed, and inspection errors can be minimized through a multi-faceted verification process.
  • the artificial intelligence-based harmful content blocking device configures the harmfulness determination model into model files that are subdivided by category, and performs a selective check based on user criteria, thereby reducing the time required for testing and reducing the user's propensity.
  • content that conforms to the administrator's criteria can be replaced with blocked and refined content.
  • FIG. 1 is a block diagram schematically showing an artificial intelligence-based harmful content blocking device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a basic configuration of an artificial intelligence-based harmful content blocking device according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing the configuration of a user terminal of an artificial intelligence-based harmful content blocking device according to an embodiment of the present invention.
  • FIG. 4 is a block diagram showing the configuration of a library server of an artificial intelligence-based harmful content blocking device according to an embodiment of the present invention.
  • 5 and 6 are flow charts illustrating a driving process of an artificial intelligence-based harmful content blocking device according to an embodiment of the present invention.
  • first and second are used to distinguish one component from other components, and the scope of rights is not limited by these terms.
  • a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.
  • the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, and each step has a specific sequence clearly in the context. Unless otherwise stated, it may occur differently from the stated order. That is, each of the steps may occur in the same order as the specified order, may be performed substantially simultaneously, or may be performed in the reverse order.
  • the present invention can be implemented as computer-readable code on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices storing data that can be read by a computer system.
  • Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tapes, floppy disks, and optical data storage devices.
  • the computer-readable recording medium is distributed over a computer system connected by a network, so that computer-readable codes can be stored and executed in a distributed manner.
  • FIG. 1 is a block diagram schematically showing an artificial intelligence-based harmful content blocking device according to an embodiment of the present invention.
  • an artificial intelligence-based harmful content blocking apparatus 100 includes a user terminal 110 and a library server 120.
  • the user terminal 110 corresponds to a computing device connected to the library server 120 through a wired or wireless network, and may be implemented as, for example, a desktop, a laptop computer, a tablet PC, or a smartphone.
  • the user may subscribe to various contents such as new articles, images, or videos uploaded to an online bulletin board through the user terminal 110.
  • the library server 120 When the library server 120 receives a request for content from the user terminal 110, after performing a URL check, the library server 120 includes a harmfulness determination unit 125 that determines whether or not the content is harmful.
  • the harmfulness determination unit 125 maintains a harmful URL list and a plurality of harmfulness determination model files.
  • the harmfulness determination unit 125 transmits a harmful URL list and a plurality of harmfulness determination model files to the user terminal 110 to determine whether the subscription content of the user terminal 110 is harmful in real time.
  • FIG. 2 is a block diagram showing a basic configuration of an artificial intelligence-based harmful content blocking device according to an embodiment of the present invention.
  • content 210 such as Internet, broadcasting, cable TV, etc. is input to the smart protector 230, and the smart protector 230 is the content input through the harmfulness determination program received from the library server 220. To determine whether it is harmful. As a result of determining whether they are harmful, only contents determined to be non-hazardous are output through the plurality of terminals 240.
  • the smart protector 230 is installed and operated in each of a plurality of terminals 240 composed of a computer or various device devices.
  • FIG. 3 is a block diagram showing the configuration of a user terminal of an artificial intelligence-based harmful content blocking device according to an embodiment of the present invention.
  • the user terminal 110 includes a harmfulness determination unit 310, a content receiving unit 320, a content display unit 330, and a control unit 340.
  • the harmfulness determination unit 310 stores a harmfulness determination program downloaded from the library server 120.
  • the harmfulness determination program can be made in a variety of ways, such as plug-ins with artificial intelligence functions, instructions, classes, and independent programs.
  • the harmfulness determination unit 310 may include a local DB 311 in which a harmful URL list is stored and a local library 313 in which one or more harmfulness determination model files are stored.
  • the local DB 311 may receive and store a harmful URL list from the library server 120 upon initial installation of a harmfulness determination program or according to a user request.
  • the local DB 311 may store a user-customized harmful URL list including the address of a site where harmful content is found based on a record of a user's visit together with a specified list of harmful site addresses. Accordingly, network resources through network transmission of the harmful URL list can be reduced, and the load and capacity of the library server 120 can be reduced. In addition, it is possible to prevent the list of harmful URLs from being shared in reverse.
  • the local library 313 may receive and store a modularized harmfulness determination model file for each harmful category from the library server 120.
  • the local library 313 may update the hazard determination model file for each category in real time or according to a user request.
  • the content receiver 320 may receive content requested by a user from the library server 120.
  • the harmfulness determination unit 310 may check the URL of the site requested by the user based on the harmful URL list stored in the local DB 311.
  • the content receiving unit 320 may receive the corresponding content when the site is not registered as a harmful URL.
  • the content display unit 330 includes texts, images, advertisements, videos, etc. that can attract the user's interest and fun so that the user does not feel bored while receiving the content from the content receiving unit 320 and inspecting the harmfulness of the received content. Can provide a seamless service.
  • the content display unit 330 may display content that has passed harmfulness on a screen so that a user can subscribe.
  • the harmfulness determination unit 310 may determine whether the content is harmful according to the user's criteria based on the harmfulness determination model files for each category stored in the local library 313.
  • the content display unit 330 may normally display content that has passed the user's harmfulness determination criteria, and may change and display content that does not pass the user's harmfulness determination criteria to other content. For example, content may be displayed through a process such as changing a forbidden term to a purified term or processing a harmful image to be blurred.
  • the control unit 340 uses artificial intelligence in the user terminal 110 to receive the content requested by the user from among various contents posted on the Internet, inspect the harmfulness, and display the safe content that meets the user's needs. ), the operation of the content receiving unit 320 and the content display unit 330 can be generally controlled, and control and data flow between them can be managed.
  • FIG. 4 is a block diagram showing the configuration of a library server of an artificial intelligence-based harmful content blocking device according to an embodiment of the present invention.
  • the library server 120 includes a harmfulness determination unit 410 and a content providing unit 420.
  • the harmfulness determination unit 410 may maintain a harmful URL list 411 and a plurality of harmfulness determination model files 413, and when a request for content is received from the user terminal 110, it may determine whether the requested content is harmful or not. have.
  • the harmful URL list 411 may store a list of harmful site addresses provided by the Korea Communications Commission.
  • a plurality of harmfulness determination model files 413 may be divided and provided for each category. For example, it can be classified into various categories such as adult, violence, gambling, fear, animals that personally dislike, and a sense of coordination. By dividing the hazard determination model file 413 by category and making it modular, it may be easy to build a model for each use and for each company.
  • the download time can be reduced.
  • it is not necessary to determine unnecessary categories according to individual settings it is possible to reduce the inspection time of the content requested from the user terminal 110.
  • a selected one of a plurality of harmfulness determination model files 413 is set as a basic model, and a harmfulness determination model file 413 set as a basic model is separately You can proceed with the scan without downloading.
  • the harmfulness determination model file 413 set as the basic model can be inspected both offline and online.
  • the content providing unit 420 may provide both the content that has passed the harmfulness determination criterion and the content that does not pass the harmfulness determination criterion to the user.
  • 5 and 6 are diagrams illustrating a driving process of an artificial intelligence-based harmful content blocking device according to an embodiment of the present invention.
  • FIG. 5 a process of inspecting harmful content according to a content request from a user terminal 110 is shown.
  • the user may request content from the library server 120 through the user terminal 110 (step S510).
  • the user terminal 110 may request a desired content through a web browser, an app, an IoT device, or the like.
  • the requestable content may be variously included, such as a website, an image, a video, and a text message on a smartphone.
  • a harmfulness determination program may be downloaded to the user terminal 110 through the library server 120.
  • a list of harmful URLs and harmfulness determination model files for each category may be downloaded. In this case, as only a desired category is downloaded from among a plurality of harmfulness determination model files subdivided by category, downloading time may be reduced.
  • the Internet-based harmful content blocking apparatus 100 may determine whether to register a harmful URL by first performing a URL inspection on the content requested by the user (step S520).
  • the user terminal 110 may perform a URL inspection in real time in an offline state by comparing the list of harmful URLs stored in the local DB 311 through the harmfulness determination unit 310.
  • the local DB 311 a list of publicly harmful URLs provided by the library server 120 and a list of personally harmful URLs registered based on the user's personal preference are stored together, so that the harmfulness determination unit 310 satisfies the user's criteria. URL inspection can be performed.
  • the user terminal 110 may perform URL inspection in real time while online by comparing it with the harmful URL list 411 through the harmfulness determination unit 410 of the library server 120.
  • the result may be displayed on the user terminal 110.
  • the content displayed on the user terminal 110 may be different for the user setting and classification of the harmfulness determination program (enterprise, free, OEM, etc.). For example, if the harmfulness determination program is for personal use, it is possible to block user-requested content and move to a safe site, and if it is for corporate use, the content requested by a corporate customer may be replaced.
  • the user can prevent the user from feeling bored by loading the corresponding content and displaying the user-set alternative content on the content being loaded (step S530).
  • the user terminal 110 displays images, animations, guides, advertisement images, etc. that are set by a user or requested by a company in the process of loading content from the library server 120 so that the user does not feel bored. I can.
  • the Internet-based harmful content blocking apparatus 100 may perform real-time determination of harmfulness before outputting the content on the screen of the user terminal 110 at the same time as the content is loaded (step S540).
  • the user terminal 110 may perform a harmful content inspection in real time in an offline state based on the harmfulness determination model files for each category stored in the local library 313 through the harmfulness determination unit 310.
  • the local library 313 is composed of harmfulness determination model files subdivided for each category, it is possible to select a category according to an individual or administrator setting to determine the harmfulness, thereby reducing content inspection time.
  • the user terminal 110 may perform a harmful content inspection in real time in an online state based on the harmfulness determination model 413 through the harmfulness determination unit 410 of the library server 120.
  • the Internet-based harmful content blocking device 100 may perform a multi-faceted verification process to prevent content analysis errors (step S550).
  • a multi-faceted verification process in order to prevent errors in the image recognition method using artificial intelligence, various tests such as a character string test, an adult pornography test, and a user-set harmful substance test may be performed.
  • the Internet-based harmful content blocking device 100 can normally display the content on the screen of the user terminal 110 when it is determined as safe content, and registers a harmful URL in the local DB 311 when it is determined as harmful content. After that, a portion that does not match the standard on the screen of the user terminal 110 may be replaced with purified content and output, screened, or completely blocked (step S560).
  • FIG. 6 it is an exemplary diagram illustrating a multi-faceted verification process.
  • the artificial intelligence-based harmful content blocking device 100 may perform a multifaceted inspection to prevent errors when recognizing or recognizing images included in the content based on artificial intelligence. For example, a situation in which ketchup is sprinkled may be mistaken for blood. To this end, a tag test and a character string test such as a keyword may be performed (step S610). It is possible to reduce errors in image inspection based on artificial intelligence through detection of harmfulness in tag and keyword inspection.
  • an adult/pornography test may be performed (step S620).
  • the adult/pornography test can be performed by default, and only the authorized administrator can set whether or not to display adult/pornography.
  • the test may be performed according to the user's request (step S630).
  • a user may select a harmful substance according to a personal preference such as compassion, fear, or gambling, and at this time, a reference value for the selected harmful substance may be variably set.
  • the inspection can be performed according to the harmful substances selected by the user and a set reference value. For example, if a user has a disgust of 90% or more, it can be set to clearly feel disgust, and if it is 70% or more, it may be set that a user may feel disgust. .
  • the content requested by the user may be normally displayed on the user terminal 110 (step S640).
  • harmfulness is found in the multi-faceted verification process, it may be registered in the personal harmful URL list of the local DB 311, and the content requested by the user may be completely blocked or replaced with purified content and displayed (step S650).
  • harmful content can be inspected and blocked in real time in an offline state through the user terminal, and other content is provided during the inspection process so that the user does not feel bored.
  • the harmful URL list By configuring the harmful URL list as a local DB, network resources can be reduced through network transmission of the harmful URL list, the load and capacity of the library server can be reduced, and the harmful URL list can be prevented from being shared in reverse.
  • Hazard determination criteria can be classified into various categories and applied according to personal preferences, and classified categories can be used individually or combined to reduce the time it takes to download the hazard determination model file and improve the inspection speed. have.
  • control unit 340 control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Computing Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Bioethics (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 인공지능 기반의 유해 컨텐츠 차단 장치에 관한 것으로, 유해 URL 리스트 및 다수의 유해성 판단 모델 파일을 구비한 유해성 판단부를 포함하는 라이브러리 서버, 및 상기 라이브러리 서버의 상기 유해성 판단부로부터 유해 URL 리스트 및 하나 이상의 유해성 판단 모델 파일을 다운로드 받아 컨텐츠 요청 및 실행하는 사용자 단말을 포함하되, 상기 사용자 단말은 상기 라이브러리 서버로부터 다운로드 받은 상기 유해 URL 리스트에 기초하여 상기 컨텐츠의 유해 URL 등록을 검사하고 유해 URL로 등록되지 않은 경우에 상기 라이브러리 서버로부터 다운로드 받은 상기 유해성 판단 모델 파일에 기초하여 상기 컨텐츠의 유해성 여부를 판단하는 것을 특징으로 한다.

Description

인공지능 기반의 유해 컨텐츠 차단 장치
본 발명은 인공지능 기반의 유해 컨텐츠 차단 기술에 관한 것으로, 보다 상세하게는 인터넷에 게재되는 다양한 컨텐츠 중 유해 컨텐츠를 빠르고 정확하게 검사하여 사용자 요구에 맞는 안전한 컨텐츠를 제공할 수 있는 인공지능 기반의 유해 컨텐츠 차단 장치에 관한 것이다.
인터넷 보급이 활발해지고, 사용자 대부분이 인터넷의 사용빈도 및 사용능력이 증가됨에 따라 인터넷을 통해 유해 컨텐츠에 노출될 가능성이 높아지고 있다.
통상 유해 컨텐츠라 함은, 성행위를 묘사하는 성인물과, 폭력성이 짙은 폭력물이 있는데, 이러한 유해 컨텐츠는 인터넷을 통해 성인인증을 수행한다면 남녀노소 누구나 쉽게 이용할 수 있는 실정이며, 성인인증을 통해 미성년자의 출입을 방지하고 있더라도, 부모 또는 다른 성인의 정보를 이용하여 쉽게 성인인증을 수행할 수 있다.
최근 각종 매체를 통해 유해 컨텐츠가 다양한 연령층에 무분별하게 노출되고 있다. 특히 분별력이 부족한 아동에게까지 유해 컨텐츠가 보여지고 있어 심히 우려스러운 상황이다.
이에 따라 근래에는 유해 컨텐츠를 자동으로 분석하고 차단할 수 있는 기술이 개발되고 있다. 예를 들어, URI(Uniform Resource Identifier)나 네트워크 주소 기반 차단, 음란물 정보 DB를 이용한 차단, 텍스트 분석을 통한 탐지 및 영상 분석을 통한 탐지 등이 있다.
그러나 기존의 유해 컨텐츠 검사 및 차단 방식은 사용자의 요구를 반영하지 못하고 일률적인 기준으로 유해 컨텐츠를 판정하고 무조건으로 차단하는 문제점이 있었다.
[선행기술문헌]
[특허문헌]
1. 한국등록특허 제10-1027617호 (2011.03.30)
2. 한국공개특허 제10-2014-0025113호 (2014.03.04)
본 발명의 일 실시예는 인터넷에 게재되는 다양한 컨텐츠 중 유해 컨텐츠를 빠르고 정확하게 검사하여 사용자 요구에 맞는 안전한 컨텐츠를 제공할 수 있는 인공지능 기반의 유해 컨텐츠 차단 장치를 제공하고자 한다.
본 발명의 일 실시예는 유해 URL 리스트가 저장되는 로컬DB를 구성하여 실시간으로 오프라인 상태에서 로컬DB에 저장된 유해 URL 리스트와 대조를 통해 유해 컨텐츠를 검사할 수 있는 인공지능 기반의 유해 컨텐츠 차단 장치를 제공하고자 한다.
본 발명의 일 실시예는 유해성 판단 모델을 카테고리별로 세분화된 모델 파일들로 구성하여 사용자 기준의 선별적인 검사를 하도록 함으로써 검사 소요시간을 줄일 수 있고 개인 성향에 따른 맞춤형 컨텐츠 차단을 할 수 있는 인공지능 기반의 유해 컨텐츠 차단 장치를 제공하고자 한다.
실시예들 중에서, 인공지능 기반의 유해 컨텐츠 차단 장치는 유해 URL 리스트 및 다수의 유해성 판단 모델 파일을 구비한 유해성 판단부를 포함하는 라이브러리 서버, 및 상기 라이브러리 서버의 상기 유해성 판단부로부터 유해 URL 리스트 및 하나 이상의 유해성 판단 모델 파일을 다운로드 받아 컨텐츠 요청 및 실행하는 사용자 단말을 포함하되, 상기 사용자 단말은 상기 라이브러리 서버로부터 다운로드 받은 상기 유해 URL 리스트에 기초하여 상기 컨텐츠의 유해 URL 등록을 검사하고 유해 URL로 등록되지 않은 경우에 상기 라이브러리 서버로부터 다운로드 받은 상기 유해성 판단 모델 파일에 기초하여 상기 컨텐츠의 유해성 여부를 판단하는 것을 특징으로 한다.
상기 사용자 단말은 사용자가 요청하는 컨텐츠를 수신하는 컨텐츠 수신부, 상기 유해 URL 리스트를 저장하는 로컬 DB와 상기 유해성 판단 모델 파일들을 저장하는 로컬 라이브러리를 포함하고 상기 컨텐츠 수신부에서 수신한 컨텐츠의 유해성 여부를 판단하는 유해성 판단부, 및 상기 컨텐츠 수신부에 수신된 컨텐츠 중 유해성 판단 기준을 만족하는 컨텐츠를 표시하는 컨텐츠 표시부를 포함할 수 있다.
상기 유해성 판단부는 상기 라이브러리 서버에서 제공되는 유해 URL 리스트에 사용자 기준이 포함된 유해 컨텐츠의 URL을 저장하여 개인화된 유해 URL 리스트로 로컬DB를 구성할 수 있다.
상기 유해성 판단부는 사용자가 요청한 컨텐츠의 URL을 상기 로컬DB에 저장된 유해 URL 리스트와 대조하여 유해 URL 등록 여부를 검사하고, 유해 URL로 등록된 경우에는 상기 컨텐츠 표시부를 통해 URL 검사 결과를 표시하고 상기 컨텐츠를 차단하거나 사용자가 요구한 컨텐츠가 대체 표시되도록 할 수 있다.
상기 유해성 판단부는 상기 유해 URL로 등록되지 않은 경우에 상기 로컬라이브러리에 저장된 유해성 판단 모델을 이용하여 상기 컨텐츠의 유해성 여부를 검사하고 다면 검증을 통해 오류를 방지할 수 있다.
상기 로컬라이브러리는 상기 라이브러리 서버로부터 실시간 업데이트되거나 사용자 요청에 따라 상기 라이브러리 서버로부터 제공되는 카테고리 별로 세분화된 다수의 유해성 판단 모델 파일들로 구성되고, 상기 다수의 유해성 판단 모델 파일 중 사용자에 의해 선택된 어느 하나의 유해성 판단 모델 파일이 기본 모델로 설정될 수 있다.
상기 유해성 판단부는 성인 및 음란물 카테고리의 유해성 판단을 기본으로 검사하고 태그 및 문자열 검사, 사용자가 선택한 카테고리 및 설정값에 따른 검사를 추가하여 유해성 판단을 검증할 수 있다.
실시예들 중에서, 인공지능 기반의 유해 컨텐츠 차단 장치는 상기 유해 URL로 등록되지 않은 경우 상기 컨텐츠 수신부에서 상기 컨텐츠를 로딩하고 상기 컨텐츠의 로딩 중에 상기 컨텐츠 출력부에서 이미지나 광고영상을 표시하고, 상기 유해성 컨텐츠로 판단된 경우에 상기 유해성 판단부에서 상기 컨텐츠의 URL를 상기 로컬DB에 유해 URL로 등록하고 상기 컨텐츠 출력부에서 사용자 설정에 따라 유해성 컨텐츠의 글, 이미지 또는 동영상 등을 다른 글, 이미지 또는 동영상으로 순화하여 표시할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 인공지능 기반의 유해 컨텐츠 차단 장치는 인공지능을 활용하여 인터넷에 게재되는 다양한 컨텐츠 중 유해 컨텐츠를 빠르고 정확하게 검사할 수 있고 사용자 요구에 맞는 안전한 컨텐츠를 제공할 수 있다.
본 발명의 일 실시예에 따른 인공지능 기반의 유해 컨텐츠 차단 장치는 유해 URL 리스트가 저장되는 로컬DB를 구성하여 실시간으로 온라인 뿐만 아니라 오프라인 상태에서도 로컬DB에 저장된 유해 URL 리스트와 대조를 통해 유해 컨텐츠를 검사할 수 있고 다면 검증 프로세스를 통해 검사 오류를 최소화할 수 있다.
본 발명의 일 실시예에 따른 인공지능 기반의 유해 컨텐츠 차단 장치는 유해성 판단 모델을 카테고리별로 세분화된 모델 파일들로 구성하여 사용자 기준의 선별적인 검사를 하도록 함으로써 검사 소요시간을 줄일 수 있고 사용자의 성향 또는 관리자의 기준에 준하는 컨텐츠를 차단 및 순화된 내용으로 대체할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 유해 컨텐츠 차단 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반의 유해 컨텐츠 차단 장치의 기본 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반의 유해 컨텐츠 차단 장치의 사용자 단말의 구성을 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 유해 컨텐츠 차단 장치의 라이브러리 서버의 구성을 도시한 블록도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 인공지능 기반의 유해 컨텐츠 차단 장치의 구동 과정을 도시한 순서도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 유해 컨텐츠 차단 장치를 개략적으로 도시한 블록도이다.
도 1을 참조하면, 인공지능 기반의 유해 컨텐츠 차단 장치(100)는 사용자 단말(110)과 라이브러리 서버(120)를 포함한다.
먼저, 사용자 단말(110)은 유무선 네트워크를 통해 라이브러리 서버(120)와 연결된 컴퓨팅 장치에 해당하고, 예를 들어, 데스크톱, 노트북, 태블릿 PC 또는 스마트폰으로 구현될 수 있다. 사용자는 사용자 단말(110)을 통해 온라인 게시판 등에 업로드 된 새로운 글, 이미지 또는 동영상 등의 다양한 컨텐츠들을 구독할 수 있다.
라이브러리 서버(120)는 사용자 단말(110)로부터 컨텐츠를 요청받으면 URL 검사를 실시한 후 해당 컨텐츠의 유해성 유무를 판단하는 유해성 판단부(125)를 포함한다. 유해성 판단부(125)는 유해 URL 리스트 및 다수의 유해성 판단 모델 파일을 보유하고 있다. 유해성 판단부(125)는 유해 URL 리스트 및 다수의 유해성 판단 모델 파일을 사용자 단말(110)에게 전달하여 사용자 단말(110)의 구독 컨텐츠의 유해성 여부를 실시간으로 판단한다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반의 유해 컨텐츠 차단 장치의 기본 구성을 도시한 블록도이다.
도 2를 참조하면, 인터넷, 방송, 케이블 TV 등의 컨텐츠(210)가 스마트 프로텍터(230)로 입력되고, 스마트 프로텍터(230)는 라이브러리 서버(220)로부터 전달받은 유해성 판단 프로그램을 통하여 입력된 컨텐츠의 유해성 여부를 판단한다. 유해성 여부 판단 결과, 유해하지 않다고 판단된 컨텐츠들만 다수의 단말기(240)를 통해 출력된다. 스마트 프로텍터(230)는 컴퓨터나 각종 디바이스 기기들로 구성되는 다수의 단말기(240) 각각에 설치되어 운영된다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반의 유해 컨텐츠 차단 장치의 사용자 단말의 구성을 도시한 블록도이다.
도 3을 참조하면, 사용자 단말(110)은 유해성 판단부(310), 컨텐츠 수신부(320), 컨텐츠 표시부(330) 및 제어부(340)를 포함한다.
유해성 판단부(310)는 라이브러리 서버(120)로부터 다운로드된 유해성 판단용 프로그램이 저장된다. 유해성 판단용 프로그램은 인공지능 기능이 포함된 플러그인, 인스텐션, 클래스, 독립 프로그램 등 다양하게 만들 수 있다. 유해성 판단부(310)는 유해 URL 리스트가 저장되는 로컬DB(311)와 하나 이상의 유해성 판단 모델 파일이 저장되는 로컬 라이브러리(313)를 포함할 수 있다.
일 실시예에서, 로컬DB(311)는 유해성 판단용 프로그램 최초 설치시 또는 사용자 요청에 따라 라이브러리 서버(120)로부터 유해 URL 리스트를 제공받아 저장할 수 있다. 여기에서, 로컬DB(311)는 특정된 유해 사이트 주소 목록과 함께 사용자가 방문한 기록을 근거로 유해 컨텐츠가 발견된 사이트 주소를 포함하는 사용자 맞춤형 유해 URL 리스트를 저장할 수 있다. 이로써 유해 URL 리스트의 네트워크 전송을 통한 네트워크 리소스를 줄일 수 있고 라이브러리 서버(120)의 부하 및 용량을 줄일 수 있다. 또한, 유해 URL 리스트가 역으로 공유되는 것을 막을 수 있다.
일 실시예에서, 로컬 라이브러리(313)는 라이브러리 서버(120)로부터 각각의 유해 카테고리별로 모듈화된 유해성 판단 모델 파일을 제공받아 저장할 수 있다. 여기에서, 로컬 라이브러리(313)는 카테고리별 유해성 판단 모델 파일을 실시간으로 또는 사용자 요청에 따라 업데이트할 수 있다.
컨텐츠 수신부(320)는 라이브러리 서버(120)로부터 사용자가 요청한 컨텐츠를 수신할 수 있다. 이때, 유해성 판단부(310)는 로컬DB(311)에 저장된 유해 URL 리스트를 토대로 사용자가 컨텐츠 요청한 사이트의 URL 검사를 실시할 수 있다. 컨텐츠 수신부(320)는 유해 URL로 등록된 사이트가 아닌 경우에 해당 컨텐츠를 수신할 수 있다.
컨텐츠 표시부(330)는 컨텐츠 수신부(320)에서 컨텐츠를 수신하는 동안과 수신된 컨텐츠의 유해성을 검사하는 동안 사용자가 지루함을 느끼지 않도록 사용자의 흥미 및 재미를 끌 수 있는 글이나 이미지, 광고, 동영상 등의 끊김없는 서비스를 제공할 수 있다. 컨텐츠 표시부(330)는 유해성을 통과한 컨텐츠를 사용자가 구독할 수 있도록 화면에 표시할 수 있다. 이때, 유해성 판단부(310)는 로컬 라이브러리(313)에 저장된 카테고리별 유해성 판단 모델 파일들을 토대로 사용자의 기준에 준하는 컨텐츠 유해성 여부를 판단할 수 있다. 컨텐츠 표시부(330)는 사용자의 유해성 판단 기준을 통과한 컨텐츠에 대해서는 정상적으로 표시하고 사용자의 유해성 판단 기준을 통과하지 못한 컨텐츠에 대해서는 다른 컨텐츠로 변경하여 표시할 수 있다. 예컨대, 금지된 용어를 순화된 용어로 변경하거나, 유해성이 있는 이미지를 흐릿하게 처리하거나 하는 등의 과정을 거쳐 컨텐츠를 표시할 수 있다.
제어부(340)는 사용자 단말(110)에서 인공지능을 활용하여 인터넷에 게재되어 있는 다양한 컨텐츠 중에 사용자 요청한 컨텐츠를 수신하여 유해성을 검사하고 사용자의 요구에 맞는 안전한 컨텐츠를 보여줄 수 있도록 유해성 판단부(310), 컨텐츠 수신부(320) 및 컨텐츠 표시부(330)의 동작을 전반적으로 제어하고 이들 간의 제어 및 데이터 흐름을 관리할 수 있다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기반의 유해 컨텐츠 차단 장치의 라이브러리 서버의 구성을 도시한 블록도이다.
도 4를 참조하면, 라이브러리 서버(120)는 유해성 판단부(410) 및 컨텐츠 제공부(420)를 포함한다.
유해성 판단부(410)는 유해 URL 리스트(411) 및 다수의 유해성 판단 모델 파일(413)을 보유할 수 있고 사용자 단말(110)로부터 컨텐츠를 요청받으면 온라인 상태에서 요청한 컨텐츠의 유해성 여부를 판단할 수 있다. 일 실시예에서, 유해 URL 리스트(411)에는 방송통신심의위원회에서 제공한 유해 사이트 주소 목록이 저장될 수 있다. 다수의 유해성 판단 모델 파일(413)은 카테고리별로 구분되어 구비될 수 있다. 예컨대, 성인, 폭력, 도박, 공포, 개인적으로 싫어하는 동물, 협오감 등의 다양한 카테고리로 구분될 수 있다. 유해성 판단 모델 파일(413)을 카테고리별로 구분하여 모듈화함으로써 사용별, 기업별 모델 구축이 용이할 수 있다. 또한, 다수의 유해성 판단 모델 파일(413)은 각각 따로 다운로드하여 판단을 진행할 수 있기 때문에 다운로드 시간을 줄일 수 있다. 또한, 개인별 설정에 따라 불필요한 카테고리에 대해서는 판단하지 않아도 되므로, 사용자 단말(110)로부터 요청한 컨텐츠의 검사 시간도 줄일 수 있다.
그리고, 라이브러리 서버(120)에는 다수의 유해성 판단 모델 파일(413) 중 선택된 어느 하나의 유해성 판단 모델 파일(413)이 기본 모델로 설정되어 있으며, 기본 모델로 설정된 유해성 판단 모델 파일(413)은 별도의 다운로드 없이 검사를 진행할 수 있다. 또한, 기본 모델로 설정된 유해성 판단 모델 파일(413)은 오프라인 상태 및 온라인 상태에서 모두 검사가 가능하다.
컨텐츠 제공부(420)는 유해성 판단 기준을 통과한 콘텐츠와 유해성 판단 기준을 통과하지 못한 컨텐츠를 모두 사용자에게 제공할 수 있다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 인공지능 기반의 유해 컨텐츠 차단 장치의 구동 과정을 도시한 도면이다.
도 5를 참조하면, 사용자 단말(110)의 컨텐츠 요청에 따른 유해 컨텐츠 검사 과정을 도시한 것이다.
먼저, 사용자는 사용자 단말(110)을 통해 라이브러리 서버(120)에 컨텐츠를 요청할 수 있다(단계 S510). 일 실시예에서, 사용자 단말(110)은 웹브라우저, 앱, IoT 디바이스 등을 통해 원하는 컨텐츠 요청을 할 수 있다. 여기에서, 요청 가능한 컨텐츠는 웹사이트, 이미지, 동영상, 스마트폰 문자 메시지 등 다양하게 포함될 수 있다. 사용자 단말(110)에서 컨텐츠 요청하면, 라이브러리 서버(120)를 통해 유해성 판단 프로그램이 사용자 단말(110)에 다운로드될 수 있다. 또한, 유해 URL 리스트 및 카테고리별 유해성 판단 모델 파일들이 다운로드될 수 있다. 이때, 카테고리 별로 세분화된 다수의 유해성 판단 모델 파일들 중 원하는 카테고리만 다운로드함에 따라 다운로드하는 시간을 절감할 수 있다.
인터넷 기반의 유해 컨텐츠 차단 장치(100)는 사용자가 요청한 컨텐츠에 대해 우선적으로 URL 검사를 실시하여 유해 URL 등록 여부를 판단할 수 있다(단계 S520). 일 실시예에서, 사용자 단말(110)은 유해성 판단부(310)를 통해 로컬DB(311)에 저장된 유해 URL 리스트와 대조하여 오프라인 상태에서 실시간으로 URL 검사를 실시할 수 있다. 여기에서, 로컬DB(311)에는 라이브러리 서버(120)에서 제공되는 공공 유해 URL 리스트와 사용자 개인 성향에 기초하여 등록된 개인 유해 URL 리스트가 함께 저장되어 유해성 판단부(310)는 사용자의 기준에 만족하는 URL 검사를 실시할 수 있다. 물론, 사용자 단말(110)은 라이브러리 서버(120)의 유해성 판단부(410)를 통해 유해 URL 리스트(411)와 대조하여 온라인 상태에서 실시간으로 URL 검사를 실시할 수도 있다. URL 검사 결과, 유해 URL로 등록된 경우에는 사용자 단말(110)에 결과를 표시할 수 있다. 이때, 사용자 설정과 본 유해성 판단 프로그램의 분류(기업용, 무료, OEM 등)에 사용자 단말(110)에 표시 내용을 달리 할 수 있다. 예컨대, 본 유해성 판단 프로그램이 개인용인 경우에는 사용자 요청 컨텐츠를 차단하고 안전 사이트로 이동할 수 있고, 기업용인 경우에는 기업고객이 요구한 내용을 대체 표시할 수 있다.
인터넷 기반의 유해 컨텐츠 차단 장치(100)는 URL 검사 결과 유해 URL로 등록되지 않은 경우에는 해당 컨텐츠를 로딩하고 로딩 중인 컨텐츠 위에 사용자 설정 대체 컨텐츠를 표시하여 사용자가 지루함을 느끼지 않도록 할 수 있다(단계 S530). 일 실시예에서, 사용자 단말(110)은 라이브러리 서버(120)로부터 컨텐츠를 로딩하는 과정에서 사용자 설정 또는 기업에서 요구한 이미지, 애니매이션, 안내글, 광고영상 등을 표시하여 사용자가 지루함을 느끼지 않도록 할 수 있다.
인터넷 기반의 유해 컨텐츠 차단 장치(100)는 컨텐츠 로딩과 동시에 사용자 단말(110)의 화면에 출력하기 전에 실시간으로 유해성 판단 여부를 진행할 수 있다(단계 S540). 일 실시예에서, 사용자 단말(110)은 유해성 판단부(310)를 통해 로컬라이브러리(313)에 저장된 카테고리별 유해성 판단 모델 파일들에 기초하여 오프라인 상태에서 실시간으로 유해성 컨텐츠 검사를 실시할 수 있다. 여기에서, 로컬라이브러리(313)는 카테고리별로 세분화된 유해성 판단 모델 파일들로 구성됨에 따라 개인별 또는 관리자 설정에 의해 카테고리를 선별하여 유해성을 판단할 수 있어 컨텐츠의 검사 시간을 절감할 수 있다. 물론, 사용자 단말(110)은 라이브러리 서버(120)의 유해성 판단부(410)를 통해 유해성 판단 모델(413)에 기초하여 온라인 상태에서 실시간으로 유해성 컨텐츠 검사를 실시할 수도 있다.
인터넷 기반의 유해 컨텐츠 차단 장치(100)는 컨텐츠 분석 오류 방지를 위한 다면 검증 프로세스를 실시할 수 있다(단계 S550). 여기에서, 다면 검증 프로세스는 인공지능을 활용한 이미지 인식 방법에서 오류를 막고자 문자열 검사, 성인 음란물 검사, 사용자 설정 유해물 검사 등의 다방면 검사를 실시할 수 있다.
인터넷 기반의 유해 컨텐츠 차단 장치(100)는 안전 컨텐츠로 판단된 경우에는 사용자 단말(110)의 화면에 정상적으로 컨텐츠를 표시할 수 있고, 유해 컨텐츠로 판단된 경우에는 로컬DB(311)에 유해 URL 등록한 후 사용자 단말(110)의 화면에 기준에 어긋나는 부분이 순화된 내용으로 교체되어 출력되거나 스크리닝 또는 전면 차단될 수 있다(단계 S560).
도 6을 참조하면, 다면 검증 프로세스 과정을 나타내는 예시도이다.
인공지능 기반의 유해 컨텐츠 차단 장치(100)에서는 인공지능을 기반으로 하여 컨텐츠에 포함되는 이미지를 인지 혹은 인식할 때 오류를 방지하기 위해 다면 검사를 실시할 수 있다. 예컨대, 케챱이 뿌려진 상황을 피로 오인하는 상황 등이 발생할 수 있다. 이를 위해, 태그(tag) 검사 및 키워드 등의 문자열 검사를 실시할 수 있다(단계 S610). 태그 및 키워드 검사에서 유해성 발견을 통해 인공지능 기반의 이미지 검사의 오류를 줄일 수 있다.
태그 및 키워드 검사에서 유해성이 발견되지 않으면 성인/음란물 검사를 실시할 수 있다(단계 S620). 여기에서, 성인/음란물 검사는 기본으로 실시할 수 있으며, 성인/음란물의 경우 권한 관리자만 표시 여부를 설정할 수 있다.
성인/음란물 검사에서 유해성이 발견되지 않으면 사용자 요청에 따른 검사를 실시할 수 있다(단계 S630). 예컨대, 사용자가 혐오, 공포, 도박 등의 개인 성향에 따라 유해물을 선택할 수 있고, 이때 선택한 유해물에 대해 기준값을 가변 설정할 수 있다. 여기에서, 사용자가 선택한 유해물과 설정 기준값에 맞추어 검사를 실시할 수 있다. 예를 들면, 사용자가 혐오도 90% 이상이면 확연히 혐오를 느낄 수 있고, 70% 이상이면 혐오를 느낄 수도 있다고 설정할 수 있고, 사용자가 선택한 유해물과 설정 기준값을 만족하는 경우에 유해물로 판단할 수 있다.
다면 검증 프로세스를 통해 유해성이 발견되지 않은 경우에는 사용자 단말(110)에 사용자가 요청한 컨텐츠를 정상적으로 표시할 수 있다(단계 S640).
다면 검증 프로세스 과정에서 유해성이 발견된 경우에는 로컬DB(311)의 개인 유해 URL 리스트에 등록하고 사용자가 요청한 컨텐츠를 전면 차단하거나 순화된 내용으로 대체하여 표시할 수 있다(단계 S650).
상술한 바와 같이, 사용자 단말을 통해 오프라인 상태에서 실시간으로 유해성 컨텐츠를 검사 및 차단할 수 있으며, 검사 과정에서 다른 컨텐츠를 제공하여 사용자가 지루함을 느끼지 않게 하는 효과가 있다.
유해 URL 리스트를 로컬DB로 구성하여 유해 URL 리스트의 네트워크 전송을 통해 네트워크 리소스를 줄이고 라이브러리 서버의 부하 및 용량을 줄일 수 있으며, 유해 URL 리스트가 역으로 공유되는 것을 막을 수 있는 장점이 있다.
유해성 판단 기준을 다양한 카테고리로 분류하여 적용하여 개인 성향에 따른 기준 적용이 가능하며, 분류된 카테고리를 개별적으로 사용하거나 통합하여 사용할 수 있어 유해성 판단 모델 파일의 다운로드 소요시간을 줄이고 검사 속도를 향상시킬 수 있다.
다면 검증 프로세스를 통해 컨텐츠 분석 오류를 방지하여 사용자의 요구에 맞는 안전한 컨텐츠를 보여줄 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
[부호의 설명]
100: 인공지능 기반의 유해 컨텐츠 차단 장치
110: 사용자 단말
120,220: 라이브러리 서버
125,310,410: 유해성 판단부
210: 컨텐츠 230: 스마트 프로텍터
240: 단말기
311: 로컬DB 313: 로컬 라이브러리
320: 컨텐츠 수신부 330: 컨텐츠 표시부
340: 제어부
411: 유해 URL 리스트 413: 유해성 판단 모델 파일
420: 컨텐츠 제공부

Claims (8)

  1. 유해 URL 리스트 및 다수의 유해성 판단 모델 파일을 구비한 유해성 판단부를 포함하는 라이브러리 서버; 및
    상기 라이브러리 서버의 상기 유해성 판단부로부터 유해 URL 리스트 및 하나 이상의 유해성 판단 모델 파일을 다운로드 받아 컨텐츠 요청 및 실행하는 사용자 단말을 포함하되,
    상기 사용자 단말은 상기 라이브러리 서버로부터 다운로드 받은 상기 유해 URL 리스트에 기초하여 상기 컨텐츠의 유해 URL 등록을 검사하고 유해 URL로 등록되지 않은 경우에 상기 라이브러리 서버로부터 다운로드 받은 상기 유해성 판단 모델 파일에 기초하여 상기 컨텐츠의 유해성 여부를 판단하는 것을 특징으로 하는 인공지능 기반의 유해 컨텐츠 차단 장치.
  2. 제1항에 있어서, 상기 사용자 단말은
    사용자가 요청하는 컨텐츠를 수신하는 컨텐츠 수신부;
    상기 유해 URL 리스트를 저장하는 로컬 DB와 상기 유해성 판단 모델 파일들을 저장하는 로컬 라이브러리를 포함하고 상기 컨텐츠 수신부에서 수신한 컨텐츠의 유해성 여부를 판단하는 유해성 판단부; 및
    상기 컨텐츠 수신부에 수신된 컨텐츠 중 유해성 판단 기준을 만족하는 컨텐츠를 표시하는 컨텐츠 표시부를 포함하는 것을 특징으로 하는 인공지능 기반의 유해 컨텐츠 차단 장치.
  3. 제2항에 있어서, 상기 유해성 판단부는
    상기 라이브러리 서버에서 제공되는 유해 URL 리스트에 사용자 기준이 포함된 유해 컨텐츠의 URL을 저장하여 개인화된 유해 URL 리스트로 로컬DB를 구성하는 것을 특징으로 하는 인공지능 기반의 유해 컨텐츠 차단 장치.
  4. 제3항에 있어서, 상기 유해성 판단부는
    사용자가 요청한 컨텐츠의 URL을 상기 로컬DB에 저장된 유해 URL 리스트와 대조하여 유해 URL 등록 여부를 검사하고, 유해 URL로 등록된 경우에는 상기 컨텐츠 표시부를 통해 URL 검사 결과를 표시하고 상기 컨텐츠를 차단하거나 사용자가 요구한 컨텐츠가 대체 표시되도록 하는 것을 특징으로 하는 인공지능 기반의 유해 컨텐츠 차단 장치.
  5. 제4항에 있어서, 상기 유해성 판단부는
    상기 유해 URL로 등록되지 않은 경우에 상기 로컬라이브러리에 저장된 유해성 판단 모델을 이용하여 상기 컨텐츠의 유해성 여부를 검사하고 다면 검증을 통해 오류를 방지하는 것을 특징으로 하는 인공지능 기반의 유해 컨텐츠 차단 장치.
  6. 제5항에 있어서, 상기 로컬라이브러리는
    상기 라이브러리 서버로부터 실시간 업데이트되거나 사용자 요청에 따라 상기 라이브러리 서버로부터 제공되는 카테고리 별로 세분화된 다수의 유해성 판단 모델 파일들로 구성되고, 상기 다수의 유해성 판단 모델 파일 중 사용자에 의해 선택된 어느 하나의 유해성 판단 모델 파일이 기본 모델로 설정되는 것을 특징으로 하는 인공지능 기반의 유해 컨텐츠 차단 장치.
  7. 제5항에 있어서, 상기 유해성 판단부는
    성인 및 음란물 카테고리의 유해성 판단을 기본으로 검사하고 태그 및 문자열 검사, 사용자가 선택한 카테고리 및 설정값에 따른 검사를 추가하여 유해성 판단을 검증하는 것을 특징으로 하는 인공지능 기반의 유해 컨텐츠 차단 장치.
  8. 제5항에 있어서,
    상기 유해 URL로 등록되지 않은 경우 상기 컨텐츠 수신부에서 상기 컨텐츠를 로딩하고 상기 컨텐츠의 로딩 중에 상기 컨텐츠 출력부에서 이미지나 광고영상을 표시하고,
    상기 유해성 컨텐츠로 판단된 경우에 상기 유해성 판단부에서 상기 컨텐츠의 URL를 상기 로컬DB에 유해 URL로 등록하고 상기 컨텐츠 출력부에서 사용자 설정에 따라 유해성 컨텐츠의 글, 이미지 또는 동영상 등을 다른 글, 이미지 또는 동영상으로 순화하여 표시하는 것을 특징으로 하는 인공지능 기반의 유해 컨텐츠 차단 장치.
PCT/KR2020/014382 2019-10-31 2020-10-21 인공지능 기반의 유해 컨텐츠 차단 장치 WO2021085921A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022525728A JP2023500879A (ja) 2019-10-31 2020-10-21 人工知能に基づく有害コンテンツ遮断装置
EP20882678.4A EP4053781A4 (en) 2019-10-31 2020-10-21 EXPLICIT CONTENT BLOCKING DEVICE BASED ON ARTIFICIAL INTELLIGENCE
US17/772,177 US20220398314A1 (en) 2019-10-31 2020-10-21 Artificial intelligence-based explicit content blocking device
CN202080070574.XA CN114514518A (zh) 2019-10-31 2020-10-21 基于人工智能的有害内容阻断装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0137364 2019-10-31
KR1020190137364A KR102259730B1 (ko) 2019-10-31 2019-10-31 인공지능 기반의 유해 컨텐츠 차단 장치

Publications (1)

Publication Number Publication Date
WO2021085921A1 true WO2021085921A1 (ko) 2021-05-06

Family

ID=75714647

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/014382 WO2021085921A1 (ko) 2019-10-31 2020-10-21 인공지능 기반의 유해 컨텐츠 차단 장치

Country Status (6)

Country Link
US (1) US20220398314A1 (ko)
EP (1) EP4053781A4 (ko)
JP (1) JP2023500879A (ko)
KR (1) KR102259730B1 (ko)
CN (1) CN114514518A (ko)
WO (1) WO2021085921A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572737B1 (ko) * 2021-06-15 2023-08-30 주식회사 테크노블러드코리아 동영상 공유 사이트 접속 차단 시스템
KR102461482B1 (ko) 2021-07-27 2022-11-03 김민석 인공지능 에이전트 기반의 유해 컨텐츠 차단 서비스 플랫폼장치
KR102536659B1 (ko) * 2021-09-06 2023-05-26 (주)피플인넷 클라이언트 기반의 유해 사이트 차단 방법
KR102465368B1 (ko) 2021-11-16 2022-11-11 김민석 이미지 처리 장치 및 방법
KR102503204B1 (ko) * 2021-11-25 2023-02-24 김민석 인공지능 자연어 처리를 이용한 사이트 차단 방법 및 이를 이용하여 사이트 차단을 수행하는 단말기
KR20230135815A (ko) 2022-03-17 2023-09-26 고태건 인공지능을 이용한 유해 컨텐츠 필터링 시스템 및 방법
KR102618061B1 (ko) * 2023-03-21 2023-12-27 (주)노웨어소프트 인공지능 기반 감정 분석을 활용하여 유해 컨텐츠를 필터링하는 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080052097A (ko) * 2006-12-07 2008-06-11 한국전자통신연구원 웹 구조정보를 이용한 유해 사이트 차단 방법 및 장치
KR20090053426A (ko) * 2007-11-23 2009-05-27 주식회사 가자아이 유해 사이트 차단 제어방법 및 그 시스템
KR101027617B1 (ko) 2009-05-20 2011-04-11 주식회사 엔에스에이치씨 유해물 차단 서비스 시스템 및 방법
KR20130024627A (ko) * 2011-08-31 2013-03-08 (주)옴니텔 애플리케이션 로딩 시간을 이용한 광고 실행 방법
KR20140025113A (ko) 2012-08-21 2014-03-04 한국전자통신연구원 유해 컨텐츠 고속 판단 장치 및 방법
KR20150101689A (ko) * 2014-02-27 2015-09-04 (주)소만사 모바일 단말을 위한 유해 콘텐츠 차단 방법 및 유해 콘텐츠 정보 배포 시스템
KR20160063234A (ko) * 2014-11-26 2016-06-03 한국전자통신연구원 스트리밍 uri를 이용한 컨텐츠의 유해성 판정 방법 및 이를 이용한 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010044818A1 (en) * 2000-02-21 2001-11-22 Yufeng Liang System and method for identifying and blocking pornogarphic and other web content on the internet
WO2006036170A1 (en) * 2004-09-15 2006-04-06 Pcsafe, Inc. Methods and systems for filtering urls, webpages, and content
US11301560B2 (en) * 2018-02-09 2022-04-12 Bolster, Inc Real-time detection and blocking of counterfeit websites

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080052097A (ko) * 2006-12-07 2008-06-11 한국전자통신연구원 웹 구조정보를 이용한 유해 사이트 차단 방법 및 장치
KR20090053426A (ko) * 2007-11-23 2009-05-27 주식회사 가자아이 유해 사이트 차단 제어방법 및 그 시스템
KR101027617B1 (ko) 2009-05-20 2011-04-11 주식회사 엔에스에이치씨 유해물 차단 서비스 시스템 및 방법
KR20130024627A (ko) * 2011-08-31 2013-03-08 (주)옴니텔 애플리케이션 로딩 시간을 이용한 광고 실행 방법
KR20140025113A (ko) 2012-08-21 2014-03-04 한국전자통신연구원 유해 컨텐츠 고속 판단 장치 및 방법
KR20150101689A (ko) * 2014-02-27 2015-09-04 (주)소만사 모바일 단말을 위한 유해 콘텐츠 차단 방법 및 유해 콘텐츠 정보 배포 시스템
KR20160063234A (ko) * 2014-11-26 2016-06-03 한국전자통신연구원 스트리밍 uri를 이용한 컨텐츠의 유해성 판정 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
EP4053781A1 (en) 2022-09-07
CN114514518A (zh) 2022-05-17
JP2023500879A (ja) 2023-01-11
KR102259730B1 (ko) 2021-06-02
EP4053781A4 (en) 2022-12-14
KR20210051725A (ko) 2021-05-10
US20220398314A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
WO2021085921A1 (ko) 인공지능 기반의 유해 컨텐츠 차단 장치
US7747680B2 (en) Community-based web filtering
US7730165B2 (en) System, method, and computer program product for remotely determining the configuration of a multi-media content user
WO2021085718A1 (ko) 유해 콘텐츠 게시 방지 및 차단 장치
WO2016208916A1 (en) Method and system for context based tab management
WO2011102605A2 (ko) 웹 서비스의 실시간 취약성 진단 및 결과정보 제공 서비스 시스템
WO2012047064A2 (ko) Ｄｒｍ 서비스 제공 방법 및 장치
JPH10254806A (ja) 装置埋め込みウェブ・アクセス機構
KR102550923B1 (ko) 유해 사이트 차단 시스템 및 그 방법
WO2021256755A1 (ko) 메타데이터를 이용한 유해 컨텐츠 관리 장치 및 방법
WO2014175520A1 (en) Display apparatus for providing recommendation information and method thereof
CN109451333A (zh) 一种弹幕显示方法、装置、终端及系统
WO2017003015A1 (ko) 인터넷 광고 제공장치 및 방법
WO2008075883A1 (en) Advertisement method by the proxy server and advertisement system operating the advertisement method
EP2353134A2 (en) Apparatus and method for providing and receiving mobile advertising service in a mobile advertising system
WO2010090357A1 (ko) 웹사이트 주소 검증 시스템 및 주소 검증 방법
CN111245770A (zh) 用户账户管理的方法、设备和计算机存储介质
WO2018034509A1 (ko) 웹 브라우저에서 구현되는 웹사이트 제작 방법 및 시스템
EP2245549A2 (en) System and method for profiling remote user interface
WO2018008861A1 (ko) 사용자 서버를 이용한 html 제어 시스템 및 방법
WO2019245065A1 (ko) 컨텐츠 인터페이스의 제공 방법
CN110445670B (zh) 一种服务器加速服务效果的测试方法及系统
KR20230035757A (ko) 클라이언트 기반의 유해 사이트 차단 방법
KR20160063234A (ko) 스트리밍 uri를 이용한 컨텐츠의 유해성 판정 방법 및 이를 이용한 장치
WO2022164235A1 (ko) 영상 컨텐츠 실시간 유해성 검사 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20882678

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022525728

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020882678

Country of ref document: EP

Effective date: 20220531