KR102104397B1 - Method, computing device and program for executing harmful object control - Google Patents

Method, computing device and program for executing harmful object control Download PDF

Info

Publication number
KR102104397B1
KR102104397B1 KR1020170165743A KR20170165743A KR102104397B1 KR 102104397 B1 KR102104397 B1 KR 102104397B1 KR 1020170165743 A KR1020170165743 A KR 1020170165743A KR 20170165743 A KR20170165743 A KR 20170165743A KR 102104397 B1 KR102104397 B1 KR 102104397B1
Authority
KR
South Korea
Prior art keywords
image
harmful
electronic device
server
feature information
Prior art date
Application number
KR1020170165743A
Other languages
Korean (ko)
Other versions
KR20190066218A (en
Inventor
이원
Original Assignee
이원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이원 filed Critical 이원
Priority to KR1020170165743A priority Critical patent/KR102104397B1/en
Publication of KR20190066218A publication Critical patent/KR20190066218A/en
Application granted granted Critical
Publication of KR102104397B1 publication Critical patent/KR102104397B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/306—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information intercepting packet switched data communications, e.g. Web, Internet or IMS communications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/308—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information retaining data, e.g. retaining successful, unsuccessful communication attempts, internet access, or e-mail, internet telephony, intercept related information or call content

Abstract

전자 장치에 설치된 어플리케이션이 유해물을 관리하는 방법에 대한 것으로, 상기 전자 장치에 표시되는 제1 이미지를 정기 또는 비정기적으로 캡처하는 단계, 상기 제1 이미지에 포함된 개인정보 또는 사람의 얼굴로 인식되는 특징 정보를 추출하고, 상기 특징 정보가 포함된 일 영역을 모자이크 또는 블러 처리하여 제2 이미지를 생성하는 단계, 상기 제2 이미지를 정기 또는 비정기적으로 서버에 전송하는 단계, 상기 서버로부터 상기 제2 이미지의 색상 패턴, 객체 특징 정보, 텍스트 및 이미지 해시에 따른 유해물 분석 결과를 수신하는 단계, 상기 분석 결과에 따라 상기 전자 장치의 이용을 제한하고, 상기 제1 이미지에 대응하는 URL 주소를 유해 사이트 데이터베이스에 추가하는 단계를 포함하고, 상기 개인정보는 이름, 휴대폰 번호 또는 팝업 알림 중 적어도 하나를 포함하는 것을 특징으로 한다.An application installed on an electronic device is a method for managing harmful substances, wherein capturing the first image displayed on the electronic device periodically or irregularly, is recognized as personal information or a human face included in the first image Extracting feature information, generating a second image by mosaic or blur processing a region containing the feature information, transmitting the second image to the server periodically or irregularly, and from the server to the second Receiving a harmful substance analysis result according to the color pattern of the image, object feature information, text and image hash, limiting the use of the electronic device according to the analysis result, and assigning the URL address corresponding to the first image to the harmful site database It includes the step of adding to, the personal information of the name, mobile phone number or pop-up notification Characterized in that it comprises at least one.

Figure 112017121123529-pat00001
Figure 112017121123529-pat00001

Description

유해물 관리 방법, 이를 실행하는 컴퓨팅 장치 및 컴퓨터 프로그램{METHOD, COMPUTING DEVICE AND PROGRAM FOR EXECUTING HARMFUL OBJECT CONTROL}Method for managing harmful substances, computing device and computer program for executing the same {METHOD, COMPUTING DEVICE AND PROGRAM FOR EXECUTING HARMFUL OBJECT CONTROL}

본 발명은 유해물 관리 방법 및 이를 실행하는 컴퓨팅 장치 및 컴퓨터 프로그램에 관한 것으로, 보다 구체적으로 전자 장치에 유해한 사진 또는 텍스트와 같은 유해물이 존재하면 전자 장치의 작동을 제한하는 유해물 관리 방법 및 이를 실행하는 컴퓨팅 장치 및 컴퓨터 프로그램에 관한 것이다.The present invention relates to a pest management method and a computing device and a computer program for executing the same, and more specifically, a pest management method for limiting the operation of the electronic device and computing that executes the harmful device, such as photos or text, harmful to the electronic device It relates to a device and a computer program.

최근, 무선 모바일 네트워크와 모바일 디바이스의 수요가 급속하게 증가함에 따라, 미성년자에게도 모바일 디바이스가 필수품으로 자리 잡고 있다. 모바일 디바이스는 시간과 장소를 불문하고 인터넷에 접속할 수 있기 때문에 사용자는 언제든지 필요한 정보를 얻을 수 있다는 장점이 있다. 그러나 인터넷을 통해 필요한 정보를 얻을 수 있다는 것은 사용자가 유해한 정보 또한 얻을 수 있다는 것을 의미한다. 인터넷을 통해 무분별하게 제공되는 유해한 컨텐츠를 미성년자가 손쉽게 접할 수 있다는 것은 큰 사회적인 문제로 주목받고 있다.Recently, as the demand for wireless mobile networks and mobile devices has rapidly increased, mobile devices have become a necessity for minors. Since the mobile device can access the Internet regardless of time and place, the user has the advantage of obtaining the necessary information at any time. However, being able to obtain the necessary information through the Internet means that the user can also obtain harmful information. It is attracting attention as a big social problem that minors can easily access harmful contents provided indiscriminately through the Internet.

따라서 이와 같은 문제를 해결하기 위한 종래의 기술에는 대한민국 등록특허공보 제10-0517645호의 '해쉬값을 이용한 유해물 차단방법'이 있다. 해당 기술은 컴퓨터에서 전송, 편집, 재생 등을 하고자 하는 파일에 대하여 해쉬값을 추출하여 기 구축된 데이터베이스와 비교하여 파일이 유해물일 경우 파일의 전송 또는 실행을 중지하거나 파일을 삭제하여 유해물을 차단하는 기술적 특징을 갖고 있다. 그러나 이는 해쉬값을 추출하여 유해물을 판단하기 때문에 유해물에 인위적인 조작이 가해졌을 때 해쉬값이 달라질 수 있다는 해쉬값의 특성에 따라 유해물 판단에 있어서 그 정확도가 낮다는 문제가 있다.Therefore, a conventional technique for solving such a problem is a method of blocking harmful substances using a hash value in Korean Patent Registration No. 10-0517645. This technology extracts a hash value for a file to be transferred, edited, or played on a computer and compares it with a pre-built database to stop the transmission or execution of the file if it is harmful, or to delete the file to block the harmful substance. It has technical characteristics. However, since it is determined by extracting the hash value, there is a problem that the accuracy of the determination of the pest is low according to the characteristic of the hash value that the hash value may vary when artificial manipulation is applied to the pest.

대한민국 등록특허공보 제10-0517645호(2005년 09월 21일)Republic of Korea Registered Patent Publication No. 10-0517645 (September 21, 2005)

본 발명은 전술한 문제를 해결하기 위한 것으로, 사용자가 전자 장치를 이용하여 유해한 컨텐츠를 이용할 수 없도록 하는 것을 일 목적으로 한다.The present invention is to solve the above-described problems, and an object thereof is to prevent a user from using harmful content using an electronic device.

또한 본 발명은 사용자가 유해한 동영상 또는 이미지에 노출되면 전자 장치의 이용을 제한하는 것을 일 목적으로 한다.In addition, an object of the present invention is to limit the use of an electronic device when a user is exposed to a harmful video or image.

또한 본 발명은 사용자의 입력 정보에 유해 단어가 포함될 경우 전자 장치의 이용을 제한하는 것을 일 목적으로 한다.In addition, an object of the present invention is to limit the use of an electronic device when harmful words are included in user input information.

또한 본 발명은 전자 장치의 화면을 캡처할 경우 사용자의 개인 정보를 제거하여 사용자의 사생활을 보호하는 것을 일 목적으로 한다.In addition, an object of the present invention is to protect the privacy of the user by removing the user's personal information when capturing the screen of the electronic device.

이러한 목적을 달성하기 위한 본 발명은 전자 장치에 설치된 어플리케이션이 유해물을 관리하는 방법에 있어서, 상기 전자 장치에 표시되는 제1 이미지를 정기 또는 비정기적으로 캡처하는 단계, 상기 제1 이미지에 포함된 개인정보 또는 사람의 얼굴로 인식되는 특징 정보를 추출하고, 상기 특징 정보가 포함된 일 영역을 모자이크 또는 블러 처리하여 제2 이미지를 생성하는 단계, 상기 제2 이미지를 정기 또는 비정기적으로 서버에 전송하는 단계, 상기 서버로부터 상기 제2 이미지의 색상 패턴, 객체 특징 정보, 텍스트 및 이미지 해시에 따른 유해물 분석 결과를 수신하는 단계, 상기 분석 결과에 따라 상기 전자 장치의 이용을 제한하고, 상기 제1 이미지에 대응하는 URL 주소를 유해 사이트 데이터베이스에 추가하는 단계를 포함하고, 상기 개인정보는 이름, 휴대폰 번호 또는 팝업 알림 중 적어도 하나를 포함하는 것을 일 특징으로 한다.
또한 상기 제2 이미지를 생성하는 단계는 상기 제1 이미지의 크기를 기 설정된 크기로 축소시키는 단계를 포함하는 것을 일 특징으로 한다.
나아가 상기 분석 결과는 상기 서버가 하나 이상의 전자 장치로부터 수집한 하나 이상의 유해 이미지의 색상 패턴, 상기 유해 이미지에 포함된 유해 객체 특징 정보, 상기 유해 이미지에 포함된 텍스트, 상기 유해 이미지의 해시 값 중 적어도 하나를 이용하여 항목 별 기준 값을 생성하고, 상기 제2 이미지의 색상 패턴, 상기 제2 이미지에 포함된 객체 특징 정보, 상기 제2 이미지에 포함된 텍스트 또는 상기 제2 이미지의 해시 값 중 적어도 하나를 상기 기준 값과 비교하여 도출한 결과인 것을 일 특징으로 한다.
또한 상기 전자 장치의 이용을 제한하는 단계는 상기 전자 장치에 경고창을 제공하는 단계, 사용자의 키 입력을 일정 시간동안 차단하는 단계 또는 상기 제1 이미지를 캡처한 시점에 활성화되어 있던 프로그램을 종료하는 단계 중 적어도 하나를 포함하는 것을 일 특징으로 한다.
나아가 사용자가 유해 사이트의 URL 주소를 상기 서버로 전송하는 단계, 상기 서버는 수신한 URL 주소를 유해 사이트 데이터베이스에 저장하는 단계, 상기 서버는 상기 사용자가 상기 유해 사이트 데이터베이스에 저장된 일 URL 주소에 접속하면, 상기 URL 주소를 차단하는 것을 일 특징으로 한다.
또한 본 발명은 유해물을 관리하는 전자 장치에 있어서, 상기 전자 장치에 표시되는 제1 이미지를 정기 또는 비정기적으로 캡처하는 이미지 캡처부, 상기 제1 이미지의 크기를 기 설정된 크기로 축소시키고, 상기 제1 이미지에서 기 설정된 개인 정보 또는 사람의 얼굴로 인식되는 특징 정보를 추출하고, 상기 특징 정보를 포함하는 일 영역을 모자이크 또는 블러 처리 하여 제2 이미지를 생성하는 전처리부, 상기 제2 이미지를 정기 또는 비정기적으로 서버에 전송하고, 상기 서버로부터 상기 제2 이미지의 색상 패턴, 객체 특징 정보, 텍스트 및 이미지 해시를 분석한 유해물 분석 결과를 수신하는 통신부, 상기 분석 결과에 상기 제2 이미지가 유해하다는 결과가 포함되어 있으면 상기 전자 장치의 이용을 제한하고, 상기 제1 이미지에 대응하는 URL 주소를 유해 사이트 데이터베이스에 추가하는 제어부를 포함하고, 상기 개인정보는 이름, 휴대폰 번호 또는 팝업 알림 중 적어도 하나를 포함하는 것을 일 특징으로 한다.
나아가 본 발명은 유해물을 관리하는 서버에 있어서, 하나 이상의 전자 장치로부터 수집한 하나 이상의 유해 이미지의 색상 패턴, 상기 유해 이미지에 포함된 유해 객체 특징 정보, 상기 유해 이미지에 포함된 텍스트, 또는 상기 유해 이미지의 해시 값 중 적어도 하나를 이용하여 항목 별 기준 값을 생성하는 생성부, 임의의 제1 전자 장치로부터 확인대상 이미지를 포함하는 유해물 확인 요청 신호를 수신하고, 상기 제1 전자 장치에 상기 확인대상 이미지에 대한 분석 결과를 전송하는 통신부, 상기 확인대상 이미지의 색상 패턴, 상기 확인대상 이미지에 포함된 객체 특징 정보, 상기 확인대상 이미지에 포함된 텍스트, 또는 상기 확인대상 이미지의 해시 값 중 적어도 하나를 상기 기준 값과 비교하여 상기 분석 결과를 생성하고, 상기 분석 결과에 따라 상기 확인대상 이미지에 대응하는 URL 주소를 유해 사이트 데이터베이스에 추가하는 분석부를 포함하며, 상기 확인대상 이미지는 상기 제1 전자 장치가 상기 제1 전자 장치의 화면을 정기 또는 비정기적으로 캡처하여 생성된 것을 일 특징으로 한다.The present invention for achieving such an object is a method of managing an harmful substance by an application installed in an electronic device, capturing a first image displayed on the electronic device regularly or irregularly, and an individual included in the first image Extracting information or feature information recognized as a human face, and mosaic or blur a region containing the feature information to generate a second image, and transmitting the second image to the server regularly or irregularly Step, receiving from the server the results of the analysis of pests according to the color pattern, object feature information, text and image hash of the second image, limiting the use of the electronic device according to the analysis result, to the first image And adding the corresponding URL address to the harmful site database, wherein the personal information is Name, and that at least one of the phone numbers or pop-up alerts to be characterized.
In addition, the step of generating the second image may include reducing the size of the first image to a predetermined size.
Furthermore, the analysis result may include at least one of a color pattern of one or more harmful images collected by the server from one or more electronic devices, characteristic information of harmful objects included in the harmful images, text included in the harmful images, and hash values of the harmful images. A reference value for each item is generated using one, and at least one of a color pattern of the second image, object feature information included in the second image, text included in the second image, or hash value of the second image It is characterized in that it is a result derived by comparing with the reference value.
In addition, the step of limiting the use of the electronic device may include providing a warning window to the electronic device, blocking a user's key input for a predetermined period of time, or ending a program that was activated at the time the first image was captured. It characterized in that it comprises at least one of.
Further, the user transmits the URL address of the harmful site to the server, the server stores the received URL address in the harmful site database, and the server accesses the URL address of the user stored in the harmful site database , Blocking the URL address.
In addition, the present invention, in an electronic device for managing harmful substances, the image capturing unit for capturing the first image displayed on the electronic device regularly or irregularly, reduces the size of the first image to a predetermined size, and the A pre-processing unit that extracts preset personal information or feature information recognized as a human face from an image, and mosaics or blurs an area including the feature information to generate a second image. A communication unit that transmits to the server irregularly and receives a result of analyzing the harmful substances analyzing the color pattern, object feature information, text, and image hash of the second image from the server, and the result that the second image is harmful to the analysis result If is included, the use of the electronic device is restricted, and a URL address corresponding to the first image is maintained. It includes a control unit to add to the site database, the personal information is characterized in that it includes at least one of a name, a mobile phone number or a pop-up notification.
Further, the present invention is a server for managing a harmful substance, the color pattern of one or more harmful images collected from one or more electronic devices, the characteristic information of the harmful objects included in the harmful image, the text included in the harmful image, or the harmful image Generation unit for generating a reference value for each item by using at least one of the hash value of, receiving a request signal for checking the harmful substances including the image to be checked from any first electronic device, the image to be checked to the first electronic device The communication unit for transmitting an analysis result for, the color pattern of the image to be checked, the object feature information included in the image to be checked, the text included in the image to be checked, or at least one of a hash value of the image to be checked is the Compare the reference value to generate the analysis result, according to the analysis result And an analysis unit that adds a URL address corresponding to the target image to the harmful site database, wherein the target image is generated by capturing the screen of the first electronic device periodically or irregularly. It is characterized by work.

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

전술한 바와 같은 본 발명에 의하면, 전자 장치를 이용하여 유해한 컨텐츠를 이용할 수 없도록 할 수 있다.According to the present invention as described above, it is possible to prevent the use of harmful content using an electronic device.

또한 본 발명은 사용자가 유해한 동영상 또는 이미지에 노출되면 전자 장치의 이용을 제한할 수 있다.In addition, the present invention can limit the use of the electronic device when the user is exposed to harmful videos or images.

또한 본 발명은 사용자의 입력 정보에 유해 단어가 포함될 경우 전자 장치의 이용을 제한할 수 있다.In addition, the present invention may limit the use of the electronic device when harmful words are included in the user's input information.

또한 본 발명은 전자 장치의 화면을 캡처할 경우 사용자의 개인 정보를 제거하여 사용자의 사생활을 보호할 수 있다.In addition, the present invention can protect the privacy of the user by removing the user's personal information when capturing the screen of the electronic device.

도1은 본 발명의 일 실시 예에 의한 유해물 관리 시스템이 작동하는 환경을 도시한 도면이다.
도2는 본 발명의 일 실시 예에 의한 어플리케이션이 수행하는 유해물 관리 시스템의 구성을 도시한 도면이다.
도3은 본 발명의 일 실시 예에 의한 서버가 수행하는 유해물 관리 시스템의 구성을 도시한 도면이다.
도4는 본 발명의 일 실시 예에 의한 유해물 관리 방법을 설명하기 위한 도면이다.
도5는 본 발명의 일 실시 예에 의한 이미지 전처리 방법을 설명하기 위한 도면이다.
도6은 본 발명의 일 실시 예에 의한 서버의 이미지 분석 방법을 설명하기 위한 도면이다.1 is a view showing an environment in which a hazardous substance management system according to an embodiment of the present invention operates.
2 is a view showing the configuration of a pest management system performed by an application according to an embodiment of the present invention.
3 is a view showing the configuration of a pest management system performed by a server according to an embodiment of the present invention.
4 is a view for explaining a pest management method according to an embodiment of the present invention.
5 is a view for explaining an image pre-processing method according to an embodiment of the present invention.
6 is a view for explaining a method for analyzing an image of a server according to an embodiment of the present invention.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. The above-described objects, features, and advantages will be described in detail below with reference to the accompanying drawings, and accordingly, a person skilled in the art to which the present invention pertains can easily implement the technical spirit of the present invention. In describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted.

도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다. The same reference numbers in the drawings are used to indicate the same or similar elements, and all combinations described in the specification and claims can be combined in any way. And it should be understood that unless otherwise specified, a reference to a singular may include one or more, and a reference to a singular expression may also include a plural expression.

본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.The terminology used herein is for the purpose of describing only specific exemplary embodiments and is not intended to be limiting. Singular expressions as used herein may also be intended to include plural meanings unless expressly indicated otherwise in the sentence. The term “and / or,” “and / or” includes all combinations and any of the items listed therewith. The terms “comprises”, “comprising”, “comprising”, “having”, “having”, “having”, etc. have an inclusive meaning, whereby these terms have the described features, integers, It specifies steps, actions, elements, and / or components, and does not exclude the presence or addition of one or more other features, integers, steps, actions, elements, components, and / or groups thereof. The steps, processes, and operations of the method described herein should not be construed as having to perform their performance in such a specific order as discussed or illustrated, unless specifically the order of performance is determined. . It should also be understood that additional or alternative steps may be used.

또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다. In addition, each component may be implemented as a hardware processor, and the above components may be integrated and implemented as a single hardware processor, or the above components may be combined and implemented as a plurality of hardware processors.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도1은 본 발명의 일 실시 예에 의한 유해물 관리 시스템이 작동하는 환경을 도시한 도면이다. 도1을 참조하면, 유해물 관리 시스템은 유무선 네트워크 망으로 연결된 어플리케이션(100)과 서버(200)를 통해 작동될 수 있다.1 is a view showing an environment in which a hazardous substance management system according to an embodiment of the present invention operates. Referring to FIG. 1, the pest management system may be operated through an application 100 and a server 200 connected through a wired or wireless network.

도2 내지 도3은 유해물 관리 시스템이 동작하는 어플리케이션(100)과 서버(200)를 도시한 도면으로, 일 실시 예에 의한 유해물 관리 시스템의 구성을 설명한다.2 to 3 are views showing an application 100 and a server 200 in which the hazardous substance management system operates, and the configuration of the hazardous substance management system according to an embodiment is described.

도2는 본 발명의 일 실시 예에 의한 어플리케이션이 수행하는 유해물 관리 시스템의 구성을 도시한 도면이다. 도2를 참조하면, 어플리케이션(100)은 사용자의 스마트 폰 또는 태블릿 PC를 포함하는 전자 장치에 설치될 수 있다. 전자 장치에 설치된 어플리케이션(100)은 전자 장치의 백그라운드에서 항상 구동될 수 있다. 보다 구체적으로 어플리케이션(100)은 이미지 캡처부(110), 전처리부(130), 통신부(150), 그리고 제어부(170)를 포함할 수 있다.2 is a view showing the configuration of a pest management system performed by an application according to an embodiment of the present invention. Referring to FIG. 2, the application 100 may be installed in an electronic device including a user's smart phone or tablet PC. The application 100 installed in the electronic device may always be driven in the background of the electronic device. More specifically, the application 100 may include an image capture unit 110, a pre-processing unit 130, a communication unit 150, and a control unit 170.

이미지 캡처부(110)는 전자 장치에 표시되는 제1 이미지를 정기 또는 비정기적으로 캡처할 수 있다. 전자 장치에 표시되는 제1 이미지는 화면 전체일 수도 있고 실행 중인 어플리케이션의 화면일 수도 있다. The image capture unit 110 may periodically or irregularly capture the first image displayed on the electronic device. The first image displayed on the electronic device may be the entire screen or the screen of a running application.

전처리부(130)는 캡처된 제1 이미지를 전처리하여 제2 이미지를 생성할 수 있다. 보다 구체적으로 전처리부(130)는 제1 이미지의 크기를 기 설정된 크기로 축소시킬 수 있다. 이는 서버(200)가 제2 이미지를 분석하는 데 있어서 수행 속도를 낮추는 효과를 가질 수 있게 한다. 서버가 제1 이미지의 크기를 축소하지 않아도 제1 이미지를 효율적으로 처리할 수 있다면 제1 이미지의 크기를 축소하지 않을 수도 있다. The pre-processing unit 130 may pre-process the captured first image to generate a second image. More specifically, the pre-processing unit 130 may reduce the size of the first image to a predetermined size. This allows the server 200 to have an effect of lowering the execution speed in analyzing the second image. If the server can efficiently process the first image without reducing the size of the first image, the size of the first image may not be reduced.

또한 전처리부(130)는 제1 이미지에서 기 설정된 개인 정보 또는 사람의 얼굴로 인식되는 특징 정보를 추출하고, 특징 정보를 포함하는 일 영역을 모자이크 또는 블러 처리할 수 있다. 제1 이미지에 포함되는 개인 정보는 이름, 휴대폰 번호, 문자 내역 등을 포함할 수 있다. 예를 들어 이미지 캡처부(110)가 일 전자 장치의 화면을 캡처한 순간에 문자 메시지가 수신되었을 경우 문자 메시지에 대한 화면의 일 영역에 표시된 푸시 알림 또한 캡처될 수 있다. 이 때, 전처리부(130)는 문자 메시지에 대한 푸시 알림을 특징 정보로 추출할 수 있다. 전처리부(130)는 특징 정보를 포함하는 일 영역인 푸시 알림 영역을 모자이크 또는 블러 처리할 수 있다. Also, the pre-processing unit 130 may extract preset personal information or feature information recognized as a human face from the first image, and mosaic or blur a region including the feature information. The personal information included in the first image may include a name, mobile phone number, text history, and the like. For example, when a text message is received at the moment when the image capture unit 110 captures a screen of an electronic device, a push notification displayed on an area of the screen for the text message may also be captured. At this time, the pre-processing unit 130 may extract the push notification for the text message as feature information. The pre-processing unit 130 may mosaic or blur a push notification area, which is an area including feature information.

즉, 전처리부(130)는 이미지 캡처부(110)가 캡처한 전자 장치의 화면 이미지인 제1 이미지의 크기를 축소시키고, 제1 이미지에서 추출한 특징 정보를 모자이크 또는 블러 처리하여 제2 이미지를 생성할 수 있다. 예를 들어, 제1 이미지의 일 영역에 표시된 문자 메시지에 대한 푸시 알림에 모자이크 또는 블러 처리를 한 이미지를 제2 이미지로 설정할 수 있다.That is, the pre-processing unit 130 reduces the size of the first image, which is a screen image of the electronic device captured by the image capturing unit 110, and mosaics or blurs feature information extracted from the first image to generate a second image. can do. For example, an image in which mosaic or blur processing is applied to a push notification for a text message displayed in one area of the first image may be set as the second image.

통신부(150)는 제2 이미지를 정기 또는 비정기적으로 서버(200)에 전송하고, 서버(200)로부터 제2 이미지에 대한 분석 결과를 수신할 수 있다. 이러한 분석 결과는 서버(200)가 제2 이미지의 객체 특징 정보, 제2 이미지에 포함된 텍스트, 제2 이미지의 해시 값 중 적어도 하나를 서버가 생성한 기준 값과 비교한 항목별 비교 내역을 포함할 수 있다.The communication unit 150 may transmit the second image to the server 200 periodically or irregularly, and receive an analysis result of the second image from the server 200. The result of the analysis includes a comparison history for each item in which the server 200 compares at least one of object characteristic information of the second image, text included in the second image, and hash value of the second image with a reference value generated by the server. can do.

제어부(170)는 서버로부터 수신한 분석 결과에 제2 이미지가 유해하다는 결과가 포함되어 있으면 전자 장치의 이용을 제한할 수 있다. 보다 구체적으로 통신부(150)가 서버로부터 제2 이미지가 유해하다는 분석 결과를 수신하면, 제어부(170)는 전자 장치에 경고창을 제공하거나, 사용자의 키 입력을 일정 시간동안 차단하거나, 또는 제1 이미지를 캡처한 시점에 활성화되어 있던 프로그램을 종료할 수 있다. 보다 구체적으로, 제어부(170)가 서버(200)로부터 수신한 제2 이미지의 분석 결과에 유해하다는 결과가 포함되어 있으면 전자 장치에 푸시 알림 또는 토스트 메시지를 포함하는 경고창을 전자 장치에 띄우거나, 사용자가 전자 장치를 사용할 수 없도록 입력 신호를 기 설정된 시간 동안 차단하거나, 제1 이미지를 캡처한 시점에 활성화 되어 있어 유해한 컨텐츠를 포함하고 있다고 판단되는 프로그램을 종료할 수 있다. 전자 장치의 이용을 제한하는 방법은 사용자가 어플리케이션(100)에 접속하여 설정할 수 있다.The control unit 170 may limit the use of the electronic device when the analysis result received from the server includes the result that the second image is harmful. More specifically, when the communication unit 150 receives an analysis result from the server that the second image is harmful, the control unit 170 provides a warning window to the electronic device, blocks the user's key input for a predetermined time, or the first image The program that was active at the time of capturing can be terminated. More specifically, when the result of the analysis that the second image received from the server 200 is harmful is included in the control unit 170, the electronic device displays a warning message including a push notification or a toast message on the electronic device, or a user The input signal may be blocked for a predetermined time so that the electronic device cannot be used, or the program determined to contain harmful content may be terminated because it is activated when the first image is captured. A method of limiting the use of the electronic device may be set by a user accessing the application 100.

도3은 본 발명의 일 실시 예에 의한 서버가 수행하는 유해물 관리 시스템의 구성을 도시한 도면이다. 도3을 참조하면, 서버(200)는 어플리케이션(100)으로부터 수신한 제2 이미지를 분석할 수 있다. 보다 구체적으로 서버(200)는 생성부(210), 분석부(230), 그리고 통신부(250)를 포함할 수 있다.3 is a view showing the configuration of a pest management system performed by a server according to an embodiment of the present invention. Referring to FIG. 3, the server 200 may analyze the second image received from the application 100. More specifically, the server 200 may include a generation unit 210, an analysis unit 230, and a communication unit 250.

생성부(210)는 하나 이상의 어플리케이션(100)으로부터 수집한 하나 이상의 유해 이미지의 색상 패턴, 유해 이미지에 포함된 유해 객체 특징 정보, 유해 이미지에 포함된 텍스트, 유해 이미지의 해시 값 중 적어도 하나를 이용하여 항목 별 기준 값을 생성할 수 있다. 보다 구체적으로 생성부(210)는 머신 러닝을 통해 유해 이미지를 분류할 수 있다. 머신 러닝은 지도 학습(Supervised Learning)과 비지도 학습(Unsupervised Learning)을 포함할 수 있다. 지도 학습은 데이터에 대한 결과 값을 정의하고, 이를 통해 알고리즘을 학습시킬 수 있다. 지도 학습에는 대표적으로 기 설정된 결과 값에 맞추어 데이터의 분류를 수행하는 비지도 학습은 데이터에 대한 결과 값이 명시적으로 정의되어 있지 않아 데이터에서 패턴을 추출하는 머신 러닝 기법이다. 비지도 학습에는 대표적으로 유사한 특성을 가진 데이터를 한 패턴으로 설정하는 클러스터링이 있다.The generator 210 uses at least one of a color pattern of one or more harmful images collected from one or more applications 100, characteristic information of harmful objects included in the harmful image, text included in the harmful image, and hash values of the harmful image. By creating a reference value for each item. More specifically, the generation unit 210 may classify harmful images through machine learning. Machine learning can include Supervised Learning and Unsupervised Learning. Supervised learning can define the result values for the data, through which the algorithm can be trained. In supervised learning, non-supervised learning, which classifies data according to a predetermined result value, is a machine learning technique that extracts patterns from data because the result values for data are not explicitly defined. Unsupervised learning typically includes clustering in which data with similar characteristics is set in a pattern.

기준 값이 생성되면, 생성부(210)는 제2 이미지의 색상 패턴, 제2 이미지에 포함된 객체 특징 정보, 제2 이미지에 포함된 텍스트, 제2 이미지의 해시 값 중 적어도 하나를 기준 값과 비교하여 분석 결과를 생성할 수 있다. When the reference value is generated, the generation unit 210 sets at least one of a color pattern of the second image, object feature information included in the second image, text included in the second image, and a hash value of the second image. Compare and generate analysis results.

예를 들어 생성부(210)가 생성한 일정 색상 패턴에 대한 기준 값이 살색에 대하여 70%인 경우, 제2 이미지에서 살색이 80% 이상을 차지하고 있으면 색상 패턴의 항목에 있어서 제2 이미지가 유해하다고 판단할 수 있다. 또한 생성부(210)는 제2 이미지의 객체 특징 정보에 신체의 특징 부위에 대응되는 특징 정보가 포함되어 있으면, 제2 이미지가 유해하다고 판단할 수 있다.For example, if the reference value for the predetermined color pattern generated by the generator 210 is 70% of the flesh color, if the flesh color occupies 80% or more in the second image, the second image is harmful in the item of the color pattern You can judge that. In addition, if the object feature information of the second image includes feature information corresponding to a feature portion of the body, the generator 210 may determine that the second image is harmful.

또한 서버(200)는 기준 값이 될 수 있는 항목 중 하나인 텍스트에 대해 데이터베이스를 구성하여 예측 가능한 모든 유해한 텍스트를 저장할 수 있으며, 생성부(210)가 생성한 데이터 패턴을 통해 이미지에서 텍스트가 검출될 때마다 머신 러닝을 통해 추가될 수도 있다. 보다 구체적으로 유해한 텍스트를 검출하는 방법에는 제2 이미지에 유해한 텍스트인 'sex'가 포함되어 있으면 제2 이미지가 유해하다고 판단할 수 있다. 하지만 'sex'는 'sexual' 등의 단어에도 포함될 수 있기 때문에, 유해한 텍스트에 대한 정의에 따라 유해한 텍스트인 지의 여부를 판단할 수 있다.In addition, the server 200 may configure a database for text that is one of items that can be a reference value to store all predictable harmful text, and text is detected in an image through a data pattern generated by the generator 210 It can be added whenever possible through machine learning. More specifically, the method for detecting harmful text may determine that the second image is harmful if the second image includes the harmful text 'sex'. However, since 'sex' can also be included in words such as 'sexual', it is possible to determine whether it is harmful text according to the definition of harmful text.

이하에서는 도4 내지 도6를 참조하여 본 발명의 일 실시 예에 의한 유해물 관리 방법을 설명한다. 유해물 관리 방법에 관한 설명에서 전술한 행동 인지 시스템과 중복되는 세부 실시 예는 생략될 수 있다.Hereinafter, a method for managing pests according to an embodiment of the present invention will be described with reference to FIGS. 4 to 6. In the description of the pest management method, detailed embodiments overlapping with the above-described behavior recognition system may be omitted.

도4는 본 발명의 일 실시 예에 의한 유해물 관리 방법을 설명하기 위한 도면이다. 도4를 참조하면 어플리케이션(100)은 전자 장치에 기 설치되어 백그라운드에서 동작할 수 있다. 어플리케이션(100)은 전자 장치의 현재 화면을 캡처하여 제1 이미지를 생성할 수 있다(S100).4 is a view for explaining a pest management method according to an embodiment of the present invention. Referring to FIG. 4, the application 100 may be installed in an electronic device and operate in the background. The application 100 may capture the current screen of the electronic device to generate a first image (S100).

제1 이미지를 생성하면, 어플리케이션(100)은 제1 이미지의 전처리 과정을 수행할 수 있다(S200). 제1 이미지에 대한 전처리 과정은 제1 이미지의 크기 축소, 제1 이미지에 포함된 특징 정보에 대한 모자이크 또는 블러 처리를 포함할 수 있다. 어플리케이션(100)은 전처리 과정을 거친 제1 이미지를 제2 이미지로 설정할 수 있다(S300).When the first image is generated, the application 100 may perform a pre-processing process of the first image (S200). The pre-processing process for the first image may include reduction in size of the first image, mosaic or blur processing for feature information included in the first image. The application 100 may set a first image that has undergone a pre-processing process as a second image (S300).

어플리케이션(100)은 생성한 제2 이미지를 서버(200)에 전송할 수 있다(S350).The application 100 may transmit the generated second image to the server 200 (S350).

서버(200)가 어플리케이션(100)으로부터 제2 이미지를 수신하면, 제2 이미지를 분석할 수 있다(S400). 서버(200)가 제2 이미지를 분석하기 이전에 서버(200)는 다수의 이미지를 통해 비지도 학습을 수행하여 이미지 데이터에 대한 기준 값을 생성할 수 있다. 서버(200)가 어플리케이션(100)으로부터 수신한 제2 이미지와 기 생성한 기준 값을 각 항목별로 비교하여 분석 결과를 도출할 수 있다. 이 때, 기준 값이 존재하는 항목에는 이미지의 색상 패턴, 객체 특징 정보, 텍스트, 또는 해시 값 중 하나가 될 수도 있으며, 혹은 이미지를 분류할 수 있도록 하는 그 외의 항목을 사용할 수도 있다.When the server 200 receives the second image from the application 100, the second image may be analyzed (S400). Before the server 200 analyzes the second image, the server 200 may perform unsupervised learning through a plurality of images to generate a reference value for image data. The server 200 may compare the second image received from the application 100 and the previously generated reference value for each item to derive an analysis result. In this case, the item in which the reference value exists may be one of the color pattern of the image, object feature information, text, or a hash value, or other items capable of classifying the image may be used.

서버(200)가 제2 이미지에 대한 분석을 완료하면, 제2 이미지 분석 결과를 어플리케이션(100)에 전송할 수 있다(S450).When the server 200 completes analysis of the second image, the second image analysis result may be transmitted to the application 100 (S450).

어플리케이션(100)은 수신한 제2 이미지 분석 결과에 유해한 결과가 포함되어 있으면 전자 장치에 대한 이용을 제한할 수 있다(S500).If the harmful result is included in the received second image analysis result, the application 100 may limit the use of the electronic device (S500).

도5는 본 발명의 일 실시 예에 의한 이미지 전처리 방법을 설명하기 위한 도면이다. 도5를 참조하면, 어플리케이션(100)은 캡처한 제1 이미지의 크기를 축소할 수 있다(S210).5 is a view for explaining an image pre-processing method according to an embodiment of the present invention. Referring to FIG. 5, the application 100 may reduce the size of the captured first image (S210).

어플리케이션(100)은 축소된 제1 이미지에서 기 설정된 개인 정보 또는 사람의 얼굴로 인식되는 특징 정보를 추출할 수 있다(S230).The application 100 may extract preset personal information or feature information recognized as a human face from the reduced first image (S230).

어플리케이션(100)은 추출된 특징 정보를 모자이크 또는 블러 처리(S250) 하여 개인 정보를 보호할 수 있다.The application 100 may protect the personal information by performing mosaic or blur processing of the extracted feature information (S250).

도6은 본 발명의 일 실시 예에 의한 서버의 이미지 분석 방법을 설명하기 위한 도면이다. 도6을 참조하면, 서버(200)는 하나 이상의 전자 장치로부터 수집한 하나 이상의 유해 이미지의 색상 패턴, 유해 이미지에 포함된 유해 객체 특징 정보, 유해 이미지에 포함된 텍스트, 유해 이미지의 해시 값 중 적어도 하나를 이용하여 항목 별 기준 값을 생성할 수 있다(S410).6 is a view for explaining a method for analyzing an image of a server according to an embodiment of the present invention. Referring to FIG. 6, the server 200 may include at least one of a color pattern of one or more harmful images collected from one or more electronic devices, characteristic information of harmful objects included in the harmful images, text included in the harmful images, and hash values of the harmful images. A reference value for each item may be generated using one (S410).

서버(200)가 기준 값을 생성하면 제2 이미지의 색상 패턴, 제2 이미지에 포함된 유해 객체 특징 정보, 제2 이미지에 포함된 텍스트, 또는 제2 이미지의 해시 값 중 적어도 하나를 각 기준 값과 비교할 수 있다(S430).When the server 200 generates a reference value, at least one of a color pattern of the second image, characteristic information of harmful objects included in the second image, text included in the second image, or a hash value of the second image is each reference value. It can be compared with (S430).

서버(200)는 제2 이미지와 기준 값을 항목별로 비교 및 분석한 결과를 생성할 수 있다(S450).The server 200 may generate a result of comparing and analyzing the second image and the reference value for each item (S450).

도면에 별도로 도시되지 않았으나, 본원 발명에 대한 또 다른 실시 예에는 유해 사이트 데이터베이스를 이용하여 유해물을 차단하는 방법이 있다.Although not separately illustrated in the drawings, in another embodiment of the present invention, there is a method of blocking harmful substances using a harmful site database.

유해 사이트 데이터베이스를 이용하여 유해물을 차단하는 방법은 하나 이상의 어플리케이션을 통해 사용자가 유해 사이트의 URL 주소를 서버로 전송하면, 서버는 수신한 하나 이상의 URL 주소를 유해 사이트 데이터베이스에 저장할 수 있다.The method of blocking harmful substances using a harmful site database is that when a user sends a URL address of a harmful site to the server through one or more applications, the server may store the received one or more URL addresses in the harmful site database.

일 사용자가 전자 장치를 이용하여 유해 사이트에 접속 시도를 할 경우, 어플리케이션(100)은 사용자가 입력하는 유해 사이트의 URL 주소를 추출하여 서버(200)에 전송할 수 있다. 서버(200)는 수신한 URL 주소를 유해 사이트 데이터베이스에 검색할 수 있다. 유해 사이트 데이터베이스에 사용자가 접속 시도를 하는 URL 주소가 있다고 판단되면, 서버(200)는 어플리케이션(100)에 해당 URL이 유해 사이트의 URL이라는 분석 결과를 전송할 수 있다.When a user attempts to access a harmful site using an electronic device, the application 100 may extract the URL address of the harmful site input by the user and transmit it to the server 200. The server 200 may search the received URL address in the harmful site database. If it is determined that the URL address of the user attempting to access the malicious site database, the server 200 may transmit an analysis result indicating that the URL is the URL of the harmful site to the application 100.

어플리케이션(100)이 수신한 URL 주소에 대한 분석 결과에 URL 주소가 유해하다는 내용이 포함되어 있으면 어플리케이션(100)은 URL 주소를 차단하고 전자 장치의 이용을 제한할 수 있다.If the analysis result of the URL address received by the application 100 includes that the URL address is harmful, the application 100 may block the URL address and limit the use of the electronic device.

만약 사용자가 입력한 URL 주소가 유해 사이트에 대한 URL 주소이나, 유해 사이트 데이터베이스에 저장되어 있지 않아 전자 장치에 대한 이용이 제한되지 않을 경우, 어플리케이션(100)이 정기 또는 비정기적으로 화면을 캡처할 때 URL 주소를 통해 접속한 유해 사이트에 대한 이미지를 캡처하고 서버(200)에 전송했을 때, 서버(200)가 이미지에 대한 분석을 통해 이미지가 유해하다고 판단하면 해당 URL 주소를 유해 사이트 데이터베이스에 추가할 수 있다.If the URL address entered by the user is not stored in the URL address for the harmful site or the harmful site database and the use of the electronic device is not restricted, when the application 100 captures the screen periodically or irregularly When an image of a harmful site accessed through a URL address is captured and transmitted to the server 200, if the server 200 determines that the image is harmful through analysis of the image, the URL address is added to the harmful site database. You can.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.The embodiments of the present invention disclosed in the present specification and drawings are merely intended to easily describe the technical contents of the present invention and to provide specific examples to help understanding of the present invention, and are not intended to limit the scope of the present invention. It is obvious to those skilled in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.

Claims (8)

전자 장치에 설치된 어플리케이션이 유해물을 관리하는 방법에 있어서,
상기 전자 장치에 표시되는 제1 이미지를 정기 또는 비정기적으로 캡처하는 단계;
상기 제1 이미지에 포함된 개인정보 또는 사람의 얼굴로 인식되는 특징 정보를 추출하고, 상기 특징 정보가 포함된 일 영역을 모자이크 또는 블러 처리하여 제2 이미지를 생성하는 단계;
상기 제2 이미지를 정기 또는 비정기적으로 서버에 전송하는 단계;
상기 서버로부터 상기 제2 이미지의 색상 패턴, 객체 특징 정보, 텍스트 및 이미지 해시에 따른 유해물 분석 결과를 수신하는 단계;
상기 분석 결과에 따라 상기 전자 장치의 이용을 제한하고, 상기 제1 이미지에 대응하는 URL 주소를 유해 사이트 데이터베이스에 추가하는 단계를 포함하고,
상기 개인정보는 이름, 휴대폰 번호 또는 팝업 알림 중 적어도 하나를 포함하는 유해물 관리 방법.
In the application installed in the electronic device to manage the harmful substances,
Capturing the first image displayed on the electronic device regularly or irregularly;
Extracting personal information included in the first image or feature information recognized as a human face, and generating a second image by mosaic or blurring an area including the feature information;
Transmitting the second image to the server periodically or irregularly;
Receiving a result of analyzing the harmful substances according to the color pattern, object feature information, text, and image hash of the second image from the server;
Limiting the use of the electronic device according to the analysis result, and adding a URL address corresponding to the first image to a harmful site database,
The personal information, at least one of a name, a mobile phone number or a pop-up notification, pest management method.
제1항에 있어서,
상기 제2 이미지를 생성하는 단계는
상기 제1 이미지의 크기를 기 설정된 크기로 축소시키는 단계를 포함하는 유해물 관리 방법.
According to claim 1,
The step of generating the second image
And reducing the size of the first image to a preset size.
제1항에 있어서,
상기 분석 결과는
상기 서버가 하나 이상의 전자 장치로부터 수집한 하나 이상의 유해 이미지의 색상 패턴, 상기 유해 이미지에 포함된 유해 객체 특징 정보, 상기 유해 이미지에 포함된 텍스트, 상기 유해 이미지의 해시 값 중 적어도 하나를 이용하여 항목 별 기준 값을 생성하고,
상기 제2 이미지의 색상 패턴, 상기 제2 이미지에 포함된 객체 특징 정보, 상기 제2 이미지에 포함된 텍스트 또는 상기 제2 이미지의 해시 값 중 적어도 하나를 상기 기준 값과 비교하여 도출한 결과인 것을 특징으로 하는 유해물 관리 방법.
According to claim 1,
The analysis results
Items using at least one of a color pattern of one or more harmful images collected by the server from one or more electronic devices, characteristic information of harmful objects included in the harmful images, text included in the harmful images, and hash values of the harmful images Create a star reference value,
It is a result obtained by comparing at least one of a color pattern of the second image, object feature information included in the second image, text included in the second image, or a hash value of the second image with the reference value Characterized pest management method.
제1항에 있어서,
상기 전자 장치의 이용을 제한하는 단계는
상기 전자 장치에 경고창을 제공하는 단계, 사용자의 키 입력을 일정 시간동안 차단하는 단계 또는 상기 제1 이미지를 캡처한 시점에 활성화되어 있던 프로그램을 종료하는 단계 중 적어도 하나를 포함하는 유해물 관리 방법.
According to claim 1,
The step of limiting the use of the electronic device is
And providing a warning window to the electronic device, blocking a user's key input for a predetermined period of time, or terminating the program that was activated at the time the first image was captured.
제1항에 있어서,
사용자가 유해 사이트의 URL 주소를 상기 서버로 전송하는 단계;
상기 서버는 수신한 URL 주소를 유해 사이트 데이터베이스에 저장하는 단계;
상기 서버는 상기 사용자가 상기 유해 사이트 데이터베이스에 저장된 일 URL 주소에 접속하면, 상기 URL 주소를 차단하는 유해물 관리 방법.
According to claim 1,
The user transmitting the URL address of the harmful site to the server;
The server storing the received URL address in a harmful site database;
When the user accesses a URL address stored in the harmful site database, the server blocks the URL address.
유해물을 관리하는 전자 장치에 있어서,
상기 전자 장치에 표시되는 제1 이미지를 정기 또는 비정기적으로 캡처하는 이미지 캡처부;
상기 제1 이미지의 크기를 기 설정된 크기로 축소시키고, 상기 제1 이미지에서 기 설정된 개인 정보 또는 사람의 얼굴로 인식되는 특징 정보를 추출하고, 상기 특징 정보를 포함하는 일 영역을 모자이크 또는 블러 처리 하여 제2 이미지를 생성하는 전처리부;
상기 제2 이미지를 정기 또는 비정기적으로 서버에 전송하고, 상기 서버로부터 상기 제2 이미지의 색상 패턴, 객체 특징 정보, 텍스트 및 이미지 해시를 분석한 유해물 분석 결과를 수신하는 통신부;
상기 분석 결과에 상기 제2 이미지가 유해하다는 결과가 포함되어 있으면 상기 전자 장치의 이용을 제한하고, 상기 제1 이미지에 대응하는 URL 주소를 유해 사이트 데이터베이스에 추가하는 제어부를 포함하고,
상기 개인정보는 이름, 휴대폰 번호 또는 팝업 알림 중 적어도 하나를 포함하는 유해물 관리 전자 장치.
In the electronic device for managing pests,
An image capturing unit for capturing the first image displayed on the electronic device regularly or irregularly;
By reducing the size of the first image to a preset size, extracting preset personal information or feature information recognized as a human face from the first image, and mosaic or blur a region including the feature information A pre-processor for generating a second image;
A communication unit which periodically or irregularly transmits the second image to a server, and receives a pest analysis result analyzing color patterns, object feature information, text and image hashes of the second image from the server;
If the result of the analysis includes the result that the second image is harmful, it includes a control unit for limiting the use of the electronic device and adding a URL address corresponding to the first image to the harmful site database,
The personal information is a pest management electronic device including at least one of a name, a mobile phone number, or a pop-up notification.
유해물을 관리하는 서버에 있어서,
하나 이상의 전자 장치로부터 수집한 하나 이상의 유해 이미지의 색상 패턴, 상기 유해 이미지에 포함된 유해 객체 특징 정보, 상기 유해 이미지에 포함된 텍스트, 또는 상기 유해 이미지의 해시 값 중 적어도 하나를 이용하여 항목 별 기준 값을 생성하는 생성부;
임의의 제1 전자 장치로부터 확인대상 이미지를 포함하는 유해물 확인 요청 신호를 수신하고, 상기 제1 전자 장치에 상기 확인대상 이미지에 대한 분석 결과를 전송하는 통신부;
상기 확인대상 이미지의 색상 패턴, 상기 확인대상 이미지에 포함된 객체 특징 정보, 상기 확인대상 이미지에 포함된 텍스트, 또는 상기 확인대상 이미지의 해시 값 중 적어도 하나를 상기 기준 값과 비교하여 상기 분석 결과를 생성하고, 상기 분석 결과에 따라 상기 확인대상 이미지에 대응하는 URL 주소를 유해 사이트 데이터베이스에 추가하는 분석부를 포함하며,
상기 확인대상 이미지는 상기 제1 전자 장치가 상기 제1 전자 장치의 화면을 정기 또는 비정기적으로 캡처하여 생성된 것을 특징으로 하는 유해물 관리 시스템.
In the server for managing pests,
The criteria for each item using at least one of a color pattern of one or more harmful images collected from one or more electronic devices, characteristic information of harmful objects included in the harmful images, text included in the harmful images, or hash values of the harmful images A generator for generating a value;
A communication unit which receives a pest confirmation request signal including an image to be checked from any first electronic device and transmits an analysis result of the image to be checked to the first electronic device;
The analysis result is compared by comparing at least one of a color pattern of the target image, object feature information included in the target image, text included in the target image, or a hash value of the target image. Generating, and adding an URL address corresponding to the image to be confirmed to the harmful site database according to the analysis result,
The identification target image is generated by the first electronic device by capturing the screen of the first electronic device periodically or irregularly.
삭제delete
KR1020170165743A 2017-12-05 2017-12-05 Method, computing device and program for executing harmful object control KR102104397B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170165743A KR102104397B1 (en) 2017-12-05 2017-12-05 Method, computing device and program for executing harmful object control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170165743A KR102104397B1 (en) 2017-12-05 2017-12-05 Method, computing device and program for executing harmful object control

Publications (2)

Publication Number Publication Date
KR20190066218A KR20190066218A (en) 2019-06-13
KR102104397B1 true KR102104397B1 (en) 2020-04-24

Family

ID=66847809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170165743A KR102104397B1 (en) 2017-12-05 2017-12-05 Method, computing device and program for executing harmful object control

Country Status (1)

Country Link
KR (1) KR102104397B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717484B (en) * 2019-10-11 2021-07-27 支付宝(杭州)信息技术有限公司 Image processing method and system
KR102387441B1 (en) * 2020-11-11 2022-04-14 광운대학교 산학협력단 Streaming Control System based on Video Stream Characteristics for Real-time Response to Harmful Video Streaming
KR102576636B1 (en) * 2021-03-22 2023-09-11 하이퍼커넥트 유한책임회사 Method and apparatus for providing video stream based on machine learning
KR102574353B1 (en) * 2021-11-10 2023-09-01 광운대학교 산학협력단 Device Resource-based Adaptive Frame Extraction and Streaming Control System and method for Blocking Obscene Videos in Mobile devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009081635A (en) * 2007-09-26 2009-04-16 Fujifilm Corp Digital camera, and individual information protecting method of digital camera
KR101574027B1 (en) * 2014-12-19 2015-12-03 (주) 이비즈네트웍스 System for blocking harmful program of smartphones

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100517645B1 (en) 2004-11-05 2005-09-28 (주)지란지교소프트 Pornograph intercept method
KR20110129224A (en) * 2010-05-25 2011-12-01 (주)뮤레카 Computer terminal having integrated control module to block harmful object and blocking system thereof
KR102251960B1 (en) * 2015-01-15 2021-05-14 삼성전자주식회사 Method for analysing images, electronic device and server for performing the method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009081635A (en) * 2007-09-26 2009-04-16 Fujifilm Corp Digital camera, and individual information protecting method of digital camera
KR101574027B1 (en) * 2014-12-19 2015-12-03 (주) 이비즈네트웍스 System for blocking harmful program of smartphones

Also Published As

Publication number Publication date
KR20190066218A (en) 2019-06-13

Similar Documents

Publication Publication Date Title
US11210504B2 (en) Emotion detection enabled video redaction
CN107547555B (en) Website security monitoring method and device
US11250266B2 (en) Methods for providing information about a person based on facial recognition
KR102104397B1 (en) Method, computing device and program for executing harmful object control
US11570211B1 (en) Detection of phishing attacks using similarity analysis
Feizollah et al. A study of machine learning classifiers for anomaly-based mobile botnet detection
US9661003B2 (en) System and method for forensic cyber adversary profiling, attribution and attack identification
US10270805B2 (en) System and method thereof for identifying and responding to security incidents based on preemptive forensics
WO2019033525A1 (en) Au feature recognition method, device and storage medium
US11837061B2 (en) Techniques to provide and process video data of automatic teller machine video streams to perform suspicious activity detection
US20130163823A1 (en) Image Capture and Recognition System Having Real-Time Secure Communication
US20170364537A1 (en) Image-aided data collection and retrieval
US20190014148A1 (en) Methods for automated social phishing
US20230153434A1 (en) Machine learning-based malicious attachment detector
US20210382993A1 (en) System and Method for Detecting a Malicious File
US10805255B2 (en) Network information identification method and apparatus
CN109344614B (en) Android malicious application online detection method
Khan et al. Digital forensics and cyber forensics investigation: security challenges, limitations, open issues, and future direction
US9332031B1 (en) Categorizing accounts based on associated images
US20200026866A1 (en) Method and device for covering private data
US11126830B2 (en) Computerized system and method for adaptive stranger detection
CN110795980A (en) Network video-based evasion identification method, equipment, storage medium and device
WO2023000792A1 (en) Methods and apparatuses for constructing living body identification model and for living body identification, device and medium
JP2018142137A (en) Information processing device, information processing method and program
Kulkarni et al. Intensive image malware analysis and least significant bit matching steganalysis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant