KR102619428B1 - 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템 - Google Patents

인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템 Download PDF

Info

Publication number
KR102619428B1
KR102619428B1 KR1020230137205A KR20230137205A KR102619428B1 KR 102619428 B1 KR102619428 B1 KR 102619428B1 KR 1020230137205 A KR1020230137205 A KR 1020230137205A KR 20230137205 A KR20230137205 A KR 20230137205A KR 102619428 B1 KR102619428 B1 KR 102619428B1
Authority
KR
South Korea
Prior art keywords
harmful
message
keywords
user terminal
risk
Prior art date
Application number
KR1020230137205A
Other languages
English (en)
Inventor
김호돈
Original Assignee
주식회사 디오랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디오랩스 filed Critical 주식회사 디오랩스
Priority to KR1020230137205A priority Critical patent/KR102619428B1/ko
Application granted granted Critical
Publication of KR102619428B1 publication Critical patent/KR102619428B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work or social welfare, e.g. community support activities or counselling services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G06Q50/30
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/212Monitoring or handling of messages using filtering or selective blocking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/224Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Emergency Management (AREA)
  • Economics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 발명은 메시지에 대한 인공지능 기반 필터링과 감성 분석을 이용하여 청소년들의 학교 폭력, 자살, 마약 투여 등 위험 징후를 미리 예측하고 방지할 수 있는 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템에 관한 것이다.

Description

인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템{SCHOOL VIOLENCE, YOUTH DRUG AND SUICIDE PREVENTION SYSTEM THROUGH ARTIFICIAL INTELLIGENCE-BASED SMARTPHONE MONITORING AND EMOTIONAL ANALYSIS}
본 발명은 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템에 관한 것으로, 더욱 상세하게는 메시지에 대한 인공지능 기반 필터링과 감성 분석을 이용하여 청소년들의 학교 폭력, 자살, 마약 투여 등 위험 징후를 미리 예측하고 방지할 수 있는 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템에 관한 것이다.
일반적으로, 이동 단말기의 기능은 다양화 되고 있다. 예를 들면, 이동 단말기는 데이터와 음성 통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 화면에 이미지나 비디오를 출력하는 기능이 있다.
이동 단말기 이용자는 이동 단말기의 이용을 웹 브라우징, 즉 뉴스 읽기나, 모바일 게임을 하는데 많은 시간을 투자하며, 페이스북(facebook)이나, 트위터 등과 같은 SNS(Social Networking Service)에 참여하는데도 많은 시간을 투자하고 있는 실정이다.
이와 같은 이동 단말기는 기능이 다양화됨에 따라 청소년들이 유해한 사이트나 콘텐츠에 많이 접할 수 있게 되고, 유해한 사이트나 콘텐츠가 청소년에게 유해하게 작용하기 때문에 이러한 사이트나 콘텐츠로부터 청소년들을 보호하기 위한 감시가 필요한 실정이다.
이에 따라 이동 단말기를 통해 부모님이 자녀들의 단말기 활동을 모니터링하고 필요에 따라 원격으로 앱을 차단하거나 사용 시간을 제한하여 온라인 안전을 유지하고 자녀의 활동을 관리할 수 있는 모니터링 기술이 다양하게 개발되고 있다.
기존의 단말기 모니터링 기술은 단순히 원격으로 앱을 차단하거나 사용 시간을 제한하는 등 청소년들이 앱에 접근할 수 없도록 사전에 방지하거나 시간만을 제한하기 때문에 청소년들이 다른 사람과 연락을 주고받을 때 하는 행동이나 말에 대해서는 모니터링이 불가능한 문제점이 있다.
한국등록특허 제10-1565588호(2015.10.27, 등록)
따라서 본 발명은 상술한 문제점을 해결하기 위해 도출된 것으로서, 본 발명은 메시지에 대한 인공지능 기반 필터링과 감성 분석을 이용하여 청소년들의 학교 폭력, 자살, 마약 투여 등 위험 징후를 미리 예측하고 방지할 수 있는 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이하에 서술되는 실시예를 통하여 더욱 명확해질 것이다.
본 발명의 일 측면에 따른 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템은 제1 사용자 단말, 제2 사용자 단말 및 제1 사용자 단말 및 제2 사용자 단말과 연결되고, 인공지능 기반으로 제1 사용자 단말로부터 수집된 메시지에서 사용자의 감성을 분석하여 감성 위험 여부를 판단하는 청소년 위험 감지 서버를 포함할 수 있다.
또한, 청소년 위험 감지 서버는, 기본 유해 키워드, 제2 사용자 단말에서 등록한 개인 유해 키워드 및 기 등록된 유해 키워드 중 등록 개수에 따라 추천된 추천 유해 키워드를 포함하는 유해 키워드를 저장하는 유해 키워드 저장부, 제1 사용자 단말에서 전송한 메시지를 수집하는 메시지 수집부, 유해 키워드가 수집된 메시지에 포함되어 있는지 체크하여 유해 메시지를 필터링하는 메시지 필터링부, 인공지능 기반의 한국어 자연어 처리 모델을 사용하여 유해 메시지에 대한 문맥을 분석하는 문맥 분석부, 감성 사전 데이터 모델을 사용하여 유해 메시지에 포함된 사용자의 감성을 분석하는 감성 분석부 및 유해 메시지에 대한 문맥과 유해 메시지에 포함된 사용자의 감성 분석 결과에 따라 제2 사용자 단말에 위험 알림을 전송하는 위험 알림부를 포함할 수 있다.
또한, 메시지 필터링부는, 필터링된 유해 메시지에 대한 유해 메시지 점수를 아래의 수학식 1에 따라 산출하되,
[수학식 1]
는 유해 메시지 점수를 의미하고, 는 유해 메시지에 포함된 총 글자 수를 의미하고, 는 유해 메시지의 개수를 의미하고, 는 유해 메시지에 포함된 유해 키워드의 글자 수를 의미하고, 는 유해 메시지에 포함된 유해 키워드의 개수를 의미하고, 는 i번째 유해 키워드 중 욕설, 음란 관련 키워드로서 기 저장된 위험 키워드의 글자 수를 의미하고, 는 i번째 유해 키워드 중 위험 키워드의 개수를 의미하고, 는 i번째 위험 키워드에 대한 가중치를 의미하고,
위험 알림부는, 유해 메시지 점수가 기 설정된 기준 유해 메시지 점수보다 높으면 제2 사용자 단말에 위험 알림을 전송할 수 있다.
본 발명의 실시예에 따른 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템은 다음과 같은 효과를 제공한다.
본 발명은 메시지에 대한 인공지능 기반 필터링과 감성 분석을 이용하여 청소년들의 학교 폭력, 자살, 마약 투여 등 위험 징후를 미리 예측하고 방지할 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템을 도시한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템의 청소년 위험 감지 서버를 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템의 청소년 위험 감지 서버에서 청소년의 위험을 감지하기 위한 과정을 설명하기 위한 순서도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 첨부한 도면들을 참조하여 본 발명에 따른 실시예들을 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하 본 발명의 실시예들에 따른 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템에 대하여 도 1 내지 도 3을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템을 도시한 개념도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 에 따른 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템은 제1 사용자 단말(10), 제2 사용자 단말(20) 및 청소년 위험 감지 서버(100)를 포함할 수 있다.
제1 사용자 단말(10)은 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등을 포함할 수 있다.
제1 사용자 단말(10)은 보호자의 보호를 받아야 하는 청소년과 자녀들이 소유할 수 있다. 제1 사용자 단말(10)은 네트워크를 통해 청소년 위험 감지 서버(100) 및 제2 사용자 단말(20)과 연결될 수 있다.
제1 사용자 단말(10)에는 청소년 위험 감지 서버(100)와 연결되기 위한 어플리케이션이 설치될 수 있다. 일 실시예에서, 제1 사용자 단말(10)에 설치되는 어플리케이션은 제2 사용자 단말(20)에서 설치할 수 있으며, 제2 사용자 단말(20)에서의 인증 없이 제1 사용자 단말(10)에서 삭제하지 못하도록 설정될 수 있다.
제1 사용자 단말(10)은 다른 단말과 메시지를 주고 받을 수 있으며, 여기서 주고 받는 메시지가 수집되어 청소년 위험 감지 서버(100)에 저장될 수 있다. 예를 들어, 메시지는 일반적인 문자 메시지(Short Message Service, SMS), 메신저 어플(카카오톡, 라임, 스카이프 등)을 통한 메시지 및 소셜 네트워크 상의 다이렉트 메시지(Direct Message, DM) 등을 포함할 수 있다.
제2 사용자 단말(20)은 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등을 포함할 수 있다.
제2 사용자 단말(20)은 부모와 같은 보호자가 소유할 수 있다. 제2 사용자 단말(20)은 네트워크를 통해 청소년 위험 감지 서버(100) 및 제1 사용자 단말(10)과 연결될 수 있다.
제2 사용자 단말(20)에는 청소년 위험 감지 서버(100)와 연결되기 위한 어플리케이션이 설치될 수 있다. 제2 사용자 단말(20)은 청소년 위험 감지 서버(100)로 수집된 메시지에 포함된 유해 키워드의 유무, 메시지의 문맥 및 감성에 따라 청소년 위험 감지 서버(100)로부터 위험 알림을 수신할 수 있다. 위험 알림은 메시지 팝업, 알림 소리, 알림 진동 등으로 전달될 수 있다.
청소년 위험 감지 서버(100)는 네트워크를 통해 제1 사용자 단말(10) 및 제2 사용자 단말(20)과 연결될 수 있다. 청소년 위험 감지 서버(100)는 제1 사용자 단말(10)로부터 메시지를 수집하고, 메시지를 인공지능으로 분석하여 메시지의 위험 여부를 판단할 수 있다.
즉, 청소년 위험 감지 서버(100)는 제1 사용자 단말(10)로부터 메시지를 수집하여 메시지를 분석하고, 메시지에 유해 키워드가 포함되어 있거나 메시지의 문맥이나 감성이 부정적, 학교 폭력 관련, 우울, 자살 등의 징후를 포함할 경우 위험한 것으로 판단하여 위험 알림을 제2 사용자 단말(20)에 전송할 수 있다.
일 실시예에서, 청소년 위험 감지 서버(100)는 클라우딩 컴퓨터 기능을 제공할 수 있다. 청소년 위험 감지 서버(100)는 클라우딩 컴퓨터 환경에서 제2 사용자 단말(20)을 소유한 부모들끼리 소통하고 유해 키워드를 공유하며 위험 발생 상황을 공유할 수 있도록 하여 제1 사용자 단말(10)을 소유한 청소년(자녀)들이 보다 나은 방향으로 나아가도록 인도하는데 가이드할 수 있다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템의 청소년 위험 감지 서버를 설명하기 위한 블록도이다.
도 2를 참조하면, 청소년 위험 감지 서버(100)는 유해 키워드 저장부(110), 메시지 수집부(120), 메시지 필터링부(130), 문맥 분석부(140), 감성 분석부(150) 및 위험 알림부(160)를 포함할 수 있다.
유해 키워드 저장부(110)는 기본 유해 키워드, 제2 사용자 단말(20)에서 등록한 개인 유해 키워드 및 기 등록된 유해 키워드 중 등록 개수에 따라 추천된 추천 유해 키워드를 포함하는 유해 키워드를 저장할 수 있다.
유해 키워드 저장부(110)는 유해 키워드 데이터베이스로서 복수의 제1 사용자 단말(10)과 복수의 제2 사용자 단말(20)에 연관된 공용 유해 키워드 데이터베이스와, 각각의 제1 사용자 단말(10)과 각각의 제2 사용자 단말(20)에 연관된 개인 유해 키워드 데이터베이스를 포함할 수 있다.
즉, 유해 키워드 저장부(110)는 공용 유해 키워드 데이터베이스에 저장되는 기본 유해 키워드, 개인 유해 키워드 및 추천 유해 키워드와 개인 유해 키워드 데이터베이스에 저장되는 기본 유해 키워드, 개인 유해 키워드 및 추천 유해 키워드를 구분하여 저장할 수 있다.
기본 유해 키워드는 욕설 관련 단어, 음란물 관련 단어, 부정적인 단어 등 통상적으로 많이 알려지고 사용하고 있는 유해 단어를 포함할 수 있고, 크롤링, 관리자에 의한 입력 등으로 유해 키워드 저장부(110)에 입력될 수 있다. 기본 유해 키워드는 일정 주기로 업데이트될 수 있다.
개인 유해 키워드는 기본 유해 키워드에 포함되지 않는 유해 단어이며, 제2 사용자 단말(20)에 의해 유해 키워드 저장부(110)에 입력될 수 있다. 개인 유해 키워드는 제2 사용자 단말(20)을 소유한 부모가 제1 사용자 단말(20)을 소유한 청소년이 사용하지 않기를 원하는 유해 단어를 포함할 수 있다. 개인 유해 키워드는 제2 사용자 단말(20)에서 언제든지 저장 가능할 수 있다.
추천 유해 키워드는 복수의 제2 사용자 단말(20)에서 등록된 유해 단어 중 가장 많이 등록된 순으로 추천될 수 있으며, 추천된 유해 단어 중 해당 제2 사용자 단말(20)에서 선택하여 저장할 수 있다. 예를 들어, 추천 유해 키워드는 같은 연령대의 청소년을 가진 부모의 제2 사용자 단말(20)에서 등록한 유해 단어 중 가장 많이 등록된 순으로 추천될 수 있다.
일 실시예에서, 유해 키워드 저장부(110)는 유해 키워드가 등록된 날짜 및 유해 키워드가 메시지에 포함되는 빈도에 따라 기 저장된 유해 키워드를 삭제할 수 있다. 예를 들어, 유해 키워드 저장부(110)는 유해 키워드가 저장된 날짜가 10년 전이고 유해 키워드가 메시지에 포함되는 빈도가 없거나 거의 없으면 해당 유해 키워드를 삭제하여 저장 공간을 확보할 수 있다.
메시지 수집부(120)는 제1 사용자 단말(10)에서 전송한 메시지를 수집할 수 있다. 이때 메시지 수집부(120)는 제1 사용자 단말(10)에서 전송한 메시지만 수집하거나 제1 사용자 단말(10)에서 수신한 메시지도 수집할 수 있다. 제1 사용자 단말(10)에서 수신한 메시지도 수집하는 경우에는 이하에서 설명할 문맥 분석부(140)에서 메시지에 대한 문맥을 분석하는데 참고용으로 사용될 수 있다.
메시지 수집부(120)는 제1 사용자 단말(10)에서 전송한 메시지를 수집하여 수집된 메시지를 메시지 데이터베이스에 저장할 수 있다. 메시지 데이터베이스는 메시지를 저장하고 있다가 메시지 필터링부(130)에서 유해 메시지로 필터링되지 않은 메시지를 자동으로 삭제하여 저장 공간을 확보할 수 있다.
메시지 필터링부(130)는 제1 사용자 단말(10)에서 수집된 메시지에 유해 키워드가 포함되어 있는지 체크하여 유해 메시지를 필터링할 수 있다. 메시지 필터링부(130)는 유해 키워드 저장부(110)에 저장된 기본 유해 키워드, 개인 유해 키워드 및 추천 유해 키워드 중 적어도 하나가 메시지 내에 포함되어 있으면 유해 메시지로서 해당 메시지를 필터링할 수 있다.
메시지 필터링부(130)는 필터링된 유해 메시지에 대한 유해 메시지 점수를 아래의 수학식 1에 따라 산출할 수 있다.
[수학식 1]
는 유해 메시지 점수를 의미하고, 는 유해 메시지에 포함된 총 글자 수를 의미하고, 는 유해 메시지의 개수를 의미하고, 는 유해 메시지에 포함된 유해 키워드의 글자 수를 의미하고, 는 유해 메시지에 포함된 유해 키워드의 개수를 의미하고, 는 i번째 유해 키워드 중 욕설, 음란 관련 키워드로서 기 저장된 위험 키워드의 글자 수를 의미하고, 는 i번째 유해 키워드 중 위험 키워드의 개수를 의미하고, 는 i번째 위험 키워드에 대한 가중치를 의미할 수 있다.
여기서 위험 키워드는 유해 키워드 중 입에 담기 힘들 정도로 모욕적이거나 폭력, 자살 등과 직접적인 관련이 있는 위험 단어를 포함할 수 있고, 청소년 위험 감지 서버(100)의 관리자에 의해 미리 저장될 수 있다.
예를 들어, 유해 메시지에 포함된 총 글자 수가 100이고 유해 메시지의 개수가 3이고 유해 메시지에 포함된 유해 키워드의 글자 수가 9이고 유해 메시지에 포함된 유해 키워드의 개수가 2이고 1번째 유해 키워드 중 욕설, 음란 관련 키워드로서 기 저장된 위험 키워드의 글자 수가 0이고 1번째 유해 키워드 중 위험 키워드의 개수가 0이고 1번째 위험 키워드에 대한 가중치가 0이고 2번째 유해 키워드 중 욕설, 음란 관련 키워드로서 기 저장된 위험 키워드의 글자 수가 3이고 2번째 유해 키워드 중 위험 키워드의 개수가 1이고 2번째 위험 키워드에 대한 가중치가 0.3일 때, 유해 메시지 점수는 45일 수 있다.
다른 예를 들어, 유해 메시지에 포함된 총 글자 수가 100이고 유해 메시지의 개수가 3이고 유해 메시지에 포함된 유해 키워드의 글자 수가 15이고 유해 메시지에 포함된 유해 키워드의 개수가 4이고 1번째 유해 키워드 중 욕설, 음란 관련 키워드로서 기 저장된 위험 키워드의 글자 수가 0이고 1번째 유해 키워드 중 위험 키워드의 개수가 0이고 1번째 위험 키워드에 대한 가중치가 0이고 2번째 유해 키워드 중 욕설, 음란 관련 키워드로서 기 저장된 위험 키워드의 글자 수가 0이고 2번째 유해 키워드 중 위험 키워드의 개수가 0이고 2번째 위험 키워드에 대한 가중치가 0이고 3번째 유해 키워드 중 욕설, 음란 관련 키워드로서 기 저장된 위험 키워드의 글자 수가 5이고 3번째 유해 키워드 중 위험 키워드의 개수가 1이고 3번째 위험 키워드에 대한 가중치가 0.5이고 4번째 유해 키워드 중 욕설, 음란 관련 키워드로서 기 저장된 위험 키워드의 글자 수가 5이고 4번째 유해 키워드 중 위험 키워드의 개수가 1이고 4번째 위험 키워드에 대한 가중치가 0.3일 때, 유해 메시지 점수는 193일 수 있다.
유해 메시지 점수는 유해 메시지에 포함된 총 글자 수 대비 유해 메시지에 포함된 유해 키워드 개수가 많을수록, 위험 키워드 개수가 많을수록, 위험 키워드 가중치가 클수록 높아질 수 있다.
문맥 분석부(140)는 인공지능 기반의 한국어 자연어 처리 모델을 사용하여 유해 메시지에 대한 문맥을 분석할 수 있다. 한국어 자연어 처리 모델은 KoBERT(Korean Bidirectional Encoder Representations from Transformers)일 수 있다.
한국어 자연어 처리 모델은 위키피디아나 뉴스 등에서 수집한 수백만 개의 한국어 문장으로 이루어진 대규모말뭉치(corpus)를 인공지능 기반으로 학습하고, 한국어의 불규칙한 언어 변화의 특성을 반영하기 위해 데이터 기반 토큰화(Tokenization) 기법을 적용하여 기존 대비 27%의 토큰만으로 2.6% 이상의 성능 향상을 이끌어 낼 수 있는 방식이다.
또한, 한국어 자연어 처리 모델은 대량의 한국어 문장 데이터를 빠른 시간에 학습하기 위해 링 리듀스(ring-reduce) 기반의 분산 학습 기술을 사용하여, 십억 개 이상의 문장을 다수의 머신에서 빠르게 학습할 수 있다. 더불어, 한국어 자연어 처리 모델은 파이토치(PyTorch), 텐서플루(TensorFlow), ONNX, MXNet을 포함한 다양한 딥러닝 API(Application Programming Interface)를 지원함으로써, 많은 분야에서 언어 이해 서비스 확산에 기여할 수 있다.
문맥 분석부(140)는 한국어 자연어 처리 모델을 통해 유해 메시지에 대한 문맥을 분석하고, 유해 메시지에 포함된 문맥이 부정적인지 또는 긍정적인지 판단할 수 있다.
감성 분석부(150)는 인공지능 기반의 감성 사전 데이터 모델을 사용하여 유해 메시지에 포함된 사용자의 감성을 분석할 수 있다. 즉, 감성 분석부(150)는 문맥 분석부(140)에서 분석된 유해 메시지에 포함된 문맥에 따라 사용자의 감성을 분석할 수 있다. 여기서 감성 사전 데이터 모델은 KOSAC(Korean Sentiment Analysis Corpus)일 수 있다.
감성 사전 데이터 모델은 감성 사전 데이터 및 사전 데이터 셋 모음을 인공지능 기반으로 학습한 감성 분석 엔진으로서 한국어 감성을 분석할 수 있다. 감성 사전 데이터 모델은 유해 메시지를 로드한 후 유해 메시지에 포함된 한글 텍스트를 형태소 분석기로 파싱하여 감성 사전에 해당하는 감성 데이터를 추출할 수 있다.
감성 분석부(150)는 감성 사전 데이터 모델을 사용하여 유해 메시지에 포함된 사용자의 감성을 분석하고, 유해 메시지에 포함된 감성이 공포, 분노, 슬픔, 혐오, 놀람, 중립, 행복 등 어느 감성에 해당하는지 판단할 수 있다.
위험 알림부(160)는 유해 메시지에 대한 문맥과 유해 메시지에 포함된 사용자의 감성 분석 결과에 따라 제2 사용자 단말(20)에 위험 알림을 전송할 수 있다. 위험 알림부(160)는 문맥이 부정적이면서 사용자의 감성도 부정적이면 제2 사용자 단말(20)에 위험 알림을 전송할 수 있다.
위험 알림부(160)는 위험 알림과 함께 해당 유해 메시지를 전송하여 제1 사용자 단말(10)에서 어떤 메시지를 전송했는지 제2 단말(20)에서 확인 가능하도록 할 수 있다.
일 실시예에서, 위험 알림부(160)는 위의 수학식1을 통해 산출된 유해 메시지 점수가 기 설정된 기준 유해 메시지 점수보다 높으면 제2 사용자 단말(20)에 위험 알림을 전송할 수 있다. 이 경우 유해 메시지에 대한 문맥 분석 과정과 감성 분석 과정이 생략될 수 있다. 예를 들어, 기 설정된 기준 유해 메시지 점수는 100으로 설정될 수 있으며, 관리자에 의해 변경될 수 있다.
위험 알림부(160)는 위험 알림에 대한 위험 누적 점수를 아래의 수학식 2에 따라 산출할 수 있다.
[수학식 2]
는 위험 누적 점수를 의미하고, 는 위험 알림 횟수를 의미하고, 는 위험 알림 관련 유해 메시지에 포함된 총 글자 수를 의미하고, 는 위험 알림 관련 유해 메시지에 포함된 유해 키워드의 개수를 의미하고, 는 위험 알림 관련 유해 메시지에 포함된 유해 키워드의 글자 수를 의미하고, 는 복수의 제2 사용자 단말(20)에서 복수의 제1 사용자 단말(10)에 대해 설정한 위험 감지 강도의 평균을 의미하고, 는 제2 사용자 단말(20)에서 제1 사용자 단말(10)에 대해 설정한 위험 감지 강도를 의미하고 0~10까지 설정될 수 있으며, 는 복수의 제2 사용자 단말(20)에서 복수의 제1 사용자 단말(10)에 대해 설정한 위험 개선 정도의 평균을 의미하고, 는 제2 사용자 단말(20)에서 제1 사용자 단말(10)에 대해 설정한 위험 개선 정도를 의미하고 0~10까지 설정될 수 있다.
위험 감지 강도는 숫자가 높을수록 제1 사용자 단말(10)에서 전송한 유해 메시지를 더욱 정밀하게 분석하는 것으로, 예를 들면 위험 감지 강도가 1인 경우 '미워'라는 키워드를 유해 키워드로 판단하지 않으나, 위험 감지 강도가 10인 경우 '미워'라는 키워드를 유해 키워드로 판단할 수 있다.
즉, 위험 감지 강도가 클수록 유해 키워드에 포함되는 기본 유해 키워드, 개인 유해 키워드 및 추천 유해 키워드가 증가할 수 있다.
위험 개선 정도는 제2 사용자 단말(20)을 소유한 부모가 제1 사용자 단말(10)을 소유한 청소년의 메시지나 행동을 모니터링했을 때 위험 상황을 발생시키는 빈도나 위험 생각을 하는 빈도가 줄었다고 생각되면 위험이 개선되었다고 판단하여 주는 주관적인 점수일 수 있다.
예를 들어, 위험 알림 횟수가 3이고 위험 알림 관련 유해 메시지에 포함된 총 글자 수가 100이고 위험 알림 관련 유해 메시지에 포함된 유해 키워드의 개수가 6이고 위험 알림 관련 유해 메시지에 포함된 유해 키워드의 글자 수가 30이고 복수의 제2 사용자 단말(20)에서 복수의 제1 사용자 단말(10)에 대해 설정한 위험 감지 강도의 평균이 8.5이고 제2 사용자 단말(20)에서 제1 사용자 단말(10)에 대해 설정한 위험 감지 강도가 7이고 복수의 제2 사용자 단말(20)에서 복수의 제1 사용자 단말(10)에 대해 설정한 위험 개선 정도의 평균이 3.5이고 제2 사용자 단말(20)에서 제1 사용자 단말(10)에 대해 설정한 위험 개선 정도가 3일 때, 위험 누적 점수는 2.56일 수 있다.
다른 예를 들어, 위험 알림 횟수가 3이고 위험 알림 관련 유해 메시지에 포함된 총 글자 수가 100이고 위험 알림 관련 유해 메시지에 포함된 유해 키워드의 개수가 7이고 위험 알림 관련 유해 메시지에 포함된 유해 키워드의 글자 수가 40이고 복수의 제2 사용자 단말(20)에서 복수의 제1 사용자 단말(10)에 대해 설정한 위험 감지 강도의 평균이 8.5이고 제2 사용자 단말(20)에서 제1 사용자 단말(10)에 대해 설정한 위험 감지 강도가 8이고 복수의 제2 사용자 단말(20)에서 복수의 제1 사용자 단말(10)에 대해 설정한 위험 개선 정도의 평균이 3.5이고 제2 사용자 단말(20)에서 제1 사용자 단말(10)에 대해 설정한 위험 개선 정도가 1일 때, 위험 누적 점수는 5.3일 수 있다.
위험 알림부(160)는 제1 사용자 단말(10)에 대한 위험 누적 점수를 주기적으로 제2 사용자 단말(20)에 제공하여 제2 사용자 단말(20)에서 위험 감지 강도를 조절하거나 청소년의 위험 개선을 위해 부모가 올바른 길로 지도하도록 더 부추길 수 있다.
본 실시예에 따르면 청소년 위험 감지 서버(100)는 인공지능 기반으로 제1 사용자 단말(10)에서 전송한 메시지에서 유해 키워드를 포함하는 유해 메시지를 필터링하고 인공지능 기반의 한국어 자연어 처리 모델을 사용하여 유해 메시지의 문맥을 분석하며 인공지능 기반의 감성 사전 데이터 모델을 사용하여 유해 메시지에 포함된 사용자의 감성을 분석하여 청소년들의 학교 폭력, 자살, 마약 등 이상 징후를 미리 파악하여 위험을 예측할 수 있으며, 위험 상황을 제2 사용자 단말(20)에 알림으로 전송하여 청소년들의 부정적인 행동을 사전에 방지할 수 있는 효과가 있다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템의 청소년 위험 감지 서버에서 청소년의 위험을 감지하기 위한 과정을 설명하기 위한 순서도이다.
도 3을 참조하면, 유해 키워드 저장부(100)는 기본 유해 키워드, 개인 유해 키워드 및 추천 유해 키워드를 포함하는 유해 키워드를 저장할 수 있다(단계 S310). 여기서 단계 S310은 해당 순서로 고정되지 않고 단계 S320 내지 단계 S360 사이에서 수시로 수행될 수 있다.
메시지 수집부(120)는 제1 사용자 단말(10)에서 전송한 메시지를 수집할 수 있다(단계 S320). 메시지 수집부(120)는 제1 사용자 단말(10)에서 메시지를 전송할 때마다 메시지를 수집하거나, 일정 시간 단위(예를 들면 1시간)로 제1 사용자 단말(10)에서 전송한 메시지를 한번에 수집할 수 있다.
메시지 필터링부(130)는 유해 키워드가 제1 사용자 단말(10)로부터 수집된 메시지에 포함되어 있는지 체크하여 유해 메시지를 필터링할 수 있다(단계 S330). 메시지 필터링부(130)는 필터링된 유해 메시지를 유해 메시지 데이터베이스에 저장할 수 있다.
문맥 분석부(140)는 인공지능 기반의 한국어 자연어 처리 모델을 사용하여 유해 메시지에 대한 문맥을 분석할 수 있다(단계 S340).
감성 분석부(150)는 감성 사전 데이터 모델을 사용하여 유해 메시지에 포함된 사용자의 감성을 분석할 수 있다(단계 S350).
위험 알림부(160)는 유해 메시지에 대한 문맥과 유해 메시지에 포함된 사용자의 감성 분석 결과에 따라 제2 사용자 단말(20)에 위험 알림을 전송할 수 있다(단계 S360).
상기에서는 본 발명의 일 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 청소년 위험 감지 서버
110: 유해 키워드 저장부
120: 메시지 수집부
130: 메시지 필터링부
140: 문맥 분석부
150: 감성 분석부
160: 위험 알림부
10: 제1 사용자 단말
20: 제2 사용자 단말

Claims (3)

  1. 제1 사용자 단말;
    제2 사용자 단말; 및
    상기 제1 사용자 단말 및 상기 제2 사용자 단말과 연결되고, 인공지능 기반으로 상기 제1 사용자 단말로부터 수집된 메시지에서 사용자의 감성을 분석하여 감성 위험 여부를 판단하며, 유해 키워드 저장부, 메시지 수집부, 메시지 필터링부, 문맥 분석부, 감성 분석부 및 위험 알림부를 포함하는 청소년 위험 감지 서버를 포함하고,
    상기 메시지 필터링부는,
    상기 제1 사용자 단말에서 전송한 메시지 중 유해 메시지에 대한 유해 메시지 점수를 아래의 수학식 1에 따라 산출하되,
    [수학식 1]

    는 유해 메시지 점수를 의미하고, 는 유해 메시지에 포함된 총 글자 수를 의미하고, 는 유해 메시지의 개수를 의미하고, 는 유해 메시지에 포함된 유해 키워드의 글자 수를 의미하고, 는 유해 메시지에 포함된 유해 키워드의 개수를 의미하고, 는 i번째 유해 키워드 중 욕설, 음란 관련 키워드로서 기 저장된 위험 키워드의 글자 수를 의미하고, 는 i번째 유해 키워드 중 위험 키워드의 개수를 의미하고, 는 i번째 위험 키워드에 대한 가중치를 의미하고,
    상기 위험 알림부는,
    상기 유해 메시지 점수가 기 설정된 기준 유해 메시지 점수보다 높으면 상기 제2 사용자 단말에 위험 알림을 전송하는, 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템.
  2. 제1항에 있어서,
    상기 청소년 위험 감지 서버는,
    기본 유해 키워드, 상기 제2 사용자 단말에서 등록한 개인 유해 키워드 및 기 등록된 유해 키워드 중 등록 개수에 따라 추천된 추천 유해 키워드를 포함하는 유해 키워드를 저장하는 유해 키워드 저장부;
    상기 제1 사용자 단말에서 전송한 메시지를 수집하는 메시지 수집부;
    상기 유해 키워드가 상기 수집된 메시지에 포함되어 있는지 체크하여 유해 메시지를 필터링하는 메시지 필터링부;
    인공지능 기반의 한국어 자연어 처리 모델을 사용하여 상기 유해 메시지에 대한 문맥을 분석하는 문맥 분석부;
    감성 사전 데이터 모델을 사용하여 상기 유해 메시지에 포함된 사용자의 감성을 분석하는 감성 분석부; 및
    상기 유해 메시지에 대한 문맥과 상기 유해 메시지에 포함된 사용자의 감성 분석 결과에 따라 상기 제2 사용자 단말에 위험 알림을 전송하는 위험 알림부를 포함하는, 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템.
  3. 삭제
KR1020230137205A 2023-10-13 2023-10-13 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템 KR102619428B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230137205A KR102619428B1 (ko) 2023-10-13 2023-10-13 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230137205A KR102619428B1 (ko) 2023-10-13 2023-10-13 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템

Publications (1)

Publication Number Publication Date
KR102619428B1 true KR102619428B1 (ko) 2023-12-29

Family

ID=89334110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230137205A KR102619428B1 (ko) 2023-10-13 2023-10-13 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템

Country Status (1)

Country Link
KR (1) KR102619428B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR900002303A (ko) * 1988-07-25 1990-02-28 강진구 음성녹음/재생 시스템
KR20100129122A (ko) * 2009-05-28 2010-12-08 삼성전자주식회사 텍스트 기반 데이터를 애니메이션으로 재생하는 애니메이션 시스템
KR101565588B1 (ko) 2014-05-12 2015-11-03 주식회사 아이온커뮤니케이션즈 원격 제어 기능이 구비된 폐쇄형 sns 시스템
KR101778090B1 (ko) * 2016-08-10 2017-09-13 대구대학교 산학협력단 입력 검색어를 이용한 지능적 유해정보 차단방법 및 이를 이용한 유해정보 차단시스템
KR20230081825A (ko) * 2021-11-30 2023-06-08 주식회사 인텔리어스 멘탈 헬스케어용 인공지능 챗봇 시스템
KR20230114847A (ko) * 2022-01-25 2023-08-02 주식회사 튜링바이오 인공지능 챗봇을 이용한 우울증 진단 시스템 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR900002303A (ko) * 1988-07-25 1990-02-28 강진구 음성녹음/재생 시스템
KR20100129122A (ko) * 2009-05-28 2010-12-08 삼성전자주식회사 텍스트 기반 데이터를 애니메이션으로 재생하는 애니메이션 시스템
KR101565588B1 (ko) 2014-05-12 2015-11-03 주식회사 아이온커뮤니케이션즈 원격 제어 기능이 구비된 폐쇄형 sns 시스템
KR101778090B1 (ko) * 2016-08-10 2017-09-13 대구대학교 산학협력단 입력 검색어를 이용한 지능적 유해정보 차단방법 및 이를 이용한 유해정보 차단시스템
KR20230081825A (ko) * 2021-11-30 2023-06-08 주식회사 인텔리어스 멘탈 헬스케어용 인공지능 챗봇 시스템
KR20230114847A (ko) * 2022-01-25 2023-08-02 주식회사 튜링바이오 인공지능 챗봇을 이용한 우울증 진단 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
Soni et al. See no evil, hear no evil: Audio-visual-textual cyberbullying detection
US10356024B2 (en) Moderating content in an online forum
Dimond et al. Domestic violence and information communication technologies
Yeo et al. Emotions in social media: An analysis of tweet responses to MH370 search suspension announcement
Keküllüoglu et al. Analysing privacy leakage of life events on twitter
KR102550923B1 (ko) 유해 사이트 차단 시스템 및 그 방법
Smith et al. The Instagram/Facebook ban on graphic self‐harm imagery: A sentiment analysis and topic modeling approach
Wei et al. {Anti-Privacy} and {Anti-Security} Advice on {TikTok}: Case Studies of {Technology-Enabled} Surveillance and Control in Intimate Partner and {Parent-Child} Relationships
Hon et al. Cyberbullying detection system on twitter
Tosun Social Networks as a learning and teaching environment and Security in Social Networks.
JP6572218B2 (ja) 危険検出装置、危険検出方法、及び危険検出プログラム
KR101490442B1 (ko) 이동통신 단말기, 이동통신 단말기에서의 악성 문자메시지 차단 방법 및 시스템
Hope Unsocial media: school surveillance of student internet use
KR20160109893A (ko) 익명으로 이용하는 채팅 서비스, 메시지 전달 서비스 또는 대화 서비스를 제공하는 시스템 및 방법
Chadwick et al. Misinformation rules!? Could “group rules” reduce misinformation in online personal messaging?
KR102619428B1 (ko) 인공지능 기반 스마트폰 모니터링 및 감성 분석을 통한 학교 폭력, 청소년 마약 및 자살 방지 시스템
Kohne et al. A practical guide to WhatsApp data in social science research
Zhang et al. Avoiding online censorship through ‘fatty’memes: How Chinese social media users talk about North Korea
Nigatu et al. “I Searched for a Religious Song in Amharic and Got Sexual Content Instead’’: Investigating Online Harm in Low-Resourced Languages on YouTube.
Ma et al. “Hello, Fellow Villager!”: Perceptions and Impact of Displaying Users’ Locations on Weibo
Abraha Examining approaches to internet regulation in Ethiopia
Olson et al. The Best Ends for the Best Means: Ethical Concerns in App Reviews
Jayasekara et al. AI-Based Child Care Parental Control System
Li Negotiating privacy and mobile socializing: Chinese University Students’ concerns and strategies for using geosocial networking applications
Febrina et al. A COMMUNITY BEHAVIOUR IN PREVENTING HOAXES AMID COVID 19 PANDEMIC THROUGH MEDIA LITERACY.

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant