KR102564300B1 - 체온 행동 패턴을 이용한 학교 폭력 예방 시스템 - Google Patents

체온 행동 패턴을 이용한 학교 폭력 예방 시스템 Download PDF

Info

Publication number
KR102564300B1
KR102564300B1 KR1020220082329A KR20220082329A KR102564300B1 KR 102564300 B1 KR102564300 B1 KR 102564300B1 KR 1020220082329 A KR1020220082329 A KR 1020220082329A KR 20220082329 A KR20220082329 A KR 20220082329A KR 102564300 B1 KR102564300 B1 KR 102564300B1
Authority
KR
South Korea
Prior art keywords
violence
body temperature
information
image information
disease
Prior art date
Application number
KR1020220082329A
Other languages
English (en)
Inventor
최양우
Original Assignee
최양우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최양우 filed Critical 최양우
Priority to KR1020220082329A priority Critical patent/KR102564300B1/ko
Application granted granted Critical
Publication of KR102564300B1 publication Critical patent/KR102564300B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Alarm Systems (AREA)

Abstract

체온 행동 패턴을 이용한 학교 폭력 예방 시스템은 학교 내의 폭력 발생을 사람이 체온과 움직임 패턴을 이용하여 폭력 발생을 예측할 수 있다.
본 발명은 사람의 체온과 움직임 패턴을 이용하여 폭력 감지를 수행할 수 있어 학교 폭력 문제를 크게 개선할 수 있는 효과가 있다.
본 발명은 사람의 체온과 움직임 패턴을 이용하여 범죄 감지, 건강 케어를 수행하여 범죄를 예방할 수 있고, 학교 내 학생들의 건강 위험을 미리 예측할 수 있는 효과가 있다.

Description

체온 행동 패턴을 이용한 학교 폭력 예방 시스템{System for Preventing Violence School Using Body Temperature and Behavior Pattern}
본 발명은 학교 폭력 예방 시스템에 관한 것으로서, 더욱 상세하게는 학교 내의 폭력 발생을 사람이 체온과 움직임 패턴을 이용하여 폭력 발생을 예측할 수 있는 체온 행동 패턴을 이용한 학교 폭력 예방 시스템에 관한 것이다.
학교 폭력은 학생의 정신적, 신체적 건강을 위협하는 심각한 사회 문제이다.
최근 학교 폭력의 변화 추이를 살펴보면, 신체적 폭력은 감소하고 있는 반면, 관계적 폭력과 같은 정서적, 정신적 폭력은 증가하고 있다.
최근 학교 폭력이 사회 문제가 되고 있다. 학교 폭력은 학생 간 발생하는 폭행, 상해, 감금, 위협, 약취, 모욕, 심부름, 명예훼손, 따돌림, 성폭력, 언어폭력 등 다양한 형태로 나타나는데, 이러한 학교 폭력은 성인과 선생님들의 무관심 및 가해자에 대한 약한 처벌 등으로 점점 더 심각한 상황에 이르렀다.
최근에는 학교 폭력을 예방 및 방지하기 위해서 CCTV(Closed Circuit Television)를 설치하여 학교 폭력을 감시하고 있으나, 사각 지대가 많을 뿐만 아니라, 학교 폭력을 방지하는 근본적인 원인이 되지 못하고 있다.
학교에는 폭력, 고민, 왕따, 학교에 대한 불만사항을 신고하도록 신고함을 설치 및 운영하고 있으나, 학생들의 인식 부족과 학교 측의 불성실한 대처 등으로 정상적인 운영이 어려운 실정에 있다.
또한, 현재 학교 폭력에 대한 방지 및 대책은 학교 폭력이 발생하는 경우, 학교 내부에서 조용히 넘어가려고 하는 경향이 있고, 이로 인하여 학교 폭력 피해자에게도 낙인이 될 수 있으며, 대다수 아이들이 보복이 무서워 폭력을 묵인하고 방조하고 있다.
따라서, 피해 학생은 학교 폭력 피해 사실을 학교에 대한 불신으로 인해 신고하지 않는 문제점이 있다.
학생들의 폭력, 고민, 왕따, 학교에 대한 불만사항을 신고하도록 기존에는 신고함을 교내 출입구나 복도에 설치하여 신고하도록 하였으나, 이는 교사가 순찰하여 신고함을 열어 확인해야 하므로 학생이 편지를 신고함에 투입, 신고하더라도 신고한 사실을 즉시 알지 못하여 학생들의 애로 사항을 신속하게 해결해 주지 못하였다.
이와 같이, 학교에서는 학생들의 애로 사항을 해결하지 못하여 학교 폭력의 생활 문제 사고가 날로 증가되고 있다.
한국 등록특허번호 제10-1356723호
이와 같은 문제점을 해결하기 위하여, 본 발명은 학교 내의 폭력 발생을 사람이 체온과 움직임 패턴을 이용하여 폭력 발생을 예측할 수 있는 체온 행동 패턴을 이용한 학교 폭력 예방 시스템을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 체온 행동 패턴을 이용한 학교 폭력 예방 시스템은,
학교의 다양한 장소에 각각 설치되며, 현장을 촬영하여 광학 영상을 획득하기 위한 광학 영상 카메라와 현장을 촬영하여 열화상을 획득하기 위한 열화상 카메라와, 상기 광학 영상 카메라에서 획득한 영상 정보와 상기 열화상 카메라에서 획득한 열화상 정보를 전송하는 카메라 제어기로 이루어진 하나 이상의 영상 정보 추출 장치; 및
무선 통신부를 통해 상기 각각의 영상 정보 추출 장치로부터 수신한 영상 정보(픽셀값, 픽셀 위치)와 열화상 정보(픽셀값, 픽셀 위치)를 영상 정보 추출 장치별로 데이터베이스화하여 저장하는 영상 데이터베이스부와, 상기 영상 데이터베이스부의 영상 정보와 열화상 정보에 포함된 사람 객체를 각각 추출하는 객체 형태 추출부와, 상기 객체 형태 추출부의 열화상 정보에서 사람 객체의 윤곽선 내부에 속하는 픽셀들을 추출하고, 상기 윤곽선 내부의 각 픽셀값을 체온 간의 매핑 관계를 나타내는 표준 온도 테이블을 이용하여 사람의 체온으로 환산하는 체온 환산부와, 상기 환산한 체온이 기설정된 기준 온도 이상인 경우, 폭력 행위 예비 단계이고, 상기 열화상 정보의 움직임 정보 분석을 통한 폭력 행동을 검출하는 폭력 행동 감지부로 이루어진 폭력 예방 관리 서버를 포함한다.
전술한 구성에 의하여, 본 발명은 사람의 체온과 움직임 패턴을 이용하여 폭력 감지를 수행할 수 있어 학교 폭력 문제를 크게 개선할 수 있는 효과가 있다.
본 발명은 사람의 체온과 움직임 패턴을 이용하여 범죄 감지, 건강 케어를 수행하여 범죄를 예방할 수 있고, 학교 내 학생들의 건강 위험을 미리 예측할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 체온 행동 패턴을 이용한 학교 폭력 예방 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 영상 정보 추출 장치의 내부 구성을 간략하게 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 폭력 예방 관리 서버의 내부 구성을 간략하게 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 사용자 단말기의 사용자 인터페이스 화면의 일례를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 열화상 정보로 신체의 특정 위치 픽셀에 특정한 질병 발생을 예측하는 방법을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 기준 온도 이상의 픽셀의 비율이 50% 이상으로 폭력 움직임을 판단하는 방법을 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 연속적인 하나 이상의 움직임 정보로 이루어진 움직임 패턴을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 체온 행동 패턴을 이용한 학교 폭력 예방 시스템의 구성을 나타낸 도면이다.
본 발명의 실시예에 따른 체온 행동 패턴을 이용한 학교 폭력 예방 시스템(100)은 학교의 다양한 장소에 설치되는 하나 이상의 영상 정보 추출 장치(110), 통신망(102) 및 폭력 예방 관리 서버(130)를 포함한다. 이외에 폭력 예방 관리 서버(130)에 접속하여 폭력 예방 관리 서버(130)에서 제공하는 전용 어플리케이션(아이러브쌤)을 다운로드 받아 설치하고, 폭력 예방 관리 서버(130)가 제공하는 웹페이지에 접속하여 폭력 감지 서비스, 범죄 감지 서비스, 건강 케어 서비스를 제공받는 사용자 단말기(120)를 포함한다.
사용자 단말기(120)는 학교 서버(140)로부터 전용 앱(아이러브쌤)을 수신하여 실행하고, 전용 앱을 통해 폭력 예방 관리 서버(130)에 접속하며, 폭력 예방 관리 서버(130)로부터 폭력 감지를 나타내는 알람 정보를 수신하여 표시할 수 있다.
사용자 단말기(120)는 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 사용자 단말기(120)는 무선 또는 유선 통신 방식을 이용하여 통신망(102)를 통해 폭력 예방 관리 서버(130)와 통신할 수 있다.
본 발명의 사용자 단말기(120)는 학교 교사들이 소지한 하나 이상의 교사 단말이거나, 학교 관리자가 소지한 관리자 단말로서, 휴대폰이나 PC일 수 있다.
사용자 단말기(120)는 전용 앱을 실행하여 학교 서버(140)가 제공하는 웹페이지에 접속한다.
학교 서버(140)는 학급별 체험 학습 정보, 학급별 일일 알림장, 주간 수업 시간표, 전단 수업 시간표, 특별시 시간표, 보결 시간표와 같은 수업 시간표 등의 다양한 데이터를 전용 앱을 통해 관리자 단말과 교사 단말의 사용자 단말기(120)로 전송한다.
사용자 단말기(120)는 학교 서버(140)에 접속하여 교육 정보 데이터베이스부와 교사 정보 데이터베이스부에 연동이 가능하고, 체험 학습 관리, 보결 관리 등 다양한 학습과 관련된 정보의 승인 및 관리 기능을 수행한다.
통신망(102)은 통신 방식은 제한되지 않으며, 일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 통신망은 PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 통신망은 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
하나 이상의 영상 정보 추출 장치(110)는 학교의 다양한 장소(교실, 출입문 등)에 각각 설치되며, 현장을 촬영하여 광학 영상을 획득하기 위한 광학 영상 카메라(111)와 현장을 촬영하여 열화상을 획득하기 위한 열화상 카메라(112)를 포함하여 구성된다.
폭력 예방 관리 서버(130)는 하나 이상의 영상 정보 추출 장치(110)로부터 영상 정보와 열화상 정보를 주기적으로 수신하고, 폭력과 관련하여 사람의 체온이 올라가는 것을 착안하여 체온과 움직임 패턴을 분석하여 폭력 행동을 검출할 수 있다.
도 2는 본 발명의 실시예에 따른 영상 정보 추출 장치의 내부 구성을 간략하게 나타낸 블록도이다.
본 발명의 실시예에 따른 영상 정보 추출 장치(110)는 광학 영상 카메라(111), 열화상 카메라(112), 카메라 제어기(113), 제1 통신모듈(114) 및 제2 통신모듈(115)로 이루어져 있다.
광학 영상 카메라(111)는 CCD(Charge Couple Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)로 구성되는 이미지 센서 어레이로 구성되며, 현장을 촬영한 광학 영상을 획득하는 기능을 수행한다.
또한, 열화상 카메라(112)는 디지털 온도 센서 어레이(Digital Thermopile Array)구성되고, 학교 현장에서 이동하는 객체(즉, 사람)로부터 방사되는 열적외선을 감지하여 감지한 열적외선의 파장에 따라 온도값을 계산하며, 현장의 온도 분포에 대한 영상을 출력하여 현장을 촬영한 열화상을 획득하는 기능을 수행한다.
또한, 광학 영상 카메라(111)와 열화상 카메라(112)는 촬영 방향과 화각이 동기화되어 영상 정보 추출 장치(110)에 구비된다.
영상 정보 추출 장치(110)는 광학 영상 카메라(111)와 열화상 카메라(112)에 전기적으로 연결된 카메라 제어기(113)에 의해 촬영 시점을 동기화하여 촬영한다.
카메라 제어기(113)는 광학 영상 카메라(111)에서 획득한 영상 정보를 제1 통신모듈(114)을 통해 폭력 예방 관리 서버(130)로 전송한다.
카메라 제어기(113)는 열화상 카메라(112)에서 획득한 열화상 정보를 제2 통신모듈(115)을 통해 폭력 예방 관리 서버(130)로 전송한다. 카메라 제어기(113)는 제1 통신모듈(114)과 제2 통신모듈(115)을 통하여 영상 정보와 열화상 정보를 폭력 예방 관리 서버(130)로 전송하는 것으로 예시하고 있지만, 유선 통신으로 영상 정보와 열화상 정보를 폭력 예방 관리 서버(130)로 전송할 수도 있다.
도 3은 본 발명의 실시예에 따른 폭력 예방 관리 서버의 내부 구성을 간략하게 나타낸 블록도이고, 도 4는 본 발명의 실시예에 따른 사용자 단말기의 사용자 인터페이스 화면의 일례를 나타낸 도면이고, 도 5는 본 발명의 실시예에 따른 열화상 정보로 신체의 특정 위치 픽셀에 특정한 질병 발생을 예측하는 방법을 나타낸 도면이고, 도 6은 본 발명의 실시예에 따른 기준 온도 이상의 픽셀의 비율이 50% 이상으로 폭력 움직임을 판단하는 방법을 나타낸 도면이고, 도 7은 본 발명의 실시예에 따른 연속적인 하나 이상의 움직임 정보로 이루어진 움직임 패턴을 나타낸 도면이다.
본 발명의 실시예에 따른 폭력 예방 관리 서버(130)는 무선 통신부(131), 영상 데이터베이스부(132), 객체 형태 추출부(133), 체온 환산부(134), 서버 제어부(135), 빅데이터 처리부(136), 기계 학습부(137), 평가부(138), 폭력 행동 감지부(139) 및 저장부(139a)를 포함한다.
무선 통신부(131)는 통신망(102)을 통하여 영상 정보 추출 장치(110)와 통신하여 영상 정보와 열화상 정보를 수신하여 영상 데이터베이스부(132)에 저장하거나, 데이터 송수신을 수행하기 위해 통신망(102)과 호환 가능한 통신 프로토콜이 포함된다.
여기서, 통신망(102)은 단말기들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(Local Area Network), 광역 통신망(Wide Area Network), 인터넷 (World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.
무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(Visible Light Communication, VLC), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
영상 데이터베이스부(132)는 무선 통신부(131)를 통해 각각의 영상 정보 추출 장치(110)로부터 수신한 영상 정보(픽셀값, 픽셀 위치)와 열화상 정보(픽셀값, 픽셀 위치)를 영상 정보 추출 장치별로 데이터베이스화하여 저장하고 있다.
영상 데이터베이스부(132)는 영상 정보를 구성하는 픽셀에 대한 제1 좌표 정보와 열화상 정보를 구성하는 픽셀에 대한 제2 좌표 정보를 각각 매칭하여 저장한다.
객체 형태 추출부(133)는 객체 검출 알고리즘의 연산 처리를 수행하여 객체 형태를 추출한다.
객체 형태 추출부(133)는 영상 데이터베이스부(132)의 영상 정보와 열화상 정보에 포함된 사람 객체를 각각 추출하고, 추출된 사람 객체에 대하여 이진화 처리를 수행하고, 1초당 n 프레임을 가지는 입력된 영상 데이터로부터 이전 프레임의 영상 데이터와 현재 프레임의 영상 데이터를 이용하여 각 픽셀의 가우시안 분포로부터 전경 픽셀과 배경 픽셀을 분리한 후 물체의 형태를 추출하도록 구성된다.
객체 형태 추출부(133)의 객체 검출 알고리즘은 입력된 영상 프레임을 기설정된 크기(예: 640×480)로 변환한 후, 이전 프레임 데이터의 픽셀과 현재 프레임 픽셀 데이터를 비교하여 전경 픽셀 또는 배경 픽셀을 판단하고, 전경 픽셀을 분리하여 물체의 형태를 추출하는 처리 과정을 수행한다. 즉, 객체 형태 추출부(133)는 입력된 영상을 기설정된 크기로 변환한 후, 각 픽셀의 색상 값(R, G, B)들의 공분산을 계산하여 K개의 가우시안 분포로 분리한 후, 전경 픽셀과 배경 픽셀을 결정한다. 그리고 객체 형태 추출부(133)는 전경 픽셀과 배경 픽셀로 분리된 이진화된 영상으로부터 윤곽선을 추출하여 객체 형태를 추출하도록 구성된다.
다른 실시예로서, 객체 형태 추출부(133)는 영상 프레임에서 사람 객체가 존재할 것으로 추정되는 영역을 추출하고, 추출된 영역으로부터 특징을 나타내는 특징맵을 추출하고, 추출한 특징맵을 기초로 영상에서 사람 객체의 존재가 추정되는 적어도 하나의 영역을 추출한다. 영역을 추출하는 방법은 예를 들어 faster RCNN, SSD(Single Shot MultiBox Detector), YOLO(You Only Look Once) 등이 있을 수 있다.
객체 형태 추출부(133)는 영상 정보와 열화상 정보에서 사람 객체의 윤곽선을 추출한다.
체온 환산부(134)는 객체 형태 추출부(133)의 열화상 정보에서 사람 객체의 윤곽선 내부에 속하는 픽셀들을 추출하고, 윤곽선 내부의 각 픽셀값을 체온 간의 매핑 관계를 나타내는 표준 온도 테이블을 이용하여 사람의 체온으로 환산한다.
여기서, 표준 온도 테이블은 열화상 정보의 픽셀값과 체온 간의 매핑 관계를 저장하고 있다.
다른 실시예로서, 체온 환산부(134)는 객체 형태 추출부(133)의 열화상 정보에서 사람 객체의 윤곽선 내부에 속하는 픽셀들을 추출하고, 윤곽선 내부의 각 픽셀값을 합한 값을 평균한 평균값을 계산하고, 계산한 평균값을 체온 간의 매핑 관계를 나타내는 표준 온도 테이블을 이용하여 사람의 체온으로 환산한다.
다른 실시예로서, 체온 환산부(134)는 객체 형태 추출부(133)의 열화상 정보에서 사람 객체의 윤곽선 내부에 속하는 픽셀들을 추출하고, 윤곽선 내부의 각 픽셀값에서 큰 값 순서로 나열하고, 나열된 픽셀값에서 기설정된 상위 개수의 픽셀값을 추출하고, 추출한 픽셀값을 합한 값을 평균한 평균값을 계산하고, 계산한 평균값을 체온 간의 매핑 관계를 나타내는 표준 온도 테이블을 이용하여 사람의 체온으로 환산한다.
예를 들면, 체온 환산부(134)는 열화상 정보의 각 픽셀값에서 높은 값 순서로 기설정된 상위 개수가 5개인 경우, 5개의 픽셀값을 합한 값을 평균한 평균값을 계산하고, 계산한 평균값을 체온 간의 매핑 관계를 나타내는 표준 온도 테이블을 이용하여 사람의 체온으로 환산한다.
서버 제어부(135)는 환산한 체온이 기설정된 기준 온도 이상인지 판단하고, 환산한 체온이 기설정된 기준 온도 이상인 경우, 폭력 행위 예비 단계로 판단하며, 환산한 체온이 기설정된 기준 온도 이하인 경우, 폭력 행위 예비 단계로 판단하지 않고, 영상 데이터베이스부(132)에서 영상 정보와 열화상 정보를 삭제하여 저장하지 않는다.
다른 실시예로서, 서버 제어부(135)는 열화상 정보의 각 픽셀값에 대하여 환산한 체온 정보가 기설정된 기준 온도 이상인지 각각 판단하고, 기준 온도 이상의 픽셀의 개수가 기설정된 기준 픽셀 개수 이상인 경우, 영상 정보에 포함된 사람 객체가 폭력 행위 예비 단계로 판단할 수 있다.
서버 제어부(135)는 체온이 올라간 영상 정보와 열화상 정보만을 저장하여 용량 문제를 해결할 수 있다.
기준 온도는 학교에서 폭력이 발생하면, 폭력을 행사하는 사람들의 신체 온도가 올라가는데 착안한 것이며, 폭력이 일어날 때 사람들의 신체 온도를 측정하여 통계화 처리를 통해 폭력이 발생했을 때 측정한 온도를 바탕으로 만들어진 수치이다.
서버 제어부(135)는 하기의 빅데이터 처리부(136)와 기계 학습부(137)를 통해 기준 온도를 분석하고, 폭력 관련한 기준 온도를 변경할 수 있다.
빅데이터 처리부(136)는 외부로부터 학교 폭력, 싸움이나 학교 이외의 다른 장소에서 폭력, 싸움이 발생할 때, 폭력 참여자들의 체온을 측정한 온도 데이터를 수신하여 저장하고, 저장한 온도 데이터를 이용하여 폭력 발생과 체온 변화를 분석한다.
서버 제어부(135)는 빅데이터 처리부(136)로부터 수신한 체온 정보의 특징 벡터를 기계 학습부(137)의 입력 데이터로 전송한다.
기계 학습부(137)는 입력층으로부터 입력 데이터를 입력받아 예측값을 출력층의 버퍼에 출력하는 예측 심층 신경망을 사용하며, 예측 심층 신경망의 구조나 형태는 제한되지 않고, 대표적인 방법으로 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 등이 있다.
기계 학습부(137)는 특징 벡터를 패턴 인식 기법을 이용하여 다양한 연관 관계를 찾아내는 기법으로 재발 신경망(Recurrent Neural Network, RNN) 모델의 LSTM(Long Short-Term Memory)로 구성된다.
패턴 인식 기법은 인공 신경망을 이용한 예측 방법으로 입력층으로부터 출력층의 결과값을 예측한 경우, 학습 과정에서 결과값들로부터 입력값을 예측할 수 있다. 인공 신경망은 입력값과 출력값이 일대일 대응 관계에 있지 아니하므로, 출력층으로서 입력층을 그대로 복구하는 것은 불가능하나, 예측 알고리즘을 고려하여 역전파(Backpropagation) 알고리즘에 의해 결과값으로부터 산출된 출력 데이터가 최초의 입력 데이터와 상이하다면, 인공 신경망의 예측이 부정확하다고 볼 수 있으므로, 제약 조건 하에서 산출된 출력 데이터가 최초의 입력 데이터와 유사해지도록 예측 계수를 변경하여 학습을 훈련하게 된다.
심층 신경망이란 신경망 알고리즘 중에서 여러 개의 층으로 이루어진 신경망을 의미한다. 한 층은 여러 개의 노드로 이루어져 있고, 노드에서 실제 연산이 이루어지는데, 이러한 연산 과정은 인간의 신경망을 구성하는 뉴런에서 일어나는 과정을 모사하도록 설계되어 있다. 통상적인 인공 신경망은 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer)으로 나뉘며, 입력 데이터는 입력층의 입력이 되며, 입력층의 출력은 은닉층의 입력이 되고, 은닉층의 출력은 출력층의 입력이 되고, 출력층의 출력이 최종 출력이 된다.
기계 학습부(137)는 입력층으로부터 입력 데이터를 입력받아 예측값을 출력층의 버퍼에 출력하는 예측 심층 신경망을 사용하며, 예측 심층 신경망의 구조나 형태는 제한되지 않고, 대표적인 방법으로 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 등이 있으며, 각각의 신경망의 조합으로 예측 심층 신경망을 구성하여 다양한 구조의 심층 신경망을 구성할 수 있다.
기계 학습부(137)는 폭력 상황에서 측정된 체온 정보를 입력으로 하고, 폭력 발생 예측 정보를 출력하는 하는 인공 신경망 기반으로 폭력 감지 예측 모델을 구축한다.
평가부(138)는 입력된 체온 정보를 폭력 감지 예측 모델에 입력하여 체온 정보에 대응하여 폭력 발생을 예측한다.
기계 학습부(137)는 체온 정보에 대응하여 폭력 발생을 예측하는 폭력 감지 예측 모델을 저장부에 저장하여 기계 학습의 학습 데이터 셋으로 이용할 수 있다.
기계 학습 과정은 과거에 저장된 많은 데이터로부터 특징 벡터를 추출하고, 추출된 특징 벡터를 토대로 학습 데이터 셋을 만들고, 학습 데이터 셋은 기계 학습 알고리즘에 기반하여 예측 모델을 생성하게 된다. 학습 데이터는 기계 학습에서 원하는 정보를 추출하기 위해서 사용되는 데이터의 집합이다.
기계 학습부(137)는 저장부에 저장된 폭력 감지 예측 모델을 메모리부(미도시)로 불러와서 체온 정보의 특징 벡터를 입력 데이터로 하여 폭력 발생을 예측하는 기계 학습한다.
평가부(138)는 폭력 감지 예측 모델을 기반으로 체온 정보의 특징 벡터를 입력 데이터로 입력하고, 폭력 발생을 예측하여 출력 데이터로 출력한다.
서버 제어부(135)는 영상 데이터베이스부(132)와 연동하여 열화상 정보의 각 픽셀값과 제2 좌표 정보를 추출한다.
체온 환산부(134)는 열화상 정보의 각 픽셀값을 체온 간의 매핑 관계를 나타내는 표준 온도 테이블을 이용하여 사람의 체온으로 환산한다.
서버 제어부(135)는 각 픽셀값, 체온, 제2 좌표 정보의 특징 벡터를 기계 학습부(137)의 입력 데이터로 전송한다. 제2 좌표 정보는 열화상 정보의 각 픽셀이 인체의 어느 부위 위치인지 나타낸다.
기계 학습부(137)는 각 픽셀값, 체온, 제2 좌표 정보를 입력으로 하고, 질병 발생 예측 정보를 출력하는 인공 신경망 기반으로 질병 예측 모델을 구축한다.
평가부(138)는 입력된 각 픽셀값, 체온, 제2 좌표 정보를 질병 예측 모델에 입력하여 입력된 각 픽셀값, 체온, 제2 좌표 정보에 대응하여 질병 발생을 예측한다.
기계 학습부(137)는 저장부에 저장된 질병 예측 모델을 메모리부(미도시)로 불러와서 각 픽셀값, 체온, 제2 좌표 정보의 특징 벡터를 입력 데이터로 하여 질병 발생을 예측하는 기계 학습한다.
평가부(138)는 각 픽셀값, 체온, 제2 좌표 정보의 특징 벡터를 입력 데이터로 입력하고, 특정한 질병 발생을 예측하여 출력 데이터로 출력한다.
질병을 예측하는 알고리즘을 설명하면 다음과 같다.
객체 형태 추출부(133)는 영상 데이터베이스부(132)의 영상 정보와 열화상 정보에 포함된 사람 객체를 각각 추출한다. 객체 형태 추출부(133)는 열화상 정보에서 사람 객체의 윤곽선을 추출한다.
체온 환산부(134)는 객체 형태 추출부(133)의 열화상 정보에서 사람 객체의 윤곽선 내부에 속하는 픽셀들을 추출하고, 윤곽선 내부의 각 픽셀값을 체온 간의 매핑 관계를 나타내는 표준 온도 테이블을 이용하여 사람의 체온으로 환산한다.
저장부는 신체 부위별로 발생할 수 있는 질병이 등록되고, 질병별로 질병이 의심되는 온도값이 설정되어 있다.
예를 들면, 신체에서 머리의 특정 위치의 온도가 37.5도인 경우, 뇌병변의 전조 증상이 될 수 있고, 신체에서 간 위치의 온도가 39도인 경우, 간질환의 종류가 급성 간염 증상이 될 수 있다.
또한, 예를 들면, 신체에서 간 위치의 온도가 39도인 경우, 급성 간염 의심, 온도가 38인 경우, 중증 간염 의심, 온도가 37인 경우, 초기 간염 의심될 수 있다.
도 5에 도시된 바와 같이, 서버 제어부(135)는 사람 객체의 모든 신체 부위 위치의 픽셀을 체온으로 환산한 상태에서 저장부와 연동하여 환산한 체온이 신체 부위 위치와 연관하여 질병별로 설정된 온도값과 일치되는지 판단한다.
서버 제어부(135)는 환산한 체온이 신체 부위 위치와 연관하여 질병별로 설정된 온도값과 일치하는 경우, 해당 질병을 감지하는 질병 감지 알람 신호를 생성하여 관리자 단말 또는 교사 단말의 사용자 단말기(120)로 전송한다.
다른 실시예로서, 서버 제어부(135)는 환산한 체온이 신체 부위 위치와 연관하여 질병별로 설정된 온도값과 일치하는 경우, 체온과 각 픽셀값, 제2 좌표 정보를 평가부(138)의 입력 데이터로 입력하며, 평가부(138)의 출력 데이터로 특정한 질병 발생 정보를 수신하여 출력한다.
사용자 단말기(120)의 메인 메뉴의 아이콘 집합은 질병 감지 알람(11a)을 아이콘화하여 형성한다.
서버 제어부(135)는 평가부(138)에 의해 질병 발생을 감지하는 질병 발생 감지 신호를 생성하고, 생성한 질병 발생 감지 신호에 대응하는 질병 감지 알람 신호를 생성하여 관리자 단말 또는 교사 단말의 사용자 단말기(120)로 전송한다. 여기서, 질병 감지 알람 신호는 질병 명칭, 질병 상태 정보(상중하 등)를 포함한다.
도 4에 도시된 바와 같이, 사용자 단말기(120)의 사용자 인터페이스 화면은 모바일 헤더 영역(10), 메인 메뉴의 아이콘 집합(11), 네이게이션바(12)를 포함한다.
모바일 헤더 영역(10)은 메뉴버튼, 로고, 환경설정, 이용자 정보 등으로 구성된다. 메인 메뉴의 아이콘 집합(11)은 안내장, 주간 학습, 수강 신청, 알림장, 진급반 편성, 학생별 시간표를 각 메뉴로 아이콘화 하여 터치할 때, 해당 페이지로 이동한다.
네이게이션바(12)는 뒤로가기 버튼, 설문 조사와 대화를 어떤 화면에서도 확인, 이동 가능하도록 구성된다.
도 4에 도시된 바와 같이, 사용자 단말기(120)는 폭력 예방 관리 서버(130)로부터 질병 감지 알람 신호를 수신하면, 화면에 질병 감지 알람을 활성화하여 깜박거려 사용자에게 질병 감지를 알려준다. 사용자 단말기(120)는 질병 감지 알람(11a)의 메뉴를 터치하면, 해당 페이지로 이동하여 질병 명칭, 질병 상태 정보(상중하 등)를 출력한다. 질병에는 코로나도 포함될 수 있다.
폭력 예방 관리 서버(130)는 질병을 예측하여 관리자 단말이나 교사 단말로 전송하여 학생들의 건강 상태를 케어할 수 있다.
폭력 예방 관리 서버(130)는 질병 감지의 정확성을 향상시키기 위해서 기계 학습부(137)를 통해 많은 데이터를 기계 학습한다.
폭력 행동 감지부(139)는 환산한 체온이 기설정된 기준 온도 이상인 경우, 폭력 행위 예비 단계로 판단하고, 폭력 행동 감지부(139)를 이용하여 영상 정보 분석으로 폭력 행위를 검출한다.
폭력 예방 관리 서버(130)는 서버 제어부(135)와 폭력 행동 감지부(139)에 의해 사람 객체를 추출하고, 열화상 정보에서의 사람 객체의 온도와 움직임 정보를 분석하여 폭력 행동을 검출할 수 있다.
도 6에 도시된 바와 같이, 폭력 행동 감지부(139)는 폭력 행위 예비 단계라고 판단한 경우에, 열화상 정보의 각 픽셀값에 대하여 환산한 체온 정보가 기설정된 기준 온도 이상인지 각각 판단하고, 기준 온도 이상의 픽셀의 개수가 기설정된 기준 픽셀 개수 이상인 경우, 영상 정보에 포함된 사람 객체가 폭력 행위로 판단한다.
폭력 행동 감지부(139)는 영상 정보와 열화상 정보의 움직임 정보 분석을 통한 폭력 행위를 검출하는 제1 폭력 인식 알고리즘을 이용한다.
제1 폭력 인식 알고리즘은 다음과 같이 상세하게 설명한다.
도 6에 도시된 바와 같이, 폭력 행동 감지부(139)는 환산한 체온이 기설정된 기준 온도 이상인 픽셀을 추출하고, 전체 픽셀 중 기준 온도 이상의 픽셀의 비율이 50% 이상인 경우, 추출한 영상 정보의 사람 객체가 폭력 행동으로 판단하며, 전체 픽셀 중 기준 온도 이상의 픽셀의 비율이 50% 이하인 경우, 추출한 영상 정보의 사람 객체가 폭력 행동이 아니라고 판단한다. 50%의 비율은 폭력 행동 감지부(139)에 의해 35%, 40%, 60% 등 다양하게 퍼센트 비율을 변경할 수 있다.
영상 데이터베이스부(132)는 무선 통신부(131)를 통해 영상 정보 추출 장치(110)로부터 수신한 영상 정보(픽셀값, 픽셀 위치)와 열화상 정보(픽셀값, 픽셀 위치)를 영상 정보 추출 장치별로 데이터베이스화하여 저장하고 있는데, 저장 시 영상 정보와 열화상 정보의 영상 프레임마다 시간 순서대로 연속적으로 수신하여 영상 정보 추출 장치별로 저장한다.
폭력 행동 감지부(139)는 입력되는 열화상 정보의 영상 프레임마다 기준 온도 이상의 픽셀 비율이 50% 이상인 영상 프레임을 일정 시간 유지하는 경우, 폭력 행동의 검출 결과를 도출하는 제2 폭력 인식 알고리즘을 이용한다.
제2 폭력 인식 알고리즘은 다음과 같이 상세하게 설명한다.
폭력 행동 감지부(139)는 영상 데이터베이스부(132)로부터 영상 정보와 열화상 정보의 영상 프레임마다 시간 순서대로 추출하고, 열화상 정보의 각 픽셀값을 체온 간의 매핑 관계를 나타내는 표준 온도 테이블을 이용하여 각 픽셀값을 사람의 체온으로 각각 환산한다.
폭력 행동 감지부(139)는 영상 프레임(이전 영상 프레임, 현재 영상 프레임, 다음의 영상 프레임)마다 열화상 정보의 각 픽셀값에서 환산한 체온이 기설정된 기준 온도 이상인 픽셀들을 추출하고, 전체 픽셀 중 기준 온도 이상의 픽셀의 비율이 50% 이상의 영상 프레임을 판단한다.
폭력 행동 감지부(139)는 기준 온도 이상의 픽셀의 비율이 50% 이상의 영상 프레임이 검출되는 연속 시간이 기설정된 기준 유지 시간 이상인 경우, 추출한 영상 프레임의 사람 객체가 폭력 움직임이 이루어지고 있음을 판단한다.
폭력 행동 감지부(139)는 기준 온도 이상의 픽셀의 비율이 50% 이하인 영상 프레임이거나, 기준 온도 이상의 픽셀의 비율이 50% 이상의 영상 프레임이 검출되는 연속 시간이 기설정된 기준 유지 시간 이하인 경우, 추출한 영상 프레임의 사람 객체가 폭력 움직임이 아니라고 판단한다.
폭력 행동 감지부(139)는 영상 정보와 열화상 정보의 움직임 정보 분석을 통한 폭력 행위를 검출하는 제3 폭력 인식 알고리즘을 이용한다.
제3 폭력 인식 알고리즘은 다음과 같이 상세하게 설명한다.
폭력 행동 감지부(139)는 영상 데이터베이스부(132)로부터 영상 정보와 열화상 정보의 영상 프레임마다 시간 순서대로 추출하고, 열화상 정보의 각 픽셀값을 체온 간의 매핑 관계를 나타내는 표준 온도 테이블을 이용하여 각 픽셀값을 사람의 체온으로 각각 환산한다.
폭력 행동 감지부(139)는 영상 프레임(이전 영상 프레임, 현재 영상 프레임, 다음의 영상 프레임)마다 열화상 정보의 각 픽셀값에서 환산한 체온이 기설정된 기준 온도 이상인 픽셀들을 추출하고, 전체 픽셀 중 기준 온도 이상의 픽셀의 비율이 50% 이상의 영상 프레임을 판단한다.
도 7에 도시된 바와 같이, 폭력 행동 감지부(139)는 기준 온도 이상의 픽셀의 비율이 50% 이상의 영상 프레임(열화상 정보)들을 움직임 정보(20)로 각각 저장하고, 저장된 연속적인 하나 이상의 움직임 정보(20)로 이루어진 움직임 패턴(30)을 기설정된 하나 이상의 기준 움직임 정보로 이루어진 기준 움직임 패턴과 비교하여 오차 범위 내로 일치하는 경우, 추출한 영상 정보의 사람 객체가 폭력 움직임이 있다고 판단한다.
폭력 행동 감지부(139)는 저장된 연속적인 하나 이상의 움직임 정보(20)로 이루어진 움직임 패턴(30)을 기설정된 하나 이상의 기준 움직임 정보로 이루어진 기준 움직임 패턴과 비교하여 오차 범위 내로 일치하지 않는 경우, 추출한 영상 정보의 사람 객체가 폭력 움직임이 아니라고 판단한다.
제1 폭력 인식 알고리즘, 제2 폭력 인식 알고리즘, 제3 폭력 인식 알고리즘은 열이 있는 사람 객체의 움직임 패턴으로 폭력 발생을 예측한다.
움직임 패턴은 기준 온도 이상의 픽셀의 비율이 50% 이상일 때, 기준 온도 이상의 픽셀 비율이 50% 이상인 영상 프레임을 일정 시간 유지하거나, 하나 이상의 움직임 정보(20)로 이루어진 움직임 패턴(30)과 기준 움직임 패턴의 비교 등의 일례를 들 수 있다.
사용자 단말기(120)의 메인 메뉴의 아이콘 집합은 폭력 감지 알람(11b)을 아이콘화하여 형성한다.
폭력 행동 감지부(139)는 추출한 영상 정보의 사람 객체가 폭력 움직임이 있다고 판단하고, 폭력 행위를 검출하는 폭력 행위 감지 신호를 생성한다.
서버 제어부(135)는 폭력 행동 감지부(139)로부터 폭력 행위를 검출하는 폭력 행위 감지 신호를 수신하는 경우, 수신한 폭력 행위 감지 신호에 대응한 폭력 감지 알람 신호를 생성하여 관리자 단말 또는 교사 단말의 사용자 단말기(120)로 전송한다. 여기서, 폭력 감지 알람 신호는 폭력 움직임이 있는 영상 정보에 대한 위치 정보, 영상 정보를 포함한다.
사용자 단말기(120)는 폭력 예방 관리 서버(130)로부터 폭력 감지 알람 신호를 수신하면, 화면에 폭력 감지 알람을 활성화하여 깜박거려 사용자에게 폭력 감지를 알려준다. 사용자 단말기(120)는 폭력 감지 알람(11b)의 메뉴를 터치하면, 해당 페이지로 이동하여 폭력이 발생한 위치와 영상 정보를 출력한다.
폭력 감지 알람을 수신한 관리자는 스피커를 통해 폭력 행위를 정지하라는 방송을 할 수도 있다.
폭력 감지 알람을 수신한 교사는 해당 폭력이 발생한 위치로 이동하여 폭력이나 싸움을 중재하거나 정지시킬 수 있다.
또한, 본 발명은 폭력 감지 알람이 오류라 하더라도 교사가 와서 환기를 시킴으로써 폭력 발생을 미연에 방지할 수 있다.
본 발명은 체온과 움직임 패턴으로 폭력 행동을 판단하고, 기계 학습을 통해 폭력 감지의 정확도를 향상할 수 있다.
다른 실시예로서, 서버 제어부는 범죄를 감지하기 위한 범죄 인식 알고리즘을 이용하여 범죄 예방 기능을 수행할 수 있다.
영상 정보 추출 장치(110)는 학교 입구나 출구 쪽에 설치되어 사람 객체를 포함한 영상 정보와 열화상 정보를 추출하여 영상 데이터베이스부(132)에 저장한다.
객체 형태 추출부(133)는 영상 데이터베이스부(132)의 영상 정보와 열화상 정보에 포함된 사람 객체를 각각 추출한다.
체온 환산부(134)는 객체 형태 추출부(133)의 열화상 정보에서 사람 객체의 윤곽선 내부에 속하는 픽셀들을 추출하고, 윤곽선 내부의 각 픽셀값을 체온 간의 매핑 관계를 나타내는 표준 온도 테이블을 이용하여 사람의 체온으로 환산한다.
서버 제어부(135)는 환산한 체온이 기설정된 기준 온도 이상인지 판단하고, 환산한 체온이 기설정된 기준 온도 이상인 경우, 폭력 행위 예비 단계로 판단한다.
기준 온도는 범죄 감지를 위한 온도로 전술한 폭력 감지시 적용하는 온도와 다른 온도 수치로 구성할 수 있다.
서버 제어부(135)는 사람 객체의 체온이 높은 순서대로 색깔로 표시하여 범죄 발생의 경각심을 높일 수 있다. 예를 들면, 체온이 40도인 경우, 빨강색, 체온이 39도인 경우, 주황색, 체온이 38도인 경우, 노랑색, 체온이 37도 이하인 경우, 파란색으로 체온별로 사람 객체의 색깔을 다르게 표시할 수 있다.
객체 추적부(미도시)는 서버 제어부(135)에서 폭력 행위 예비 단계로 판단하고, 동일한 장면(영상 프레임) 내에 여러 개의 사람 객체가 존재하는 경우, 각각의 사람 객체를 매 영상 프레임마다 추적하는 객체 추적 알고리즘을 이용하여 각각의 사람 객체의 바운딩 박스 정보를 추적한다.
텍스트 추적 알고리즘은 이전 영상 프레임의 텍스트 탐지 결과인 제1 바운딩 박스와, 현재 영상 프레임의 텍스트 탐지 결과인 제2 바운딩 박스를 겹쳐 어느 정도 겹치는지 다음의 수학식 1에 의해 오버랩 스코어(Soverlap)를 계산하고, 오버랩 스코어를 통해 이전 영상 프레임의 제1 바운딩 박스와 현재 영상 프레임의 제2 바운딩 박스를 맵핑(Mapping)한다.
여기서, 는 이전 프레임에서 획득한 제1 바운딩 박스(B)의 영역(B.area)과 현재 프레임에서 획득한 제2 바운딩 박스(B')의 영역(B'.area)의 전체를 구하는 합집합이고, 는 이전 프레임에서 획득한 제1 바운딩 박스(B)의 영역(B.area)과 현재 프레임에서 획득한 제2 바운딩 박스(B')의 영역(B'.area)의 교집합이다.
폭력 행동 감지부(139)는 폭력 행위 예비 단계라고 판단한 경우에, 열화상 정보의 각 픽셀값에 대하여 환산한 체온 정보가 기설정된 기준 온도 이상인지 각각 판단하고, 기준 온도 이상의 픽셀의 개수가 기설정된 기준 픽셀 개수 이상인 경우, 영상 정보에 포함된 사람 객체가 범죄 행위로 판단할 수 있다.
폭력 행동 감지부(139)는 기준 픽셀의 개수에 따라 범죄의 상, 중, 하로 나누어 레벨별로 사람 객체의 색깔(상: 빨간색, 중: 노란색, 하: 파란색)을 다르게 하여 추적 관찰할 수 있다.
서버 제어부(135)는 주황색으로 표시한 사람 객체 또는 기준 픽셀의 개수에 따라 상으로 분류된 사람 객체를 추적 관찰할 수 있다.
범죄 감지, 폭력 감지, 헬스 케어는 기준 픽셀 개수나 기준 온도가 달라진다.
전술한 제1 폭력 인식 알고리즘, 제2 폭력 인식 알고리즘, 제3 폭력 인식 알고리즘은 기준 온도만 다르게 구성하여 범죄 행위에도 동일한 알고리즘으로 적용될 수 있다.
학교에서 술을 먹거나 학교에 총 등의 무기를 갖고 들어오는 경우, 범죄를 고려할 때 체온 변화가 일어날 수 있다.
본 발명은 열 영상 내의 움직임 패턴을 지속적으로 추적하여 범죄 발생을 예방할 수 있다.
본 명세서의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
실시예가 소프트웨어로 구현될 때, 상술한 기법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 학교 폭력 예방 시스템 102: 통신망
110: 영상 정보 추출 장치 111: 광학 영상 카메라
112: 열화상 카메라 113: 카메라 제어기
114: 제1 통신모듈 115: 제2 통신모듈
120: 사용자 단말기 130: 폭력 예방 관리 서버
131: 무선 통신부 132: 영상 데이터베이스부
133: 객체 형태 추출부 134: 체온 환산부
135: 서버 제어부 136: 빅데이터 처리부
137: 기계 학습부 138: 평가부
139: 폭력 행동 감지부 139a: 저장부
140: 학교 서버

Claims (5)

  1. 학교의 다양한 장소에 각각 설치되며, 현장을 촬영하여 광학 영상을 획득하기 위한 광학 영상 카메라와 현장을 촬영하여 열화상을 획득하기 위한 열화상 카메라와, 상기 광학 영상 카메라에서 획득한 영상 정보와 상기 열화상 카메라에서 획득한 열화상 정보를 전송하는 카메라 제어기로 이루어진 하나 이상의 영상 정보 추출 장치; 및
    무선 통신부를 통해 상기 각각의 영상 정보 추출 장치로부터 수신한 영상 정보(픽셀값, 픽셀 위치)와 열화상 정보(픽셀값, 픽셀 위치)를 영상 정보 추출 장치별로 데이터베이스화하여 저장하는 영상 데이터베이스부와, 상기 영상 데이터베이스부의 영상 정보와 열화상 정보에 포함된 사람 객체를 각각 추출하는 객체 형태 추출부와, 상기 객체 형태 추출부의 열화상 정보에서 사람 객체의 윤곽선 내부에 속하는 픽셀들을 추출하고, 상기 윤곽선 내부의 각 픽셀값을 체온 간의 매핑 관계를 나타내는 표준 온도 테이블을 이용하여 사람의 체온으로 환산하는 체온 환산부와, 상기 환산한 체온이 기설정된 기준 온도 이상인 경우, 폭력 행위 예비 단계이고, 상기 열화상 정보의 움직임 정보 분석을 통한 폭력 행동을 검출하는 폭력 행동 감지부로 이루어진 폭력 예방 관리 서버를 포함하며,
    상기 폭력 예방 관리 서버는,
    폭력 상황에서 측정된 체온 정보를 입력으로 하고, 폭력 발생 예측 정보를 출력하는 하는 인공 신경망 기반으로 폭력 감지 예측 모델을 구축하고, 체온 정보에 대응하여 폭력 발생을 예측하는 폭력 감지 예측 모델을 저장부에 저장하여 기계 학습의 학습 데이터 셋으로 이용하고, 상기 저장부에 저장된 폭력 감지 예측 모델을 메모리부로 불러와서 체온 정보의 특징 벡터를 입력 데이터로 하여 폭력 발생을 예측하는 기계 학습하는 기계 학습부;
    입력된 체온 정보를 상기 폭력 감지 예측 모델에 입력하여 체온 정보에 대응하여 폭력 발생을 예측하는 평가부; 및
    상기 영상 데이터베이스부와 연동하여 열화상 정보의 각 픽셀값과 열화상 정보의 각 픽셀이 인체의 어느 부위 위치인지 나타내는 제2 좌표 정보를 추출하고, 상기 각 픽셀값, 상기 체온, 상기 제2 좌표 정보의 특징 벡터를 상기 기계 학습부의 입력 데이터로 전송하는 서버 제어부를 포함하고,
    상기 기계 학습부는 상기 각 픽셀값, 상기 체온, 상기 제2 좌표 정보를 입력으로 하고, 질병 발생 예측 정보를 출력하는 인공 신경망 기반으로 질병 예측 모델을 구축하고,
    상기 평가부는 입력된 각 픽셀값, 체온, 제2 좌표 정보를 상기 질병 예측 모델에 입력하여 입력된 각 픽셀값, 체온, 제2 좌표 정보에 대응하여 질병 발생을 예측하고, 상기 저장부는 신체 부위별로 발생할 수 있는 질병이 등록되고, 질병별로 질병이 의심되는 온도값이 설정되어 있고,
    상기 서버 제어부는 환산한 체온이 신체 부위 위치와 연관하여 질병별로 설정된 온도값과 일치하는 경우, 체온과 각 픽셀값, 제2 좌표 정보를 상기 평가부의 입력 데이터로 입력하며, 상기 평가부의 출력 데이터로 특정한 질병 발생 정보를 수신하여 출력하고, 상기 평가부에 의해 질병 명칭, 질병 상태 정보(상중하)의 질병 발생을 감지하는 질병 발생 감지 신호를 생성하고, 상기 생성한 질병 발생 감지 신호에 대응하는 질병 감지 알람 신호를 생성하여 관리자 단말 또는 교사 단말의 사용자 단말기로 전송하고,
    상기 폭력 행동 감지부는 상기 환산한 체온이 기설정된 기준 온도 이상인 픽셀을 추출하고, 전체 픽셀 중 기준 온도 이상의 픽셀의 비율이 50% 이상인 경우, 추출한 영상 정보의 사람 객체가 폭력 행동으로 판단하며, 전체 픽셀 중 기준 온도 이상의 픽셀의 비율이 50% 이하인 경우, 상기 추출한 영상 정보의 사람 객체가 폭력 행동이 아니라고 판단하는 제1 폭력 인식 알고리즘을 이용하고,
    상기 폭력 행동 감지부는 기준 온도 이상의 픽셀의 비율이 50% 이상의 영상 프레임이 검출되는 연속 시간이 기설정된 기준 유지 시간 이상인 경우, 추출한 영상 프레임의 사람 객체가 폭력 움직임이 이루어지고 있음을 판단하고, 상기 기준 온도 이상의 픽셀의 비율이 50% 이하인 영상 프레임이거나, 상기 기준 온도 이상의 픽셀의 비율이 50% 이상의 영상 프레임이 검출되는 연속 시간이 기설정된 기준 유지 시간 이하인 경우, 상기 추출한 영상 프레임의 사람 객체가 폭력 움직임이 아니라고 판단하는 제2 폭력 인식 알고리즘을 이용하고,
    상기 폭력 행동 감지부는 상기 기준 온도 이상의 픽셀의 비율이 50% 이상의 영상 프레임(열화상 정보)들을 움직임 정보로 각각 저장하고, 상기 저장된 연속적인 하나 이상의 움직임 정보로 이루어진 움직임 패턴을 기설정된 하나 이상의 기준 움직임 정보로 이루어진 기준 움직임 패턴과 비교하여 오차 범위 내로 일치하는 경우, 상기 추출한 영상 정보의 사람 객체가 폭력 움직임이 있다고 판단하는 제3 폭력 인식 알고리즘을 이용하며,
    상기 사용자 단말기는 상기 폭력 예방 관리 서버로부터 상기 질병 감지 알람 신호를 수신하면, 화면에 상기 질병 감지 알람을 활성화하여 깜박거려 사용자에게 질병 감지를 알려주고, 질병 감지 알람의 메뉴를 터치하면, 해당 페이지로 이동하여 질병 명칭, 질병 상태 정보(상중하)를 출력하고, 상기 폭력 예방 관리 서버로부터 폭력 감지 알람 신호를 수신하면, 화면에 폭력 감지 알람을 활성화하여 깜박거려 사용자에게 폭력 감지를 알려주고, 폭력 감지 알람의 메뉴를 터치하면, 해당 페이지로 이동하여 폭력이 발생한 위치와 영상 정보를 출력하고,
    상기 서버 제어부는 사람 객체의 체온이 높은 순서대로 색깔로 표시하여 범죄 발생의 경각심을 높이고,
    상기 폭력 행동 감지부는 기준 픽셀의 개수에 따라 범죄의 상, 중, 하로 나누어 레벨별로 사람 객체의 색깔(상: 빨간색, 중: 노란색, 하: 파란색)을 다르게 하여 추적 관찰하는 체온 행동 패턴을 이용한 학교 폭력 예방 시스템.
  2. 청구항 1에 있어서,
    상기 폭력 예방 관리 서버는 상기 환산한 체온이 기설정된 기준 온도 이하인 경우, 상기 폭력 행위 예비 단계로 판단하지 않고, 상기 영상 데이터베이스부에서 영상 정보와 열화상 정보를 삭제하여 저장하지 않는 서버 제어부를 더 포함하는 체온 행동 패턴을 이용한 학교 폭력 예방 시스템.
  3. 청구항 2에 있어서,
    상기 폭력 행동 감지부는 상기 폭력 행위 예비 단계라고 판단한 경우에, 상기 열화상 정보의 각 픽셀값에 대하여 환산한 체온 정보가 기설정된 기준 온도 이상인지 각각 판단하고, 상기 기준 온도 이상의 픽셀의 개수가 기설정된 기준 픽셀 개수 이상인 경우, 상기 영상 정보에 포함된 사람 객체가 폭력 행위로 판단하는 체온 행동 패턴을 이용한 학교 폭력 예방 시스템.
  4. 청구항 2에 있어서,
    상기 서버 제어부는 상기 체온 환산부에 의해 사람 객체의 모든 신체 부위 위치의 픽셀을 체온으로 환산한 상태에서 상기 환산한 체온이 상기 신체 부위 위치와 연관하여 질병별로 설정된 온도값과 일치되는지 판단하고, 해당 질병을 감지하는 질병 감지 알람 신호를 생성하여 관리자 단말 또는 교사 단말의 사용자 단말기로 전송하는 체온 행동 패턴을 이용한 학교 폭력 예방 시스템.
  5. 청구항 2에 있어서,
    상기 서버 제어부는 상기 폭력 행동 감지부로부터 폭력 행위를 검출하는 폭력 행위 감지 신호를 수신하는 경우, 상기 수신한 폭력 행위 감지 신호에 대응한 폭력 감지 알람 신호를 생성하여 관리자 단말 또는 교사 단말의 사용자 단말기로 전송하며, 상기 폭력 감지 알람 신호는 폭력 움직임이 있는 영상 정보에 대한 위치 정보, 영상 정보를 포함하는 체온 행동 패턴을 이용한 학교 폭력 예방 시스템.
KR1020220082329A 2022-07-05 2022-07-05 체온 행동 패턴을 이용한 학교 폭력 예방 시스템 KR102564300B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220082329A KR102564300B1 (ko) 2022-07-05 2022-07-05 체온 행동 패턴을 이용한 학교 폭력 예방 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220082329A KR102564300B1 (ko) 2022-07-05 2022-07-05 체온 행동 패턴을 이용한 학교 폭력 예방 시스템

Publications (1)

Publication Number Publication Date
KR102564300B1 true KR102564300B1 (ko) 2023-08-09

Family

ID=87567025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220082329A KR102564300B1 (ko) 2022-07-05 2022-07-05 체온 행동 패턴을 이용한 학교 폭력 예방 시스템

Country Status (1)

Country Link
KR (1) KR102564300B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102657234B1 (ko) * 2023-08-21 2024-04-12 국립안동대학교 산학협력단 열화상 이미지 기반의 자가 학습 딥러닝을 이용한 절화의 초기 질병을 예측하기 위한 장치, 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356723B1 (ko) 2012-04-10 2014-02-05 주식회사 블랙스톤 휴대폰을 이용한 학교폭력 사전감지 시스템 및 방법
KR20150091808A (ko) * 2014-02-04 2015-08-12 동국대학교 산학협력단 범죄 사건의 예측을 위한 영상 처리 장치 및 방법
KR102212773B1 (ko) * 2020-04-29 2021-02-05 (주)진명아이앤씨 체온측정을 겸비한 영상감시장치 및 그 방법
KR20220057213A (ko) * 2020-10-29 2022-05-09 주식회사 아디아랩 인공지능 기반의 이상행동 감지 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356723B1 (ko) 2012-04-10 2014-02-05 주식회사 블랙스톤 휴대폰을 이용한 학교폭력 사전감지 시스템 및 방법
KR20150091808A (ko) * 2014-02-04 2015-08-12 동국대학교 산학협력단 범죄 사건의 예측을 위한 영상 처리 장치 및 방법
KR102212773B1 (ko) * 2020-04-29 2021-02-05 (주)진명아이앤씨 체온측정을 겸비한 영상감시장치 및 그 방법
KR20220057213A (ko) * 2020-10-29 2022-05-09 주식회사 아디아랩 인공지능 기반의 이상행동 감지 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2015-0091808호 (2015.08.12.)*
공개특허공보 제10-2022-0057213호 (2022.05.09.)*
등록특허공보 제10-2212773호 (2021.02.05.)*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102657234B1 (ko) * 2023-08-21 2024-04-12 국립안동대학교 산학협력단 열화상 이미지 기반의 자가 학습 딥러닝을 이용한 절화의 초기 질병을 예측하기 위한 장치, 시스템 및 방법

Similar Documents

Publication Publication Date Title
US11735018B2 (en) Security system with face recognition
KR102126498B1 (ko) 영상 인식 기반의 위험상황 감지방법, 위험 관리 장치 및 위험상황 감지시스템
JP6905850B2 (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
US10216983B2 (en) Techniques for assessing group level cognitive states
Zhou et al. Activity analysis, summarization, and visualization for indoor human activity monitoring
US10366595B2 (en) Surveillance method and system based on human behavior recognition
KR102260120B1 (ko) 딥러닝기반 행동인식장치 및 그 장치의 구동방법
US20100124357A1 (en) System and method for model based people counting
JP7185805B2 (ja) 転倒リスク評価システム
CN112446244A (zh) 人体动作的识别方法、神经网络的训练方法及相关装置、设备
Li et al. Improved YOLOv4 network using infrared images for personnel detection in coal mines
Kaushik et al. iSecureHome: A deep fusion framework for surveillance of smart homes using real-time emotion recognition
KR102564300B1 (ko) 체온 행동 패턴을 이용한 학교 폭력 예방 시스템
WO2022121498A1 (zh) 身份识别方法、模型训练方法、装置、设备和存储介质
KR101979375B1 (ko) 감시 영상의 객체 행동 예측 방법
CN111553305B (zh) 一种违章视频识别系统和方法
Zhu et al. Falling motion detection algorithm based on deep learning
CN114972727A (zh) 用于多模态神经符号场景理解的系统和方法
US20240135579A1 (en) Method for human fall detection and method for obtaining feature extraction model, and terminal device
JP2020129215A (ja) 危険度判別プログラム及びシステム
Varghese et al. Video anomaly detection in confined areas
JP2012049774A (ja) 映像監視装置
CN113660455B (zh) 一种基于dvs数据的跌倒检测方法、系统、终端
KR102484198B1 (ko) 이상 이벤트 탐지 방법, 장치 및 시스템
Rathour et al. KlugOculus: A Vision‐Based Intelligent Architecture for Security System

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant