KR20130115749A - 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템 - Google Patents

스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템 Download PDF

Info

Publication number
KR20130115749A
KR20130115749A KR1020120038350A KR20120038350A KR20130115749A KR 20130115749 A KR20130115749 A KR 20130115749A KR 1020120038350 A KR1020120038350 A KR 1020120038350A KR 20120038350 A KR20120038350 A KR 20120038350A KR 20130115749 A KR20130115749 A KR 20130115749A
Authority
KR
South Korea
Prior art keywords
user
unit
intrusion detection
mining
location
Prior art date
Application number
KR1020120038350A
Other languages
English (en)
Other versions
KR101340287B1 (ko
Inventor
정경용
백준호
최경호
김귀남
Original Assignee
경기대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경기대학교 산학협력단 filed Critical 경기대학교 산학협력단
Priority to KR1020120038350A priority Critical patent/KR101340287B1/ko
Publication of KR20130115749A publication Critical patent/KR20130115749A/ko
Application granted granted Critical
Publication of KR101340287B1 publication Critical patent/KR101340287B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19671Addition of non-video data, i.e. metadata, to video stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/1968Interfaces for setting up or customising the system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

마이닝 기반의 패턴분석을 이용하여 특이한 성향을 보이는 사용자에 대한 침입탐지가 이루어질 수 있도록 한 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템이 개시된다.
개시된 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템은, 사용자의 위치와 인식을 위한 사용자 정보를 획득하기 위한 사용자 정보 획득부와; 사용자 정보를 마이닝 기반의 패턴 분석으로 분석하여 침입 여부를 판단하는 침입 탐지부를 포함하고,
침입 탐지부는, 획득한 사용자 정보를 기반으로 사용자의 위치를 추정하는 위치 추정부와; 추정한 위치 정보와 미리 설정한 가상 위치 경로를 비교하여 결측 경로를 복원하는 위치 구성정보 복원부와; 복원된 위치 정보를 기반으로 후보 위치 집합과 고빈도 위치 집합을 분류하여 위치 트랜잭션을 구성하는 세션 트랜잭션 구성부와; 구성된 위치 트랜잭션으로부터 데이터 마이닝을 이용하여 행동 순차 패턴을 추출하는 데이터 마이닝부와; 영상으로부터 사용자를 검출하고, 인식 알고리즘을 이용하여 얼굴을 인식하는 사용자 검출 및 인식부를 포함한다.

Description

스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템{Intrusion detection system using mining based pattern analysis in smart home}
본 발명은 스마트 홈(Smart Home)에서 마이닝(Mining) 기반의 패턴(pattern) 분석을 이용한 침입탐지 시스템에 관한 것으로서, 더욱 상세하게는 마이닝 기반의 패턴분석을 이용하여 특이한 성향을 보이는 사용자에 대한 침입탐지가 이루어질 수 있도록 한 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템에 관한 것이다.
상기에서 마이닝은 방대한 양의 데이터 속에서 쉽게 드러나지 않는 유용한 정보를 찾아내는 개념적인 정보추출 방식을 의미한다.
통상, 스마트 홈은 유무선 네트워크를 기반으로 가정 내의 다양한 가전기기 및 센서의 구성을 통해 다양한 서비스의 제공이 가능한 환경을 의미하고, 언제 어디서나 안전하고 자동화 서비스의 제공이 가능하며 홈 서버를 통해 집안 전체의 관리가 가능한 환경을 의미한다. 이러한 스마트 홈 환경에서 서비스는 가전 기기, 멀티미디어 기기 등의 제어, 센서들을 통한 온도, 습도, 조도, 환기 등의 실내 환경 제어에 이르기까지 다양한 서비스를 제공해주게 된다. 고도화된 서비스를 제공하기 위해 다양한 미들웨어 기술과 상황 인지 기술이 필요하고 상황에 따라 적절한 정보를 제공하는 정보 과학과 생명 과학에 대한 통합적인 연구가 진행되고 있다. 정부에서는 IT 역량을 바탕으로 U-코리아 전략을 추진하고 있고, 전자, 전기, 건설, 자동차의 산업체들도 서비스 확대를 위한 과감한 투자를 하고 있다.
스마트 홈에 대한 연구는 2003년 UKARI 프로젝트에서부터 시작되었다. 이는 삶의 질을 상승시키는 개인화 서비스를 제공하도록 하고 있다. 다수의 카메라와 센서를 방마다 설치하고 모든 공간에 다양한 유형의 센서들이 위치를 모니터하도록 하였다.
스마트 홈은 물리적인 유무선 네트워크를 기반으로 가정 내의 센서 및 제품들이 서로 연결되고 서로 정보를 공유하고 협력함으로써 개인화 서비스 제공이 가능해 지고 있다. 국외의 상황인지 스마트 홈 관련 연구는 많은 글로벌 기업이나 대학 연구소에서 이미 이 분야에 진출하였거나 진출을 서두르고 있다.
실내 위치 파악을 위한 기술로는 MIT Oxygen 프로젝트 중에 하나인 Cricket는 초음파와 RF신호의 도달 시간차를 이용하여 이동 객체와의 거리를 계산하고 이를 기반으로 위치를 측정한다(논문 1). 이러한 방법은 정확한 위치측정은 가능하나 장애물에 영향을 많이 받으며 천정에 초음파 센서를 격자형으로 설치해야만 한다는 단점이 있다. 스마트 바닥 시스템은 이동 객체가 바닥에 설치한 센서 위를 이동할 때 감지되는 압력과 이동 패턴을 통해 사용자를 구분하고 위치를 감지한다. 이는 정확한 위치측정이 가능하나 바닥에 대규모 시공을 해야 하는 단점이 있다.
조지아 공대의 인지 홈 프로젝트는 상황 정보를 통해 필요한 서비스를 선택하여 사용자를 돕는 것을 목표로 하고 실제로 적용하기 위해 주거용 실험 건축물을 이용하여 개발을 하고 있다(논문 2).
마이크로소프트의 Easy Living에서는 사용자 위치 감지 및 사용자 인증에 중점을 두고 있으며, 사용자 및 환경 상황인식 분석에 대한 지능적인 침입탐지 미들웨어로서 기능은 없다.
뉴럴 네트워크 홈 프로젝트에서는 인공 신경망을 통한 전등조절, 공기조절 등의 서비스에 관한 연구를 진행하고 있다(논문 3).
IRISA/INRIA의 연구는 이동성을 가진 사용자에 대해서 주변 환경을 이용하여 그에 대한 서비스의 레벨을 향상시키기 위한 상황 객체에 기반한 구조를 제안하였다.
논문 1. MIT Media Lab, Things That Think Consortium, http://ttt.media.mit.edu. 논문 2. B. Brumitt, J. Krumm, S. Shafer, "Ubiquitous Computing & the Role of Geometry," IEEE Personal Comm., pp.41-43, 2000. 논문 3. M. C. Mozer, "The Neural Network House : An Environment that Adapts to its Inhabitants", Proc. of Int. Sym. on Handheld and Ubiquitous Computing, 2000.
이러한 종래의 침입 탐지 시스템은 하나의 통합된 단일 호스트 기반의 형태를 가지고 있어, 전체 시스템에 걸리는 부하 문제, 침입 탐지 모듈의 에러문제, 이기종 시스템 확장에 따른 성능 저하 문제 등이 제기되었다.
특히, 분산되어 있는 호스트들의 행위를 모니터링하고 침입을 감시하기 위해서 대용량의 로그 데이터를 검사해야하는 데, 이기종 간의 검사 데이터를 참고하기 위해서는 운영체제마다 로그 데이터 포맷이 다르고, 상황에 따른 환경이 다르기 때문에 상당한 부하를 가지게 되는 문제점을 유발한다.
이에 본 발명은 상기와 같은 종래 침입 탐지 시스템에서 발생하는 제반 문제점들을 해결하기 위해서 제안된 것으로서,
본 발명이 해결하고자 하는 과제는 마이닝 기반의 패턴분석을 이용하여 특이한 성향을 보이는 사용자에 대한 침입탐지가 이루어질 수 있도록 한 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템을 제공하는 데 있다.
본 발명이 해결하고자 하는 다른 과제는 정상과 비정상의 데이터를 수집하여 훈련함으로써 전체 로그 데이터의 양을 줄일 수 있고 아직 경험하지 않은 로그 데이터에 대해서 정상과 비정상으로 분류하도록 학습하고, 학습으로 발생하는 정상과 비정상의 행위들에 대해 순차적인 패턴을 추출할 수 있도록 한 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템을 제공하는 데 있다.
상기와 같은 과제들을 해결하기 위한 본 발명에 따른 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템은,
사용자의 위치와 인식을 위한 사용자 정보를 획득하기 위한 사용자 정보 획득부와;
상기 사용자 정보 획득부로부터 획득한 사용자 정보를 마이닝 기반의 패턴 분석으로 분석하여 침입 여부를 판단하는 침입 탐지부를 포함하는 것을 특징으로 한다.
상기에서 사용자 정보 획득부는,
사용자 위치 확인을 위해 사용자에 부착된 RFID 태그를 판독하는 RFID 리더와;
상기 사용자의 인식을 위한 사용자 영상을 획득하는 카메라와;
상기 RFID 리더와 카메라에 의해 획득한 사용자 정보를 상기 침입 탐지부에 전달하기 위한 통신 모듈을 포함한다.
상기에서 침입 탐지부는,
상기 사용자 정보 획득부에서 획득한 사용자 정보를 기반으로 사용자의 위치를 추정하는 위치 추정부와;
상기 위치 추정부에서 추정한 위치 정보와 미리 설정한 가상 위치 경로를 비교하여 결측 경로를 복원하는 위치 구성정보 복원부를 포함하는 것을 특징으로 한다.
상기에서 침입 탐지부는,
상기 위치 구성정보 복원부에서 복원된 위치 정보를 기반으로 후보 위치 집합과 고빈도 위치 집합을 분류하여 위치 트랜잭션을 구성하는 세션 트랜잭션 구성부를 포함하는 것이 바람직하다.
더욱 바람직하게 침입 탐지부는,
상기 세션 트랜잭션 구성부에 의해 구성된 위치 트랜잭션으로부터 데이터 마이닝을 이용하여 행동 순차 패턴을 추출하는 데이터 마이닝부를 포함하는 것을 특징으로 한다.
상기 데이터 마이닝부는,
원시 데이터로부터 마이닝 처리를 위한 데이터 추상화를 위한 데이터 변형 작업을 수행하는 전처리부와;
상기 전처리부에서 처리된 데이터로부터 마이닝 알고리즘을 적용하여 패턴을 찾아내는 패턴 추정부와;
상기 패턴 추정부에서 추정한 패턴으로부터 관련이 없는 규칙을 제거하고 패턴을 추출하는 패턴 분석부를 포함하는 것을 특징으로 한다.
또한, 상기 침입 탐지부는,
상기 사용자 정보 획득부로부터 획득한 영상으로부터 사용자를 검출하고, 인식 알고리즘을 이용하여 얼굴을 인식하는 사용자 검출 및 인식부를 포함한다.
상기에서 사용자 검출 및 인식부는,
연속 획득한 영상으로부터 차영상 방법을 통하여 움직이는 사용자의 윤곽을 획득하고, 획득한 영역으로부터 상단의 영역을 추출하여 영상의 질을 보정하여 얼굴을 포함하고 있는 영역을 획득하는 얼굴 영역 분할부와;
상기 얼굴 영역 분할부에서 획득한 얼굴 영상을 포함한 영역으로부터 정면 얼굴영역을 획득하는 얼굴영상 획득부와;
상기 얼굴영상 획득부에서 얼굴이미지를 기본요소들에 투영시킨 후 이들을 저장된 얼굴이미지의 투영체와 비교하거나 상관시켜 특징을 추출하는 특징 추출부와;
상기 특징 추출부에서 추출한 특징과 미리 저장된 개인의 얼굴 특징 정보를 비교하여 얼굴을 인식하는 얼굴 인식부를 포함한다.
또한, 상기 침입 탐지부는,
데이터 마이닝 알고리즘이 저장되며, 사용자의 객체에 대한 정보 값과 그 정보들의 변화 정보를 포함하는 상황 정보를 저장하는 상황정보 저장부와;
사용자 정보 획득부로부터 획득한 사용자 정보를 마이닝 기반의 패턴 분석으로 분석하도록 제어를 하는 제어부를 포함하는 것을 특징으로 한다.
본 발명에 따르면 마이닝 기반의 패턴분석을 이용하여 특이한 성향을 보이는 사용자에 대한 침입탐지가 가능한 장점이 있다.
또한, 본 발명에 따르면 정상과 비정상의 데이터를 수집하여 훈련함으로써 전체 로그 데이터의 양을 줄일 수 있고 아직 경험하지 않은 로그 데이터에 대해서 정상과 비정상으로 분류하도록 학습하고, 학습으로 발생하는 정상과 비정상의 행위들에 대해 순차적인 패턴을 추출할 수 있는 장점이 있다.
도 1은 본 발명에 따른 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템의 개략 구성도.
도 2는 도 1의 침입 탐지부의 실시 예 구성도.
도 3은 도 2의 데이터 마이닝부의 실시 예 구성도.
도 4는 도 2의 사용자 검출 및 인식부의 실시 예 구성도.
도 5는 본 발명이 적용되는 스마트 홈에서 상황 공간의 예시도.
도 6은 본 발명에서 가상 위치 경로 구성도.
도 7은 본 발명에서 위치 트랜잭션의 예시도.
도 8은 본 발명에서 행동 순차 패턴을 유추하는 과정 예시도.
도 9는 본 발명에서 S_BP-SmH대응표본 통계량 예시도.
도 10은 본 발명에서 S_BP와 SmH대응표본 검정 예시도.
도 11은 본 발명에서 조명의 영향에 대한 연구를 위하여 사용되는 연구용 얼굴 영상들 예시도.
도 12는 영상의 히스토그램 분석의 일예도.
도 13은 영상에 적용가능한 서브-이미지의 예시도.
이하 본 발명의 바람직한 실시 예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다. 본 발명을 설명하기에 앞서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다.
도 1은 본 발명에 따른 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템의 개략 구성도로서, 사용자 정보 획득부(100), 침입 탐지부(200), 가전기기(300) 및 경고부(400)를 포함한다.
사용자 정보 획득부(100)는 사용자의 위치와 인식을 위한 사용자 정보를 획득하기 위한 역할을 하며, 침입 탐지부(200)는 상기 사용자 정보 획득부(100)로부터 획득한 사용자 정보를 마이닝 기반의 패턴 분석으로 분석하여 침입 여부를 판단하며, 침입시 경고 제어신호를 발생하는 역할을 한다.
이러한 사용자 정보 획득부(100)는 사용자 위치 확인을 위해 사용자에 부착된 RFID 태그를 판독하는 RFID 리더(101)와; 상기 사용자의 인식을 위한 사용자 영상을 획득하는 카메라(102)와; 상기 RFID 리더(101)와 카메라(102)에 의해 획득한 사용자 정보를 상기 침입 탐지부(200)에 전달하기 위한 통신 모듈(103)을 포함한다.
또한, 침입 탐지부(200)는 도 2에 도시한 바와 같이, 데이터 통신을 위한 데이터 인터페이스부(201)와, 상기 사용자 정보 획득부(100)에서 획득한 사용자 정보를 기반으로 사용자의 위치를 추정하는 위치 추정부(203)와; 상기 위치 추정부(203)에서 추정한 위치 정보와 미리 설정한 가상 위치 경로를 비교하여 결측 경로를 복원하는 위치 구성정보 복원부(204)와; 상기 위치 구성정보 복원부(204)에서 복원된 위치 정보를 기반으로 후보 위치 집합과 고빈도 위치 집합을 분류하여 위치 트랜잭션을 구성하는 세션 트랜잭션 구성부(205)를 포함한다.
바람직하게 침입 탐지부(200)는 상기 세션 트랜잭션 구성부(205)에 의해 구성된 위치 트랜잭션으로부터 데이터 마이닝을 이용하여 행동 순차 패턴을 추출하는 데이터 마이닝부(206)와; 상기 사용자 정보 획득부(100)로부터 획득한 영상으로부터 사용자를 검출하고, 인식 알고리즘을 이용하여 얼굴을 인식하는 사용자 검출 및 인식부(207)를 포함한다.
더욱 바람직하게 상기 침입 탐지부(200)는 데이터 마이닝 알고리즘이 저장되며, 사용자의 객체에 대한 정보 값과 그 정보들의 변화 정보를 포함하는 상황 정보를 저장하고, 태그 리스트 등의 정보가 저장되는 상황정보 저장부(208)와; 사용자 정보 획득부(100)로부터 획득한 사용자 정보를 마이닝 기반의 패턴 분석으로 분석하도록 제어를 하는 제어부(202)를 포함한다.
또한, 상기에서 데이터 마이닝부(206)는 도 3에 도시한 바와 같이, 원시 데이터로부터 마이닝 처리를 위한 데이터 추상화를 위한 데이터 변형 작업을 수행하는 전처리부(206a)와; 상기 전처리부(206a)에서 처리된 데이터로부터 마이닝 알고리즘을 적용하여 패턴을 찾아내는 패턴 추정부(206b)와; 상기 패턴 추정부(206b)에서 추정한 패턴으로부터 관련이 없는 규칙을 제거하고 패턴을 추출하는 패턴 분석부(206c)를 포함한다.
상기에서 사용자 검출 및 인식부는,
연속 획득한 영상으로부터 차영상 방법을 통하여 움직이는 사용자의 윤곽을 획득하고, 획득한 영역으로부터 상단의 영역을 추출하여 영상의 질을 보정하여 얼굴을 포함하고 있는 영역을 획득하는 얼굴 영역 분할부(207a)와; 상기 얼굴 영역 분할부(207a)에서 획득한 얼굴 영상을 포함한 영역으로부터 정면 얼굴영역을 획득하는 얼굴영상 획득부(207b)와; 상기 얼굴영상 획득부(207b)에서 획득한 얼굴이미지를 기본요소들에 투영시킨 후 이들을 저장된 얼굴이미지의 투영체와 비교하거나 상관시켜 특징을 추출하는 특징 추출부(207c)와; 상기 특징 추출부(207c)에서 추출한 특징과 미리 저장된 개인의 얼굴 특징 정보를 비교하여 얼굴을 인식하는 얼굴 인식부(207d)를 포함한다.
가전기기(300)는 스마트 홈에 구비된 가전기기들로서, 통신 모듈을 통해 상기 침입 탐지부(200)와 연결된다.
경고부(400)는 상기 침입 탐지부(200)에서 출력되는 경고 제어신호에 따라 침입을 경고해주는 부분으로서, 시청각 경고장치를 통해 즉석에서 침입에 대한 경고를 해주는 것이 가능하고, 연결된 관공서나 사용자가 등록해 놓은 연락처로 자동 연결하여 알람을 발생해주는 것도 가능하다.
이와 같이 구성된 본 발명에 따른 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템의 작용을 첨부한 도면에 의거 상세히 설명하면 다음과 같다.
먼저, 스마트 홈에서 사용자가 처한 환경에서 현재 위치, 행동, 감정 등을 객체라고 나타낼 수 있으며, 사용자의 객체에 대한 정보 값과 그 정보들의 변화를 상황이라고 하며, 이하에서는 사용자의 객체에 대한 정보 값과 그 정보들의 변화 정보를 합하여 상황 정보라고 정의한다. 이러한 상황 정보를 스마트 홈에서부터 얻어내는 과정 또는 상황에서 객체의 활동에 따라 발생하는 정보를 얻기 위해 상황 공간을 구성해야 한다. 서비스하는 위치를 스마트 홈이라 한정하고 사용자가 위치할 수 있는 지역을 침실1, 침실2, 침실3, 침실4, 주방, 식당, 욕실1, 욕실2, 거실, 현관, 드레스룸, 발코니1, 발코니2로 제한한다.
스마트 홈에서 센서에 의해 위치 데이터를 얻는 방법은 바이너리 센서와 RFID 태그를 이용하는 방법이 있다. 바이너리 센서는 비용면에서 가격이 높고 밀집도를 높이기 힘들어 정교한 위치 인식을 하는데 한계가 있다. 또한, 이동 객체의 다중 인식이 RFID 기술에 비해 상대적으로 어렵다는 단점이 있다.
따라서 본 발명의 바람직한 실시 예에서는 RFID 태그를 이용하여 위치 데이터를 획득하는 것으로 간주한다.
RFID를 이용한 위치 측정 방식은 고정적인 위치 정보를 얻을 수 있으며 가격이 저렴하고 설치가 용이하다는 장점이 있으나, 정확도를 높이기 위해서는 설치된 태그의 밀집도가 높아야 한다. 그러나 밀집도가 높아질수록 태그 간의 간섭으로 인하여 인식률이 떨어지게 된다. 스마트 홈에서는 적당한 태그의 수로 위치 측정이 이루어져야 한다. 본 발명에서는 스마트 홈에서 RFID를 이용한 행동 패턴 발견을 위한 상황 공간을 도 5에 나타내었다. 이동 객체가 현관문을 통해 스마트 홈 공간에 진입하여 사용자가 휴대한 RFID 태그를 통하여 초기 위치를 설정한 후 이동하면서 데이터 및 태그의 ID를 수집한다. 수집한 데이터는 침입 탐지부(200)로 전송된다.
사용자 정보 획득부(100)의 RFID 리더(101)를 사용하여 위치 측정을 하기 위해서 초기화 명령을 수행한 후 태그(RFID Tag)가 RFID 리더(101)에 인식되기를 기다린다. RFID 리더(101)에 태그가 인식되면 인식된 태그의 아이디가 존재하는지를 침입 탐지부(200)의 상황정보 저장부(208)에 등록된 태그 리스트 검색을 통해 확인한다. 검색한 후 태그의 아이디가 존재하면 위치를 이동하지 않은 것으로 판단한다. 그리고 태그의 아이디가 존재하지 않으면 인식된 태그의 아이디를 태그 리스트에 저장하게 되고 현재의 위치 값으로 변경하여 설정하게 된다. 따라서 현재 사용자의 위치를 측정하므로 오차도 초기화되어 오차 누적 문제를 해결할 수 있다. 그리고 상대적인 위치가 아닌 스마트 홈 공간에 대응하는 절대적인 위치를 측정하여 활용할 수 있다.
또한, 본 발명의 다른 실시 예로서, 관성센서를 사용하여 사용자의 위치를 추정하는 방법이 가능하다. 관성센서를 사용하여 사용자의 위치를 추정하는 방법은 사용자의 이동한 거리를 누적해서 더하여 현재의 사용자의 위치를 추정하는 방식이다. 따라서 사용자가 움직이기 시작한 처음의 위치를 알아야 위치를 추정할 수 있다. 또한, 이러한 방식으로 인하여 장시간 운용시 센서의 측정 오차에 의해서 오차가 누적되게 된다. 따라서 오차가 누적되는 문제를 해결하기 위하여 RFID를 사용한 근접 위치 측정법을 활용하여 관성센서를 사용한 침입 탐지부에서 동적으로 위치를 설정하고 오차를 초기화하는 것이 바람직하다.
이를 간략하게 설명하면, 침입 탐지부(200) 내의 위치 추정부(203)에서 사용자의 초기 위치를 기준으로 관성센서로부터 얻은 데이터를 통하여 이동한 방향과 거리를 계산하고, 이를 초기위치에 더하여 위치를 계산한다. 따라서 초기 위치를 구하고 이를 원점으로 설정해 주어야 상대적인 위치가 아닌 현실 공간에 대응하는 절대적인 위치를 얻고 활용할 수 있다. 새로운 위치로 현재 위치를 초기화하므로 오차도 초기화되어 오차 누적 문제 또한 초기화된다.
한편, 본 발명은 부가적으로 한정된 공간을 기반으로 하여 사람의 인식을 통해 개인보안 및 사회적인 보안도 가능하다. 이를 위해 스마트 홈에 설치된 카메라(CCD카메라, CCTV)(102)를 통해 사람을 촬영하게 되고, 이렇게 촬영되어 획득되는 영상 정보는 통신 모듈(103)을 통해 침입 탐지부(200)에 전달된다.
침입 탐지부(200)는 사용자 정보 획득부(100)로부터 위치 데이터가 전달되면 위치 추정부(203)에서 태그의 아이디 존재 여부에 따라 위치를 추정하게 된다. 예컨대, 태그의 아이디가 존재하면 사용자가 위치를 이동하지 않은 것으로 판단을 하고 이전 위치를 유지하며, 태그의 아이디가 존재하지 않으면 인식된 태그의 아이디를 태그 리스트에 저장하고 현재의 위치 값으로 위치를 변경하여 설정하게 된다.
다음으로, 위치 구성정보 복원부(204)에서 위치를 복원하게 된다. 예컨대, 스마트 홈에서 RFID 리더(101)로 태그를 인식하지 못했을 경우 또는 RFID 태그 간의 간섭으로 인하여 오류가 생긴 경우에 위치 복원이 필요하다. 도 6은 가상 위치 경로 구성도를 나타낸다.
가상 위치 경로가 8개의 위치로 구성되었고 각각의 위치들 사이는 링크로 연결된 가상 위치 경로를 보여준다. 만일 상황정보 저장부(208)에 P1 -> P5라는 기록만 저장되어 있다고 하면 P1과 P5 사이에는 직접적인 링크가 존재하지 않고 오직 P2를 경유해야만 P1 -> P5가 가능하다. 여기서 P2를 결측 경로라고 하며 P1 -> P5에 결측 경로 P2를 삽입하여 P1 -> P2 -> P5를 생성하여 상황정보 저장부(208)에 저장한다.
스마트 홈에서 객체가 이동하면서 부착된 태그가 RFID 리더(101)에 감지되면 감지된 위치를 현재 위치로 인식하고 설정하게 된다. 이와 같이 스마트 홈에서 어떤 사용자들이 이동할 때마다 세션을 생성했다가 삭제를 하게 되며, 이러한 상황을 트랜잭션(Transaction)이라고 하며, 위치를 위한 트랜잭션을 위치 트랜잭션이라고 하며, 도 7에 위치 트랜잭션의 일 예가 도시된다.
트랜잭션 번호는 객체가 이동한 태그를 의미하며 추출된 위치들은 후보 위치 집합과 고빈도 위치 집합을 구성하기 위한 것이다. 사용자 위치 트랜잭션은 P1, P2,..., Pi(1≤i≤25)으로 표현하며 25개의 스마트 홈에서의 위치 정보로 구성되어 있다. 순차 패턴을 추출하기 위해서는 위치 정보를 항목으로 하는 세션 트랜잭션을 구성해야 한다. 여러 사용자가 동일한 스마트 홈에서 동시에 활동할 경우 사용자마다 세션 아이디를 할당해야 한다. 즉, 스마트 홈에서 어떤 사용자들이 이동할 때마다 세션을 생성했다가 삭제를 하게 된다. 이러한 정보를 추적하기 위해 세션 트랜잭션이 필요하다.
이를 위해 세션 트랜잭션 구성부(205)에서 세션 트랜잭션을 구성하게 된다. 세션 트랜잭션을 결정하기 위한 방법에는 참조 길이, 최대 전 방향 참조, 시간 윈도가 있다. 본 발명에서는 상용 제품에서 대부분 사용하고 있는 시간 윈도를 이용하고 한계 값은 20분을 사용한다. 즉, 사용자 위치가 침입 탐지부(200)에서 20분 동안 아무런 요청 기록이 없으면, 세션의 종료로 가정하게 된다. 태그가 인식된 시간 순서에 따라 사용자가 이동한 경로의 파악 및 방향으로 행동 순차 패턴을 발견할 수 있다.
이렇게 하여 세션 트랜잭션을 구성하게 되면 데이터 마이닝부(206)에서 마이닝 알고리즘을 이용하여 위치 트랜잭션으로부터 행동 순차 패턴을 발견하는 과정을 수행하게 된다. 행동 순차 패턴은 트랜잭션 안에서 발생하는 위치들 간의 연관 규칙에 시간의 변이를 추가한 것이다. 이는 위치 트랜잭션에서 위치들이 출현하는 전후 관계를 고려하기 위해 사용한다. 주어진 트랜잭션에서 최소 지지도를 만족하는 모든 시퀀스들 사이에서 최대 시퀀스를 찾는 것이다. 여기서 시퀀스는 트랜잭션 시간에 따라 정렬된 트랜잭션들의 리스트이다. 고빈도 위치 집합과 후보 위치 집합은 위치 트랜잭션에 나타나는 태그들이다. 이러한 경우 n번의 검색을 통해 n개의 위치들로 구성된 연관 위치들을 마이닝한다. 각 단계에서 저빈도의 연관 위치는 마이닝에서 제외된다. 마이닝한 결과 위치들은 행동 순차 패턴들의 집합으로 나타내어진다.
도 8은 도 7의 위치 트랜잭션에서 추출된 위치들을 마이닝하기 위해서 AprioriAll 알고리즘에 적용하여 행동 순차 패턴을 유추하는 과정을 도시한 것이다.
AprioriAll 알고리즘은 첫 단계에서 후보 위치 집합(CC1)을 구성하며 이들의 지지도를 확인하기 위해 데이터베이스를 검색하고 고빈도 위치 집합(LC1)을 구성할 수 있다. 생성된 고빈도 위치 집합은 고빈도 시퀀스이며 이때 고빈도 시퀀스 자체가 얻고자 하는 순차 패턴이다. 여기서 순차 패턴에 포함된 위치는 최소 지지도를 만족하면서 사용자가 정해진 세션 동안 순차적으로 방문한 위치들을 의미한다. 이와 같은 방법으로 AprioriAll 알고리즘의 두 번째 단계에서는 CC2, LC2를 구성하며, 세 번째 단계에서는 CC3, LC3를 구성하며, 네 번째 단계에서는 CC4, LC4를 구성한다. LC4의 연관 위치 집합은 {P3, P5, P6, P11}, {P16, P17, P22, P24}, {P17, P19, P21, P25}로 추출된다.
도 9는 만족도 평가 데이터에 대해서 S_BP와 SmH의 평균과 표준편차를 나타낸 것이다. 평균의 차이는 1.359이다.
도 10은 S_BP와 SmH의 대응표본 t검정의 결과이다. 유의수준 a가 0.05일 때 의사결정을 위한 값은 t < 1.054이거나 t> 1.186이다. 평가 데이터에서 t가 33.295> 1.186이므로, 가설 Ho를 기각하고 가설 Ha를 수용하게 된다. 따라서 SmH과 S_BP의 서비스 만족도에는 통계적인 차이가 있으며 평가 데이터의 평균의 차이인 1.359만큼 S_BP가 SmH보다 만족도가 높음을 확인할 수 있다.
한편, 본 발명은 상기와 같은 행동 순차 패턴 이외에 스마트 홈에 장착된 CCTV 및 저용량 카메라를 통하여 획득한 영상을 이용하여 사용자 검출 및 인식부(207)에서 얼굴인식을 수행하여 보안 기능을 구현한다. 실시간 획득된 영상을 인식하기에 적합한 영상으로 구성한 후, 상황인식 기반의 얼굴인식을 수행한다.
가정 내에서 사용하는 영상 획득 기기들은 저성능인 경우가 많다. 저성능의 영상 획득 기기들을 통하여 획득한 영상들은 크기, 잡음, 조명, 배경, 해상도 등의 영향으로 명확한 인식을 수행하기에 적합하지가 않다. 본 발명에서는 가정 내에 사용되는 저성능의 영상획득 기기를 이용하여 명확한 인식을 수행할 수 있도록 각종 상황에 적응적인 형태의 얼굴인식 방법을 제공한다. 인식된 사용자의 ID는 스마트 홈 서버인 침입 탐지부(200)에서 필요로 하는 사용자 인증 도구로 사용한다.
명확한 얼굴인식을 위하여 다음과 같이 4가지 단계로 이루어진다.
첫 번째로는 얼굴 영역 분할부(207a)에서 얼굴 영역을 분할하는 것으로서, 연속 획득한 영상으로부터 차영상 방법을 통하여 움직이는 사용자의 윤곽을 획득하고, 획득된 영역으로부터 상단의 영역을 추출하여 영상의 질을 보정하여 얼굴을 포함하고 있는 영역을 획득한다.
먼저, 차 영상을 통한 움직임 측정방법을 살펴보면, 저성능의 카메라로부터 획득된 전체영상은 사용환경을 모두 포함하고 있다. 획득한 연속영상은 사용자의 움직임을 포함하고 있다. 연속 영상으로부터 획득된 차 영상은 고정된 물체를 제외한 움직임만을 포함하게 되므로 움직인 사람의 외곽 정보를 획득하게 된다. 획득된 영역으로부터 1/2 ~ 1/3의 영상은 상반신 또는 어깨를 포함한 얼굴영역이 되므로 해당 영역은 얼굴영역을 포함하고 있다고 가정할 수 있다.
다음으로, 영상 크기 보정 과정으로서, 차 영상으로부터 획득된 얼굴영역이 포함된 영상은 얼굴 영상의 크기가 다양할 것이다. 얼굴 영상을 포함한 영역의 크기는 획득된 전체영상에 비례하므로, 인식하기에 적합한 크기로 정규화를 수행하여야 한다.
아울러 영상에는 다양한 잡음이 포함되어 측정된다. 최소한의 계산복잡도를 가지며, 최대한의 계산속도를 제공하는 미디언 필터링을 수행한다. 이때 수행되는 미디언 필터링은 추출된 영역의 색의 범위에 따라 적합한 윈도를 사용할 수 있도록 구성한다.
또한, 조명을 포함한 얼굴은 사람의 육안으로도 식별되지 못한다는 단점이 있다. 얼굴 영상에 영향을 주는 조명은 조명의 색뿐만 아니라, 측면조명에 의하여 생기는 그림자도 인식을 불가능하게 하는 요소 중의 하나이다.
도 11은 얼굴인식에 큰 영향을 미치는 측면조명에 의하여 발생하는 그림자를 상쇄하기 위하여 제공되는 Yale University에서 획득한 연구용 얼굴 영상들이다. 도 11에서 도시하는 것과 같이 조명의 영향이 포함되지 않은 Subset1의 경우 얼굴의 구성요소들을 명확히 구분할 수가 있다. 그러나 Subset4, Subset5와 같이 측면조명이 강하게 사용되는 경우 육안으로도 얼굴을 구분하기가 어렵다.
이와 같이 인식에 적합하지 않은 영상을 보정하여 인식하기에 적합한 영상으로 재구성한다. 이를 위하여, 영상 필터링중 히스토그램 이퀄라이저, 콘트라스트 스트레칭, 감마 수정 등의 방법을 사용한다.
히스토그램 평활화 방법은 명암도의 분포를 이용한 처리방법이다. 이 방법은 각 영상이 나타내고 있는 히스토그램 분포도를 기준으로 하여 평활화를 수행한다. 히스토그램이란 영상에서 각 그레이값을 가지는 픽셀들의 수를 나타낸 것이다. 즉 가로축은 0에서 255 사이의 그레이값을 나타내고, 세로축은 각 그레이값을 가지는 픽셀들의 수를 나타낸다. 히스토그램은 영상의 그레이값의 분포가 어떻게 이루어져 있는지는 알 수 있으나 어두운 부분과 밝은 부분 혹은 일정한 그레이값에 해당하는 부분이 영상에서 어느 위치 정보는 알 수가 없다. 위치에 대한 정보를 가지고 있지 않다는 단점이 있다.
도 12는 추출된 영상의 조명상태에 따라 히스토그램의 분포가 각각 다르게 표현됨을 보여주는 것으로서, 영상으로부터 추출한 히스토그램의 표현이다. 추출된 히스토그램의 정보를 바탕으로 영상의 정규화를 수행할 수 있다.
콘트라스트 스트레칭 방법은 특정 부분에 화소들이 치우친 영상에 가장 잘 적용된다. 영상을 구성하는 화소값의 편중을 교정하여 정규화하는데 효과적인 알고리즘이다. 감마 수정(Gamma Correction)방법은 비선형적으로 밝기를 조절하며 맞추어 나가는 방법이다. 어두운 픽셀에 대한 밝기 값은 증가되며 대부분의 밝은 픽셀들은 같은 밝기값을 가진다.
추출된 영역을 sub-image로 구분하여 영상에 포함된 조명을 상쇄할 수 있도록 구성한다. 도 13은 조명의 영향을 받은 영상에 대하여 취할 수 있는 몇 가지의 sub-image 구분 방법이다.
도 13에 나타난 바와 같이 얼굴 영역에 가해지는 조명/빛의 강도에 따라 얼굴을 구성하는 눈, 코, 입들이 명확히 구분될 수 없게 된다. 밝은 영역과 어두운 영역으로 구분된 얼굴에 포함된 조명의 영향을 상쇄하기 위하여 각 영역을 구분하고, 구분된 영역 내에서 또는 전체 영상에서 필터링 과정을 수행하여 영상을 재구성하는 과정을 통하여 인식하기에 적합한 명암도를 가지게 된다.
아무런 조명의 제약 없이 획득된 영상의 명암도는 원본 영상과 같이 밝기의 불균형이 있다. 본 발명이 적용되는 스마트 홈 환경 역시 조명이 켜져 있지 않은 경우에 영상이 획득될 수도 있다. 그러므로 인식을 위한 영상으로 구성하기 위하여 영상 정보의 정규화는 반드시 진행되어야 한다.
다음으로, 얼굴 영상 획득부(207b)에서 추출된 얼굴영역을 포함된 영상으로부터 정확한 얼굴영역을 검출하기 위하여 얼굴 영상을 획득하게 된다.
획득한 얼굴 영상을 포함한 영역으로부터 BPNN 알고리즘을 통하여 정면 얼굴영역을 획득한다. 신경망을 이용한 방법론은 일반적으로 기타의 다른 통계적이나 수식적인 전개 없이 추상적인 데이터에 대해서 학습만으로도 인식이 가능하다. 일반적인 역전파 신경망(Back-propagation neural network)은 입력된 얼굴 영상 자체를 학습시킨다. 그러나 신경망은 적당한 크기의 균일한 이미지에 대해서 정보량이 많고 복잡하여 학습하기 힘들다. 예를 들어, 128 × 128화소의 영상이라면, 네트워크의 입력의 수는 16,384개가 된다. 따라서 복잡성을 줄이기 위해 신경망은 주로 특징 추출하는 단계보다는 패턴 인식 단계에 적용된다. 신경망은 얼굴의 패턴이 변한다거나 할 경우에 다시 학습을 해야 하고, 학습속도 또한 반복적으로 수행해야 하기 때문에 시간이 오래 걸린다는 단점이 있다.
이후 특징 추출부(207c)에서 획득한 얼굴 영상으로부터 특징을 추출하게 된다.
얼굴 인식을 위해 추출된 얼굴영역은 주성분 분석(PCA: Principal Component Analysis) 알고리즘을 통하여 인식하기에 적합한 정보로 변환된다. 주성분 분석(PCA) 방법은 다변량 분석 방법 중 하나로 전체 영상의 데이터를 가장 잘 표현하는 축에 데이터를 선영 투사시켜 데이터 차원의 감소와 노이즈 제거의 효과를 제공한다. 고유얼굴(Eigenface)은 사람얼굴을 저차원적으로 표현할 수 있도록 하여 얼굴이미지의 기본요소를 분석(Principal components analysis)할 수 있도록 한 것이다. 기본요소란 얼굴이미지의 변화를 나타내는 일련의 특징들을 의미하는 것으로 수학적으로 표현하면 하나의 얼굴 이미지군을 나타내는 공변 행렬(Covariance matrix)의 고유벡터(Eigen Vector)를 의미한다. 기본요소들에 입력된 얼굴이미지를 투영시킨 후 이들을 저장된 얼굴이미지의 투영체와 비교하거나 상관시켜 특징들을 추출한다. 이 추출된 특징을 '고유얼굴'이라고 하는데 이것을 가중치를 적용한 다중 템플릿 매칭 방법으로 분류할 수 있다. 고유얼굴을 이용한 주성분 분석 방법론은 여러 얼굴을 통하여 얼굴의 주성분 즉, 고유얼굴을 추출해 내고 추출된 고유얼굴과 새로 입력된 얼굴의 내적을 통한 가중치 벡터를 추출한다. 추출된 가중치 벡터를 미리 등록된 가중치 벡터와 유사도를 비교함으로써 인식을 수행하게 된다. 이 방법은 인간의 얼굴 인식 기술에서 가장 효율적인 방법으로 입증돼 왔다. Turk와 Pentland는 주성분 분석 방법을 이용하여 고유얼굴을 사용한 얼굴 인식을 수행하였으며, 조명 방향 크기의 영향에 대해 극복할 수 있다는 연구결과를 도출했다.
다음으로, 얼굴 인식부(207d)에서 상기 얼굴 영상으로부터 추출한 특징을 기반으로 얼굴 인식을 수행하게 되고, 그 결과를 제어부(202)에 전달한다.
기존에 저장된 개인의 얼굴 특징 정보와 현재 획득한 영상으로부터 추출한 특징을 비교하기 위하여 거리측정방법을 사용한다. 이때 사용하는 거리측정 방법은 코사인 거리, 유클리디안 거리, K-NN방법 등이 있다.
K-NN은 가장 기초적인 예제 기반 학습 방법으로 알려져 있는데, 해당 방법은 N-차원 공간의 유클리디언 거리(Euclidean distance)나 코사인 거리(cosine distance)를 고려해서 테스트 벡터의 최인접 벡터(nearest neighbor)를 구하는 것이다. 테스트 벡터가 입력되었을 때 거리가 가장 가까운 k개의 데이터를 학습 벡터에서 찾고, 그 k개의 벡터에서 가장 많은 벡터가 속하는 클래스(class)를 테스트 벡터에 부여하는 것이다.
얼굴인식을 수행함에 있어서 고려해야 할 사항으로는 등록되지 않은 사용자가 인식을 시도하고자 할 때, 이를 기각 할 수 있는 조건이 필요하다. K-NN은 항상 최인접 벡터를 찾기 때문에 등록되지 않은 사용자에 대한 기각을 할 수 없다. 그러므로 등록된 한 사용자에 대한 학습 벡터들의 평균 벡터를 기준으로 테스트 벡터와의 거리를 이용하여 상대적인 신뢰구간을 나타내어 이를 이용하여 기각을 한다. 이때 기각되는 사람은 스마트 홈 데이터베이스에 등록되지 않은 사람이 된다.
제어부(202)는 데이터 마이닝부(206) 및/또는 사용자 검출 및 인식부(207)에서 각각 획득되는 결과를 기반으로, 침입 여부를 판단하게 된다. 예컨대, 데이터 마이닝부(206)에 의한 결과를 기반으로 태그가 인식된 시간 순서에 따라 사용자가 이동한 경로의 파악 및 행동 방향을 예측하고, 이동한 경로 및 순차 행동 패턴이 등록되지 않은 경로 및 순차 행동 패턴일 경우에는 침입자로 판단하게 된다. 또한, 부가적으로 사용자 검출 및 인식부(207)에서 인식한 결과를 기반으로 침입자 여부를 판단할 수 있는 데, 만약 사용자의 얼굴 인식 결과 기등록된 얼굴이 아닐 경우에는 침입자로 판단을 한다.
이러한 결과를 기반으로 침입자로 판단이 되면 경고 제어신호를 발생하여 경고부(400)에 제공하게 되고, 경고부(400)는 침입에 대해서 청각적으로 경고를 하거나 미리 등록된 관공서 연락처로 침입에 대한 알람을 전송하거나, 미리 등록된 사용자 연락처로 침입에 대한 알람을 전송하여, 사용자가 후속 조치를 취할 수 있도록 한다.
여기서 경고부(400)가 청각적으로 경고를 하는 방법은, 경보음을 송출하는 것으로서 가능하며, 관공서나 등록된 사용자 연락처로 알람을 전송하는 방법은 등록된 연락처로 자동 다이얼링을 하고, 침입에 대해서 등록된 문자 메시지를 전송하거나 침입에 대해서 미리 등록된 경고 음성을 송출하는 것으로 구현할 수 있다.
본 발명은 상술한 특정의 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100… 사용자 정보 획득부
101… RFID 리더
102… 카메라
103… 통신모듈
200… 침입 탐지부
202… 제어부
203… 위치 추정부
204… 위치 구성정보 복원부
205… 세션 트랜잭션 구성부
206… 데이터 마이닝부
207… 사용자 검출 및 인식부
208… 상황 정보 저장부

Claims (9)

  1. 사용자의 위치와 인식을 위한 사용자 정보를 획득하기 위한 사용자 정보 획득부와;
    상기 사용자 정보 획득부로부터 획득한 사용자 정보를 마이닝 기반의 패턴 분석으로 분석하여 침입 여부를 판단하는 침입 탐지부를 포함하는 것을 특징으로 하는 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템.
  2. 청구항 1에 있어서, 상기 사용자 정보 획득부는,
    사용자 위치 확인을 위해 사용자에 부착된 RFID 태그를 판독하는 RFID 리더와;
    상기 사용자의 인식을 위한 사용자 영상을 획득하는 카메라와;
    상기 RFID 리더와 카메라에 의해 획득한 사용자 정보를 상기 침입 탐지부에 전달하기 위한 통신 모듈을 포함하는 것을 특징으로 하는 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템.
  3. 청구항 1에 있어서, 상기 침입 탐지부는,
    상기 사용자 정보 획득부에서 획득한 사용자 정보를 기반으로 사용자의 위치를 추정하는 위치 추정부와;
    상기 위치 추정부에서 추정한 위치 정보와 미리 설정한 가상 위치 경로를 비교하여 결측 경로를 복원하는 위치 구성정보 복원부를 포함하는 것을 특징으로 하는 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템.
  4. 청구항 3에 있어서, 상기 침입 탐지부는,
    상기 위치 구성정보 복원부에서 복원된 위치 정보를 기반으로 후보 위치 집합과 고빈도 위치 집합을 분류하여 위치 트랜잭션을 구성하는 세션 트랜잭션 구성부를 더 포함하는 것을 특징으로 하는 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템.
  5. 청구항 4에 있어서, 상기 침입 탐지부는,
    상기 세션 트랜잭션 구성부에 의해 구성된 위치 트랜잭션으로부터 데이터 마이닝을 이용하여 행동 순차 패턴을 추출하는 데이터 마이닝부를 더 포함하는 것을 특징으로 하는 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템.
  6. 청구항 5에 있어서, 상기 데이터 마이닝부는,
    원시 데이터로부터 마이닝 처리를 위한 데이터 추상화를 위한 데이터 변형 작업을 수행하는 전처리부와;
    상기 전처리부에서 처리된 데이터로부터 마이닝 알고리즘을 적용하여 패턴을 찾아내는 패턴 추정부와;
    상기 패턴 추정부에서 추정한 패턴으로부터 관련이 없는 규칙을 제거하고 패턴을 추출하는 패턴 분석부를 포함하는 것을 특징으로 하는 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템.
  7. 청구항 5에 있어서, 상기 침입 탐지부는,
    상기 사용자 정보 획득부로부터 획득한 영상으로부터 사용자를 검출하고, 인식 알고리즘을 이용하여 얼굴을 인식하는 사용자 검출 및 인식부를 더 포함하는 것을 특징으로 하는 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템.
  8. 청구항 7에 있어서, 상기 사용자 검출 및 인식부는,
    연속 획득한 영상으로부터 차영상 방법을 통하여 움직이는 사용자의 윤곽을 획득하고, 획득한 영역으로부터 상단의 영역을 추출하여 영상의 질을 보정하여 얼굴을 포함하고 있는 영역을 획득하는 얼굴 영역 분할부와;
    상기 얼굴 영역 분할부에서 획득한 얼굴 영상을 포함한 영역으로부터 정면 얼굴영역을 획득하는 얼굴영상 획득부와;
    상기 얼굴영상 획득부에서 얼굴이미지를 기본요소들에 투영시킨 후 이들을 저장된 얼굴이미지의 투영체와 비교하거나 상관시켜 특징을 추출하는 특징 추출부와;
    상기 특징 추출부에서 추출한 특징과 미리 저장된 개인의 얼굴 특징 정보를 비교하여 얼굴을 인식하는 얼굴 인식부를 포함하는 것을 특징으로 하는 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템.
  9. 청구항 5에 있어서, 상기 침입 탐지부는,
    데이터 마이닝 알고리즘이 저장되며, 사용자의 객체에 대한 정보 값과 그 정보들의 변화 정보를 포함하는 상황 정보를 저장하는 상황정보 저장부와;
    사용자 정보 획득부로부터 획득한 사용자 정보를 마이닝 기반의 패턴 분석으로 분석하도록 제어를 하는 제어부를 더 포함하는 것을 특징으로 하는 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템.
KR1020120038350A 2012-04-13 2012-04-13 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템 KR101340287B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120038350A KR101340287B1 (ko) 2012-04-13 2012-04-13 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120038350A KR101340287B1 (ko) 2012-04-13 2012-04-13 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템

Publications (2)

Publication Number Publication Date
KR20130115749A true KR20130115749A (ko) 2013-10-22
KR101340287B1 KR101340287B1 (ko) 2013-12-10

Family

ID=49635143

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120038350A KR101340287B1 (ko) 2012-04-13 2012-04-13 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템

Country Status (1)

Country Link
KR (1) KR101340287B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150076516A (ko) * 2013-12-27 2015-07-07 주식회사 코맥스 공동주택의 영상 학습형 인지에 따른 감시 시스템 및 그 방법
CN109344679A (zh) * 2018-07-25 2019-02-15 深圳云天励飞技术有限公司 基于图像分析的工地监控方法、装置及可读存储介质
WO2021172808A1 (en) * 2020-02-26 2021-09-02 Samsung Electronics Co., Ltd. System and method for personalization in intelligent multi-modal personal assistants

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100430479B1 (ko) * 2000-12-23 2004-05-10 한국전자통신연구원 시간 간격을 고려한 시간 관계 규칙 탐사 시스템 및 그 방법
JP2005228197A (ja) * 2004-02-16 2005-08-25 Funai Electric Co Ltd 監視システム及び監視方法
WO2009113265A1 (ja) * 2008-03-11 2009-09-17 パナソニック株式会社 タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法
JP2010211514A (ja) 2009-03-10 2010-09-24 Aiphone Co Ltd 侵入者監視システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150076516A (ko) * 2013-12-27 2015-07-07 주식회사 코맥스 공동주택의 영상 학습형 인지에 따른 감시 시스템 및 그 방법
CN109344679A (zh) * 2018-07-25 2019-02-15 深圳云天励飞技术有限公司 基于图像分析的工地监控方法、装置及可读存储介质
WO2021172808A1 (en) * 2020-02-26 2021-09-02 Samsung Electronics Co., Ltd. System and method for personalization in intelligent multi-modal personal assistants
US11748057B2 (en) 2020-02-26 2023-09-05 Samsung Electronics Co., Ltd. System and method for personalization in intelligent multi-modal personal assistants

Also Published As

Publication number Publication date
KR101340287B1 (ko) 2013-12-10

Similar Documents

Publication Publication Date Title
US11735018B2 (en) Security system with face recognition
US11295139B2 (en) Human presence detection in edge devices
US20230316762A1 (en) Object detection in edge devices for barrier operation and parcel delivery
US11605231B2 (en) Low power and privacy preserving sensor platform for occupancy detection
US20090195382A1 (en) Video sensor and alarm system and method with object and event classification
KR101433472B1 (ko) 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US11217076B1 (en) Camera tampering detection based on audio and video
US11257226B1 (en) Low-overhead motion classification
Zin et al. Unattended object intelligent analyzer for consumer video surveillance
US11967139B2 (en) Adversarial masks for false detection removal
US11935297B2 (en) Item monitoring for doorbell cameras
CN112381853A (zh) 用于利用无线信号和图像来进行人员检测、跟踪和标识的装置和方法
KR101340287B1 (ko) 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템
Yang et al. Perceiving the slightest tag motion beyond localization
US11501618B1 (en) Security device with user-configurable motion detection settings
CN114022896A (zh) 目标检测方法、装置、电子设备及可读取存储介质
Patino et al. Abnormal behaviour detection on queue analysis from stereo cameras
KR20140072442A (ko) 차량 검지 장치 및 방법
US20220335725A1 (en) Monitoring presence or absence of an object using local region matching
KR20170048108A (ko) 객체 및 상황 인지 방법 및 시스템
Gaddipati et al. Real-time human intrusion detection for home surveillance based on IOT
Patino et al. Online learning of activities from video
KH et al. Smart CCTV surveillance system for intrusion detection with live streaming
US20240127587A1 (en) Apparatus and method for integrated anomaly detection
KR102531352B1 (ko) 감시영역의 환경정보를 고려한 타깃 식별 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161117

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171117

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 7