KR102290857B1 - 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치 - Google Patents

채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치 Download PDF

Info

Publication number
KR102290857B1
KR102290857B1 KR1020200038532A KR20200038532A KR102290857B1 KR 102290857 B1 KR102290857 B1 KR 102290857B1 KR 1020200038532 A KR1020200038532 A KR 1020200038532A KR 20200038532 A KR20200038532 A KR 20200038532A KR 102290857 B1 KR102290857 B1 KR 102290857B1
Authority
KR
South Korea
Prior art keywords
user
feature information
feature
information
detection
Prior art date
Application number
KR1020200038532A
Other languages
English (en)
Inventor
김상철
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020200038532A priority Critical patent/KR102290857B1/ko
Application granted granted Critical
Publication of KR102290857B1 publication Critical patent/KR102290857B1/ko

Links

Images

Classifications

    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/46—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치에 관한 것으로, 상기 방법은 특정 공간에서 움직이는 적어도 하나의 사용자에 대한 영상 및 무선신호를 수집하는 단계, 상기 영상 및 무선신호로부터 행동 패턴에 관한 피처 정보를 추출하는 단계, 상기 피처 정보를 학습하여 사용자 검출을 위한 적어도 하나의 검출 모델을 생성하는 단계 및 특정 사용자의 행동 패턴에 관한 샘플 정보를 수집하고 상기 샘플 정보를 상기 적어도 하나의 검출 모델에 적용하여 상기 특정 사용자에 대한 검출 결과를 생성하는 단계를 포함한다.

Description

채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치{ARTIFICIAL INTELLIGENCE BASED SMART USER DETECTION METHOD AND DEVICE USING CHANNEL STATE INFORMATION}
본 발명은 인공지능 기반의 스마트 사용자 검출 기술에 관한 것으로, 보다 상세하게는 사용자의 행동 패턴에 따른 채널상태정보를 학습하여 특정인을 식별할 수 있는 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치에 관한 것이다.
CSI(채널상태정보, Channel State Information) 기반 기술은 스마트 공간의 출현으로 인해 WiFi 장치 간의 통신이 증가함에 따라 점차적으로 등장하고 있다. CSI는 MIMO 안테나 시스템에 처음 등장한 개념으로, 무선 통신 간의 채널 상태 정보를 형성한다. WiFi 네트워크에서 CSI 정보는 무선 통신들 간에 생성된 부반송파들의 세트로서 계산될 수 있다. CSI 기술의 가장 큰 장점은 장치가 필요 없거나 장치에 독립적이라는 점이다.
한편, 4차 산업 혁명 시대가 도래하면서 용의자 및 수배자 등의 개인 식별에서 예측 기술 후보로 CSI의 사례연구에 관한 필요성이 대두되고 있다. 용의자 또는 수배자 예측추정은 현재 DNA와 인공지능을 활용한 기술만 있을 뿐 다른 협업 가능한 기술개발이 필요한 상황이며, 비전 기반 포즈 추정(vision-based pose estimation)은 벽 뒤에 있는 물체나 사람에 대한 예측이 어렵다는 문제가 존재한다.
한국등록특허 제10-0951890호 (2010.04.01)
본 발명의 일 실시예는 사용자의 행동 패턴에 따른 채널상태정보를 학습하여 특정인을 식별할 수 있는 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치를 제공하고자 한다.
본 발명의 일 실시예는 채널상태정보 등 무선 정보의 활용으로 인해 시야 인식이 불가능한 사각지대에서의 식별 및 검출 확률을 향상시킬 수 있는 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치를 제공하고자 한다.
실시예들 중에서, 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법은 특정 공간에서 움직이는 적어도 하나의 사용자에 대한 영상 및 무선신호를 수집하는 단계, 상기 영상 및 무선신호로부터 행동 패턴에 관한 피처 정보를 추출하는 단계, 상기 피처 정보를 학습하여 사용자 검출을 위한 적어도 하나의 검출 모델을 생성하는 단계 및 특정 사용자의 행동 패턴에 관한 샘플 정보를 수집하고 상기 샘플 정보를 상기 적어도 하나의 검출 모델에 적용하여 상기 특정 사용자에 대한 검출 결과를 생성하는 단계를 포함한다.
상기 영상 및 무선신호를 수집하는 단계는 상기 영상에 동기화된 무선신호로서 RF(Radio Frequency) 신호 및 채널상태정보(Channel State Information, CSI) 중 어느 하나를 수집하는 단계를 포함할 수 있다.
상기 피처 정보를 추출하는 단계는 상기 RF 신호로부터 수평/수직 방향들 각각의 신호 세기에 관한 수평/수직 시각화 맵들 또는 상기 채널상태정보에 관한 변화 그래프를 피처 정보 추출을 위한 신호 피처 모델의 입력으로서 추출하는 단계를 포함할 수 있다.
상기 피처 정보를 추출하는 단계는 상기 영상에서 제1 피처 정보를 추출하는 단계, 상기 무선신호에서 제2 피처 정보를 추출하는 단계, 상기 제2 피처 정보를 상기 신호 피처 모델에 적용하여 제3 피처 정보를 획득하는 단계 및 상기 제1 및 제3 피처 정보들 간의 차이가 최소화되는 방향으로 상기 신호 피처 모델의 목적 함수를 조정하는 단계를 포함할 수 있다.
상기 피처 정보를 추출하는 단계는 상기 수평/수직 시각화 맵들을 상기 제2 피처 정보로서 추출하는 경우 특정 시간구간 동안 연속되는 복수의 프레임들에 대응되는 수평/수직 시각화 맵 세트(set)를 입력으로 사용하고 상기 특정 시간구간 동안의 프레임별 피처 맵을 출력으로 생성하는 모델을 상기 신호 피처 모델로서 적용하는 단계를 포함할 수 있다.
상기 피처 정보를 추출하는 단계는 상기 영상으로부터 복수의 RGB 프레임들을 획득하는 단계, 상기 복수의 RGB 프레임들을 영상 피처 모델 - 상기 영상 피처 모델은 RGB 프레임을 입력으로 사용하여 사용자의 움직임에 관한 피처 맵을 출력으로 생성하도록 사전학습됨 - 에 적용하는 단계 및 상기 복수의 RGB 프레임들 각각에 대한 피처 맵을 상기 피처 정보로서 획득하는 단계를 포함할 수 있다.
상기 검출 모델을 생성하는 단계는 상기 피처 정보에 관한 피처 맵을 학습하여 특정인 검출을 위한 제1 검출 모델과 특이 행동 패턴 검출을 위한 제2 검출 모델을 각각 생성하는 단계를 포함할 수 있다.
상기 검출 결과를 생성하는 단계는 상기 제1 검출 모델의 출력으로서 상기 특정 사용자의 행동 패턴과 상기 특정인의 행동 패턴 간의 유사 확률을 획득하는 단계 및 상기 유사 확률이 기 설정된 제1 임계값 이상인 경우 상기 특정 사용자를 상기 특정인으로 결정하여 상기 검출 결과를 생성하는 단계를 포함할 수 있다.
상기 검출 결과를 생성하는 단계는 상기 제2 검출 모델의 출력으로서 상기 특정 사용자의 행동 패턴에 관한 특이성을 획득하는 단계 및 상기 특이성이 기 설정된 제2 임계값 이상인 경우 상기 특정 사용자를 특이 행동 패턴자로 결정하여 상기 검출 결과를 생성하는 단계를 포함할 수 있다.
실시예들 중에서, 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 장치는 특정 공간에서 움직이는 적어도 하나의 사용자에 대한 영상 및 무선신호를 수집하는 사용자 신호 수집부, 상기 영상 및 무선신호로부터 행동 패턴에 관한 피처 정보를 추출하는 피처 정보 추출부, 상기 피처 정보를 학습하여 사용자 검출을 위한 적어도 하나의 검출 모델을 생성하는 피처 정보 학습부 및 특정 사용자의 행동 패턴에 관한 샘플 정보를 수집하고 상기 샘플 정보를 상기 적어도 하나의 검출 모델에 적용하여 상기 특정 사용자에 대한 검출 결과를 생성하는 사용자 검출부를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 채널상태정보 등 무선 정보의 활용으로 인해 시야 인식이 불가능한 사각지대에서의 식별 및 검출 확률을 향상시킬 수 있다.
본 발명의 일 실시예에 따른 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치는 채널상태정보 등 무선 정보의 활용으로 인해 시야 인식이 불가능한 사각지대에서의 식별 및 검출 확률을 향상시킬 수 있다.
도 1은 본 발명에 따른 스마트 사용자 검출 시스템을 설명하는 도면이다.
도 2는 도 1의 사용자 검출 장치의 물리적 구성을 설명하는 도면이다.
도 3은 도 1의 사용자 검출 장치의 기능적 구성을 설명하는 도면이다.
도 4는 도 1의 사용자 검출 장치에서 수행되는 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 과정을 설명하는 순서도이다.
도 5는 본 발명에 따른 피처 정보 추출을 위한 피처 모델을 학습하는 과정을 설명하는 도면이다.
도 6은 본 발명에 따른 사용자 검출 과정을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 스마트 사용자 검출 시스템을 설명하는 도면이다.
도 1을 참조하면, 스마트 사용자 검출 시스템(100)은 사용자 단말(110), 사용자 검출 장치(130) 및 데이터베이스(150)를 포함할 수 있다.
사용자 단말(110)은 무선 통신 과정에서 채널상태정보를 포함하는 무선신호를 제공하는 컴퓨팅 장치에 해당할 수 있다. 사용자 단말(110)은 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(110)은 사용자 검출 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)들은 사용자 검출 장치(130)와 동시에 연결될 수 있다.
사용자 검출 장치(130)는 특정 공간 상에서 움직이는 사용자의 행동 패턴을 검출하고 학습 모델에 적용하여 해당 사용자가 특정 인물에 해당하는지를 식별 및 예측할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 이를 위하여, 사용자 검출 장치(130)는 사용자 단말(110)을 포함하여 특정 공간 상에 설치된 다양한 무선 통신 장치들 간의 무선 통신 과정에서 채널상태정보를 수집할 수 있다.
또한, 사용자 검출 장치(130)는 사용자 단말(110)과 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 유선 또는 무선 네트워크를 통해 사용자 단말(110)과 통신을 수행할 수 있다. 사용자 검출 장치(130)는 데이터베이스(150)와 연동하여 사용자의 행동 패턴을 학습하고 사용자 검출에 필요한 다양한 정보들을 저장할 수 있다. 한편, 사용자 검출 장치(130)는 도 1과 달리, 데이터베이스(150)를 내부에 포함하여 구현될 수 있다.
사용자 검출 장치(130)는 기본적인 시스템 구성으로서 프로세서, 메모리, 사용자 입출력부 및 네트워크 입출력부를 포함하여 구현될 수 있으며, 이에 대해서는 도 2에서 보다 자세히 설명한다.
데이터베이스(150)는 사용자 검출 장치(130)가 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 과정에서 필요한 다양한 정보들을 저장할 수 있다. 예를 들어, 데이터베이스(150)는 사용자 단말(110) 간의 무선 통신 과정에서 수집된 채널상태정보를 저장할 수 있고, 채널상태정보와 연관된 피처 정보의 학습에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 데이터의 수집과 학습 및 사용자 검출을 포함하는 일련의 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
도 2는 도 1의 사용자 검출 장치의 물리적 구성을 설명하는 도면이다.
도 2를 참조하면, 사용자 검출 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.
프로세서(210)는 사용자 검출 장치(130)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 사용자 검출 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 사용자 검출 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.
메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 사용자 검출 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.
사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 사용자 검출 장치(130)는 서버로서 수행될 수 있다.
네트워크 입출력부(270)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.
도 3은 도 1의 사용자 검출 장치의 기능적 구성을 설명하는 도면이다.
도 3을 참조하면, 사용자 검출 장치(130)는 사용자 신호 수집부(310), 피처 정보 추출부(330), 피처 정보 학습부(350), 사용자 검출부(370) 및 제어부(390)를 포함할 수 있다.
사용자 신호 수집부(310)는 특정 공간에서 움직이는 적어도 하나의 사용자에 대한 영상 및 무선신호를 수집할 수 있다. 이를 위하여, 사용자 신호 수집부(310)는 특정 공간을 촬영하는 카메라 장치와 연동할 수 있고, 사용자가 운용하는 사용자 단말(110)이나 특정 공간의 인근에 설치된 다양한 무선 통신 장치들과 연동할 수 있다. 사용자 신호 수집부(310)는 수집된 영상 및 무선신호에 대해 후처리 동작을 수행할 수 있다.
예를 들어, 사용자 신호 수집부(310)는 수집된 영상을 보다 선명하게 보정하여 이후에 진행되는 학습이 보다 효과적으로 이루어지도록 할 수 있다. 또한, 사용자 신호 수집부(310)는 수집된 무선신호를 필터 처리하여 학습에 사용되는 학습데이터의 품질을 높임으로써 학습 효과를 간접적으로 높일 수 있다.
일 실시예에서, 사용자 신호 수집부(310)는 영상에 동기화된 무선신호로서 RF(Radio Frequency) 신호 및 채널상태정보(Channel State Information, CSI) 중 어느 하나를 수집할 수 있다. 여기에서, RF 신호는 무선 통신 시스템에서 무선 통신을 통해 전송하는 데이터 신호에 해당할 수 있고, 채널상태정보는 통신 링크의 채널 특성에 관한 정보에 해당할 수 있다. 사용자 신호 수집부(310)는 특정 공간에 설치된 다양한 장치들 간의 무선 통신 과정에서 RF 신호와 채널상태정보를 독립적인 정보로서 수집할 수 있다.
한편, 수집되는 무선신호는 동일한 공간을 촬영하여 획득된 영상과 동기화된 정보에 해당할 수 있다. 즉, 사용자 신호 수집부(310)는 영상과 무선신호를 독립적으로 수집하되, 각 정보가 수집된 시간 기준으로 상호 간의 매칭 정보를 동기화 정보로서 함께 저장할 수 있다. 해당 동기화 정보는 향후 학습 과정에서 영상과 무선신호 간의 매칭에 활용될 수 있다.
피처 정보 추출부(330)는 영상 및 무선신호로부터 행동 패턴에 관한 피처 정보를 추출할 수 있다. 피처 정보는 사용자의 행동 패턴, 즉 일련의 움직임으로부터 도출되는 속성에 해당할 수 있으며, 학습에 사용되는 학습 알고리즘에 따라 적용 가능한 형태로 추출될 수 있다. 피처 정보 추출부(330)는 영상 및 무선신호에 관한 처리 동작을 수행할 수 있으며, 영상 및 무선신호 간의 동기화를 위하여 추출된 피처 정보에는 시간 정보가 포함될 수 있다.
일 실시예에서, 피처 정보 추출부(330)는 RF 신호로부터 수평/수직 방향들 각각의 신호 세기에 관한 수평/수직 시각화 맵들 또는 채널상태정보에 관한 변화 그래프를 피처 정보 추출을 위한 신호 피처 모델의 입력으로서 추출할 수 있다. 여기에서, 시각화 맵은 신호의 세기를 다양한 색상으로 표현하여 특정 공간에서의 공간 분포를 그래픽적으로 표현한 것에 해당할 수 있고, 변화 그래프는 신호의 변화를 시간의 흐름에 따라 그래픽적으로 표현한 것에 해당할 수 있다. 즉, 피처 정보 추출부(330)는 RF 신호 또는 채널상태정보에 관한 아날로그 정보를 2차원적인 그래픽 표현으로 변환하여 이후 학습 단계에 용이하게 사용될 수 있도록 지원할 수 있다.
일 실시예에서, 피처 정보 추출부(330)는 영상에서 제1 피처 정보를 추출하고, 무선신호에서 제2 피처 정보를 추출하며, 제2 피처 정보를 신호 피처 모델에 적용하여 제3 피처 정보를 획득하고, 제1 및 제3 피처 정보들 간의 차이가 최소화되는 방향으로 신호 피처 모델의 목적 함수를 조정할 수 있다. 즉, 피처 정보 추출부(330)는 특정 사용자의 움직임으로부터 동작 특성에 관한 피처 정보를 획득하기 위하여 사전에 구축된 학습 모델인 신호 피처 모델을 활용할 수 있다. 신호 피처 모델은 영상에서 추출된 피처 정보를 기준 정보로 활용하여 무선신호에서 추출되는 피처 정보가 영상에서 추출된 피처 정보에 가까워지도록 학습될 수 있고, 그 결과 채널상태정보에 기초한 행동 패턴의 인식율을 높이는데 기여할 수 있다.
일 실시예에서, 피처 정보 추출부(330)는 수평/수직 시각화 맵들을 제2 피처 정보로서 추출하는 경우 특정 시간구간 동안 연속되는 복수의 프레임들에 대응되는 수평/수직 시각화 맵 세트(set)를 입력으로 사용하고 특정 시간구간 동안의 프레임별 피처 맵을 출력으로 생성하는 모델을 신호 피처 모델로서 적용할 수 있다. 피처 정보 추출부(330)는 영상을 구성하는 각각의 프레임에 대응되는 프레임별 피처 맵을 생성하기 위하여 무선신호로부터 추출되는 시각화 맵들을 하나씩 입력하는 것이 아니라 시각화 맵의 집합을 하나의 입력으로서 신호 피처 모델에 입력할 수 있다. 신호 피처 모델은 시각화 맵의 세트라는 하나의 입력에 대응하는 출력으로서 해당 시간구간에 포함된 프레임들 각각에 대응되는 복수의 피처 맵들을 출력으로 생성할 수 있다.
일 실시예에서, 피처 정보 추출부(330)는 영상으로부터 복수의 RGB 프레임들을 획득하고, 복수의 RGB 프레임들을 영상 피처 모델에 적용하며, 복수의 RGB 프레임들 각각에 대한 피처 맵을 피처 정보로서 획득할 수 있다. 이 때, 영상 피처 모델은 RGB 프레임을 입력으로 사용하여 사용자의 움직임에 관한 피처 맵을 출력으로 생성하도록 사전학습된 모델에 해당할 수 있다. 수집된 영상을 기초로 영상 피처 모델에 의해 출력된 피처 맵은 무선 신호에 관한 학습 과정에서 기준 정보로서 활용될 수 있다. 즉, 학습 결과로서 생성되는 무선 신호에 관한 피처 맵은 동기화된 영상에 관한 피처 맵과 유사할 수 있다.
피처 정보 학습부(350)는 피처 정보를 학습하여 사용자 검출을 위한 적어도 하나의 검출 모델을 생성할 수 있다. 피처 정보 학습부(350)는 검출 대상이 되는 특정인의 식별 정보를 학습함으로써 사용자가 특정인에 해당하는지 판단하는데 사용되는 학습 모델을 검출 모델로서 생성할 수 있다. 또한, 피처 정보 학습부(350)는 일반인, 즉 정상적인 사용자들의 식별 정보를 학습함으로써 사용자의 행동 패턴이 정상범위를 벗어난 이상 패턴에 해당하는지 판단하는데 사용되는 학습 모델을 검출 모델로서 생성할 수 있다.
일 실시예에서, 피처 정보 학습부(350)는 피처 정보에 관한 피처 맵을 학습하여 특정인 검출을 위한 제1 검출 모델과 특이 행동 패턴 검출을 위한 제2 검출 모델을 각각 생성할 수 있다. 특정인 검출을 위해서는 특정인의 행동 패턴에 관한 사전 정보가 필요할 수 있으며, 피처 정보 학습부(350)는 사전에 확보된 특정인의 피처 정보를 학습한 결과로서 제1 검출 모델을 구축할 수 있다.
이 경우, 제1 검출 모델은 학습에 사용된 특정인에 해당될 확률 정보를 출력으로서 제공할 수 있다. 예를 들어, 5명의 특정인에 관한 피처 정보를 학습한 결과로서 제1 검출 모델이 생성된 경우, 제1 검출 모델은 5명의 특정인에 각각 해당될 확률을 출력으로서 생성할 수 있다.
또한, 제2 검출 모델은 정상적인 일반인의 행동 패턴에 관한 피처 정보를 학습하여 구축될 수 있고, 그 결과 제2 검출 모델은 특정 사용자의 행동 패턴이 정상적인 행동 패턴에 해당할 확률을 출력으로서 생성할 수 있다.
사용자 검출부(370)는 특정 사용자의 행동 패턴에 관한 샘플 정보를 수집하고 샘플 정보를 적어도 하나의 검출 모델에 적용하여 특정 사용자에 대한 검출 결과를 생성할 수 있다. 즉, 사용자 검출부(370)는 특정 공간 내에서 움직이는 사용자의 행동 패턴에 관한 정보를 기 학습된 검출 모델에 적용하여 해당 사용자가 검출 대상이 되는 특정인(예를 들어, 용의자 또는 수배자)에 해당되는지 또는 해당 사용자의 행동 패턴이 정상적인지에 관한 정보를 검출 결과로서 제공할 수 있다.
일 실시예에서, 사용자 검출부(370)는 제1 검출 모델의 출력으로서 특정 사용자의 행동 패턴과 특정인의 행동 패턴 간의 유사 확률을 획득하고, 유사 확률이 기 설정된 제1 임계값 이상인 경우 특정 사용자를 특정인으로 결정하여 검출 결과를 생성할 수 있다. 만약 제1 검출 모델이 출력으로서 복수의 특정인과의 유사 확률을 제공하고, 유사 확률이 제1 임계값 이상인 경우에는 가장 높은 유사 확률과 연관된 특정인으로 결정하여 검출 결과를 생성할 수 있다. 이 경우, 사용자 검출부(370)는 제1 임계값 이상인 나머지 특정인에 관한 정보를 검출 결과에 추가시켜 생성할 수 있다.
일 실시예에서, 사용자 검출부(370)는 제2 검출 모델의 출력으로서 특정 사용자의 행동 패턴에 관한 특이성을 획득하고, 특이성이 기 설정된 제2 임계값 이상인 경우 특정 사용자를 특이 행동 패턴자로 결정하여 검출 결과를 생성할 수 있다. 이 때, 제1 및 2 임계값은 사용자 검출 장치(130)에 의해 사전에 설정되어 활용될 수 있다.
일 실시예에서, 사용자 검출부(370)는 제2 검출 모델의 출력으로 획득된 행동 패턴에 관한 특이성을 기초로 해당 사용자의 현재 상태를 추정할 수 있고, 추정 내용을 검출 결과에 추가시켜 생성할 수 있다. 이 경우, 사용자의 현재 상태에 관한 정보는 제2 검출 모델이 출력하는 행동 패턴의 특이성에 따라 등급화 되어 사전에 정의될 수 있다. 예를 들어, 사용자 검출부(370)는 행동 패턴의 특이성에 따라 사용자가 움직임이 제한되는 구속 상태, 사용자의 판단이 부정확한 음주 상태 및 사용자의 이상이 예상되는 사고 상태 등으로 사용자의 현재 상태를 추정할 수 있다.
제어부(390)는 사용자 검출 장치(130)의 전체적인 동작을 제어하고, 사용자 신호 수집부(310), 피처 정보 추출부(330), 피처 정보 학습부(350) 및 사용자 검출부(370) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 도 1의 사용자 검출 장치에서 수행되는 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 과정을 설명하는 순서도이다.
도 4를 참조하면, 사용자 검출 장치(130)는 사용자 신호 수집부(310)를 통해 특정 공간에서 움직이는 적어도 하나의 사용자에 대한 영상 및 무선신호를 수집할 수 있다(단계 S410). 사용자 검출 장치(130)는 피처 정보 추출부(330)를 통해 영상 및 무선신호로부터 행동 패턴에 관한 피처 정보를 추출할 수 있다(단계 S430).
또한, 사용자 검출 장치(130)는 피처 정보 학습부(350)를 통해 피처 정보를 학습하여 사용자 검출을 위한 적어도 하나의 검출 모델을 생성할 수 있다(단계 S450). 사용자 검출 장치(130)는 사용자 검출부(370)를 통해 특정 사용자의 행동 패턴에 관한 샘플 정보를 수집하고 샘플 정보를 적어도 하나의 검출 모델에 적용하여 특정 사용자에 대한 검출 결과를 생성할 수 있다(단계 S470).
도 5는 본 발명에 따른 피처 정보 추출을 위한 피처 모델을 학습하는 과정을 설명하는 도면이다.
도 5를 참조하면, 사용자 검출 장치(130)는 사용자 신호 수집부(510)를 통해 특정 공간에서 움직이는 사용자에 대한 영상 및 무선신호를 수집할 수 있다. 사용자 신호 수집부(510)를 영상 수집을 위한 카메라 모듈 및 무선신호 수집을 위한 안테나 모듈과 각각 연동하여 동작할 수 있다. 이 때, 무선신호로 RF 신호를 수집하는 경우 수평 및 수직 방향의 신호 측정을 위해 각각 독립적인 안테나 모듈을 사용할 수 있으며, 각 안테나 모듈은 측정 방향에 나란히 배치된 안테나 어레이로 구현될 수 있다.
또한, 사용자 검출 장치(130)는 피처 정보 추출부(330)를 통해 영상 및 무선신호로부터 행동 패턴에 관한 피처 정보를 추출하는 할 수 있으며, 이를 위하여 학습을 통한 피처 모델을 생성할 수 있다. 즉, 영상을 구성하는 복수의 프레임들(531)을 영상 피처 모델(551)에 입력하여 제1 피처 정보(571)를 추출할 수 있고, RF신호를 기초로 제2 피처 정보로서 추출되는 수평/수직 시각화 맵들(533)을 신호 피처 모델(553)에 입력하여 제3 피처 정보(573)를 추출할 수 있다.
일 실시예에서, 피처 정보 추출부(330)는 제1 및 제3 피처 정보들 간의 차이가 최소화되는 방향으로 학습을 수행하여 신호 피처 모델(553)을 생성할 수 있다. 이 때, 학습 과정은 신호 피처 모델의 목적 함수에 적용되는 파라미터를 조정하는 과정을 포함할 수 있다.
사용자 검출 장치(130)는 피처 정보 추출부(330)에 의해 충분히 학습된 신호 피처 모델(553)을 이용하여 특정 공간 상에서 움직이는 사용자의 행동 패턴에 관한 피처 정보를 추출하고, 이를 활용하여 특정인을 검출하거나 움직임에 관한 이상 행동 패턴을 검출할 수 있다.
도 6은 본 발명에 따른 사용자 검출 과정을 설명하는 도면이다.
도 6을 참조하면, 사용자 검출 장치(130)는 특정 공간 상에서 움직이는 특정 사용자의 행동 패턴에 관한 샘플 정보를 수집할 수 있고, 사용자 검출부(370)를 통해 특정 사용자에 대한 검출 결과(630)를 생성할 수 있다. 이 때, 사용자 검출부(370)는 학습을 통해 구축된 검출 모델(610)을 활용하여 사용자 검출을 수행할 수 있다.
보다 구체적으로, 사용자 검출부(370)는 샘플 정보를 기초로 사용자의 움직임에 관한 피처 정보로서 수평/수직 시각화 맵들(533)을 추출할 수 있고, 이를 기 학습된 신호 피처 모델(553)에 적용하여 사용자의 행동 패턴에 관한 제3 피처 정보(573)를 획득할 수 있다. 사용자 검출부(370)는 제3 피처 정보(573)를 기 학습된 검출 모델(610)에 입력하여 검출 결과(630)를 획득할 수 있다.
이 때, 피처 정보 학습부(350)에 의해 생성되는 검출 모델(610)은 검출 목적 별로 독립적으로 생성될 수 있다. 예를 들어, 사용자가 특정인에 해당되는지를 검출하기 위한 목적으로 검출 모델(610)이 생성될 수 있고, 사용자의 행동 패턴이 정상적인 범위를 벗어나 이상 행동 패턴에 해당되는지를 검출하기 위한 목적으로 검출 모델(610)이 생성될 수도 있다.
도 6의 경우, 검출 모델(610)은 특정인에 해당되는지를 검출하기 위한 검출 모델(610)에 해당할 수 있고, 사용자 검출부(370)를 이를 활용하여 사용자가 특정인에 해당되는지를 검출 결과(630)로서 생성할 수 있다. 즉, 검출 모델(610)이 생성하는 출력은 학습 과정에서 사용된 특정인의 정보에 따라 특정인별 유사 확률에 관한 정보를 포함할 수 있으며, 사용자 검출부(370)는 유사 확률을 이용하여 사용자에 대한 검출 결과(630)를 생성할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 스마트 사용자 검출 시스템
110: 사용자 단말 130: 사용자 검출 장치
150: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 사용자 신호 수집부 330: 피처 정보 추출부
350: 피처 정보 학습부 370: 사용자 검출부
390: 제어부
510: 사용자 신호 수집부
531: 복수의 프레임들 533: 수평/수직 시각화 맵들
551: 영상 피처 모델 553: 신호 피처 모델
571: 제1 피처 정보 573: 제3 피처 정보
610: 검출 모델 630: 검출 결과

Claims (10)

  1. 특정 공간에서 움직이는 적어도 하나의 사용자에 대한 영상 및 무선신호를 수집하는 단계;
    상기 영상 및 무선신호로부터 행동 패턴에 관한 피처 정보를 추출하는 단계;
    상기 피처 정보를 학습하여 사용자 검출을 위한 적어도 하나의 검출 모델을 생성하는 단계; 및
    특정 사용자의 행동 패턴에 관한 샘플 정보를 수집하고 상기 샘플 정보를 상기 적어도 하나의 검출 모델에 적용하여 상기 특정 사용자에 대한 검출 결과를 생성하는 단계를 포함하되,
    상기 영상 및 무선신호를 수집하는 단계는 상기 영상에 동기화된 무선신호로서 RF(Radio Frequency) 신호 및 채널상태정보(Channel State Information, CSI) 중 어느 하나를 수집하는 단계를 포함하고,
    상기 피처 정보를 추출하는 단계는 상기 영상에서 제1 피처 정보를 추출하는 단계; 상기 무선신호에서 제2 피처 정보를 추출하는 단계; 상기 제2 피처 정보를 신호 피처 모델에 적용하여 제3 피처 정보를 획득하는 단계; 및 상기 제1 및 제3 피처 정보들 간의 차이가 최소화되는 방향으로 상기 신호 피처 모델의 목적 함수를 조정하는 단계를 포함하는 것을 특징으로 하는 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 피처 정보를 추출하는 단계는
    상기 RF 신호로부터 수평/수직 방향들 각각의 신호 세기에 관한 수평/수직 시각화 맵들 또는 상기 채널상태정보에 관한 변화 그래프를 피처 정보 추출을 위한 신호 피처 모델의 입력으로서 추출하는 단계를 포함하는 것을 특징으로 하는 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법.
  4. 삭제
  5. 제3항에 있어서, 상기 피처 정보를 추출하는 단계는
    상기 수평/수직 시각화 맵들을 상기 제2 피처 정보로서 추출하는 경우 특정 시간구간 동안 연속되는 복수의 프레임들에 대응되는 수평/수직 시각화 맵 세트(set)를 입력으로 사용하고 상기 특정 시간구간 동안의 프레임별 피처 맵을 출력으로 생성하는 모델을 상기 신호 피처 모델로서 적용하는 단계를 포함하는 것을 특징으로 하는 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법.
  6. 제1항에 있어서, 상기 피처 정보를 추출하는 단계는
    상기 영상으로부터 복수의 RGB 프레임들을 획득하는 단계;
    상기 복수의 RGB 프레임들을 영상 피처 모델 - 상기 영상 피처 모델은 RGB 프레임을 입력으로 사용하여 사용자의 움직임에 관한 피처 맵을 출력으로 생성하도록 사전학습됨 - 에 적용하는 단계; 및
    상기 복수의 RGB 프레임들 각각에 대한 피처 맵을 상기 피처 정보로서 획득하는 단계를 포함하는 것을 특징으로 하는 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법.
  7. 제1항에 있어서, 상기 검출 모델을 생성하는 단계는
    상기 피처 정보에 관한 피처 맵을 학습하여 특정인 검출을 위한 제1 검출 모델과 특이 행동 패턴 검출을 위한 제2 검출 모델을 각각 생성하는 단계를 포함하는 것을 특징으로 하는 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법.
  8. 제7항에 있어서, 상기 검출 결과를 생성하는 단계는
    상기 제1 검출 모델의 출력으로서 상기 특정 사용자의 행동 패턴과 상기 특정인의 행동 패턴 간의 유사 확률을 획득하는 단계; 및
    상기 유사 확률이 기 설정된 제1 임계값 이상인 경우 상기 특정 사용자를 상기 특정인으로 결정하여 상기 검출 결과를 생성하는 단계를 포함하는 것을 특징으로 하는 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법.
  9. 제7항에 있어서, 상기 검출 결과를 생성하는 단계는
    상기 제2 검출 모델의 출력으로서 상기 특정 사용자의 행동 패턴에 관한 특이성을 획득하는 단계; 및
    상기 특이성이 기 설정된 제2 임계값 이상인 경우 상기 특정 사용자를 특이 행동 패턴자로 결정하여 상기 검출 결과를 생성하는 단계를 포함하는 것을 특징으로 하는 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법.
  10. 특정 공간에서 움직이는 적어도 하나의 사용자에 대한 영상 및 무선신호를 수집하는 사용자 신호 수집부;
    상기 영상 및 무선신호로부터 행동 패턴에 관한 피처 정보를 추출하는 피처 정보 추출부;
    상기 피처 정보를 학습하여 사용자 검출을 위한 적어도 하나의 검출 모델을 생성하는 피처 정보 학습부; 및
    특정 사용자의 행동 패턴에 관한 샘플 정보를 수집하고 상기 샘플 정보를 상기 적어도 하나의 검출 모델에 적용하여 상기 특정 사용자에 대한 검출 결과를 생성하는 사용자 검출부를 포함하되,
    상기 사용자 신호 수집부는 상기 영상에 동기화된 무선신호로서 RF(Radio Frequency) 신호 및 채널상태정보(Channel State Information, CSI) 중 어느 하나를 수집하고,
    상기 피처 정보 추출부는 상기 영상에서 제1 피처 정보를 추출하는 단계; 상기 무선신호에서 제2 피처 정보를 추출하는 단계; 상기 제2 피처 정보를 신호 피처 모델에 적용하여 제3 피처 정보를 획득하는 단계; 및 상기 제1 및 제3 피처 정보들 간의 차이가 최소화되는 방향으로 상기 신호 피처 모델의 목적 함수를 조정하는 단계를 수행하는 것을 특징으로 하는 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 장치.
KR1020200038532A 2020-03-30 2020-03-30 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치 KR102290857B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200038532A KR102290857B1 (ko) 2020-03-30 2020-03-30 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200038532A KR102290857B1 (ko) 2020-03-30 2020-03-30 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102290857B1 true KR102290857B1 (ko) 2021-08-20

Family

ID=77466497

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200038532A KR102290857B1 (ko) 2020-03-30 2020-03-30 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102290857B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023033379A1 (ko) * 2021-09-01 2023-03-09 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100951890B1 (ko) 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
KR20130110565A (ko) * 2012-03-29 2013-10-10 삼성전자주식회사 사용자 행동 실시간 인식장치 및 방법
KR20190085974A (ko) * 2017-01-13 2019-07-19 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. 하나 이상의 관성 센서들로부터 방위 정보를 정정하기 위한 장치 및 방법
KR20190139808A (ko) * 2019-12-04 2019-12-18 주식회사 블루비즈 행동패턴 이상 징후 판별 시스템 및 이의 제공방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100951890B1 (ko) 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
KR20130110565A (ko) * 2012-03-29 2013-10-10 삼성전자주식회사 사용자 행동 실시간 인식장치 및 방법
KR20190085974A (ko) * 2017-01-13 2019-07-19 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. 하나 이상의 관성 센서들로부터 방위 정보를 정정하기 위한 장치 및 방법
KR20190139808A (ko) * 2019-12-04 2019-12-18 주식회사 블루비즈 행동패턴 이상 징후 판별 시스템 및 이의 제공방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023033379A1 (ko) * 2021-09-01 2023-03-09 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Similar Documents

Publication Publication Date Title
US10489660B2 (en) Video processing with object identification
US11222239B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
EP2688296B1 (en) Video monitoring system and method
JP4369961B2 (ja) 異常検知装置及び異常検知プログラム
JP4215781B2 (ja) 異常動作検出装置および異常動作検出方法
JPWO2018025831A1 (ja) 人流推定装置、人流推定方法およびプログラム
US20150262068A1 (en) Event detection apparatus and event detection method
JP7069667B2 (ja) 推定プログラム、推定システム、及び推定方法
US20160210756A1 (en) Image processing system, image processing method, and recording medium
JP2018026115A (ja) 火炎検出方法、火炎検出装置及び電子機器
Saxena et al. Sign language recognition using principal component analysis
JP2022528326A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR20230069892A (ko) 이상 온도를 나타내는 객체를 식별하는 방법 및 장치
KR101979375B1 (ko) 감시 영상의 객체 행동 예측 방법
US11170512B2 (en) Image processing apparatus and method, and image processing system
Hu et al. Building occupancy detection and localization using CCTV camera and deep learning
KR102290857B1 (ko) 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치
CN113544735A (zh) 人认证设备、控制方法和程序
KR102110375B1 (ko) 학습 전이 기반의 비디오 감시 방법
US20210027463A1 (en) Video image processing and motion detection
KR20230145296A (ko) 히트맵을 생성하는 장치 및 방법
JP2007140718A (ja) 特異映像検出装置、特異映像検出方法およびプログラム
KR20150074429A (ko) 가상자원의 위치정보 매핑 방법 및 장치
KR101340287B1 (ko) 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템
JP7120590B2 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
GRNT Written decision to grant