KR20190063355A - 멀티 모달 데이터 수집을 통한 데이터 처리 방법 및 장치 - Google Patents

멀티 모달 데이터 수집을 통한 데이터 처리 방법 및 장치 Download PDF

Info

Publication number
KR20190063355A
KR20190063355A KR1020180030068A KR20180030068A KR20190063355A KR 20190063355 A KR20190063355 A KR 20190063355A KR 1020180030068 A KR1020180030068 A KR 1020180030068A KR 20180030068 A KR20180030068 A KR 20180030068A KR 20190063355 A KR20190063355 A KR 20190063355A
Authority
KR
South Korea
Prior art keywords
objects
data
information
similarity
metadata
Prior art date
Application number
KR1020180030068A
Other languages
English (en)
Inventor
권은정
박현호
변성원
이용태
이원재
장동만
정의석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20190063355A publication Critical patent/KR20190063355A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

멀티 모달 데이터 수집을 통한 데이터 처리 방법 및 장치가 개시된다. 일 실시예에 따른 데이터 처리 방법은, 복수의 객체에 관한 멀티 모달 데이터(multi-modal data)를 수집하는 단계와, 상기 멀티 모달 데이터에 기초하여 위험 정보 및 상기 복수의 객체의 행동에 대응하는 메타데이터를 생성하는 단계와, 상기 메타데이터에 기초하여 상기 복수의 객체 간의 유사도를 계산하는 단계와, 상기 유사도에 기초하여 상기 복수의 객체에게 상기 위험 정보를 전송하는 단계를 포함한다.

Description

멀티 모달 데이터 수집을 통한 데이터 처리 방법 및 장치{DATA PROCESSING METHOD AND APPARATUS THROUGH MULTI-MODAL DATA COLLECTION}
아래 실시예들은 멀티 모달 데이터 수집을 통해 데이터를 처리하는 방법 및 장치에 관한 것이다.
지자체는 범죄로부터 불안감을 해소하기 위해 방범용 CCTV설치를 통해 치안역량을 강화하고 상시 모니터링 인력을 운영을 통해 범죄, 교통 등에 대해 관제 서비스를 제공 하고 있다.
현재 지자체가 운용중인 지능형 통합관제시스템은 사람의 행동 패턴 인식, 차량번호의 자동 감지 및 추적 등 컴퓨터 비전기술을 통합관제에 활용한 수배 차량 검거나, 노약자에 발생할 수 있는 위험행동(학교 울타리 침입, 배회, 불법 주/정차)등이 CCTV에 감지되면 관제모니터에 위험 경보를 알리고, 통합관제센터에 24시간 상주하고 있는 경찰관이나 관련기관이 대응할 수 있도록 하고 있다.
이러한 관제서비스 형태는 관심 대상을 지속적으로 보호 관찰해 주기 보다는 임의 장소에서 발생한 특정 사건에 대한 모니터링 형태로 이루어지고 있다.
CCTV이외에 개인휴대단말을 이용하여 현재 관심 대상자의 위치 추적을 확인하기 위해서 GPS와 같은 위치 추적 기법을 이용하여 개인의 안전보호 서비스 개념이 제공되고 있다. 현재 위치 기반 서비스의 경우 GPS등을 이용하여 사용자의 위치를 확인하고, 관련하여 해당위치에서 발생했던 공공데이터를 연계하여 다양한 형태의 서비스를 제공하고 있다.
예를 들어, 특정 지역을 통과하는 개인에게 교통사고, 범죄빈도 등을 제공하는 위치기반 지리정보시스템, 차량의 위치정보를 활용하여 도로교통, 차량 안전, 대중교통 정보를 제공하는 서비스 등이 있다.
GPS데이터를 활용한 형태의 서비스는 스마트폰과 같이 이동 휴대 단말에 탑재된 가속도, 자이로, 자자계, 기압 센, 심박 센서 등을 복합적으로 연계하여 사용자의 현재 신체적인 상황을 기계 학습으로 분석하여 안전보호형태의 맞춤형 위치 기반 서비스를 제공할 수 있다.
즉, 센서데이터를 수집하는 플랫폼에서 자동으로 사용자의 이상 행위 발생 상황을 판단할 수 있도록 하는 것이다. 예를 들어, 수집되는 각종 센서 데이터 속의 사용자의 움직이는 행위의 의미와 연속적으로 움직이는 객체 추적, 그리고 동일한 장소에서 센서 데이터의 변화에 따른 위험 발생 여부 파악 등이 해당될 수 있다.
하지만, 여러 센서 데이터를 융합하여 분석한다고 하더라도, 위험 감지 ‘오보’ 발생률이 높아 실제 활용률이 높지 않을 수 있는 단점이 있다. 이러한 한계상황을 극복하고 관심 대상 사용자의 센서데이터를 연속적으로 수집하고, 분석하기 위한 효과적인 방법이 필요하다.
또한, 공공안전 분야에서 사건 발생 전에 위험 상황을 예측하기 위한 기술에 대한 필요성 제기된다.
실시예들은 멀티 모달 데이터를 수집하여 복수의 객체 간의 유사성을 고속으로 비교, 분석할 수 있는 데이터 처리 기술을 제공할 수 있다.
일 실시예에 따른 데이터 처리 방법은, 복수의 객체에 관한 멀티 모달 데이터(multi-modal data)를 수집하는 단계와, 상기 멀티 모달 데이터에 기초하여 위험 정보 및 상기 복수의 객체의 행동에 대응하는 메타데이터를 생성하는 단계와, 상기 메타데이터에 기초하여 상기 복수의 객체 간의 유사도를 계산하는 단계와, 상기 유사도에 기초하여 상기 복수의 객체에게 상기 위험 정보를 전송하는 단계를 포함한다.
상기 멀티 모달 데이터는 상기 복수의 객체의 이동에 따른 위치 정보, 상기 위치 정보에 대응하는 시간 정보 및 상기 위치에 대응하는 영상 및 음성 정보 중 적어도 하나를 포함할 수 있다.
상기 수집하는 단계는, 상기 복수의 객체를 등록하는 단계와, 상기 복수의 객체를 인증하는 단계와, 상기 복수의 객체에 관한 정보를 제공하는 복수의 데이터 제공 기기에 상기 멀티 모달 데이터를 수집하기 위한 설정 정보를 공유하는 단계와, 상기 복수의 데이터 제공 기기로부터 상기 멀티 모달 데이터를 수신하는 단계를 포함할 수 있다.
상기 공유하는 단계는, 상기 멀티 모달 데이터의 수집 여부, 수집 간격, 수집 주기 및 전송 여부를 공유하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 멀티 모달 데이터로부터 상기 복수의 객체의 이동 경로, 상기 이동 경로에 대응하는 시간 및 상기 이동 경로에 대응하는 행동 패턴을 누적하여 로그데이터를 획득하는 단계와, 상기 로그데이터에 기초하여 상기 복수의 객체를 분류하는 단계와, 분류된 복수의 객체의 특징을 구조화하여 메타데이터를 생성하는 단계를 포함할 수 있다.
상기 획득하는 단계는, 상기 이동 경로에 기초하여 상기 복수의 객체가 방문한 장소를 클러스터링하는 단계를 포함할 수 있다.
상기 분류하는 단계는, 상기 이동 경로 및 상기 행동 패턴이 유사한 객체들을 군집화하는 단계를 포함할 수 있다.
상기 계산하는 단계는, 상기 메타데이터로부터 상기 복수의 객체에 대한 특징 값을 추출하는 단계와, 상기 특징 값에 기초하여 상기 유사도를 계산하는 단계를 포함할 수 있다.
상기 특징 값에 기초하여 상기 유사도를 계산하는 단계는, 하기 수학식에 기초하여 상기 유사도를 계산하는 단계를 포함할 수 있다.
[수학식]
Figure pat00001
여기서, A, B는 서로 다른 객체를 의미하고, EV(P·aA(k))는 객체 A가 방문한 장소 P(k)에서 발생한 특징 a의 횟수를 의미하고, EV(P·aB(k))는 객체 B가 방문한 장소 P(k)에서 발생한 특징 a의 횟수를 의미한다.
상기 전송하는 단계는, 위험 상황에 대응하기 위한 메시지, 위험의 단계, 범죄의 종류, 피해자에 관한 정보, 범죄 발생 시간 및 범죄 발생 횟수 중 적어도 하나의 정보를 상기 복수의 객체에게 전송하는 단계를 포함할 수 있다.
일 실시예에 따른 데이터 처리 장치는, 복수의 객체에 관한 멀티 모달 데이터(multi-modal data)를 수집하는 수집기와, 상기 멀티 모달 데이터에 기초한 메타데이터를 이용하여 상기 복수의 객체의 유사도를 계산하여 위험정보를 전송하는 컨트롤러를 포함하고, 상기 컨트롤러는, 상기 멀티 모달 데이터에 기초하여 위험 정보 및 상기 복수의 객체의 행동에 대응하는 메타데이터를 생성하는 메타데이터 생성기와, 상기 메타데이터에 기초하여 상기 복수의 객체 간의 유사도를 계산하는 유사도 계산기와, 상기 유사도에 기초하여 상기 복수의 객체에게 상기 위험 정보를 전송하는 송신기를 포함할 수 있다.
상기 멀티 모달 데이터는 상기 복수의 객체의 이동에 따른 위치 정보, 상기 위치 정보에 대응하는 시간 정보, 상기 위치에 대응하는 영상 정보 및 상기 위치에 대응하는 음성 정보 중 적어도 하나를 포함할 수 있다.
상기 수집기는, 상기 복수의 객체를 등록하고, 상기 복수의 객체를 인증하고, 상기 복수의 객체에 관한 정보를 제공하는 복수의 데이터 제공 기기에 상기 멀티 모달 데이터를 수집하기 위한 설정 정보를 공유하고, 상기 복수의 데이터 제공 기기로부터 상기 멀티 모달 데이터를 수신할 수 있다.
상기 수집기는, 상기 복수의 데이터 제공 기기와 멀티 모달 데이터의 수집 여부, 수집 간격, 수집 주기 및 전송 여부를 공유할 수 있다.
상기 메타데이터 생성기는, 상기 멀티 모달 데이터로부터 상기 복수의 객체의 이동 경로, 상기 이동 경로에 대응하는 시간 및 상기 이동 경로에 대응하는 행동 패턴을 누적하여 로그데이터를 획득하고, 상기 로그데이터에 기초하여 상기 복수의 객체를 분류하고, 분류된 복수의 객체의 특징을 구조화하여 메타데이터를 생성할 수 있다.
상기 메타데이터 생성기는, 상기 이동 경로에 기초하여 상기 복수의 객체가 방문한 장소를 클러스터링할 수 있다.
상기 메타데이터 생성기는, 상기 이동 경로 및 상기 행동 패턴이 유사한 객체들을 군집화할 수 있다.
상기 유사도 계산기는, 상기 메타데이터로부터 상기 복수의 객체에 대한 특징 값을 추출하고, 상기 특징 값에 기초하여 상기 유사도를 계산할 수 있다.
상기 유사도 계산기는, 하기 수학식에 기초하여 상기 유사도를 계산할 수 있다.
[수학식]
Figure pat00002
여기서, A, B는 서로 다른 객체를 의미하고, EV(P·aA(k))는 객체 A가 방문한 장소 P(k)에서 발생한 특징 a의 횟수를 의미하고, EV(P·aB(k))는 객체 B가 방문한 장소 P(k)에서 발생한 특징 A의 횟수를 의미한다.
상기 송신기는, 위험 상황에 대응하기 위한 메시지, 위험의 단계, 범죄의 종류, 피해자에 관한 정보, 범죄 발생 시간 및 범죄 발생 횟수 중 적어도 하나의 정보를 상기 복수의 객체에게 전송할 수 있다.
도 1은 일 실시예에 따른 데이터 처리 장치의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 컨트롤러의 개략적인 블록도를 나타낸다.
도 3은 도 1에 도시된 데이터 처리 장치의 동작의 예를 나타낸다.
도 4는 도 1에 도시된 수집기의 동작의 예를 나타낸다.
도 5는 도 1에 도시된 수집기가 객체를 등록할 때 사용되는 포멧의 예를 나타낸다.
도 6은 도 1에 도시된 수집기가 설정 정보를 공유할 때 사용되는 포멧의 예를 나타낸다.
도 7은 도 3에 도시된 데이터 제공 기기가 측정하는 데이터의 예를 나타낸다.
도 8은 도 1에 도시된 수집기가 수신하는 멀티 모달 데이터의 예를 나타낸다.
도 9는 도 2에 도시된 메타데이터 생성기가 로그 데이터를 획득하는 동작의 일 예를 나타낸다.
도 10은 도 2에 도시된 메타데이터 생성기가 로그 데이터를 획득하는 동작의 다른 예를 나타낸다.
도 11a는 도 2에 도시된 메타데이터 생성기가 생성한 메타데이터의 일 예를 나타낸다.
도 11b는 도 2에 도시된 메타데이터 생성기가 생성한 메타데이터의 다른 예를 나타낸다.
도 12는 도 2에 도시된 유사도 생성기의 동작의 예를 나타낸다.
도 13은 도 2에 도시된 송신기가 송신하는 위험 정보의 포멧의 예를 나타낸다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 명세서에서의 모듈(module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다.
다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.
도 1은 일 실시예에 따른 데이터 처리 장치의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 데이터 처리 장치(10)는 다양한 데이터 제공 기기로부터 복수의 객체에 관한 멀티 모달 데이터를 수집하고, 이를 분석하여 복수의 객체에게 위험 정보를 제공할 수 있다.
객체는 멀티 모달 데이터를 제공하고, 위험 정보를 제공 받는 대상으로, 행동 패턴의 분석 대상을 의미할 수 있다. 예를 들어, 객체는 데이터 처리 장치(10)의 사용자를 의미할 수 있다.
데이터 처리 장치(10)는 객체로부터 발생하는 각종 데이터(예를 들어, 스마트폰에 탑재된 센서로부터 획득되는 데이터)와 객체가 노출됨으로써 발생하는 데이터(예를 들어, CCTV(Closed-Circuit Television) 영상 데이터)를 활용하여 선제적으로 위험을 예방할 수 있고, 과거 위험에 처한 객체와 유사한 데이터 생성 패턴을 보이는 사용자에게 위험 정보를 알림으로써 위험 상황을 제거할 수 있다.
데이터 처리 장치(10)는 개인의 경험 정보와 현재 상황 정보를 분석하여, 객체의 행위 상태를 파악하고, 특정한 패턴을 찾아내 객체가 수행하는 일련의 행위 과정에서 위험 상황을 파악할 수 있고, 유사한 데이터를 생성하는 객체 간의 유사도를 비교 분석하여 다양한 서비스에 활용할 수 있다.
데이터 처리 장치(10)는 다양한 센서 데이터 속에서 유의미한 멀티 모달 데이터를 추출하여 사용자의 이동 경로에 따른 실시간 위험 요소를 인지하고 위험 발생 전후에 위험 발생 가능성 및 상황 대응을 위한 방법을 신속하게 알려줄 수 있다.
데이터 처리 장치(10)는 멀티 모달 데이터를 수집하는데 사용되는 프로토콜 메세지를 제공하고, 멀티 모달 데이터를 누적시킨 로그 데이터에서 의미 있는 특징들을 추출함으로써 데이터를 관리할 수 있다.
데이터 관리 장치(10)는 복수의 객체 간의 유사도를 비교하기 위한 군집 데이터를 관리하고, 유사도를 용이하게 비교할 수 있는 데이터 관리 방법을 제공할 수 있다.
멀티 모달 데이터는 복수의 데이터 제공 기기로부터 수집하는 텍스트(text), 비디오(video) 및 사운드(sound) 속성을 가지는 데이터를 포함할 수 있다. 또한, 멀티 모달 데이터는 GPS(Global Positioning System), 비콘 신호와 같은 위치 정보, 속도, 가속도, 기압, 생체 정보, 지자기 정보 및 이들의 조합을 포함할 수 있다.
생체 정보는 심박수, 심전도, 체온, 혈압과 같은 생리학적 정보뿐만 아니라 지문, 홍채, 음성 DNA(DeoxyriboNucleic Acid) 등과 같은 정보를 포함할 수 있다.
예를 들어, 멀티 모달 데이터는 복수의 객체의 이동에 따른 위치 정보, 위치 정보에 대응하는 시간 정보, 위치에 대응하는 영상 정보 및 위치에 대응하는 음성 정보 중 적어도 하나를 포함할 수 있다.
복수의 데이터 제공 기기는 CCTV, 개인 휴대 단말, IoT(Internet of Thins) 센서 및 데이터 수집 플랫폼과 같은 데이터 소스 인프라를 포함할 수 있다. 개인 휴대 단말은 센서 및 네트워크 기능이 탑재된 스마트 디바이스를 포함할 수 있다.
CCTV는 해상도가 낮고 자동으로 위험 요소를 감지할 수 있는 기능이 탑재되지 않은 저사양 CCTV, 위험을 감지하고 영상 및 영상의 분석 결과를 전송할 수 있는 고사양 CCTV 및 단순히 영상을 획득하여 네트워크로 전송하는 IP(Internet Protocol) 기반 CCTV를 포함할 수 있다.
데이터 관리 장치(10)는 복수의 데이터 제공 기기와 연계하여 복수의 데이터 제공 기기로부터 수집한 위치 기반 정보와 영상, 음성 정보를 분석할 수 있다. 데이터 관리 장치(10)는 객체를 식별하고, 객체의 움직임에 따라 영상, 음성, 행동을 분석할 수 있다.
데이터 관리 장치(10)는 PC(personal computer), 데이터 서버, 또는 휴대용 장치 내에 구현될 수 있다.
휴대용 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 또는 스마트 디바이스(smart device)로 구현될 수 있다. 스마트 비다이스는 스마트 와치(smart watch), 스마트 밴드(smart band), 또는 스마트 링(smart ring)으로 구현될 수 있다.
데이터 처리 장치(10)는 수집기(100) 및 컨트롤러(200)를 포함한다.
수집기(100)는 복수의 객체에 관한 멀티 모달 데이터(multi-modal data)를 수집할 수 있다. 수집기(100)의 동작은 도 4 내지 8을 참조하여 자세하게 설명할 것이다.
컨트롤러(200)는 멀티 모달 데이터에 기초한 메타데이터를 이용하여 상기 복수의 객체의 유사도를 계산하여 위험 정보를 전송할 수 있다.
도 2는 도 1에 도시된 컨트롤러의 개략적인 블록도를 나타낸다.
컨트롤러(200)는 메타데이터 생성기(210), 유사도 계산기(230) 및 송신기(250)을 포함할 수 있다.
메타데이터 생성기(210)는 멀티 모달 데이터에 기초하여 위험 정보 및 복수의 객체의 행동에 대응하는 메타데이터를 생성할 수 있다. 메타데이터 생성기(210)는 멀티 모달 데이터로부터 복수의 객체의 이동 경로, 복수의 객체의 이동 경로에 대응하는 시간 및 이동 경로에 대응하는 행동 패턴을 누적하여 로그데이터를 획득할 수 있다.
메타데이터 생성기(210)는 로그데이터에 기초하여 상기 복수의 객체를 분류하고, 분류된 복수의 객체의 특징을 구조화하여 메타데이터를 생성할 수 있다. 메타데이터 생성기(210)의 동작은 도 9 내지 도 11을 참조하여 자세하게 설명할 것이다.
유사도 계산기(230)는 메타데이터에 기초하여 복수의 객체 간의 유사도를 계산할 수 있다. 유사도 계산기(230)의 동작은 도 12를 참조하여 자세하게 설명할 것이다.
송신기(250)는 유사도에 기초하여 복수의 객체에게 위험 정보를 전송할 수 있다. 송신기(250)의 동작은 도 13을 참조하여 자세하게 설명할 것이다.
도 3은 도 1에 도시된 데이터 처리 장치의 동작의 예를 나타낸다.
도 3을 참조하면, 수집기(100)는 복수의 데이터 제공 기기(300)로부터 멀티 모달 데이터를 실시간으로 수집할 수 있다. 수집기(100)는 수집된 멀티 모달 데이터로부터 불필요한 데이터를 제거하고, 대용량의 데이터를 분석하기 위한 전처리를 수행할 수 있다.
예를 들어, 수집기(100)는 수집된 멀티 모달 데이터에 누락된 데이터가 있는 경우, 일부 노이즈(noise)가 있는 데이터가 있는 경우 데이터를 보정할 수 있다.
수집기(100)는 복수의 데이터 제공 기기(300)로부터 네트워크(400)를 통해 멀티 모달 데이터를 수신할 수 있다.
컨트롤러(200)는 멀티 모달 데이터로부터 위험 분류 데이터 모델을 생성할 수 있고, 위험 분석을 수행할 수 있다.
컨트롤러(200)는 수집한 멀티 모달 데이터로부터 객체의 이상 행동 패턴, 이동 경로 패턴 등을 추출하고, 분석하여 메타데이터를 생성할 수 있다.
컨트롤러(200)는 메타데이터를 통해 복수의 객체의 위치, 시간 및 행동 패턴을 분석하여 위치 기반 서비스를 제공할 수 있다. 예를 들어, 컨트롤러(200)는 메타데이터를 공공안전을 위해 통합 관제 센터에 제공하여 실시간으로 위험 상황에 대응할 수 있는 서비스를 제공할 수 있다.
통합 관제 센터는 컨트롤러가 분석하여 인지한 위험 상황에 대응할 수 있다. 관제 모니터 화면은 위험 발생 가능성이 높은 지역의 관제 화면에 대하여 우선 순위를 높여 관제할 수 있다.
데이터 처리 장치(10)는 관제 모니터 화면에 자동으로 위험 화면을 배치하여 관제 요원이 놓칠 수 있는 위험의 사각지대를 제거할 수 있다. 관계 부처는 위험 발생시 빠른 대응을 수행할 수 있고, 사용자 단말은 관심 객체를 보호하기 위한 제3의 보호 관찰자 역할을 수행할 수 있다.
컨트롤러(200)는 사전에 정의된 시나리오를 포함한 위험 정보를 자동으로 추천하고, 이를 관제 모니터 화면, 관계부처 및 사용자 단말에 자동으로 전송할 수 있다.
컨트롤러(200)는 멀티 모달 데이터에 포함된 정보를 분석하여 객체의 이동 경로를 분석하여 출발지, 도착지, 방문지, 방문지에서 머문 시간 등을 추출하고 방문지에서 발생한 행동 패턴을 분석할 수 있다. 컨트롤러(200)는 분석 결과를 이용하여 복수의 객체 간 유사도를 비교하고, 이에 기초하여 위험 정보를 제공할 수 있다.
예를 들어, 컨트롤러(200)는 하나의 객체와 다른 객체의 유사도 정보를 비교하여, 둘 간의 이동 경로에 대한 유사도가 높은 경우에는 과거 하나의 객체에게 발생했던 위험 사건 정보를 다른 객체에게 알림으로써 위험을 미연에 방지할 수 있다.
컨트롤러(200)는 멀티 모달 데이터를 고속으로 처리하여 복수의 객체에게 발생하는 위험 상황에 빠르게 대처할 수 있다. 컨트롤러(200)는 네트워크(400)를 통해 복수의 객체에게 위험 정보를 전송할 수 있다.
이하에서, 도 4 내지 도 8을 참조하여 수집기(100)의 동작을 설명한다.
도 4는 도 1에 도시된 수집기의 동작의 예를 나타낸다.
도 4를 참조하면, 수집기(100)는 복수의 객체를 등록하고, 복수의 객체를 인증할 수 있다. 수집기(100)는 복수의 객체에 관한 정보를 제공하는 복수의 데이터 제공 기기에 멀티 모달 데이터를 수집하기 위한 설정 정보를 공유할 수 있다. 또한, 수집기(100)는 복수의 데이터 제공 기기로부터 멀티 모달 데이터를 수신할 수 있다.
수집기(100)는 복수의 데이터 제공 기기(300)로부터 멀티 모달 데이터를 수집할 수 있다. 도 4의 예시와 같이, 복수의 데이터 제공 기기(300)는 웨어러블 기기 및 스마트폰 기기를 포함할 수 있다. 예를 들어, 웨어러블 기기는 스마트 워치일 수 있다.
수집기(100)는 복수의 데이터 제공 기기로부터 네트워크(400)를 통해 주기적으로 멀티 모달 데이터를 수신할 수 있다. 위험 상황에 실시간으로 빠르게 대응하기 위하여 수집기(100)는 짧은 주기로 반복적으로 멀티 모달 데이터를 수집할 수 있다.
수집기(100)는 컨트롤러로 멀티 모달 데이터를 출력할 수 있다.
수집기(100)는 송/수신 인터페이스를 이용하여 송/수신 프로토콜에 따라 멀티 모달 데이터 및 위험 정보를 송/수신할 수 있다. 수신기(100)는 메시지의 형태로 멀티 모달 데이터를 수집 과정을 처리할 수 있다.
수신기(100)가 사용하는 메시지는 객체 등록 메시지, 객체 인증 메시지, 멀티 모달 데이터 전송을 위한 설정 정보 교환 메시지, 멀티 모달 데이터 전송에 대한 메시지 및 상황인지 데이터 전송 메시지를 포함할 수 있다.
수집기(100)가 사용하는 송/수신 프로토콜에 사용되는 메시지는 명령어, ID(Identification), 요청(request) 및 응답(response) 등의 구성요소로 표현될 수 있다.
명령어는 HTTP(HyperText Transfer Protocol) 방법(method)과 URI(Uniform Resource Identifier)로 구성될 수 있다. URI는 대상 자원을 명시하고, HTTP 방법은 해당 자원에 대한 행위를 정의할 수 있다.
HTTP 방법으로 POST, GET, PUT, DELETE 방법이 주로 사용되고, 각각은 생성, 선택, 생성 및 수정, 삭제 행위를 의미할 수 있다.
ID는 특정 자원을 구별하기 위한 식별자를 의미할 수 있다. 요청과 응답은 각각 HTTP 요청과 HTTP 응답 메시지의 엔티티 바디(Entity Body)를 의미할 수 있다.
요청과 응답에 어떠한 유형의 객체가 사용될지에 대해서 HTTP 헤더의 콘텐츠-타입(Content-Type) 필드에 명시될 수 있다. 예를 들어, 요청, 응답에 JSON(JavaScript Object Notation) 데이터 포멧으로 객체가 들어가 있는 경우 HTTP 헤더의 콘텐츠-타입 필드는 “Application/json”을 명시할 수 있다.
수집기(100)는 수집한 멀티 모달 데이터를 메타데이터 생성기(210)로 출력할 수 있다.
도 5는 도 1에 도시된 수집기가 객체를 등록할 때 사용되는 포멧의 예를 나타낸다.
도 5를 참조하면, 수집기(100)는 서비스 등록 메시지 포멧을 이용하여 복수의 객체를 등록할 수 있다. 도 5의 서비스 등록 메시지는 객체의 등록을 위한 객체 정보 등록 과정을 나타낼 수 있다.
도 5의 예시와 같이 서비스 등록 메시지는 이름, 성별, 생년월일, 주소, 보호자, 경로, 주소, 사진 및 ID 등을 포함할 수 있다.
수집기(100)는 복수의 객체를 인증(Authentication)할 수 있다. 수집기(100)는 객체가 사용하는 데이터 제공 기기를 통해서 객체를 인증할 수 있다.
수집기(100)는 데이터 제공 기기와 키(key) 값을 공유함으로써 객체를 인증할 수 있다. 예를 들어, 키 값은 토큰(token) 값을 의미할 수 있다.
모든 HTTP 요청 메시지는 인증을 위한 목적으로 객체의 이름 및 토큰을 포함할 수 있다. 객체의 이름과 토큰은 HTTP 헤더(X-Header)인 X-Auth-User 및 X-Auth-Token 헤더를 사용할 수 있다. X-Auth-User 및 X-Auth-Token은 API(Application Program Interface) 접속을 위한 객체의 이름과 토큰 값을 가질 수 있다.
수집기(100)는 인증이 완료된 이후 동일한 키 값을 가지는 데이터 제공 기기가 보내는 메시지를 신뢰하고 멀티 모달 데이터를 수신할 수 있다.
도 6은 도 1에 도시된 수집기가 설정 정보를 공유할 때 사용되는 포멧의 예를 나타낸다.
도 6을 참조하면, 수집기(100)는 복수의 객체에 관한 정보를 제공하는 복수의 데이터 제공 기기에 멀티 모달 데이터를 수집하기 위한 설정 정보를 공유할 수 있다.
수집기(100)는 복수의 데이터 제공 기기(300)와 멀티 모달 데이터의 수집 여부, 수집 간격, 수집 주기 및 전송 여부를 공유할 수 있다.
수집기(100)는 멀티 모달 데이터의 송/수신을 위해서 멀티 모달 데이터의 생성 주기, 전송 주기 등의 파라미터에 대한 설정을 설정 정보 교환 메시지로 정의할 수 있다.
도 7은 도 3에 도시된 데이터 제공 기기가 측정하는 데이터의 예를 나타내고, 도 8은 도 1에 도시된 수집기가 수신하는 멀티 모달 데이터의 예를 나타낸다.
도 7 및 도 8을 참조하면, 수집기(100)는 로우 데이터 및 상황 인지 데이터의 형태로 멀티 모달 데이터를 수집할 수 있다.
데이터 제공 기기(300)는 다양한 센서를 통해 로우 데이터의 형태로 데이터를 수집할 수 있다. 예를 들어, 데이터 제공 기기(300)는 가속도 센서의 x, y, z 값, 자이로 센서의 x, y, z 값, 지자기 센서의 x, y, z값 및 기압 센서의 값 등을 로우 데이터의 형태로 수집할 수 있다.
수집기(100)는 복수의 데이터 제공 기기(300)로부터 멀티 모달 데이터를 수신할 수 있다. 수집기(100)는 데이터 제공 기기(300)로부터 로우 데이터의 형태로 멀티 모달 데이터를 수신할 수 있다.
복수의 데이터 제공 기기(300)는 로우 데이터를 1차적으로 가공할 수 있다. 데이터 제공 기기(300)가 로우 데이터를 가공한 데이터를 상황 인지 데이터로 정의할 수 있다.
도 8의 예시와 같이, 상황 인지 데이터는 위치 정보, 이동 방향, 이동 거리, 이동 속도 및 이동 상태들을 포함할 수 있다.
복수의 데이터 제공 기기(300)는 상황 인지 데이터를 걷기, 뛰기, 멈춤 등과 같이 행동으로 분류하고 각각의 값들을 code 1, code 2, code 3과 같이 정의하여 수집기(100)로 출력할 수 있다.
이하에서 도 9 내지 도 11b을 참조하여, 메타데이터 생성기(210)의 동작을 설명한다.
도 9는 도 2에 도시된 메타데이터 생성기가 로그 데이터를 획득하는 동작의 일 예를 나타낸다.
도 9를 참조하면, 메타데이터 생성기(210)는 멀티 모달 데이터로부터 복수의 객체의 이동 경로, 복수의 객체의 이동 경로에 대응하는 시간 및 이동 경로에 대응하는 행동 패턴을 누적하여 로그데이터를 획득할 수 있다.
메타데이터 생성기(210)는 로그데이터에 기초하여 복수의 객체를 분류하고, 분류된 복수의 객체의 특징을 구조화하여 메타데이터를 생성할 수 있다.
로그 데이터는 멀티 모달 데이터를 수집하여 누적한 데이터를 의미할 수 있다. 메타데이터 생성기(210)는 멀티 모달 데이터를 누적함으로써 복수의 객체에 대한 특징 정보를 빠르게 획득할 수 있다. 메타 데이터 생성기(210)는 멀티 모달 데이터를 데이터 베이스에 누적, 저장하여 로그 데이터를 생성할 수 있다.
도 9의 예시에서, 수집기(100)는 객체의 이동에 따라 데이터 제공 기기(300)에 탑재된 위치 정보 획득 센서로부터 멀티 모달 데이터를 수집할 수 있다. 위치 정보 획득 센서는 실외 GPS, 실내 WIFI(Wireless Fidelity) 또는 비콘 신호 등을 포함할 수 있다.
메타데이터 생성기(210)는 수집한 멀티 모달 데이터에 기초하여 복수의 객체의 이동 경로, 특정 장소에 대한 방문 횟수, 방문 기간 등을 누적하여 로그데이터를 생성할 수 있다. 메타데이터 생성기(210)는 각각의 객체에 대하여 로그 데이터를 생성할 수 있다.
상기 메타데이터 생성기(210)는 복수의 객체의 이동 경로에 기초하여 복수의 객체가 방문한 장소를 클러스터링할 수 있다. 도 9의 예시에서, 복수의 객체는 사용자 A, 사용자 B, …, 사용자 N을 포함할 수 있다.
메타데이터 생성기(210)는 사용자 A의 로그 데이터로부터 사용자 A의 이동경로가 L1 레벨에서 10 개의 지점을 방문한 것을 확인할 수 있다. 메타데이터 생성기(210)는 L1의 방문기록을 방문 빈도에 기초하여 세분화하여 L2의 두 개의 그룹인 C20 및 C21로 클러스터링 할 수 있다.
메타데이터 생성기(210)는 L2의 C20으로 4 개의 지점을 클러스터링하고, C21로 7개 지점을 클러스터링 할 수 있다. 그 후, 메타데이터 생성기(210)는 L2의 두 개의 그룹을 L3의 4 개의 그룹으로 더 세분화하여 클러스터링할 수 있다.
마찬가지로, 메타데이터 생성기(210)는 사용자 B에 대해서도 로그데이터를 누적시킴으로써 사용자 B가 방문한 장소를 L1, L2 및 L3에 나타난 세부 그룹으로 클러스터링할 수 있다. 메타데이터 생성기(210)는 각 세부 그룹에 대하여 이동 경로, 이동 경로에 따른 이용 횟수, 방문 횟수등을 별도로 요약 관리할 수 있다.
메타데이터 생성기(210)는 이동 경로 및 행동 패턴이 유사한 객체들을 군집화할 수 있다. 이를 통해, 메타데이터 생성기(210)는 군집화된 그룹에 해당되는 사용자 목록을 획득할 수 있다.
도 10은 도 2에 도시된 메타데이터 생성기가 로그 데이터를 획득하는 동작의 다른 예를 나타낸다.
도 10을 참조하면, 메타데이터 생성기(210)는 객체의 이동 경로와 이동 경로에 따른 행동 패턴을 로그데이터로 누적시킬 수 있다. 도 10의 예시에서, 메타데이터 생성기(210)는 사용자 A의 최근 한달 간의 주 이동 경로에 관한 정보와 이동 경로에 따른 사용자 A의 행동 패턴을 로그 데이터로 누적시킬 수 있다.
행동 패턴은 걷기, 뛰기, 계단 오르기, 계단 내리기 및 멈춤 등을 포함할 수 있다. 메타 데이터 생성기(210)는 행동 패턴을 시간 및 위치에 따라 기록할 수 있다.
도 10의 예시에서, 0, 1, 2, 3으로 표시된 각 지점은 각각의 하위 지점으로 세분화 될 수 있다. 예를 들어, 0번 지점은 00, 01, 02, 03으로 세분화 될 수 있다. 또한, 01 지점은 01-1, 01-2, 01-3 및 01-4로 더욱 세분화될 수 있다.
메타데이터 생성기(210)는 사용자 A의 이동에 따라 각 세분화된 지점과 세분화된 지점에서 발생한 사용자 A의 행동 패턴을 도 10의 우측의 트리 구조로 나타낼 수 있다.
도 10의 예시에서 사용자 A의 방문지점은 01-1, 01-2, 01-3, 01-4, 23-1, 23-4, 32, 33로 표현될 수 있다. 메타데이터 생성기(210)는 사용자 A의 방문 지점을 도 10의 우측의 트리 구조의 그래프로 표현할 수 있다.
메타데이터 생성기(210)는 각 지점에 대응하는 행동 패턴을 통해 객체의 상황을 위험 상황과 비 위험 상황으로 분류할 수 있다.
도 11a는 도 2에 도시된 메타데이터 생성기가 생성한 메타데이터의 일 예를 나타내고, 도 11b는 도 2에 도시된 메타데이터 생성기가 생성한 메타데이터의 다른 예를 나타낸다.
도 11a 및 도 11b를 참조하면, 메타데이터 생성기(210)는 로그데이터를 구조화하여 메타데이터를 생성할 수 있다. 메타데이터 생성기(210)는 문서의 형태로 메타데이터를 생성할 수 있다. 예를 들어, 메타데이터는 XML과 같은 문서의 형태일 수 있다.
도 11a의 예시에서, 메타데이터 생성기(210)는 사용자 a의 로그데이터를 CCTV로 영상을 분석하여 획득된 데이터, 센서로부터 분석되어 획득된 데이터 및 사운드가 분석되어 획득된 데이터로 구조화하여 메타데이터를 생성할 수 있다.
도 11b의 예시에서, 메타데이터 생성기(210)는 사용자 B의 로그데이터를 구조화하여 사용자 B에 관한 메타데이터를 생성할 수 있다.
메타데이터는 복수의 객체의 이동 경로 및 이동 경로에서 발생한 상황을 영상 정보, 다양한 센서 정보 및 사운드 정보에 기초하여 분석됨으로써 생성될 수 있다. 예를 들어, 메타데이터 생성기(210)는 객체가 방문한 지점을 “place”로 정의하고 GPS 값의 형태로 메타데이터에 저장할 수 있다. 메타데이터 생성기(210)는 객체가 발생시킨 행동 패턴을 “activity”로 정의하여 메타데이터에 저장할 수 있다.
도 12는 도 2에 도시된 유사도 생성기의 동작의 예를 나타낸다.
도 12를 참조하면, 유사도 계산기(230)는 메타데이터로부터 복수의 객체에 대한 특징 값을 추출하고, 특징 값에 기초하여 상기 유사도를 계산할 수 있다.
유사도 계산기(230)는 복수의 객체의 방문 위치 별 행동 패턴과 위험 상황을 특징 값으로 표현할 수 있다. 특징 값은 객체의 이동 경로에 따른 위험 상황에 관한 정보를 포함할 수 있다. 특징 값은 복수의 객체가 방문한 위치에서 발생한 행동 패턴, 사운드, 영상 등의 횟수를 의미할 수 있다.
유사도 계산기(230)는 복수의 객체 간의 이동 경로에 따른 행동 패턴 및 위험 상황에 대한 유사도를 비교하기 위해 도 12의 예시와 같이 노드와 각 노드를 잇는 간선(edge)로 복수의 객체 간의 유사도를 계산할 수 있다.
도 12의 예시에서 복수의 객체는 사용자 A, 사용자 B, 사용자 C를 포함할 수 있고, 복수의 객체가 방문한 위치는 p1, p2, p3와 같이 나타낼 수 있다. 사용자의 행동 패턴은 a1, a2, a3와 같이 나타낼 수 있고, 사운드는 s1, s2, s3와 같이 나타낼 수 있다.
유사도 계산기(230)는 객체가 방문한 위치와 방문한 위치에서 발생한 행동 패턴 또는 사운드의 횟수를 셀 수 있다. 도 12의 예시에서, 사용자가 방문한 장소와 방문한 장소에서 발생한 행동 패턴 또는 사운드는 선으로 연결될 수 있다. 방문한 장소에서 행동 패턴이나 사운드가 발생할 때마다 선위에 위치한 숫자가 증가될 수 있다.
예를 들어, 사용자 A의 경우, p1 장소에서 행동 패턴 a1가 발생한 횟수는 10일 수 있고, p2 장소에서 행동 패턴 a2가 발생한 횟수는 5일 수 있고, p3 장소에서 행동 패턴 a3가 발생한 횟수는 3일 수 있다. 마찬가지로 사용자 C의 경우, p2장소에서 행동 패턴 a2가 발생한 횟수는 1일 수 있다.
유사도 계산기(230)는 수학식 1 및 수학식 2 기초하여 유사도를 계산할 수 있다.
Figure pat00003
Figure pat00004
여기서, A, B, C는 서로 다른 객체를 의미하고, EV(P·aA(k))는 객체 A가 방문한 장소 P(k)에서 발생한 특징 a의 횟수를 의미할 수 있다. EV(P·aB(k))는 객체 B가 방문한 장소 P(k)에서 발생한 특징 a의 횟수를 의미하고, EV(P·aC(k))는 객체 C가 방문한 장소 P(k)에서 발생한 특징 a의 횟수를 의미할 수 있다.
수학식 1은 객체 A 및 객체 B의 유사도를 계산하기 위한 식이고, 수학식 2는 객체 A 및 객체 C의 유사도를 계산하기 위한 식일 수 있다.
각각의 객체 마다 방문한 장소에서 발생한 특징이 상이하기 때문에, 유사도 계산기(230)는 특징 값을 객체 간의 차이를 이용하여 나타낼 수 있다. 수학식 1을 통해 계산된 값이 수학식 2를 통해 계산된 값보다 작다면 객체 B가 객체 C에 비해 객체 A와 유사하다는 것을 의미할 수 있다. 즉, 사용자 비교 대상과의 유사도 값이 작을수록 비교 대상과 유사함을 의미할 수 있다.
유사도 계산기(230)는 특징 값의 크기가 증가할수록(예를 들어, 방문 장소, 행동 패턴, 생성되는 사운드의 개수가 증가할수록) 수행 해야 하는 시간이 크게 증가하는 문제를 제거할 수 있다. 이를 통해, 유사도 계산기(230)는 동일한 그룹에 속하는 객체 간의 유사도를 빠르게 근사적으로 계산할 수 있고, 메타데이터를 통해 대용량의 데이터로부터 선별적으로 데이터를 탐색할 수 있다.
도 13은 도 2에 도시된 송신기가 송신하는 위험 정보의 포멧의 예를 나타낸다.
도 13을 참조하면, 송신기(250)는 객체의 행위가 위험하거나, 객체의 위치에 기반하여 발생한 과거의 범죄 사건 정보가 확인된 경우, 객체에게 위험 정보를 전송할 수 있다. 예를 들어, 송신기(250)는 푸쉬 메시지의 형태로 위험 정보를 전송할 수 있다.
송신기(250)는 위험 상황에 대응하기 위한 메시지, 위험의 단계, 범죄의 종류, 피해자에 관한 정보, 범죄 발생 시간 및 범죄 발생 횟수 중 적어도 하나의 정보를 객체에게 전송할 수 있다. 송신기(250)는 네트워크(400)를 통해서 복수의 객체에게 위험 정보를 전송할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (20)

  1. 복수의 객체에 관한 멀티 모달 데이터(multi-modal data)를 수집하는 단계;
    상기 멀티 모달 데이터에 기초하여 위험 정보 및 상기 복수의 객체의 행동에 대응하는 메타데이터를 생성하는 단계;
    상기 메타데이터에 기초하여 상기 복수의 객체 간의 유사도를 계산하는 단계; 및
    상기 유사도에 기초하여 상기 복수의 객체에게 상기 위험 정보를 전송하는 단계
    를 포함하는 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 멀티 모달 데이터는 상기 복수의 객체의 이동에 따른 위치 정보, 상기 위치 정보에 대응하는 시간 정보 및 상기 위치에 대응하는 영상 및 음성 정보 중 적어도 하나를 포함하는
    데이터 처리 방법.
  3. 제1항에 있어서,
    상기 수집하는 단계는,
    상기 복수의 객체를 등록하는 단계;
    상기 복수의 객체를 인증하는 단계;
    상기 복수의 객체에 관한 정보를 제공하는 복수의 데이터 제공 기기에 상기 멀티 모달 데이터를 수집하기 위한 설정 정보를 공유하는 단계; 및
    상기 복수의 데이터 제공 기기로부터 상기 멀티 모달 데이터를 수신하는 단계
    를 포함하는 데이터 처리 방법.
  4. 제3항에 있어서,
    상기 공유하는 단계는,
    상기 멀티 모달 데이터의 수집 여부, 수집 간격, 수집 주기 및 전송 여부를 공유하는 단계
    를 포함하는 데이터 처리 방법.
  5. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 멀티 모달 데이터로부터 상기 복수의 객체의 이동 경로, 상기 이동 경로에 대응하는 시간 및 상기 이동 경로에 대응하는 행동 패턴을 누적하여 로그데이터를 획득하는 단계;
    상기 로그데이터에 기초하여 상기 복수의 객체를 분류하는 단계; 및
    분류된 복수의 객체의 특징을 구조화하여 메타데이터를 생성하는 단계
    를 포함하는 데이터 처리 방법.
  6. 제5항에 있어서,
    상기 획득하는 단계는,
    상기 이동 경로에 기초하여 상기 복수의 객체가 방문한 장소를 클러스터링하는 단계
    를 포함하는 데이터 처리 방법.
  7. 제5항에 있어서,
    상기 분류하는 단계는,
    상기 이동 경로 및 상기 행동 패턴이 유사한 객체들을 군집화하는 단계
    를 포함하는 데이터 처리 방법.
  8. 제1항에 있어서,
    상기 계산하는 단계는,
    상기 메타데이터로부터 상기 복수의 객체에 대한 특징 값을 추출하는 단계; 및
    상기 특징 값에 기초하여 상기 유사도를 계산하는 단계
    를 포함하는 데이터 처리 방법.
  9. 제8항에 있어서,
    상기 특징 값에 기초하여 상기 유사도를 계산하는 단계는,
    하기 수학식에 기초하여 상기 유사도를 계산하는 단계
    를 포함하는 데이터 처리 방법.
    [수학식]
    Figure pat00005

    여기서, A, B는 서로 다른 객체를 의미하고, EV(P·aA(k))는 객체 A가 방문한 장소 P(k)에서 발생한 특징 a의 횟수를 의미하고, EV(P·aB(k))는 객체 B가 방문한 장소 P(k)에서 발생한 특징 a의 횟수를 의미한다.
  10. 제1항에 있어서,
    상기 전송하는 단계는,
    위험 상황에 대응하기 위한 메시지, 위험의 단계, 범죄의 종류, 피해자에 관한 정보, 범죄 발생 시간 및 범죄 발생 횟수 중 적어도 하나의 정보를 상기 복수의 객체에게 전송하는 단계
    를 포함하는 데이터 처리 방법.
  11. 복수의 객체에 관한 멀티 모달 데이터(multi-modal data)를 수집하는 수집기; 및
    상기 멀티 모달 데이터에 기초한 메타데이터를 이용하여 상기 복수의 객체의 유사도를 계산하여 위험정보를 전송하는 컨트롤러
    를 포함하고,
    상기 컨트롤러는,
    상기 멀티 모달 데이터에 기초하여 위험 정보 및 상기 복수의 객체의 행동에 대응하는 메타데이터를 생성하는 메타데이터 생성기;
    상기 메타데이터에 기초하여 상기 복수의 객체 간의 유사도를 계산하는 유사도 계산기; 및
    상기 유사도에 기초하여 상기 복수의 객체에게 상기 위험 정보를 전송하는 송신기
    를 포함하는 데이터 처리 장치.
  12. 제11항에 있어서,
    상기 멀티 모달 데이터는 상기 복수의 객체의 이동에 따른 위치 정보, 상기 위치 정보에 대응하는 시간 정보, 상기 위치에 대응하는 영상 정보 및 상기 위치에 대응하는 음성 정보 중 적어도 하나를 포함하는
    데이터 처리 장치.
  13. 제11항에 있어서,
    상기 수집기는,
    상기 복수의 객체를 등록하고, 상기 복수의 객체를 인증하고, 상기 복수의 객체에 관한 정보를 제공하는 복수의 데이터 제공 기기에 상기 멀티 모달 데이터를 수집하기 위한 설정 정보를 공유하고, 상기 복수의 데이터 제공 기기로부터 상기 멀티 모달 데이터를 수신하는
    데이터 처리 장치.
  14. 제13항에 있어서,
    상기 수집기는,
    상기 복수의 데이터 제공 기기와 멀티 모달 데이터의 수집 여부, 수집 간격, 수집 주기 및 전송 여부를 공유하는
    데이터 처리 장치.
  15. 제11항에 있어서,
    상기 메타데이터 생성기는,
    상기 멀티 모달 데이터로부터 상기 복수의 객체의 이동 경로, 상기 이동 경로에 대응하는 시간 및 상기 이동 경로에 대응하는 행동 패턴을 누적하여 로그데이터를 획득하고, 상기 로그데이터에 기초하여 상기 복수의 객체를 분류하고, 분류된 복수의 객체의 특징을 구조화하여 메타데이터를 생성하는
    데이터 처리 장치.
  16. 제15항에 있어서,
    상기 메타데이터 생성기는,
    상기 이동 경로에 기초하여 상기 복수의 객체가 방문한 장소를 클러스터링하는
    데이터 처리 장치.
  17. 제15항에 있어서,
    상기 메타데이터 생성기는,
    상기 이동 경로 및 상기 행동 패턴이 유사한 객체들을 군집화하는
    데이터 처리 장치.
  18. 제1항에 있어서,
    상기 유사도 계산기는,
    상기 메타데이터로부터 상기 복수의 객체에 대한 특징 값을 추출하고, 상기 특징 값에 기초하여 상기 유사도를 계산하는
    데이터 처리 장치.
  19. 제18항에 있어서,
    상기 유사도 계산기는,
    하기 수학식에 기초하여 상기 유사도를 계산하는
    데이터 처리 장치.
    [수학식]
    Figure pat00006

    여기서, A, B는 서로 다른 객체를 의미하고, EV(P·aA(k))는 객체 A가 방문한 장소 P(k)에서 발생한 특징 a의 횟수를 의미하고, EV(P·aB(k))는 객체 B가 방문한 장소 P(k)에서 발생한 특징 a의 횟수를 의미한다.
  20. 제1항에 있어서,
    상기 송신기는,
    위험 상황에 대응하기 위한 메시지, 위험의 단계, 범죄의 종류, 피해자에 관한 정보, 범죄 발생 시간 및 범죄 발생 횟수 중 적어도 하나의 정보를 상기 복수의 객체에게 전송하는
    데이터 처리 장치.
KR1020180030068A 2017-11-29 2018-03-15 멀티 모달 데이터 수집을 통한 데이터 처리 방법 및 장치 KR20190063355A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170161638 2017-11-29
KR20170161638 2017-11-29

Publications (1)

Publication Number Publication Date
KR20190063355A true KR20190063355A (ko) 2019-06-07

Family

ID=66849779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180030068A KR20190063355A (ko) 2017-11-29 2018-03-15 멀티 모달 데이터 수집을 통한 데이터 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20190063355A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102258531B1 (ko) * 2020-11-23 2021-06-01 (주)펜타유니버스 복합 입력 인지 시스템용 통합 인지 분석부

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102258531B1 (ko) * 2020-11-23 2021-06-01 (주)펜타유니버스 복합 입력 인지 시스템용 통합 인지 분석부

Similar Documents

Publication Publication Date Title
EP3497590B1 (en) Distributed video storage and search with edge computing
US11328163B2 (en) Methods and apparatus for automated surveillance systems
Silva et al. Ethical implications of social internet of vehicles systems
EP2758879B1 (en) A computing platform for development and deployment of sensor-driven vehicle telemetry applications and services
US8682570B2 (en) Methods, systems, devices, and computer program products for implementing condition alert services
US20220092881A1 (en) Method and apparatus for behavior analysis, electronic apparatus, storage medium, and computer program
US20150100355A1 (en) Method and apparatus for identifying early status
US10866950B2 (en) Method and system for modifying a search request corresponding to a person, object, or entity (POE) of interest
US20100153146A1 (en) Generating Generalized Risk Cohorts
EP2639741A2 (en) Monitoring device, reliability calculation program, and reliability calculation method
WO2021180004A1 (zh) 视频分析方法、视频分析的管理方法及相关设备
JP2022008672A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2023038221A (ja) データ収集方法およびデータ収集装置
JP6857211B2 (ja) 情報処理方法およびサーバ装置
KR101372327B1 (ko) 스쿨존 안전관리 시스템 및 그 제공방법
CN114708545A (zh) 基于图像的对象侦测方法、装置、设备和存储介质
CN110704491A (zh) 数据查询方法和装置
KR20190063355A (ko) 멀티 모달 데이터 수집을 통한 데이터 처리 방법 및 장치
KR102328199B1 (ko) 추적 가능한 비식별화 방법, 장치 및 시스템
JP6379305B1 (ja) ワイヤレス信号特性に基づくモバイルデバイスを使用したユーザコンテキストの検出
KR20180066324A (ko) 범죄 예방 장치 및 범죄 위험 정보 제공 방법
KR102006080B1 (ko) 블랙박스 영상 제공 방법 및 이를 수행하는 장치들
US10606868B2 (en) Information processing device, information processing method, and program
Sinnott et al. Urban traffic analysis using social media data on the cloud
CN112218046B (zh) 对象监控方法及装置