KR102190658B1

KR102190658B1 - 텍스트에 기반하여 비디오를 검색하기 위한 전자 장치 및 방법

Info

Publication number: KR102190658B1
Application number: KR1020200093302A
Authority: KR
Inventors: 안희석
Original assignee: (주)하이퍼월
Priority date: 2020-07-27
Filing date: 2020-07-27
Publication date: 2020-12-14

Abstract

다양한 실시예들에 따른 전자 장치는 웹 브라우저를 이용하여 웹 페이지를 표시하는 상태에서, 상기 웹 페이지와 관련된 다양한 기능을 실행하기 위한 3차원 캐릭터를 표시할 수 있다. 상기 3차원 캐릭터가 표시되는 화면의 일부분은, 웹 페이지가 표시되는 화면의 일부분과 독립적일 수 있다. 전자 장치가 상기 3차원 캐릭터를 이용하여 제공하는 기능은, 예를 들어, 웹 페이지의 튜토리얼, 광고 또는 챗봇 중 적어도 하나를 포함할 수 있다.

Description

텍스트에 기반하여 비디오를 검색하기 위한 전자 장치 및 방법{ELECTRONIC DEVICE AND METHOD FOR SEARCHING VIDEO BASED ON TEXT}

본 문서에 개시되는 다양한 실시예들은 텍스트에 기반하여 비디오를 검색하기 위한 전자 장치 및 방법에 관련된다.

지역 내 치안 및/또는 안전을 유지하기 위하여, CCTV(Closed Circuit Tele-Vision)를 포함하는 카메라들이 지역 내에 분산 배치될 수 있다. 상기 카메라들에서 캡쳐되고 있는 비디오들은 비디오 관제 센터와 같이 지정된 관제 센터로 집중될 수 있다. 상기 관제 센터 내에서, 복수의 사람들이 상기 비디오들을 직접 모니터링하고, 모니터링 결과에 기반하여 액션(예, 응급 구조대 호출)을 수행할 수 있다.

지역 내에 배치된 카메라의 개수가 증가함에 따라, 비디오 관제 센터에 배치된 사람이 동시에 보는 비디오의 개수가 증가될 수 있다. 이에 따라, 비디오에서 발생되고 있는 이벤트를 신속하게 인식하고, 인식 결과에 기반하여 신속한 액션을 수행하는 방안이 요구될 수 있다.

다양한 실시예들에 따른 전자 장치(electronic device)는, 통신 회로, 메모리 및 상기 통신 회로 및 상기 메모리와 작동적으로 결합된(operably coupled to) 적어도 하나의 프로세서를 포함하고, 상기 메모리는, 복수의 인스트럭션들을 저장하고, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 통신 회로를 이용하여, 상기 전자 장치와 구별되는 카메라에서 캡쳐되고 있는 비디오를 수신하고, 상기 비디오의 수신에 응답하여, 상기 비디오의 적어도 일부분과 관련된 정보를 획득하고, 상기 정보는 복수의 지정된 이벤트들 중에서 상기 비디오의 적어도 일부분에 대응하는 이벤트, 및 상기 이벤트 및 상기 일부분 사이의 유사도(similarity)를 포함함, 상기 정보의 획득에 응답하여, 상기 메모리에 기반하는 데이터베이스 내에 상기 비디오의 적어도 일부분 및 상기 정보의 조합을 저장하고, 상기 조합을 저장한 이후, 상기 데이터베이스에 저장된 비디오를 조회하기 위한 사용자의 입력을 식별하고 및 상기 입력의 식별에 응답하여, 상기 데이터베이스에 저장된 상기 조합을 이용하여 상기 입력에 대응하는 비디오를 조회한 결과를 출력하도록 제어할 수 있다.

다양한 실시예들에 따른 전자 장치(electronic device)는, 적어도 하나의 디스플레이, 통신 회로, 메모리 및 상기 적어도 하나의 디스플레이, 상기 통신 회로 및 상기 메모리와 작동적으로 결합된(operably coupled to) 적어도 하나의 프로세서를 포함하고, 상기 메모리는, 복수의 인스트럭션들을 저장하고, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 통신 회로를 이용하여, 상기 전자 장치와 구별되는 복수의 카메라들로부터 복수의 비디오들을 수신하고, 상기 복수의 비디오들의 수신에 응답하여, 상기 적어도 하나의 디스플레이 내에서 상기 복수의 비디오들 각각을 표시하고, 상기 복수의 비디오들 각각을 표시하는 상태에서, 복수의 지정된 이벤트들 중에서 상기 복수의 비디오 중 제1 비디오에 대응하는 이벤트를 식별하고, 및 상기 제1 비디오에 대응하는 이벤트의 식별에 응답하여, 상기 식별된 이벤트에 대응하는 외부 전자 장치로, 상기 제1 비디오에서 상기 식별된 이벤트의 발생을 알리는 신호를 송신하도록 제어할 수 있다.

다양한 실시예들에 따른 전자 장치(electronic device)의 방법은, 상기 전자 장치에 포함된 통신 회로를 이용하여, 상기 전자 장치와 구별되는 카메라에서 캡쳐되고 있는 비디오를 수신하는 동작, 상기 비디오의 수신에 응답하여, 상기 비디오의 적어도 일부분과 관련된 정보를 획득하는 동작, 상기 정보는 복수의 지정된 이벤트들 중에서 상기 비디오의 적어도 일부분에 대응하는 이벤트, 및 상기 이벤트 및 상기 일부분 사이의 유사도를 포함함, 상기 정보의 획득에 응답하여, 상기 전자 장치에 포함된 메모리에 기반하는 데이터베이스 내에 상기 비디오의 적어도 일부분 및 상기 정보의 조합을 저장하는 동작, 상기 조합을 저장한 이후, 상기 데이터베이스에 저장된 비디오를 조회하기 위한 사용자의 입력을 식별하는 동작, 및 상기 입력의 식별에 응답하여, 상기 데이터베이스에 저장된 상기 조합을 이용하여 상기 입력에 대응하는 비디오를 조회한 결과를 출력하는 동작을 포함할 수 있다.

다양한 실시예들에 따른 전자 장치는 비디오에서 발생되고 있는 이벤트를 신속하게 인식하고, 인식 결과에 기반하여 신속한 액션을 수행할 수 있다.

다양한 실시예들에 따른 전자 장치는 데이터베이스 내에 텍스트에 기반하는 복수의 이벤트들에 기반하여 비디오를 분류하여 저장할 수 있다.

다양한 실시예들에 따른 전자 장치는 텍스트에 기반하는 이벤트를 따라 저장된 상기 데이터베이스를 이용하여 텍스트에 기반하는 비디오 검색을 지원할 수 있다.

도 1은 다양한 실시예들에 따른 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 전자 장치가 하나 이상의 뉴럴 네트워크에 기반하여, 비디오를 인식하는 동작을 설명하기 위한 예시적인 도면이다.
도 4는 일 실시예에 따른 전자 장치 및 외부 전자 장치 사이의 신호 흐름도이다.
도 5는 일 실시예에 따른 전자 장치가 디스플레이 내에 출력하는 UI의 일 예를 도시한 도면이다.
도 6은 일 실시예에 따른 전자 장치가 디스플레이 내에 출력하는 UI의 다른 일 예를 도시한 도면이다.
도 7은 일 실시예에 따른 전자 장치가 디스플레이 내에 출력하는 UI의 또 다른 일 예를 도시한 도면이다.
도 8은 다양한 실시예들에 따른 전자 장치가 복수의 카메라를 이용하여 수행하는 동작을 설명하기 위한 흐름도이다.
도 9는 일 실시예에 따른 전자 장치가 복수의 디스플레이 내에 출력하는 UI의 일 예를 도시한 도면이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 “~사이에”와 “바로~사이에” 또는 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 다양한 실시예들에 따른 전자 장치(101)의 블록도이다. 도 1을 참고하면, 전자 장치(101)는 카메라(120) 및/또는 외부 전자 장치(130)와 유선 네트워크 및/또는 무선 네트워크에 기반하여 연결될 수 있다. 하나의 카메라(120) 및 하나의 외부 전자 장치(130)만 도시되었으나, 전자 장치(101)가 동시에 통신 가능한 카메라(120)의 개수 및 외부 전자 장치(130)의 개수는 하나 이상일 수 있다. 상기 유선 네트워크는, 인터넷, LAN(Local Area Network), WAN(Wide Area Network), 이더넷 또는 이들의 조합과 같은 네트워크를 포함할 수 있다. 상기 무선 네트워크는, LTE(Long Term Evolution), 5g NR(New Radio), WiFi(Wireless Fidelity), Zigbee, NFC(Near Field Communication), Bluetooth, BLE(Bluetooth Low-Energy) 또는 이들의 조합과 같은 네트워크를 포함할 수 있다. 비록 전자 장치(101), 카메라(120) 및 외부 전자 장치(130)가 직접적으로 연결된(directly connected) 것으로 도시되었으나, 전자 장치(101), 카메라(120) 및 외부 전자 장치(130)는 하나 이상의 라우터 및/또는 AP(Access Point)를 통해 간접적으로 연결될 수 있다.

다양한 실시예들에 따른 전자 장치(101)는 서비스 제공자의 서버를 포함할 수 있다. 서버는 하나 이상의 PC 및/또는 워크스테이션을 포함할 수 있다. 일 실시예에서, 상기 서비스 제공자는 카메라(120)를 포함하는 하나 이상의 카메라에 의해 캡쳐되고 있는 비디오를 처리하는 비디오 관제 서비스를 수행할 수 있다. 일 실시예에서, 전자 장치(101)는 비디오 관제 서비스를 수행하기 위한 비디오 관제 장치일 수 있다. 일 실시예에서, 전자 장치(101)와 연결된 카메라(120)는 지정된 위치에서 비디오를 캡쳐하는 폐쇄회로 TV(Closed Circuit Tele-Vision, CCTV)를 포함할 수 있다. 일 실시예에 따른 전자 장치(101)는 서로 다른 위치에 배치된 하나 이상의 카메라(120) 각각에서 캡쳐되고 있는 비디오를 동시에 수신하여 처리할 수 있다.

다양한 실시예들에 따른 전자 장치(101)는 카메라(120)로부터 수신된 비디오에 기반하여, 외부 전자 장치(130)와 통신할 수 있다. 예를 들어, 외부 전자 장치(130)는 응급 구조 센터의 서버일 수 있고, 전자 장치(101)는 외부 전자 장치(130)로 비디오에 기반하여 응급 구조를 요청할 수 있다. 일 실시예에서 전자 장치(101)는 카메라(120)로부터 수신된 비디오를 인식(recognize)한 결과에 기반하여, 외부 전자 장치(130)로 외부 전자 장치(130)에 대응하는 서비스(예, 응급 구조 요청, 순찰대 출동)를 요청할 수 있다. 전자 장치(101)가 비디오를 인식하는 것은, 복수의 지정된 카테고리에 기반하여 비디오를 분류하는 동작(categorize) 및/또는 비디오로부터

전자 장치(101)가 비디오를 인식하는 일 예는 도 2 내지 도 3을 참고하여 상세히 설명한다.

도 1을 참고하면, 일 실시예에 따른 전자 장치(101)는 프로세서(112), 메모리(114), 통신 회로(116) 또는 디스플레이(118) 중 적어도 하나를 포함할 수 있다. 프로세서(112), 메모리(114), 통신 회로(116) 및 디스플레이(118)는 통신 버스(a communication bus)와 같은 전자 소자(electronical component)에 의해 서로 전기적으로 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 전자 장치(101)에 포함된 하드웨어 컴포넌트의 타입 및/또는 개수는 도 1에 도시된 바에 제한되지 않는다. 예를 들어, 전자 장치(101)는 도 1에 도시된 하드웨어 컴포넌트 중 일부만 포함할 수 있다.

일 실시예에 따른 전자 장치(101)의 프로세서(112)는 하나 이상의 인스트럭션에 기반하여 데이터를 처리하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 데이터를 처리하기 위한 하드웨어 컴포넌트는, 예를 들어, ALU(Arithmetic and Logic Unit), FPGA(Field Programmable Gate Array) 및/또는 CPU(Central Processing Unit)를 포함할 수 있다. 프로세서(112)의 개수는 하나 이상일 수 있다. 예를 들어, 프로세서(112)는 듀얼 코어(dual core), 쿼드 코어(quad core) 또는 헥사 코어(hexa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다.

일 실시예에 따른 전자 장치(101)의 메모리(114)는 프로세서(112)에 입력 및/또는 출력되는 데이터 및/또는 인스트럭션을 저장하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 메모리(112)는, 예를 들어, RAM(Random-Access Memory)와 같은 휘발성 메모리(Volatile Memory) 및/또는 ROM(Read-Only Memory)와 같은 비휘발성 메모리(Non-Volatile Memory)를 포함할 수 있다. 휘발성 메모리는, 예를 들어, DRAM(Dynamic RAM), SRAM(Static RAM), Cache RAM, PSRAM (Pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는, 예를 들어, PROM(Programmable ROM), EPROM (Erasable PROM), EEPROM (Electrically Erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, eMMC(Embedded Multi Media Card) 중 적어도 하나를 포함할 수 있다.

메모리(114) 내에서, 프로세서(112)가 데이터에 수행할 동작을 나타내는 인스트럭션이 하나 이상 저장될 수 있다. 인스트럭션의 집합은, 펌웨어, 운영 체제, 프로세스, 루틴, 서브-루틴 및/또는 어플리케이션으로 참조될 수 있다. 예를 들어, 전자 장치(101) 및/또는 전자 장치(101)의 프로세서(112)는 어플리케이션 형태로 배포된 복수의 인스트럭션의 집합(set of a plurality of instructions)을 실행하여, 도 2, 도 4 또는 도 8의 동작들 중 적어도 하나를 수행할 수 있다.

일 실시예에 따른 전자 장치(101)는 메모리(114) 내에 저장되는 데이터베이스(database, DB)(115)에 기반하여, 메모리(114)에 저장되는 정보를 관리할 수 있다. 일 실시예에서, 데이터베이스(115)는 전자 장치(101) 내에서 실행되는 독립적인 어플리케이션들 및/또는 전자 장치(101)를 포함하는 복수의 전자 장치들 사이에서 공유되기 위하여 체계화된(systematized) 정보의 집합 또는 상기 정보를 관리하는 하나 이상의 어플리케이션 중 적어도 하나를 포함할 수 있다. 상기 정보의 집합에서, 서로 다른 정보가 타입, 컬럼(column), 레코드 및/또는 테이블과 같은 단위에 기반하여 서로 조합될 수 있다. 정보의 조합은, 데이터베이스(115) 내에서 정보의 추가, 삭제, 변경(update) 및 검색에 이용될 수 있다. 예를 들어, 전자 장치(101)가 지정된 조건의 정보를 검색하는 상태에서, 전자 장치(101)는 데이터베이스(115)를 이용하여 상기 조건에 만족하는 정보 및 상기 정보와 함께 조합된 다른 정보를 더 식별할 수 있다.

일 실시예에 따른 전자 장치(101)의 디스플레이(118)는 사용자에게 시각화된 정보(예를 들어, 도 5 내지 도 7 및/또는 도 9의 화면들 중 적어도 하나)를 출력할 수 있다. 전자 장치(101)에 연결 가능한 디스플레이(118)의 개수는 하나 이상일 수 있다. 복수의 디스플레이(118)가 전자 장치(101)에 연결된 경우, 전자 장치(101)는, 예를 들어, 도 9와 같이, 복수의 디스플레이(118) 각각에 전자 장치(101)와 연결된 복수의 카메라(120)로부터 수신되고 있는 비디오를 표시할 수 있다.

일 실시예에서, 디스플레이(118)는, 그래픽 처리 유닛(Graphic Processing Unit, GPU)와 같은 컨트롤러에 의해 제어되어, 사용자에게 시각화된 정보(visualized information)를 출력할 수 있다. 일 실시예에서, 상기 GPU는 프로세서(112)의 적어도 일부로 포함될 수 있다. 디스플레이(240)는 FPD(Flat Panel Display) 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 FPD는 LCD(Liquid Crystal Display), PDP(Plasma Display Panel) 및/또는 하나 이상의 LED(Light Emitting Diode)를 포함할 수 있다. 상기 LED는 OLED(Organic LED)를 포함할 수 있다.

일 실시예에 따른 전자 장치(101)의 통신 회로(116)는 전자 장치(101) 및 전자 장치(101)와 구별되는 다른 전자 장치(예를 들어, 카메라(120) 및/또는 외부 전자 장치(130)) 사이의 전기 신호의 송신 및/또는 수신을 지원하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 통신 회로(116)는, 예를 들어, 모뎀(MODEM), 안테나, O/E(Optic/Electronic) 변환기 중 적어도 하나를 포함할 수 있다. 통신 회로(116)는, 이더넷(ethernet), LAN(Local Area Network), WAN(Wide Area Network), WiFi(Wireless Fidelity), Bluetooth, BLE(Bluetooth Low Energy), ZigBee, LTE(Long Term Evolution), 5G NR(New Radio)와 같은 다양한 타입의 프로토콜에 기반하여 전기 신호의 송신 및/또는 수신을 지원할 수 있다.

다양한 실시예들에 따른 전자 장치(101)는 카메라(120)로부터 수신되는 비디오를 인식하여, 카메라(120)에 의해 캡쳐되고 있는 이벤트를 식별할 수 있다. 식별된 이벤트가 지정된 이벤트, 예를 들어, 응급 환자 발생과 같이 긴급 대응(emergency response)이 필요한 이벤트인 경우, 전자 장치(101)는 사용자에게 지정된 이벤트의 발생을 알릴 수 있다. 일 실시예에 따른 전자 장치(101)는 지정된 이벤트의 식별에 응답하여, 지정된 이벤트에 대응하는 외부 전자 장치(130)로, 지정된 이벤트의 발생을 알리는 신호를 송신할 수 있다. 예를 들어, 외부 전자 장치(130)가 응급 구조 센터의 서버인 경우, 전자 장치(101)는 응급 환자 발생과 같은 지정된 이벤트의 식별에 응답하여, 외부 전자 장치(130)로 지정된 이벤트의 발생을 알리는 신호(예, 응급 구조대 출동 요청)를 송신할 수 있다.

다양한 실시예들에 따른 전자 장치(101)는 식별된 이벤트에 기반하여, 데이터베이스(115) 내에 카메라(120)로부터 수신되는 비디오의 적어도 일부분을 저장할 수 있다. 예를 들어, 전자 장치(101)는 데이터베이스(115) 내에 상기 비디오의 적어도 일부분 및 상기 일부분에 대응하는 이벤트의 조합을 저장할 수 있다. 저장된 조합은, 이벤트에 기반하는 비디오의 검색 및/또는 분석을 위해 이용될 수 있다. 전자 장치(101)가 저장된 조합에 기반하여, 비디오의 적어도 일부분을 관련하는 동작은 도 5 내지 도 7을 참고하여 상세히 설명한다.

도 2는 다양한 실시예들에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다. 도 2의 전자 장치는 도 1의 전자 장치(101)를 포함할 수 있다. 도 2의 동작들 중 적어도 하나는 도 1의 전자 장치(101) 및/또는 도 1의 프로세서1(112)에 의해 수행될 수 있다.

도 2를 참고하면, 동작(210)에서, 다양한 실시예에 따른 전자 장치는 하나 이상의 카메라로부터 비디오를 수신할 수 있다. 일 실시예에 따른 전자 장치는, 예를 들어, 도 1의 카메라(120)로부터 비트스트림 형태의 비디오를 수신할 수 있다. 일 실시예에 따른 전자 장치는, 예를 들어, 도 1의 통신 회로(116)를 이용하여, 상기 전자 장치와 구별되는 카메라에서 캡쳐되고 있는 비디오를 수신할 수 있다. 전자 장치가 동시에 수신 가능한 카메라 및/또는 비디오의 개수는 하나 이상일 수 있다. 예를 들어, 전자 장치는 서로 다른 위치에 배치된 카메라들 각각에서 캡쳐되고 있는 비디오를 동시에 수신할 수 있다.

도 2를 참고하면, 동작(220)에서, 다양한 실시예에 따른 전자 장치는 비디오의 적어도 일부분과 관련된 정보를 획득할 수 있다. 일 실시예에 따른 전자 장치는 동작(210)의 비디오의 수신에 응답하여, 비디오의 적어도 일부분과 관련된 정보를 획득할 수 있다. 일 실시예에서, 상기 정보는 복수의 지정된 이벤트들 중에서 상기 비디오의 적어도 일부분에 대응하는 이벤트를 식별 및/또는 인식한 결과를 포함할 수 있다. 일 실시예에서, 상기 정보는 상기 비디오의 적어도 일부분에 대응하는 이벤트 및 상기 일부분 사이의 유사도(similarity)를 포함할 수 있다. 예를 들어, 유사도는 비디오의 적어도 일부분에 캡쳐된 상황이 이벤트에 대응할 확률 및/또는 정확도를 의미할 수 있다. 일 실시예에서, 유사도는 0과 1 사이의 부동 소수점(floating number) 포맷의 수치 값(a numeric value)일 수 있다. 일 실시예에 따른 전자 장치가 동작(220)에 기반하여 정보를 획득하는 동작의 일 예는 도 3을 참고하여 상세히 설명한다.

도 2를 참고하면, 동작(230)에서, 다양한 실시예에 따른 전자 장치는 비디오의 적어도 일부분 및 획득된 정보의 조합을 저장할 수 있다. 일 실시예에 따른 전자 장치는, 동작(220)의 정보의 획득에 응답하여, 전자 장치의 메모리(예, 도 1의 메모리(114))에 기반하는 데이터베이스(예, 도 1의 데이터베이스(115)) 내에 상기 비디오의 적어도 일부분 및 상기 정보의 조합을 저장할 수 있다. 일 실시예에서, 동작(210)에서 수신된 비디오의 적어도 일부분은, 전자 장치의 데이터베이스 내에, 상기 일부분에 대응하는 이벤트 및 상기 이벤트가 상기 일부분에 대응하는 정도(예, 유사도)와 함께 저장될 수 있다. 이벤트를 저장하는 동작은, 상기 이벤트에 대응하는 식별자를 저장하는 동작을 포함할 수 있다. 전자 장치 내에 저장되는 정보의 조합은, 상술한 예시에 제한되지 않으며, 예를 들어, 동작(210)에서 수신된 비디오의 적어도 일부분 및 상기 일부분에 대응하는 이벤트의 식별자가 데이터베이스 내에 저장될 수 있다.

일 실시예에 따른 전자 장치는 동작(220)에서 획득된 정보를 이용하여 동작(230)의 저장과 독립적인 동작을 수행할 수 있다. 예를 들어, 전자 장치는 동작(220)에서 획득된 정보와 관련된 외부 전자 장치(예, 도 1의 외부 전자 장치(130))와 통신할 수 있다. 전자 장치가 동작(220)에서 획득된 정보를 이용하여 수행하는 동작은 도 4를 참고하여 상세히 설명한다.

비디오의 적어도 일부분 및 획득된 정보의 조합을 저장한 이후, 동작(240)에서, 다양한 실시예에 따른 전자 장치는 비디오를 조회하기 위한 사용자의 입력을 식별할 수 있다. 예를 들어, 전자 장치의 디스플레이(예, 도 1의 디스플레이(118)) 내에 표시되고 있는 시각 요소(visual element)(예, 검색 버튼, 드롭다운 박스 및/또는 텍스트 박스)를 클릭 및/또는 터치하는 사용자의 동작을 식별하여, 비디오를 조회하기 위한 사용자의 입력을 식별할 수 있다. 전자 장치가 상기 사용자의 입력을 식별하는 예시적인 동작은, 도 7을 참고하여 상세히 설명한다. 사용자의 입력은, 이벤트와 관련된 텍스트(예, 키워드)를 입력하는 동작을 포함할 수 있다.

비디오를 조회하기 위한 사용자의 입력을 식별하지 않은 상태에서(240-아니오), 일 실시예에 따른 전자 장치는 동작(210) 내지 동작(230) 중 어느 하나의 수행을 유지할 수 있다(may maintain). 일 실시예에서, 동작(240)의 사용자의 입력을 식별한 이후에도, 전자 장치는 멀티 스레드 및/또는 백그라운드 프로세스와 같은 멀티태스킹 방식에 기반하여, 동작(210) 내지 동작(230) 중 어느 하나의 수행을 유지할 수 있다(may maintain). 동작(210) 내지 동작(230) 중 어느 하나의 수행이 유지됨에 따라, 전자 장치의 메모리 내에 비디오의 적어도 일부분 및 상기 일부분과 관련된 정보의 조합이 축적될 수 있다(may accumulated). 예를 들어, 전자 장치의 데이터베이스 내에 상기 조합이 축적될 수 있다.

비디오를 조회하기 위한 사용자의 입력의 식별에 응답하여(240-예), 동작(250)에서, 다양한 실시예에 따른 전자 장치는 저장된 조합을 이용하여 비디오 및/또는 정보를 조회할 수 있다. 예를 들어, 전자 장치는 식별된 사용자의 입력에 포함된 텍스트에 대응하는 비디오의 적어도 일부분을, 동작(230)에 의해 축적된 데이터베이스로부터 식별할 수 있다. 일 실시예에 따른 전자 장치는 데이터베이스를 검색하여, 사용자의 입력에 포함된 텍스트와 관련된 이벤트에 대응하는 하나 이상의 비디오를 식별할 수 있다. 전자 장치가 비디오를 조회하는 것은, 사용자의 입력에 포함된 텍스트와 관련된 이벤트를 식별하는 동작 및 식별된 이벤트와 관련된 하나 이상의 비디오를 검색하는 동작을 포함할 수 있다.

도 2를 참고하면, 동작(260)에서, 다양한 실시예에 따른 전자 장치는 비디오 및/또는 정보를 조회한 결과를 출력할 수 있다. 전자 장치가 출력하는 결과는, 동작(250)에서 비디오 및/또는 정보를 조회한 결과를 포함할 수 있다. 예를 들어, 전자 장치는 동작(240)에서 식별된 사용자의 입력에 포함된 텍스트에 기반하여 동작(230)에 의해 저장된 복수의 조합들을 검색할 수 있다. 상기 텍스트에 매칭되는 조합을 상기 복수의 조합들 중에서 식별하는 것에 응답하여, 전자 장치는 식별된 조합의 적어도 일부를 포함하는 결과를 생성할 수 있다. 상기 결과는 전자 장치에 연결된 적어도 하나의 디스플레이 상에 표시되거나, 전자 장치의 메모리 내에 지정된 포맷의 파일의 형태로 저장될 수 있다. 상기 포맷은, 예를 들어, XML(eXtended Marked-up Language), HTML(Hyper Text Marked-up Language), PDF(Portable Document Format), TXT, MS-word DOC 및/또는 한글 HWP 중 어느 하나에 대응할 수 있다. 일 실시예에 따른 전자 장치는 동작(240)의 입력의 식별에 응답하여, 데이터베이스에 동작(230)에 기반하여 저장된 조합을 이용하여 식별된 입력에 대응하는 비디오를 조회한 결과를 출력할 수 있다. 전자 장치가 동작(260)을 수행하여 결과를 출력하는 다양한 예시는, 도 5 내지 도 6을 참고하여 상세히 설명한다.

다양한 실시예들에 따른 전자 장치가 도 2의 동작들 중 적어도 하나를 수행함에 따라, 전자 장치의 사용자는 수신된 비디오의 상황을 인식하여 지정된 복수의 이벤트 중 어느 하나로 비디오의 적어도 일부분을 분류하는 것을 중단할 수 있다. 예를 들어, 전자 장치의 사용자가 상기 분류를 완료하기 이전에, 전자 장치가 도 2의 동작들 중 적어도 하나를 수행하여 비디오의 적어도 일부분에 대응하는 이벤트를 식별할 수 있다. 전자 장치에 연결된 카메라의 개수가 증가될수록, 전자 장치가 비디오를 자동적으로 인식함에 따라 비디오를 인식하는 데 소요되는 시간이 절감될 수 있다. 예를 들어, 비디오 관제 센터의 모니터링 요원의 수를 절감할 수 있다. 예를 들어, 전자 장치가 비디오를 자동적으로 인식함에 따라, 비디오 관제 센터의 응급 상황 대응 속도가 증가될 수 있다.

도 3은 일 실시예에 따른 전자 장치가 하나 이상의 뉴럴 네트워크에 기반하여, 비디오를 인식하는 동작을 설명하기 위한 예시적인 도면이다. 도 3의 전자 장치는 도 1의 전자 장치(101)를 포함할 수 있다. 일 실시예에 따른 전자 장치가 도 3의 뉴럴 네트워크에 기반하여 수행하는 동작은, 도 2의 동작(220)과 관련될 수 있다.

일 실시예에 따른 전자 장치는 메모리(예, 도 1의 메모리(114)) 내에, 비디오를 인식하기 위한 모델에 기반하여 작동하기 위한 하나 이상의 인스트럭션 및/또는 정보를 저장할 수 있다. 도 1을 참고하면, 비디오를 인식하기 위한 모델은 제1 뉴럴 네트워크(310) 또는 제2 뉴럴 네트워크(320) 중 적어도 하나를 포함할 수 있다. 제1 뉴럴 네트워크(310) 및 제2 뉴럴 네트워크(320) 각각은 데이터 셋 및 상기 데이터 셋에 대응하는 응답 셋을 학습한 상태에서, 상기 데이터 셋에 포함되지 않은 새로운 데이터로부터 일반화된 응답(generalized response)을 출력할 수 있다.

뉴럴 네트워크는 많은 수의 인공 뉴런(또는, 노드)들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 소프트웨어나 하드웨어로 구현된 인식 모델이다. 뉴럴 네트워크는 인공 뉴런들을 통해 인간의 인지 작용이나 학습 과정을 수행할 수 있다. 뉴럴 네트워크는 복수의 레이어를 포함할 수 있다. 예를 들어, 뉴럴 네트워크는 입력 레이어, 하나 이상의 히든 레이어 및 출력 레이어를 포함할 수 있다. 입력 레이어는 뉴럴 네트워크의 트레이닝을 위한 입력 데이터를 수신하여 히든 레이어로 전달할 수 있고, 출력 레이어는 히든 레이어의 노드들로부터 수신된 신호에 기초하여 뉴럴 네트워크의 출력 데이터를 생성할 수 있다.

하나 이상의 히든 레이어가 입력 레이어 및 출력 레이어 사이에 위치할 수 있고, 입력 레이어를 통해 전달된 입력 데이터를 예측하기 쉬운 값으로 변환할 수 있다. 입력 레이어 및 하나 이상의 히든 레이어에 포함된 노드들은 연결 가중치를 가지는 연결선을 통해 서로 연결될 수 있고, 히든 레이어 및 출력 레이어에 포함된 노드들도 연결 가중치를 가지는 연결선을 통해 서로 연결될 수 있다.

입력 레이어, 하나 이상의 히든 레이어 및 출력 레이어는 복수의 노드들을 포함할 수 있다. 히든 레이어는 CNN(convolutional neural network)에서의 콘볼루션 필터(convolution filter) 또는 완전 연결 레이어(fully connected layer)이거나, 특별한 기능이나 특징을 기준으로 묶인 다양한 종류의 필터 또는 레이어일 수 있다. 히든 레이어의 출력 값이 현재 시간의 히든 레이어에 다시 입력되는 리커런트 뉴럴 네트워크(recurrent neural network; RNN)이 음향 모델 및 언어 모델에 이용될 수 있다.

뉴럴 네트워크 중에서 복수의 히든 레이어를 포함하는 뉴럴 네트워크를 딥 뉴럴 네트워크(deep neural network)라 한다. 딥 뉴럴 네트워크를 학습 시키는 것을 딥 러닝(deep learning)이라 한다. 뉴럴 네트워크의 노드 중에서, 히든 레이어에 포함된 노드를 가리켜 히든 노드라 한다.

도 1을 참고하면, 제1 뉴럴 네트워크(310)는 입력 레이어(312), 복수의 히든 레이어(314) 및 출력 레이어(316)를 포함할 수 있다. 히든 레이어(314)의 개수는 실시예에 따라 달라질 수 있다. 입력 레이어(312), 히든 레이어들(314) 및 출력 레이어(316) 각각은 신호를 변경하는 하나 이상의 노드를 포함할 수 있다. 제2 뉴럴 네트워크(320)는 제1 뉴럴 네트워크(310)와 유사하게 하나 이상의 레이어를 포함할 수 있다.

일 실시예에 따른 전자 장치는 제1 뉴럴 네트워크(310) 및 제2 뉴럴 네트워크(320)를 이용하여 비디오에 포함된 시계열로 연결된 복수의 프레임들을 인식할 수 있다. 예를 들어, 전자 장치는 카메라(예, 도 1의 카메라(120))로부터 수신한 비디오에 포함된 하나 이상의 프레임을, 제1 뉴럴 네트워크(310)의 입력 레이어(312) 및/또는 제2 뉴럴 네트워크(320)의 입력 레이어에 입력할 수 있다. 전자 장치가 제1 뉴럴 네트워크(310) 및 제2 뉴럴 네트워크(320) 각각에 입력하는 프레임의 주기(예, 프레임 레이터(frame rate))는 실시예에 따라 다를 수 있다. 전자 장치는 제1 뉴럴 네트워크(310)의 출력 레이어(316) 및 제2 뉴럴 네트워크의 출력 레이어에 기반하여 비디오에 캡쳐된 상황에 대응하는 이벤트를 인식할 수 있다. 이벤트의 인식에 응답하여, 일 실시예에 따른 전자 장치는 인식된 이벤트에 대응하는 텍스트를 획득할 수 있다.

전자 장치는 이벤트의 인식 결과 및/또는 텍스트의 획득 결과를, 메모리 내에 저장할 수 있다. 전자 장치는 인식에 이용된 비디오의 적어도 일부분(예, 비디오에 포함된 복수의 프레임들 중에서 이벤트가 발생된 시간 구간에 포함된 하나 이상의 프레임)을, 이벤트의 인식 결과, 텍스트의 획득 결과, 비디오가 캡쳐된 장소, 비디오를 캡쳐한 카메라의 식별자, 비디오가 캡쳐된 시간 또는 이벤트에 대응하는 정확도(또는 유사도) 중 적어도 하나와 함께 조합하여 저장할 수 있다. 예를 들어, 전자 장치가 도 2의 동작(220)에 기반하여 획득하는 정보는, 비디오의 적어도 일부분과 관련된 이벤트의 인식 결과, 텍스트의 획득 결과, 비디오가 캡쳐된 장소, 비디오를 캡쳐한 카메라의 식별자, 비디오가 캡쳐된 시간 및 이벤트에 대응하는 정확도(또는 유사도)를 포함할 수 있다.

일 실시예에 따른 전자 장치는 서로 다른 주기를 따라 작동하는 복수의 뉴럴 네트워크를 이용하여 비디오를 인식하는 슬로우-패스트 네트워크(Slowfast Networks) 방법을 수행할 수 있다. 예를 들어, 제1 뉴럴 네트워크(310)는 초당 8 프레임의 속도(8 프레임 레이트 또는 8 fps(frame per second))로 프레임을 인식할 수 있다. 제1 뉴럴 네트워크(310)가 초당 8 프레임의 속도로 프레임을 인식하는 상태에서, 제2 뉴럴 네트워크(320)는 초당 8 프레임을 초과하는 속도(예, 8 × 8 = 64 프레임 레이트 또는 64 fps)로 프레임을 인식할 수 있다. 일 실시예에서, 제1 뉴럴 네트워크(310)가 프레임을 인식하는 속도인 제1 프레임 레이트 및 제2 뉴럴 네트워크(320)가 프레임을 인식하는 속도인 제2 프레임 레이트는, 지정된 비율(예, 제1 프레임 레이트:제2 프레임 레이트 = 1:8)을 가질 수 있다.

전자 장치가 슬로우-패스트 네트워크 방법에 기반하는 제1 뉴럴 네트워크(310) 및 제2 뉴럴 네트워크(320)를 이용하는 상태에서, 전자 장치는 제1 뉴럴 네트워크(310)의 히든 레이어들(314) 및 제2 뉴럴 네트워크(320)의 히든 레이어 사이의 신호 송신 및/또는 수신을 지원할 수 있다. 예를 들어, 제1 뉴럴 네트워크(310) 및 제2 뉴럴 네트워크(320)는 하나 이상의 측선 연결들(332, 334)에 의해 서로 연결될 수 있다. 측선 연결들(332, 334) 중 적어도 하나를 이용하는 신호 전달은, 제1 뉴럴 네트워크(310) 및 제2 뉴럴 네트워크(320)의 입력 레이어들 각각에 하나 이상의 프레임이 입력된 상태에서 수행될 수 있다.

측선 연결들(332, 334)을 통해, 제1 프레임 레이트를 초과하는 제2 프레임 레이트로 프레임을 인식하는 제2 뉴럴 네트워크(320)의 신호 중 적어도 일부가 제1 뉴럴 네트워크(310)로 전달될 수 있다. 제1 뉴럴 네트워크(310)로 전달되는 제2 뉴럴 네트워크(320)의 신호는, 제2 뉴럴 네트워크(320)의 히든 레이어에 포함된 하나 이상의 노드에서 출력되고 있는 신호일 수 있다. 측선 연결들(332, 334)을 통해, 제2 뉴럴 네트워크(320)의 히든 레이어에 포함된 하나 이상의 노드에서 출력되고 있는 신호가 제1 뉴럴 네트워크(310)의 히든 레이어들(314) 중 어느 하나에 포함된 하나 이상의 노드들로 입력될 수 있다. 비록 측선 연결들(332, 334)을 통해 제2 뉴럴 네트워크(320)에서 제1 뉴럴 네트워크(310)로의 신호 전달만이 도시되었으나, 측선 연결들(332, 334)을 통해 신호가 전달되는 방향이 이에 제한되는 것은 아니며, 실시예에 따라 제1 뉴럴 네트워크(310)에서 제2 뉴럴 네트워크(320)로의 신호 전달도 가능하며, 양방향 신호 전달도 가능하다. 실시예에 따라 측선 연결들(332, 334)의 개수도 달라질 수 있다.

일 실시예에 따른 전자 장치는 제1 뉴럴 네트워크(310)의 제1 프레임 레이트 및 제2 뉴럴 네트워크(320)의 제2 프레임 레이트 사이의 차이에 기반하여, 비디오에 포함된 복수의 프레임들을 서로 다른 프레임 레이트로 샘플링할 수 있다. 서로 다른 프레임 레이트로 샘플링된 프레임들의 집합(프레임 셋)들은 제1 뉴럴 네트워크(310) 및 제2 뉴럴 네트워크(320) 각각의 입력 레이어에 입력될 수 있다. 예를 들어, 카메라로부터 비디오의 수신에 응답하여, 전자 장치는 제1 프레임 레이트에 기반하여 상기 수신되고 있는 비디오에 포함된 하나 이상의 프레임을 포함하는 제1 프레임 셋(set)을 획득할 수 있다. 제1 프레임 셋의 획득과 독립적으로, 카메라로부터 비디오의 수신에 응답하여, 전자 장치는 상기 제1 프레임 레이트와 구별되는 제2 프레임 레이트에 기반하여 상기 수신되고 있는 비디오에 포함된 하나 이상의 프레임을 포함하는 제2 프레임 셋을 획득할 수 있다.

상기 제1 프레임 셋 및 상기 제2 프레임 셋의 획득에 응답하여, 일 실시예에 따른 전자 장치는 제1 뉴럴 네트워크(310) 및 제2 뉴럴 네트워크(320) 각각의 입력 레이어들에 상기 제1 프레임 셋 및 상기 제2 프레임 셋을 입력할 수 있다. 상기 제1 프레임 셋 및 상기 제2 프레임 셋의 입력 이후에, 일 실시예에 따른 전자 장치는 상기 제1 뉴럴 네트워크(310) 및 상기 제2 뉴럴 네트워크(320) 각각의 출력 레이어들에 기반하여, 상기 비디오의 적어도 일부분 및 상기 복수의 지정된 이벤트들 각각과의 유사도들(similarities)을 식별할 수 있다. 유사도들의 식별에 응답하여, 일 실시예에 따른 전자 장치는 식별된 유사도들 중에서 가장 높은 유사도에 대응하는 이벤트, 상기 가장 높은 유사도 및 상기 비디오의 적어도 일부분을 데이터베이스(예, 도 1의 데이터베이스(115)) 내에 저장할 수 있다.

도 3을 참고하면, 전자 장치가 식별하는 유사도들을 설명하기 위한 표(340)가 도시된다. 표(340)의 이벤트 열(column)과 같이, 전자 장치는 복수의 지정된 이벤트들에 기반하여 비디오의 적어도 일부분을 인식할 수 있다. 예를 들어, 복수의 지정된 이벤트들은, 수영, 폭행, 넘어짐, 도보, 달리기를 포함할 수 있다. 복수의 지정된 이벤트들은, 비디오로부터 인식 가능한 사람의 서로 다른 액션들과 관련될 수 있다. 표(340)의 유사도 열과 같이, 전자 장치는 복수의 지정된 이벤트들 각각에 비디오의 적어도 일부분이 일치하는지 여부를 나타내는 정보를, 제1 뉴럴 네트워크(310) 및/또는 제2 뉴럴 네트워크(320)로부터 획득할 수 있다. 표(340)를 참고하면, 전자 장치는 복수의 유사도들 중에서 가장 높은 유사도를 가지는 이벤트(예, 폭행)가 비디오의 적어도 일부분에 캡쳐된 이벤트로 결정 및/또는 인식할 수 있다. 결정된 이벤트가 신속한 대응을 요구하는 이벤트인 경우, 일 실시예에 따른 전자 장치는 상기 대응을 위한 추가적인 기능을 수행할 수 있다. 예를 들어, 결정된 이벤트가 '폭행'인 경우, 전자 장치는 '폭행'에 대응하기 위하여 경찰을 호출하기 위한 기능(예, 경찰청에 배치된 서버와 통신)을 수행할 수 있다. 전자 장치가 추가적인 기능을 수행하는 예시적인 동작은 도 4를 참고하여 상세히 설명한다.

일 실시예에 따른 전자 장치는 제1 뉴럴 네트워크(310) 및 제2 뉴럴 네트워크(320) 각각을 이용하여 비디오에서 캡쳐되고 있는 슬로우 모션(slow motion) 및 패스트 모션(fast motion) 각각을 인식할 수 있다. 일 실시예에 따른 전자 장치는 공간 구조와 임의의 이벤트를 분리하여 물체의 형태가 빠르게 변화는 프레임을 통해 표현할 수 있다(Two-pathway SlowFast 모델). 다양한 실시예들에 따른 전자 장치는 비디오를 인식한 결과에 기반하여, 비디오에 캡쳐되고 있는 상황 및/또는 이벤트에 대응하는 텍스트를 식별할 수 있다. 텍스트의 식별에 응답하여, 일 실시예에 따른 전자 장치는 식별된 텍스트 및/또는 비디오로부터 지정된 포맷의 보고서를 생성할 수 있다. 생성된 보고서는 전자 장치의 사용자에게 출력될 수 있다.

도 4는 일 실시예에 따른 전자 장치(101) 및 외부 전자 장치(130) 사이의 신호 흐름도이다. 도 4의 전자 장치(101)는 도 1의 전자 장치(101)를 포함할 수 있다. 도 4의 외부 전자 장치(130)는 도 1의 외부 전자 장치(130)를 포함할 수 있다. 도 4의 동작은 도 1의 전자 장치(101), 프로세서(112) 및/또는 통신 회로(116)에 의해 수행될 수 있다.

도 4를 참고하면, 동작(410)에서, 다양한 실시예들에 따른 전자 장치(101)는 비디오로부터 외부 전자 장치에 대응하는 이벤트를 탐지할 수 있다. 일 실시예에 따른 전자 장치(101)는 도 2의 동작(220)과 유사하게 동작(410)을 수행할 수 있다. 예를 들어, 카메라로부터 비디오의 수신에 응답하여, 전자 장치(101)는 비디오의 적어도 일부분에 캡쳐된 상황이 복수의 지정된 이벤트들 각각에 대응하는지를 나타내는 복수의 유사도들을 획득할 수 있다.

상기 복수의 유사도들의 획득은 도 3에서 설명한 동작에 기반하여 수행될 수 있다. 상기 복수의 유사도들의 획득에 응답하여, 전자 장치(101)는 상기 복수의 유사도들 중에서 가장 높은 유사도에 기반하여, 비디오의 적어도 일부분과 관련된 정보를 획득할 수 있다. 전자 장치(101)가 획득하는 정보는 비디오의 적어도 일부분에 대응하는 이벤트, 상기 이벤트 및 상기 일부분 사이의 유사도 또는 상기 이벤트에 대응하는 텍스트 중 적어도 하나를 포함할 수 있다.

상기 정보의 획득에 응답하여, 전자 장치(101)는 정보에 포함된 상기 이벤트와 관련된 외부 전자 장치(130)를 식별할 수 있다. 외부 전자 장치(130)의 식별에 응답하여, 일 실시예에 따른 전자 장치(101)는 통신 회로(예, 도 1의 통신 회로(116))를 이용하여 상기 외부 전자 장치(130)로, 상기 비디오의 적어도 일부분 및 상기 이벤트 중 적어도 하나를 포함하고, 상기 외부 전자 장치(130)와 관련된 지정된 액션의 수행을 요청하는 신호를 송신할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(130)로 이벤트의 탐지를 알리는 신호(420)를 송신할 수 있다.

신호(420)의 수신에 응답하여, 동작(430)에서, 일 실시예에 따른 외부 전자 장치(130)는 이벤트에 대응하는 지정된 액션을 수행할 수 있다. 예를 들어, 외부 전자 장치(130)가 응급 구조 센터에 배치된 서버인 경우, 외부 전자 장치(130)는 신호(420)의 수신에 응답하여 응급 구조대 출동을 위한 기능을 수행할 수 있다. 상기 기능은, 응급 구조대와 관련된 사용자에게 신호(420)의 수신과 관련된 알림(예, 경보) 실행을 포함할 수 있다. 외부 전자 장치(130)는 전자 장치(101)로, 신호(420)에 대응하여 지정된 액션을 수행한 결과를 포함하는 신호(440)를 송신할 수 있다.

신호(440)의 수신에 응답하여, 동작(450)에서, 다양한 실시예들에 따른 전자 장치(101)는 데이터베이스(예, 도 1의 데이터베이스(115)) 내에 신호(440)에 포함된 결과를 저장할 수 있다. 예를 들어, 전자 장치(101)는, 외부 전자 장치(130)로 신호(420)를 송신한 이후, 외부 전자 장치(130)로부터 신호(420)에 대응하여 상기 액션을 수행한 결과를 포함하는 신호(440)를 수신할 수 있다. 신호(440)의 수신에 응답하여, 전자 장치(101)는 데이터베이스 내에서 상기 비디오의 적어도 일부분에 대응하는 상기 조합 내에, 상기 수신된 신호(440)에 포함된 상기 액션을 수행한 결과를 저장할 수 있다.

다양한 실시예들에 따른 전자 장치(101)는 도 4의 동작들 중 적어도 하나를 수행하여, 비디오에 캡쳐된 지정된 이벤트에 대응하는 액션을 자동적으로 수행할 수 있다. 전자 장치(101)는 액션을 수행한 결과를 저장할 수 있다. 전자 장치(101)가 동작(450)에 기반하여 저장하는 결과는, 이벤트와 관련된 비디오의 적어도 일부분, 이벤트가 발생된 위치, 시간 또는 처리 결과(예, 신호(420)의 송신 시간 및/또는 신호(440)에 포함된 액션을 수행한 결과) 중 적어도 하나를 포함할 수 있다. 이하에서는, 도 5를 참고하여, 일 실시예에 따른 전자 장치(101)가 도 4의 동작(450)에 기반하여 저장한 결과를 출력하는 동작을 설명한다.

도 5는 일 실시예에 따른 전자 장치가 디스플레이 내에 출력하는 UI(User Interface)의 일 예를 도시한 도면이다. 도 5의 전자 장치는 도 1 및/또는 도 4의 전자 장치(101)를 포함할 수 있다. 도 5의 디스플레이는 도 1의 디스플레이(118)를 포함할 수 있다. 도 5의 전자 장치가 출력하는 UI는, 예를 들어, 도 2의 동작(260) 또는 도 4의 동작(450) 중 적어도 하나와 관련될 수 있다.

도 5를 참고하면, 일 실시예에 따른 전자 장치는 디스플레이 내에 지정된 어플리케이션에 대응하는 화면(510)을 표시할 수 있다. 지정된 어플리케이션은, 전자 장치가 데이터베이스를 조회한 결과를 포함하는 리포트를 표시하기 위한 어플리케이션으로, 예를 들어, 웹 브라우저, 워드프로세서 또는 이메일 뷰어 중 어느 하나일 수 있다. 전자 장치는 지정된 어플리케이션을 이용하여 지정된 템플릿 및/또는 포맷에 기반하는 파일 및/또는 비트스트림에 대응하는 화면(510)을 표시할 수 있다. 이하에서는, 전자 장치가 웹 브라우저와 관련된 어플리케이션의 화면(510) 내에 비디오를 조회한 결과를 표시하는 일 예를 설명한다. 그러나, 실시예가 이에 제한되지 않으며, 전자 장치는 다른 포맷의 파일을 이용하여 다른 어플리케이션에서 결과를 표시할 수 있다.

일 실시예에 따른 전자 장치는 지정된 어플리케이션에 대응하는 화면(510)의 적어도 일부분(520) 내에, 비디오를 조회한 결과를 출력할 수 있다. 상기 결과는, 예를 들어, 도 2의 동작(260)에 기반하여 출력되는 결과일 수 있다. 일 실시예에 따른 전자 장치는 디스플레이 내에, 상기 결과에 포함된 이벤트, 유사도 및 비디오의 적어도 일부분의 썸네일(thumbnail) 중 적어도 하나를 포함하는 테이블(530)을 표시할 수 있다. 도 5를 참고하면, 전자 장치는 테이블(530) 내에, 지정된 검색 조건에 대응하는 비디오를 검색한 결과를 표시할 수 있다. 전자 장치가 표시하는 테이블(530)은, 예를 들어, 카메라의 식별자(ID), 카메라의 위치, 비디오가 캡쳐된 시간, 비디오에 대응하는 이벤트, 비디오의 재생을 위한 시각 요소(예, 재생 버튼), 비디오 및 이벤트 사이의 유사도 중 적어도 하나를 포함할 수 있다. 비록 도시되지 않았지만, 전자 장치는 테이블(530) 내에 비디오의 썸네일 및/또는 프리뷰를 더 표시할 수 있다.

다양한 실시예들에 따른 전자 장치가 비디오를 조회하는 것은, 사용자의 입력(예, 도 2의 동작(240))에 의해 수행될 수 있다. 일 실시예에서, 전자 장치는 지정된 시간 및/또는 주기에 기반하여 비디오를 조회하고, 화면(510)의 적어도 일부분(520) 내에 비디오를 조회한 결과를 출력할 수 있다. 예를 들어, 전자 장치는 매 8시간 및/또는 매 12시간 마다 비디오를 인식한 결과를 출력할 수 있다. 도 5를 참고하면, 전자 장치가 예시적인 시간 구간(예, 2020년 7월 20일 08시부터 시작하는 지정된 시간 구간) 내에 하나 이상의 카메라로부터 수신한 비디오를 인식한 결과를 출력한 일 예가 도시된다.

다양한 실시예들에 따른 전자 장치는 테이블(530) 내에, 비디오의 적어도 일부분 및 유사도에 기반하여 이벤트와 관련된 외부 전자 장치와 통신한 결과를 더 표시할 수 있다. 예를 들어, 전자 장치는 도 4의 동작들 중 적어도 하나를 수행하여, 비디오의 적어도 일부분에서 지정된 이벤트를 인식하는 것에 응답하여, 인식된 이벤트와 관련된 외부 전자 장치와 통신할 수 있다. 전자 장치가 외부 전자 장치와 통신하는 것은, 예를 들어, 이벤트의 인식을 알리는 신호, 및/또는 인식된 이벤트에 대응하는 지정된 액션의 수행을 요청하는 신호의 송신을 포함할 수 있다.

도 5의 테이블(530)를 참고하면, 일 실시예에 따른 전자 장치는 ID3의 식별자를 가진 카메라로부터 수신된 비디오의 일부분(예, 2020년 7월 20일 8시 12분부터 8시 20분 사이에 캡쳐된 일부분)에 대응하는 이벤트를, 긴급 대응을 요구하는 지정된 이벤트(예, 사람의 쓰러짐)로 인식할 수 있다. 지정된 이벤트의 인식에 응답하여, 전자 장치는 지정된 이벤트에 대응하는 외부 전자 장치(예, 응급 구조 센터)로 지정된 이벤트의 발생을 알리는 신호(예, 도 4의 신호(420))를 송신할 수 있다. 전자 장치가 외부 전자 장치로 송신하는 신호는, 예를 들어, 이벤트의 발생을 알리는 플래그, 인식된 이벤트에 대응하는 비디오의 일부분 또는 비디오가 캡쳐된 카메라와 관련된 정보(예, 카메라의 ID 및/또는 카메라가 배치된 위치) 중 적어도 하나를 포함할 수 있다.

일 실시예에 따른 전자 장치가 외부 전자 장치로 상기 신호를 송신할지 여부는, 이벤트를 인식한 정확도 및/또는 유사도에 기반하여 결정될 수 있다. 도 5의 테이블(530)을 참고하면, 전자 장치는 비디오의 일부분으로부터 긴급 대응을 요구하는 지정된 이벤트를 인식하면서, 상기 이벤트 및 상기 일부분 사이의 유사도(예, 0.8)를 획득할 수 있다. 전자 장치가 비디오의 일부분으로부터 이벤트 및/또는 유사도를 인식하는 것은, 도 3에서 설명한 동작에 기반하여 수행될 수 있다. 예를 들어, 지정된 유사도 임계치(예, 0.75)를 초과하는 유사도의 획득에 응답하여, 전자 장치는 획득된 유사도에 대응하는 이벤트와 관련된 외부 전자 장치로 이벤트의 인식과 관련된 신호를 송신할 수 있다.

도 5를 참고하면, 전자 장치는 유사도 임계치를 초과하는 임계치(예, 0.8)를 가지는 지정된 이벤트(예, 사람의 쓰러짐)를, ID3의 식별자를 가지는 카메라로부터 수신된 비디오의 일부분으로부터 인식할 수 있다. 상기 인식에 응답하여, 전자 장치는 이벤트에 대응하는 외부 전자 장치(예, 응급 구조 센터)로 지정된 이벤트의 인식과 관련된 신호를 송신할 수 있다. 상기 신호를 수신한 외부 전자 장치는 인식된 이벤트에 대응하는 동작을 수행할 수 있다. 예를 들어, 외부 전자 장치는 ID3의 식별자를 가지는 카메라가 배치된 위치로 응급 구조대를 이동하기 위한 하나 이상의 동작(알림, 호출 및/또는 응급 구조대 차량에 포함된 네비게이션의 경로 설정)을 수행할 수 있다. 외부 전자 장치는 상기 하나 이상의 동작을 수행한 결과를, 전자 장치로 알릴 수 있다. 예를 들어, 외부 전자 장치는 도 4의 신호(440)를 이용하여 전자 장치로 응급 구조대의 호출 상황과 관련된 정보를 송신할 수 있다.

외부 전자 장치로부터 이벤트에 대응하는 동작을 수행한 결과를 수신하는 것에 응답하여, 일 실시예에 따른 전자 장치는 데이터베이스 내에 수신된 결과를 저장할 수 있다. 예를 들어, 전자 장치는 비디오의 적어도 일부분, 상기 일부분에 대응하는 이벤트를 인식한 결과의 조합 내에, 외부 전자 장치로부터 수신된 결과를 더 저장할 수 있다. 외부 전자 장치로부터 수신된 결과를 저장한 상태에서, 전자 장치는 화면(510)의 적어도 일부분(520) 내에, 외부 전자 장치로부터 수신된 결과의 적어도 일부를 더 표시할 수 있다.

도 5를 참고하면, 일 실시예에 따른 전자 장치는 화면(510)의 일부분(540) 내에, 지정된 이벤트의 인식에 응답하여 외부 전자 장치와 통신한 결과를 표시할 수 있다. 상기 결과가 표시되는 일부분(540)의 위치가 테이블(530)의 하단으로 도시되었으나, 실시예가 이에 제한되지 않으며, 팝업-윈도우, 음성 신호 출력 등 다른 UI가 이용될 수 있다.

일 실시예에 따른 전자 장치는 일부분(540) 내에, 응급 구조 센터의 서버에 이벤트의 발생을 알린 시간(예, 처리 시간: 2020/07/20 08:15), 응급 구조 센터의 서버가 이벤트에 대응하여 수행한 동작(예, 응급 구조 센터(개포동) 호출) 또는 상기 동작의 결과(예, 응급 구조대 출동, 08:20 환자 이송 완료) 중 적어도 하나를 표시할 수 있다. 일 실시예에서, 전자 장치는 테이블(530) 내에, 비디오의 적어도 일부분으로부터 인식된 이벤트를 자동적으로 처리하였음을 알리는 시각 요소(예, 체크 표시된 아이콘)를 더 표시할 수 있다. 상기 시각 요소가 표시되는 위치는, 테이블(530) 내에서 이벤트가 인식된 비디오의 적어도 일부분에 대응하는 행에 대응할 수 있다.

도 5의 일 예와 같이, 다양한 실시예들에 따른 전자 장치는 비디오의 적어도 일부분으로부터 텍스트 형식의 다양한 타입의 정보를 추출할 수 있다. 추출된 정보는 RPA(Robotic Process Automation)와 같이 다양한 타입의 정보를 수집, 가공하는 자동화 솔루션에 기반하여, 도 5의 테이블(530)과 같이 리포트의 형태로 출력될 수 있다. RPA는 데이터베이스에 포함된 다양한 데이터를 수집, 가공하여 단순반복 업무를 자동화하는 자동화 솔루션으로 AI(Artificial Intelligence)를 이용한 자동화를 지원할 수 있다. 예를 들어, 테이블(530)에 표시되는 정보의 타입, 이벤트를 자동적으로 처리할지 여부를 결정하는 유사도 임계치가 상기 자동화 솔루션에 의해 경험적으로(heuristic) 결정 및/또는 변경될 수 있다. 예를 들어, 전자 장치가 표시하는 리포트의 형태는, 전자 장치의 사용자 및/또는 고객이 원하는 형태로 경험적으로 변경될 수 있다.

이하에서는 도 6을 참고하여, 전자 장치가 사용자와 상호 작용하여 비디오의 적어도 일부분으로부터 인식한 이벤트에 대응하는 동작을 수행하는 일 실시예를 설명한다.

도 6은 일 실시예에 따른 전자 장치가 디스플레이 내에 출력하는 UI의 다른 일 예를 도시한 도면이다. 도 6의 전자 장치는 도 1 및/또는 도 4의 전자 장치(101)를 포함할 수 있다. 도 6의 디스플레이는 도 1의 디스플레이(118)를 포함할 수 있다. 도 6의 전자 장치가 출력하는 UI는, 예를 들어, 도 2의 동작(260) 또는 도 4의 동작(450) 중 적어도 하나와 관련될 수 있다. 전자 장치는 도 5의 UI를 표시하는 동작과 유사하게 도 6의 UI를 표시할 수 있고, 도 6의 UI와 관련된 설명 중에서, 도 5의 UI와 중복되는 설명은 생략한다.

도 6을 참고하면, 일 실시예에 따른 전자 장치는 지정된 어플리케이션(예, 웹 브라우저)에 대응하는 화면(610)의 적어도 일부분(620) 내에, 비디오 및 비디오를 인식한 결과를 조회(예, 도 1의 데이터베이스(115)를 조회)한 결과를 출력할 수 있다. 전자 장치가 출력하는 결과는, 예를 들어, 테이블(630)과 같이 하나 이상의 행들 각각에 결과에 포함된 비디오 및 상기 비디오와 관련된 정보의 적어도 일부가 배열된 레이아웃을 가질 수 있다.

일 실시예에 따른 전자 장치는 비디오의 적어도 일부분을, 예를 들어, 도 3의 복수의 뉴럴 네트워크들을 이용하여 인식할 수 있다. 도 6의 테이블(630)을 참고하면, 전자 장치는 ID1의 식별자를 가지는 카메라로부터 수신된 비디오의 일부분(예, 2020년 7월 20일 8시에서 8시 30분까지 캡쳐된 일부분)으로부터, '산책' 이벤트를 인식할 수 있다. 상기 이벤트를 인식하면서, 전자 장치는 상기 일부분이 '산책' 이벤트에 대응하는 정도(예, 유사도 0.6)를 획득할 수 있다. 유사하게, 전자 장치는 지정된 시간 구간(예, 2020년 7월 20일 오전)에 복수의 카메라들로부터 수신된 비디오의 서로 다른 일부분에 대응하는 이벤트 및 유사도를 획득할 수 있다.

일 실시예에 따른 전자 장치는 비디오의 적어도 일부분으로부터 긴급 대응을 요구하는 지정된 이벤트를 식별할 수 있다. 예를 들어, 전자 장치는 ID3의 식별자를 가지는 카메라로부터 수신된 비디오의 적어도 일부분(예, 2020년 7월 20일 8시 12분부터 8시 20분까지 캡쳐된 일부분)으로부터, 지정된 이벤트(예, 사람의 쓰러짐)를 인식할 수 있다. 상기 이벤트와 함께, 전자 장치는 이벤트를 인식한 정확도 및/또는 유사도(예, 0.55)를 획득할 수 있다. 상기 유사도가 지정된 유사도 임계치(예, 0.75)를 초과하는 경우, 전자 장치는 도 5에서 설명한 바와 같이 인식된 이벤트와 관련된 동작을 자동적으로 수행할 수 있다. 예를 들어, 전자 장치는 인식된 이벤트에 대응하는 외부 전자 장치와, 도 4의 동작들에 기반하여 통신할 수 있다.

상기 유사도가 지정된 유사도 임계치 미만인 경우, 전자 장치는 사용자에게 이벤트의 인식을 알릴 수 있다. 도 6을 참고하면, 전자 장치는 사용자로부터 인식된 이벤트와 관련된 동작을 수행할지 여부를 획득하기 위한 윈도우(640)를 표시할 수 있다. 윈도우(640) 내에서, 전자 장치는 인식된 이벤트 및/또는 유사도를 표시할 수 있다. 윈도우(640) 내에서, 전자 장치는 인식된 이벤트에 대응하는 비디오의 적어도 일부분을 재생하기 위한 하나 이상의 시각 요소(예, 프리뷰 영역(650) 및/또는 재생 버튼(652))를 표시할 수 있다. 예를 들어, 사용자가 재생 버튼(652)을 클릭 및/또는 터치하는 경우, 전자 장치는 프리뷰 영역(650) 내에 인식된 이벤트와 관련된 비디오의 적어도 일부분(예, 2020년 7월 20일 8시 12분부터 8시 20분 사이에 ID3의 식별자를 가지는 카메라로부터 캡쳐된 비디오)을 재생할 수 있다.

윈도우(640) 내에서, 전자 장치는 사용자에게 인식된 이벤트와 관련된 하나 이상의 동작들 각각의 시작(initiation)을 야기하는 하나 이상의 시각 요소들(642, 644, 646)을 표시할 수 있다. 예를 들어, 시각 요소(642)는 응급 구조대를 호출하는 기능, 시각 요소(644)는 순찰대를 이동하는 기능을, 시각 요소(646)는 수행 가능한 다른 동작을 검색하는 기능에 대응할수 있다. 사용자가 시각 요소들(642, 644, 646) 중 적어도 하나를 클릭 및/또는 터치하는 경우, 전자 장치는 사용자에 의해 클릭 및/또는 터치된 시각 요소에 대응하는 기능을 시작할 수 있다(may initiate).

예를 들어, 사용자가 시각 요소(642)를 클릭 및/또는 터치한 경우, 전자 장치는 응급 구조 센터의 서버로 윈도우(640)와 관련된 카메라의 위치(예, 개포동)를 전달하면서, 상기 위치로 응급 구조대의 이동을 요청할 수 있다. 예를 들어, 사용자가 시각 요소(644)를 클릭 및/또는 터치한 경우, 전자 장치는 경찰청의 서버로 상기 위치를 전달하면서, 상기 위치로 순찰대의 이동을 요청할 수 있다. 예를 들어, 사용자가 시각 요소(646)를 클릭 및/또는 터치한 경우, 전자 장치는 통신 가능한 외부 전자 장치들의 목록 및/또는 상기 외부 전자 장치들 각각에 대응하는 기능을 함께 표시할 수 있다. 이 경우, 사용자는 상기 목록 내에서, 인식된 이벤트와 관련된 다른 동작을 수행할 수 있다.

윈도우(640)에 기반하여 수행되는 사용자의 동작들(예를 들어, 시각 요소(642, 644, 646) 중 적어도 하나를 선택하는 사용자의 동작)을 식별한 결과는, 전자 장치가 이벤트에 대응하는 동작을 자동적으로 처리하는 것을 학습하는데 이용될 수 있다. 도 6에 도시된 일 예에서, 사용자가 시각 요소(642)를 클릭 및/또는 터치하는 경우, 향후 응급 구조대의 호출이 0.55의 유사도를 가지는 '쓰러짐' 이벤트를 인식하는 상태에서 자동적으로 이뤄지도록, 유사도 임계치를 줄일 수 있다. 다른 예를 들어, 사용자가 시각 요소(646)를 눌러 다른 이벤트에 대응하는 동작을 수행하는 경우, 전자 장치는 비디오의 적어도 일부분을 '쓰러짐' 이벤트로 인식한 것이 잘못된 것으로 결정하고, 그에 기반하는 학습을 수행할 수 있다. 다양한 실시예들에 따른 전자 장치는 화면(610)에 기반하여 사용자에게 대화식 UI(interactive UI)를 표시함에 따라, 대화식 UI 내에서 발생되는 사용자의 행동을 학습할 수 있다.

이하에서는 도 7을 참고하여, 일 실시예에 따른 전자 장치가 사용자의 입력에 대응하여 비디오의 적어도 일부분을 조회하는 동작을 설명한다.

도 7은 일 실시예에 따른 전자 장치가 디스플레이 내에 출력하는 UI의 또 다른 일 예를 도시한 도면이다. 도 7의 전자 장치는 도 1 및/또는 도 4의 전자 장치(101)를 포함할 수 있다. 도 7의 디스플레이는 도 1의 디스플레이(118)를 포함할 수 있다. 도 7의 전자 장치가 출력하는 UI는, 예를 들어, 도 2의 동작(260) 또는 도 4의 동작(450) 중 적어도 하나와 관련될 수 있다. 전자 장치는 도 5 내지 도 6의 UI를 표시하는 동작과 유사하게 도 7의 UI를 표시할 수 있고, 도 7의 UI와 관련된 설명 중에서, 도 5 내지 도 6의 UI와 중복되는 설명은 생략한다.

도 7을 참고하면, 일 실시예에 따른 전자 장치는 지정된 어플리케이션을 이용하여, 화면(710)의 적어도 일부분(720) 내에 축적된 비디오의 검색을 위한 UI를 표시할 수 있다. 예를 들어, 전자 장치는 일부분(720) 내에 사용자로부터 텍스트를 획득하기 위한 시각 요소(730)를 표시할 수 있다. 사용자가 시각 요소(730)를 클릭 및/또는 터치한 이후, 키보드(예, 전자 장치에 연결된 키보드 및/또는 디스플레이 내에 표시되는 가상 키보드) 및/또는 음성 인식에 기반하여 텍스트를 입력하는 경우, 전자 장치는 입력된 텍스트를 시각 요소(730) 내에 표시할 수 있다. 사용자가 시각 요소(730) 내에 표시되고 있는 검색 버튼(예, 돋보기 그림을 포함하는 아이콘)을 클릭 및/또는 터치하는 경우, 전자 장치는 시각 요소(730) 내에 표시되고 있는 텍스트에 기반하여 축적된 비디오를 검색할 수 있다. 전자 장치가 시각 요소(730)를 통해 사용자로부터 텍스트를 획득하는 동작 및 상기 비디오를 검색하는 동작들 각각은 도 2의 동작(240) 및 동작(250)과 유사하게 수행될 수 있다.

비디오를 검색한 이후, 전자 장치는 비디오를 검색한 결과를 화면(710)의 적어도 일부분(720) 내에 표시할 수 있다. 예를 들어, 전자 장치는 테이블(740)의 레이아웃에 기반하여 비디오를 검색한 결과를 표시할 수 있다. 테이블(740) 내에서 서로 다른 열은, 비디오를 검색한 결과에 포함된 서로 다른 타입의 정보에 대응할 수 있다. 테이블(740) 내에서 서로 다른 행은, 비디오를 검색한 결과에 포함된 하나 이상의 비디오 및 상기 하나 이상의 비디오 각각에 대응하는 정보(예, 카메라의 식별자, 카메라의 위치, 비디오의 적어도 일부분이 캡쳐된 시간, 비디오를 인식한 결과)를 포함할 수 있다.

도 7을 참고하면, 사용자는 시각 요소(730) 내에 '쓰러짐'과 같이 이벤트에 대응하는 텍스트를 입력할 수 있다. 상기 텍스트의 입력에 응답하여, 전자 장치는 데이터베이스(예, 도 1의 데이터베이스(115)) 내에서, 입력된 텍스트에 대응하는 이벤트가 인식된 비디오의 적어도 일부분을 검색할 수 있다. 도 7의 테이블(740)을 참고하면, 전자 장치는 시각 요소(730) 내에 입력된 텍스트에 대응하는 이벤트를 가지는 하나 이상의 비디오를 표시할 수 있다. 다양한 실시예들에 따른 전자 장치가 이벤트를 나타내는 텍스트 및 시각 요소(730)로부터 입력된 텍스트를 비교하여 비디오를 검색하므로, 전자 장치는 이미지에 기반하여 비디오를 검색하는 상태보다 신속하게 비디오를 검색할 수 있다.

일 실시예에 따른 전자 장치는 테이블(740) 내에, 검색된 비디오를 재생하기 위한 시각 요소(예, 재생 버튼)를 더 표시할 수 있다. 상기 시각 요소는 비디오의 URL(Uniform Resource Locators) 및/또는 URI(Uniform Resource Identifiers)에 기반하는 하이퍼링크일 수 있다. 일 실시예에 따른 전자 장치가 도 4 내지 도 6의 동작에 기반하여 인식된 이벤트에 기반하는 추가적인 동작(예, 외부 전자 장치로 이벤트에 대응하는 동작을 요청하는 동작)을 수행한 경우, 전자 장치는 테이블(740) 내에 추가적인 동작이 수행되었음을 알리는 시각 요소(예, 체크 박스)를 표시할 수 있다. 사용자가 상기 시각 요소를 클릭 및/또는 터치하는 경우, 전자 장치는 도 5의 일부분(540)과 같이 수행된 추가적인 동작과 관련된 정보를 더 표시할 수 있다.

다양한 실시예들에 따른 전자 장치는 인식된 이벤트 및/또는 이벤트에 대응하는 텍스트에 기반하여 저장된 복수의 비디오들의 검색을 지원할 수 있다. 상기 검색을 이용하여 전자 장치는 이벤트의 발생 이력 및 상기 이벤트의 처리 결과의 이력을, 사용자에게 제공할 수 있다.

일 실시예에 따른 전자 장치는 비디오 월(video wall)과 같이 복수의 디스플레이를 이용하여 수신되고 있는 복수의 비디오를 동시에 표시하는 상태에서, 실시간으로 비디오를 인식할 수 있다. 일 실시예에 따른 전자 장치는 실시간으로 수신되고 있는 비디오로부터 긴급 대응을 요구하는 지정된 이벤트를 인식하는 경우, 사용자에게 실시간으로 지정된 이벤트의 인식을 알릴 수 있다. 이하에서는 도 8을 참고하여, 전자 장치가 복수의 비디오를 수신하는 상태에서 실시간으로 이벤트를 인식하는 동작을 설명한다.

도 8은 다양한 실시예들에 따른 전자 장치가 복수의 카메라를 이용하여 수행하는 동작을 설명하기 위한 흐름도이다. 도 8의 전자 장치는 도 1의 전자 장치(101) 및/또는 도 4의 전자 장치(101)를 포함할 수 있다. 도 8의 동작은 도 1의 전자 장치(101), 프로세서(112) 및/또는 통신 회로(116)에 의해 수행될 수 있다.

도 8을 참고하면, 동작(810)에서, 다양한 실시예들에 따른 전자 장치는 복수의 카메라들로부터 복수의 비디오들을 수신할 수 있다. 예를 들어, 전자 장치는 서로 다른 위치에 배치된 복수의 카메라들 각각이 송신하는 비트스트림 형태의 비디오를 수신할 수 있다. 전자 장치는, 예를 들어, 도 1의 통신 회로(116)를 이용하여 복수의 비디오들을 동시에 수신할 수 있다.

도 8을 참고하면, 동작(820)에서, 다양한 실시예들에 따른 전자 장치는 적어도 하나의 디스플레이(예, 도 1의 디스플레이(118)) 내에 수신된 복수의 비디오들을 표시할 수 있다. 동작(810)의 복수의 비디오들의 수신에 응답하여, 일 실시예에 따른 전자 장치는 적어도 하나의 디스플레이 내에서 복수의 비디오들 각각을 표시할 수 있다. 전자 장치가 복수의 디스플레이와 연결된 경우, 전자 장치는 연결된 복수의 디스플레이들 각각에 복수의 비디오들을 표시할 수 있다. 예를 들어, 전자 장치가 표시하고 있는 복수의 비디오들 각각의 영역은, 복수의 디스플레이들 각각에 대응할 수 있다. 복수의 디스플레이들이 비디오 월과 같이 서로 연접하여 배치된 상태에서, 전자 장치는 복수의 디스플레이들 각각의 표시 영역을 병합하여 관리할 수 있다. 전자 장치가 복수의 디스플레이들 각각의 표시 영역을 병합하여 관리하는 상태에서, 전자 장치는 단일 디스플레이 보다 큰 UI를 여러 디스플레이를 통해 표시할 수 있다. 전자 장치가 복수의 디스플레이들 각각의 표시 영역을 병합하여 관리하는 상태에서 표시하는 UI의 일 예는 도 9를 참고하여 상세히 설명한다.

도 8을 참고하면, 동작(830)에서, 다양한 실시예들에 따른 전자 장치는 복수의 비디오 중에서 제1 비디오에 대응하는 이벤트를 식별할 수 있다. 동작(820)의 복수의 비디오들 각각을 표시하는 상태에서, 일 실시예에 따른 전자 장치는 복수의 지정된 이벤트들 중에서 상기 복수의 비디오 중 제1 비디오에 대응하는 이벤트를 식별할 수 있다. 전자 장치가 이벤트를 식별하는 것은, 예를 들어, 도 3의 제1 뉴럴 네트워크(310) 및 제2 뉴럴 네트워크(320)를 이용하여 수행될 수 있다. 일 실시예에서, 전자 장치는 동작(830)에 기반하여 제1 비디오에 대응하는 이벤트를 식별하는 것과 독립적으로, 복수의 비디오 중에서 상기 제1 비디오와 구별되는 제2 비디오에 대응하는 이벤트를 식별할 수 있다. 예를 들어, 전자 장치는 복수의 비디오들 각각에 대응하는 이벤트를 식별하는 것을, 멀티 스레드에 기반하여 동시에 수행할 수 있다.

도 8을 참고하면, 동작(840)에서, 다양한 실시예들에 따른 전자 장치는 식별된 이벤트에 대응하는 외부 전자 장치로, 이벤트의 발생을 알리는 신호를 송신할 수 있다. 예를 들어, 동작(830)에 기반하여 식별된 이벤트가 지정된 이벤트에 대응하는 경우, 전자 장치는 식별된 이벤트와 관련된 외부 전자 장치로, 제1 비디오로부터 지정된 이벤트가 식별되었음을 알리는 신호를 송신할 수 있다. 상기 지정된 이벤트는 긴급 대응을 요구하는 이벤트(예, 응급 구조대 호출)를 포함할 수 있다. 동작(830)의 제1 비디오에 대응하는 이벤트의 식별에 응답하여, 전자 장치는 식별된 이벤트에 대응하는 외부 전자 장치로, 상기 제1 비디오에서 상기 식별된 이벤트의 발생을 알리는 신호를 송신할 수 있다. 상기 신호는 식별된 이벤트에 대응하는 동작(예, 응급 구조대 출동 요청)의 수행에 필요한 정보(예, 제1 비디오가 캡쳐된 위치, 시간 또는 제1 비디오의 적어도 일부 중 적어도 하나)를 포함할 수 있다. 전자 장치가 신호를 송신하는 동작은, 도 4 내지 도 6에서 설명한 동작과 유사하게 수행될 수 있다.

도 8을 참고하면, 동작(850)에서, 다양한 실시예들에 따른 전자 장치는 디스플레이 내에서 제1 비디오의 표시를 변경할 수 있다. 예를 들어, 동작(850)의 신호를 송신한 상태에서, 전자 장치는 적어도 하나의 디스플레이 내에서 표시되고 있는 복수의 비디오들 중에서 상기 제1 비디오가 표시되고 있는 영역의 크기를, 상기 복수의 비디오들 중에서 상기 제1 비디오와 구별되는 제2 비디오가 표시되고 있는 영역의 크기 이상으로 확대(enlarge)할 수 있다. 전자 장치가 제1 비디오가 표시되고 있는 영역의 크기를 확대하는 동작은 도 9를 참고하여 상세히 설명한다.

전자 장치가 제1 비디오의 표시를 변경하는 동작은 제1 비디오가 표시되고 있는 영역의 크기를 확대하는 상기 일 예에 제한되지 않는다. 예를 들어, 전자 장치는 제1 비디오가 표시되고 있는 영역의 밝기, 채도, 선명도 또는 색상 중 적어도 하나를 변경할 수 있다. 예를 들어, 전자 장치는 제1 비디오가 표시되고 있는 영역을 지정된 색상(예, 빨간색)의 도형(예, 사각형)으로 강조할 수 있다. 예를 들어, 전자 장치는 제1 비디오가 표시되고 있는 영역 내에 중첩하여(superimposed on) 지정된 아이콘(예, 동작(830)에서 식별된 이벤트에 대응하는 아이콘)을 표시할 수 있다.

도 8을 참고하면, 동작(860)에서, 다양한 실시예들에 따른 전자 장치(101)는 외부 전자 장치로부터, 이벤트를 처리한 결과를 수신할 수 있다. 외부 전자 장치로부터 이벤트를 처리한 결과를 수신하지 않은 상태에서(860-아니오), 전자 장치는 동작(850)에 기반하여 제1 비디오의 표시를 변경하는 상태를 유지할 수 있다. 외부 전자 장치는 동작(840)의 신호의 수신에 응답하여, 신호와 관련된 이벤트에 대응하는 동작(예, 긴급 대응을 요구하는 이벤트를 처리하기 위한 동작)을 수행할 수 있다. 상기 동작을 수행한 이후, 외부 전자 장치는 전자 장치로 동작을 수행한 결과를 포함하는 신호(예, 도 4의 신호(440))를 송신할 수 있다.

외부 전자 장치로부터 이벤트를 처리한 결과를 수신한 상태에서, 동작(870)에서, 다양한 실시예들에 따른 전자 장치(101)는 제1 비디오와 함께 수신된 결과를 저장할 수 있다. 동작(840)의 신호를 송신한 이후, 전자 장치는 외부 전자 장치로부터 상기 신호에 대응하는 액션을 수행한 결과를 나타내는 다른 신호(예, 도 4의 신호(440))를 수신할 수 있다. 다른 신호의 수신에 응답하여, 전자 장치는 메모리(예, 도 1의 메모리(114)) 내에 상기 제1 비디오, 동작(830)에서 식별된 상기 이벤트 및 상기 수신된 다른 신호에 포함된 상기 액션을 수행한 결과의 조합을 저장할 수 있다. 예를 들어, 상기 조합은 메모리의 데이터베이스(예, 도 1의 데이터베이스(115)) 내에 저장될 수 있다. 상기 조합을 저장한 이후, 전자 장치는 상기 메모리 내에 저장된 비디오의 조회와 관련된 사용자의 입력을 식별하는 것에 응답하여, 상기 적어도 하나의 디스플레이 내에, 상기 조합에 포함된 상기 제1 비디오, 상기 이벤트 또는 상기 액션을 수행한 결과 중 적어도 하나를 표시할 수 있다. 전자 장치가 비디오를 조회한 결과를 표시하는 것은, 예를 들어, 도 5 내지 도 7에서 설명한 동작들과 유사하게 수행될 수 있다.

이하에서는 도 9를 참고하여, 일 실시예에 따른 전자 장치가 긴급 대응을 요구하는 지정된 이벤트의 식별에 응답하여, 상기 이벤트에 대응하는 비디오의 표시를 변경하는 동작(예, 동작(850))을 수행하는 일 예를 설명한다.

도 9는 일 실시예에 따른 전자 장치가 복수의 디스플레이 내에 출력하는 UI의 일 예를 도시한 도면이다. 도 9의 전자 장치는 도 1 및/또는 도 4의 전자 장치(101)를 포함할 수 있다. 도 9의 디스플레이는 도 1의 디스플레이(118)를 포함할 수 있다. 도 9의 전자 장치가 출력하는 UI는, 예를 들어, 도 8의 동작들(820, 850) 중 적어도 하나와 관련될 수 있다.

도 9를 참고하면, 일 실시예에 따른 전자 장치가 복수의 디스플레이들(118-1 내지 118-9)에 복수의 카메라들로부터 수신되고 있는 복수의 비디오들을 표시하고 있는 상태(910)가 도시된다. 예를 들어, 전자 장치가 복수의 비디오들을 표시하고 있는 상태(910)는, 도 8의 동작(820)을 수행하는 상태에 대응할 수 있다. 예를 들어, 전자 장치가 9개의 디스플레이들(118-1 내지 118-9)와 연결된 경우, 전자 장치는 복수의 비디오들 중에서 디스플레이들(118-1 내지 118-9)의 개수에 대응하는 비디오들을, 디스플레이들(118-1 내지 118-9) 각각에 표시할 수 있다. 상태(910)에서, 전자 장치가 디스플레이들(118-1 내지 118-9)에 표시하고 있는 비디오들 각각의 크기는 디스플레이들(118-1 내지 118-9) 각각의 크기에 대응할 수 있다. 예를 들어, ID9의 식별자를 가지는 카메라로부터 수신된 비디오가 표시되고 있는 영역(912)의 크기는 디스플레이(118-9)의 크기에 대응할 수 있다. 전자 장치는 디스플레이들(118-1 내지 118-9) 각각에, 디스플레이 내에 표시되고 있는 비디오에 대응하는 카메라의 식별자를 중첩하여 표시할 수 있다.

전자 장치에 연결된 디스플레이의 개수가 전자 장치에 연결된 카메라의 개수 미만인 경우, 일 실시예에 따른 전자 장치는 지정된 주기에 따라 디스플레이들에 표시되고 있는 비디오들을 순환할 수 있다. 예를 들어, 도 9의 일 예와 같이 9개의 디스플레이들(118-1 내지 118-9)이 전자 장치에 연결되어 있고, 18개의 카메라들이 전자 장치에 연결된 경우, 전자 장치는 디스플레이들(118-1 내지 118-9) 각각에 두 개의 카메라를 할당할 수 있다. 전자 장치는 할당된 두 개의 카메라 중 어느 한 카메라에서 수신되고 있는 비디오를 표시하고, 지정된 주기 이후 다른 카메라에서 수신되고 있는 비디오를 표시할 수 있다.

복수의 디스플레이들(118-1 내지 118-9) 내에 복수의 비디오들을 표시하고 있는 상태(910)에서, 일 실시예에 따른 전자 장치는 수신되고 있는 복수의 비디오들 각각에 대응하는 이벤트를 인식하는 동작(예, 도 2의 동작(220), 도 4의 동작(410) 또는 도 8의 동작(830) 중 적어도 하나)을 수행할 수 있다. 도 9를 참고하면, 상태(910)에서, 전자 장치는 ID9의 식별자를 가지는 카메라로부터 수신되고 있는 비디오에 대응하는 이벤트가, 교통 사고 발생과 같이 긴급 대응을 요구하는 지정된 이벤트에 대응함을 식별할 수 있다.

인식된 이벤트가 지정된 이벤트(예, 긴급 대응을 요구하는 상황에 대응하는 이벤트)인 경우, 전자 장치는 복수의 디스플레이들(118-1 내지 118-9)에 표시되고 있는 비디오들 중 적어도 하나의 표시를 변경할 수 있다. 도 9를 참고하면, 전자 장치가 지정된 이벤트의 인식에 응답하여 비디오들 중 적어도 하나의 표시를 변경한 상태(920)가 도시된다. 도시된 상태(920)는, 전자 장치가 도 8의 동작(850)을 수행하는 상태에 대응할 수 있다. 도 9의 예시에서, ID9의 식별자를 가지는 카메라로부터 수신되고 있는 비디오로부터 교통 사고 발생에 대응하는 이벤트를 식별하는 것에 응답하여, 상태(910)에서 상태(920)로 진입할 수 있다. 상태(920)로 진입함에 따라, 전자 장치는 ID9의 식별자를 가지는 카메라로부터 수신되고 있는 비디오가 표시되고 있는 영역(922)의 크기를 확대할 수 있다. 확대된 영역(922)에 비디오를 표시함에 따라, 전자 장치의 사용자는 긴급 대응을 요구하는 지정된 이벤트의 발생을 보다 신속하게 알 수 있다.

지정된 이벤트의 인식에 응답하여, 일 실시예에 따른 전자 장치는 인식된 이벤트에 대응하는 외부 전자 장치로 신호를 송신할지 여부를 확인하기 위한 시각 요소를 표시할 수 있다. 도 9의 상태(920)를 참고하면, 교통 사고 발생과 관련된 지정된 이벤트의 인식에 응답하여, 전자 장치는 상기 이벤트에 대응하는 신호(예, 응급 구조 센터에 배치된 서버로 응급 구조 출동을 요청하는 신호)를 송신하기 이전에, 적어도 하나의 디스플레이 내에 신호의 송신을 확인하기 위한 윈도우(924)를 표시할 수 있다. 윈도우(924)는, 예를 들어, 인식된 이벤트와 관련된 비디오가 표시되고 있는 영역(922) 상에 중첩된 팝업-윈도우의 레이아웃을 가질 수 있다. 윈도우(924) 내에, 전자 장치는 신호의 송신을 확인하기 위한 텍스트(예, 응급 구조대 호출하시겠어요?) 및 사용자의 응답을 획득하기 위한 적어도 하나의 시각 요소(예, '예' 버튼 및/또는 '아니오' 버튼)을 표시할 수 있다. 상기 시각 요소와 관련된 사용자의 입력의 식별에 응답하여, 전자 장치는 외부 전자 장치로 상기 신호를 송신할 수 있다.

외부 전자 장치로 신호를 송신한 이후, 도 9의 상태(920)를 참고하면, 전자 장치는 신호를 송신하였음을 알리는 시각 요소(예, 응급 구조대를 호출하였음을 알리는 팝업-윈도우)를 더 표시할 수 있다. 외부 전자 장치로부터 이벤트에 대응하는 액션을 수행한 결과를 포함하는 신호(예, 도 4의 신호(440))를 수신한 상태에서, 전자 장치는 데이터베이스 내에 상기 결과를 저장할 수 있다. 도 9의 상태(920)에서, 외부 전자 장치로부터 응급 구조대의 호출 결과를 수신하는 것에 응답하여, 전자 장치는 수신된 호출 결과를, 데이터베이스 내에서 이벤트와 관련된 비디오가 저장된 영역 내에 저장할 수 있다. 예를 들어, 전자 장치는 데이터베이스 내에서 영역(922)에 표시되고 있는 ID9의 식별자를 가지는 카메라로부터 수신되고 있는 비디오가 저장된 레코드 및/또는 테이블 내에 수신된 호출 결과를 저장할 수 있다. 저장된 호출 결과는, 도 5의 일부분(540)과 같이, 비디오를 조회한 결과에 포함되어 사용자에게 출력될 수 있다.

다양한 실시예들에 따른 전자 장치는 외부에 배치된 하나 이상의 카메라들 각각에서 수신되고 있는 비디오들 각각에 대하여, 비디오의 적어도 일부분에서 캡쳐되고 있는 이벤트를 인식할 수 있다. 전자 장치는 비디오의 적어도 일부분 및 인식된 이벤트의 조합을, 데이터베이스 내에 저장할 수 있다. 상기 조합을 데이터베이스에 저장한 이후, 사용자로부터 비디오의 검색을 위한 텍스트를 수신하는 경우, 전자 장치는 수신된 텍스트 및 인식된 이벤트에 대응하는 텍스트를 비교하여, 텍스트에 대응하는 이벤트로 분류 및/또는 인식된 적어도 하나의 비디오를 검색할 수 있다.

일 실시예에 따른 전자 장치는 비디오로부터 지정된 이벤트(예, 교통 사고 발생과 같이 긴급 대응을 요구하는 이벤트)를 인식하는 것에 응답하여, 지정된 이벤트에 대응하는 외부 전자 장치로 이벤트의 발생을 알릴 수 있다. 외부 전자 장치는 이벤트 발생 알림에 응답하여, 이벤트와 관련된 동작을 수행할 수 있다. 전자 장치는 비디오 및 이벤트 사이의 유사도에 기반하여 외부 전자 장치로 이벤트의 발생을 알릴지 여부를 결정할 수 있다.

일 실시예에 따른 전자 장치는 실시간으로 수신되고 있는 비디오로부터 이벤트를 실시간으로 인식할 수 있다. 전자 장치는 실시간으로 이벤트를 인식한 결과를 출력할 수 있다. 예를 들어, 지정된 이벤트를 실시간으로 인식하는 경우, 전자 장치는 디스플레이 내에서 인식된 이벤트와 관련된 비디오의 표시를 변경할 수 있다.

일 실시예에 따른 전자 장치에서, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 비디오의 수신에 응답하여, 제1 프레임 레이트(frame rate)에 기반하여 상기 수신되고 있는 비디오에 포함된 하나 이상의 프레임을 포함하는 제1 프레임 셋(set)을 획득하고, 상기 비디오의 수신에 응답하여, 상기 제1 프레임 레이트와 구별되는 제2 프레임 레이트에 기반하여 상기 수신되고 있는 비디오에 포함된 하나 이상의 프레임을 포함하는 제2 프레임 셋을 획득하고, 상기 제1 프레임 셋 및 상기 제2 프레임 셋의 획득에 응답하여, 서로 구별되는 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크 각각의 입력 레이어들에 상기 제1 프레임 셋 및 상기 제2 프레임 셋을 입력하고, 상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크는 측선 연결(lateral connection)에 기반하여 결합됨, 상기 제1 프레임 셋 및 상기 제2 프레임 셋의 입력 이후에, 상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크 각각의 출력 레이어들에 기반하여, 상기 비디오의 적어도 일부분 및 상기 복수의 지정된 이벤트들 각각과의 유사도들(similarities)을 식별하고, 상기 유사도들의 식별에 응답하여, 상기 유사도들 중에서 가장 높은 유사도에 대응하는 이벤트, 상기 가장 높은 유사도 및 상기 비디오의 적어도 일부분을 상기 데이터베이스 내에 저장하도록 제어할 수 있다.

일 실시예에 따른 전자 장치에서, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 비디오의 수신에 응답하여, 상기 제1 프레임 레이트를 초과하는 상기 제2 프레임 레이트에 기반하여 상기 제2 프레임 셋을 획득하고, 상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크 각각의 입력 레이어들에 상기 제1 프레임 셋 및 상기 제2 프레임 셋을 입력한 상태에서(in a state that), 상기 제2 뉴럴 네트워크에 포함된 복수의 레이어들 사이에서 전달되는 신호 중 적어도 하나를, 상기 측선 연결을 통하여 상기 제1 뉴럴 네트워크에 포함된 복수의 레이어들 중 적어도 하나로 전달하도록 제어할 수 있다.

일 실시예에 따른 전자 장치는 디스플레이를 더 포함하고, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 디스플레이 내에, 상기 결과에 대응하는 상기 조합에 포함된 상기 이벤트, 상기 유사도 및 상기 비디오의 적어도 일부분의 썸네일(thumbnail) 중 적어도 하나를 포함하는 테이블을 표시하도록 제어할 수 있다.

일 실시예에 따른 전자 장치에서, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 테이블 내에, 상기 비디오의 적어도 일부분 및 상기 유사도에 기반하여 상기 이벤트와 관련된 외부 전자 장치와 통신한 결과를 더 표시하도록 제어할 수 있다.

일 실시예에 따른 전자 장치에서, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 정보의 획득에 응답하여, 상기 정보에 포함된 상기 이벤트와 관련된 외부 전자 장치를 식별하고, 및 상기 외부 전자 장치의 식별에 응답하여, 상기 통신 회로를 이용하여 상기 외부 전자 장치로, 상기 비디오의 적어도 일부분 및 상기 이벤트 중 적어도 하나를 포함하고, 상기 외부 전자 장치와 관련된 지정된 액션의 수행을 요청하는 신호를 송신하도록 제어할 수 있다.

일 실시예에 따른 전자 장치에서, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 외부 전자 장치로 상기 신호를 송신한 이후, 상기 외부 전자 장치로부터 상기 신호에 대응하여 상기 액션을 수행한 결과를 포함하는 다른 신호를 수신하고, 및 상기 다른 신호의 수신에 응답하여, 상기 데이터베이스 내에서 상기 비디오의 적어도 일부분에 대응하는 상기 조합 내에, 상기 수신된 다른 신호에 포함된 상기 액션을 수행한 결과를 저장하도록 제어할 수 있다.

일 실시예에 따른 전자 장치에서, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 비디오의 수신에 응답하여, 상기 비디오의 적어도 일부분에 캡쳐된 상황이 상기 복수의 지정된 이벤트들 각각에 대응하는지를 나타내는 복수의 유사도들을 획득하고, 상기 복수의 유사도들의 획득에 응답하여, 상기 복수의 유사도들 중에서 가장 높은 유사도에 기반하여, 상기 비디오의 적어도 일부분과 관련된 상기 정보를 획득하도록 제어할 수 있다.

일 실시예에 따른 전자 장치에서, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 복수의 비디오들의 수신에 응답하여, 상기 복수의 비디오들 각각에 포함된 복수의 프레임들을, 제1 프레임 레이트에 기반하여 프레임들을 인식하는 제1 뉴럴 네트워크의 입력 레이어에 입력하고, 상기 복수의 비디오들의 수신에 응답하여, 상기 복수의 비디오들 각각에 포함된 복수의 프레임들을, 상기 제1 프레임 레이트와 구별되는 제2 프레임 레이트에 기반하여 프레임들을 인식하는 제2 뉴럴 네트워크의 입력 레이어에 입력하고, 상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크는 측선 연결에 기반하여 결합됨, 상기 복수의 프레임들을 상기 제1 뉴럴 네트워크의 입력 레이어 및 상기 제2 뉴럴 네트워크의 입력 레이어에 입력한 이후에, 상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크 각각의 출력 레이어들에 기반하여, 상기 복수의 비디오들 및 상기 복수의 지정된 이벤트들 각각과의 유사도들을 식별하고, 상기 유사도들의 식별에 응답하여, 상기 유사도들 중에서 가장 높은 유사도에 대응하는 이벤트, 상기 가장 높은 유사도 및 상기 복수의 비디오 중 어느 하나를 상기 메모리 내에 저장하도록 제어할 수 있다.

일 실시예에 따른 전자 장치에서, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 신호를 송신한 이후, 상기 외부 전자 장치로부터 상기 신호에 대응하는 액션을 수행한 결과를 나타내는 다른 신호를 수신하고, 및 상기 다른 신호의 수신에 응답하여, 상기 메모리 내에 상기 제1 비디오, 상기 대응하는 이벤트 및 상기 수신된 다른 신호에 포함된 상기 액션을 수행한 결과의 조합을 저장하도록 제어할 수 있다.

일 실시예에 따른 전자 장치에서, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 조합을 저장한 이후, 상기 메모리 내에 저장된 비디오의 조회와 관련된 사용자의 입력을 식별하고, 상기 입력의 식별에 응답하여, 상기 적어도 하나의 디스플레이 내에, 상기 조합에 포함된 상기 제1 비디오, 상기 이벤트 및 상기 액션을 수행한 결과 중 적어도 하나를 표시하도록 제어할 수 있다.

일 실시예에 따른 전자 장치에서, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 신호를 송신한 상태에서, 상기 적어도 하나의 디스플레이 내에서 표시되고 있는 복수의 비디오들 중에서 상기 제1 비디오가 표시되고 있는 영역의 크기를, 상기 복수의 비디오들 중에서 상기 제1 비디오와 구별되는 제2 비디오가 표시되고 있는 영역의 크기 이상으로 확대(enlarge)하도록 제어할 수 있다.

일 실시예에 따른 전자 장치에서, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 제1 비디오가 표시되고 있는 영역의 크기를 확대한 상태에서, 상기 적어도 하나의 디스플레이 내에 상기 외부 전자 장치로 상기 신호를 송신하였음을 알리는 시각 요소(visual element)를 표시하도록 제어할 수 있다.

일 실시예에 따른 전자 장치에서, 상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가, 상기 신호를 송신하기 이전에, 상기 적어도 하나의 디스플레이 내에 상기 신호의 송신을 확인하기 위한(to confirm) 시각 요소를 표시하고, 및 상기 시각 요소와 관련된 사용자의 입력의 식별에 응답하여, 상기 외부 전자 장치로 상기 신호를 송신하도록 제어할 수 있다.

일 실시예에 따른 전자 장치의 방법에서, 상기 정보를 획득하는 동작은, 상기 비디오의 수신에 응답하여, 제1 프레임 레이트에 기반하여 상기 수신되고 있는 비디오에 포함된 하나 이상의 프레임을 포함하는 제1 프레임 셋을 획득하는 동작, 상기 비디오의 수신에 응답하여, 상기 제1 프레임 레이트와 구별되는 제2 프레임 레이트에 기반하여 상기 수신되고 있는 비디오에 포함된 하나 이상의 프레임을 포함하는 제2 프레임 셋을 획득하는 동작, 상기 제1 프레임 셋 및 상기 제2 프레임 셋의 획득에 응답하여, 서로 구별되는 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크 각각의 입력 레이어들에 상기 제1 프레임 셋 및 상기 제2 프레임 셋을 입력하는 동작, 상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크는 측선 연결에 기반하여 결합됨, 상기 제1 프레임 셋 및 상기 제2 프레임 셋의 입력 이후에, 상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크 각각의 출력 레이어들에 기반하여, 상기 비디오의 적어도 일부분 및 복수의 지정된 이벤트들 각각과의 유사도들을 식별하는 동작, 및 상기 유사도들의 식별에 응답하여, 상기 유사도들 중에서 가장 높은 유사도에 대응하는 이벤트, 상기 가장 높은 유사도 및 상기 비디오의 적어도 일부분을 상기 데이터베이스 내에 저장하는 동작을 더 포함할 수 있다.

일 실시예에 따른 전자 장치의 방법에서, 상기 전자 장치에 포함된 디스플레이 내에, 상기 결과에 대응하는 상기 조합에 포함된 상기 이벤트, 상기 정보 및 상기 비디오의 적어도 일부분의 썸네일 중 적어도 하나를 포함하는 테이블을 표시하는 동작을 더 포함할 수 있다.

일 실시예에 따른 전자 장치의 방법에서, 상기 표시하는 동작은, 상기 테이블 내에, 상기 비디오의 적어도 일부분 및 상기 유사도에 기반하여 상기 이벤트와 관련된 외부 전자 장치와 통신한 결과를 표시하는 동작을 더 포함할 수 있다.

일 실시예에 따른 전자 장치의 방법은, 상기 정보의 획득에 응답하여, 상기 정보에 포함된 상기 이벤트와 관련된 외부 전자 장치를 식별하는 동작 및 상기 외부 전자 장치의 식별에 응답하여, 상기 통신 회로를 이용하여 상기 외부 전자 장치로, 상기 비디오의 적어도 일부분 및 상기 이벤트 중 적어도 하나를 포함하고, 상기 외부 전자 장치와 관련된 지정된 액션의 수행을 요청하는 신호를 송신하는 동작을 더 포함할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

101: 전자 장치
112: 프로세서
114: 메모리
115: 데이터베이스
116: 통신 회로
118: 디스플레이
120: 카메라
130: 외부 전자 장치

Claims

삭제
전자 장치(electronic device)에 있어서,
통신 회로;
메모리; 및
상기 통신 회로 및 상기 메모리와 작동적으로 결합된(operably coupled to) 적어도 하나의 프로세서를 포함하고,
상기 메모리는, 복수의 인스트럭션들을 저장하고,
상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가,
상기 통신 회로를 이용하여, 상기 전자 장치와 구별되는 카메라에서 캡쳐되고 있는 비디오를 수신하고;
상기 비디오의 수신에 응답하여, 제1 프레임 레이트(frame rate)에 기반하여 상기 수신되고 있는 비디오에 포함된 하나 이상의 프레임을 포함하는 제1 프레임 셋(set)을 획득하고;
상기 비디오의 수신에 응답하여, 상기 제1 프레임 레이트와 구별되는 제2 프레임 레이트에 기반하여 상기 수신되고 있는 비디오에 포함된 하나 이상의 프레임을 포함하는 제2 프레임 셋을 획득하고;
상기 제1 프레임 셋 및 상기 제2 프레임 셋의 획득에 응답하여, 서로 구별되는 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크 각각의 입력 레이어들에 상기 제1 프레임 셋 및 상기 제2 프레임 셋을 입력하고, 상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크는 측선 연결(lateral connection)에 기반하여 결합됨;
상기 제1 프레임 셋 및 상기 제2 프레임 셋의 입력 이후에, 상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크 각각의 출력 레이어들에 기반하여, 상기 비디오의 적어도 일부분 및 상기 복수의 지정된 이벤트들 각각과의 유사도들(similarities)을 식별하고;
상기 유사도들의 식별에 응답하여, 상기 유사도들 중에서 가장 높은 유사도에 대응하는 이벤트, 상기 가장 높은 유사도 및 상기 비디오의 적어도 일부분의 조합을 데이터베이스 내에 저장하고;
상기 조합을 저장한 이후, 상기 데이터베이스에 저장된 비디오를 조회하기 위한 사용자의 입력을 식별하고; 및
상기 입력의 식별에 응답하여, 상기 데이터베이스에 저장된 상기 조합을 이용하여 상기 입력에 대응하는 비디오를 조회한 결과를 출력하도록 제어하는 전자 장치.
제2항에 있어서,
상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가,
상기 비디오의 수신에 응답하여, 상기 제1 프레임 레이트를 초과하는 상기 제2 프레임 레이트에 기반하여 상기 제2 프레임 셋을 획득하고;
상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크 각각의 입력 레이어들에 상기 제1 프레임 셋 및 상기 제2 프레임 셋을 입력한 상태에서(in a state that), 상기 제2 뉴럴 네트워크에 포함된 복수의 레이어들 사이에서 전달되는 신호 중 적어도 하나를, 상기 측선 연결을 통하여 상기 제1 뉴럴 네트워크에 포함된 복수의 레이어들 중 적어도 하나로 전달하도록 제어하는 전자 장치.
삭제
전자 장치(electronic device)에 있어서,
통신 회로;
메모리;
디스플레이; 및
상기 통신 회로 및 상기 메모리와 작동적으로 결합된(operably coupled to) 적어도 하나의 프로세서를 포함하고,
상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가,
상기 통신 회로를 이용하여, 상기 전자 장치와 구별되는 카메라에서 캡쳐되고 있는 비디오를 수신하고;
상기 비디오의 수신에 응답하여, 상기 비디오의 적어도 일부분과 관련된 정보를 획득하고, 상기 정보는 복수의 지정된 이벤트들 중에서 상기 비디오의 적어도 일부분에 대응하는 이벤트, 및 상기 이벤트 및 상기 일부분 사이의 유사도(similarity)를 포함함;
상기 정보의 획득에 응답하여, 상기 메모리에 기반하는 데이터베이스 내에 상기 비디오의 적어도 일부분 및 상기 정보의 조합을 저장하고;
상기 조합을 저장한 이후, 상기 데이터베이스에 저장된 비디오를 조회하기 위한 사용자의 입력을 식별하고;
상기 입력의 식별에 응답하여, 상기 데이터베이스에 저장된 상기 조합을 이용하여 상기 입력에 대응하는 비디오를 조회한 결과를 출력하고;
상기 디스플레이 내에, 상기 결과에 대응하는 상기 조합에 포함된 상기 이벤트, 상기 유사도 및 상기 비디오의 적어도 일부분의 썸네일(thumbnail) 중 적어도 하나를 포함하는 테이블을 표시하고; 및
상기 테이블 내에, 상기 비디오의 적어도 일부분 및 상기 유사도에 기반하여 상기 이벤트와 관련된 외부 전자 장치와 통신한 결과를 더 표시하도록 제어하는 전자 장치.
삭제
전자 장치(electronic device)에 있어서,
통신 회로;
메모리; 및
상기 통신 회로 및 상기 메모리와 작동적으로 결합된(operably coupled to) 적어도 하나의 프로세서를 포함하고,
상기 메모리는, 복수의 인스트럭션들을 저장하고,
상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가,
상기 통신 회로를 이용하여, 상기 전자 장치와 구별되는 카메라에서 캡쳐되고 있는 비디오를 수신하고;
상기 비디오의 수신에 응답하여, 상기 비디오의 적어도 일부분과 관련된 정보를 획득하고, 상기 정보는 복수의 지정된 이벤트들 중에서 상기 비디오의 적어도 일부분에 대응하는 이벤트, 및 상기 이벤트 및 상기 일부분 사이의 유사도(similarity)를 포함함;
상기 정보의 획득에 응답하여, 상기 메모리에 기반하는 데이터베이스 내에 상기 비디오의 적어도 일부분 및 상기 정보의 조합을 저장하고;
상기 정보의 획득에 응답하여, 상기 정보에 포함된 상기 이벤트와 관련된 외부 전자 장치를 식별하고; 및
상기 외부 전자 장치의 식별에 응답하여, 상기 통신 회로를 이용하여 상기 외부 전자 장치로, 상기 비디오의 적어도 일부분 및 상기 이벤트 중 적어도 하나를 포함하고, 상기 외부 전자 장치와 관련된 지정된 액션의 수행을 요청하는 신호를 송신하고;
상기 외부 전자 장치로 상기 신호를 송신한 이후, 상기 외부 전자 장치로부터 상기 신호에 대응하여 상기 액션을 수행한 결과를 포함하는 다른 신호를 수신하고; 및
상기 다른 신호의 수신에 응답하여, 상기 데이터베이스 내에서 상기 비디오의 적어도 일부분에 대응하는 상기 조합 내에, 상기 수신된 다른 신호에 포함된 상기 액션을 수행한 결과를 저장하도록 제어하는 전자 장치.
삭제
삭제
전자 장치(electronic device)에 있어서,
적어도 하나의 디스플레이;
통신 회로;
메모리; 및
상기 적어도 하나의 디스플레이, 상기 통신 회로 및 상기 메모리와 작동적으로 결합된(operably coupled to) 적어도 하나의 프로세서를 포함하고,
상기 메모리는, 복수의 인스트럭션들을 저장하고,
상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가,
상기 통신 회로를 이용하여, 상기 전자 장치와 구별되는 복수의 카메라들로부터 복수의 비디오들을 수신하고;
상기 복수의 비디오들의 수신에 응답하여, 상기 적어도 하나의 디스플레이 내에서 상기 복수의 비디오들 각각을 표시하고;
상기 복수의 비디오들의 수신에 응답하여, 상기 복수의 비디오들 각각에 포함된 복수의 프레임들을, 제1 프레임 레이트에 기반하여 프레임들을 인식하는 제1 뉴럴 네트워크의 입력 레이어에 입력하고;
상기 복수의 비디오들의 수신에 응답하여, 상기 복수의 비디오들 각각에 포함된 복수의 프레임들을, 상기 제1 프레임 레이트와 구별되는 제2 프레임 레이트에 기반하여 프레임들을 인식하는 제2 뉴럴 네트워크의 입력 레이어에 입력하고, 상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크는 측선 연결에 기반하여 결합됨;
상기 복수의 프레임들을 상기 제1 뉴럴 네트워크의 입력 레이어 및 상기 제2 뉴럴 네트워크의 입력 레이어에 입력한 이후에, 상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크 각각의 출력 레이어들에 기반하여, 상기 복수의 비디오들 및 상기 복수의 지정된 이벤트들 각각과의 유사도들을 식별하고;
상기 유사도들의 식별에 응답하여, 상기 유사도들 중에서 가장 높은 유사도에 대응하는 이벤트, 상기 가장 높은 유사도 및 상기 복수의 비디오 중 어느 하나를 상기 메모리 내에 저장하도록 제어하고;
상기 복수의 비디오들 각각을 표시하는 상태에서, 복수의 지정된 이벤트들 중에서 상기 복수의 비디오 중 제1 비디오에 대응하는 이벤트를 식별하고; 및
상기 제1 비디오에 대응하는 이벤트의 식별에 응답하여, 상기 식별된 이벤트에 대응하는 외부 전자 장치로, 상기 제1 비디오에서 상기 식별된 이벤트의 발생을 알리는 신호를 송신하도록 제어하는 전자 장치.
전자 장치(electronic device)에 있어서,
적어도 하나의 디스플레이;
통신 회로;
메모리; 및
상기 적어도 하나의 디스플레이, 상기 통신 회로 및 상기 메모리와 작동적으로 결합된(operably coupled to) 적어도 하나의 프로세서를 포함하고,
상기 메모리는, 복수의 인스트럭션들을 저장하고,
상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가,
상기 통신 회로를 이용하여, 상기 전자 장치와 구별되는 복수의 카메라들로부터 복수의 비디오들을 수신하고;
상기 복수의 비디오들의 수신에 응답하여, 상기 적어도 하나의 디스플레이 내에서 상기 복수의 비디오들 각각을 표시하고;
상기 복수의 비디오들 각각을 표시하는 상태에서, 복수의 지정된 이벤트들 중에서 상기 복수의 비디오 중 제1 비디오에 대응하는 이벤트를 식별하고; 및
상기 제1 비디오에 대응하는 이벤트의 식별에 응답하여, 상기 식별된 이벤트에 대응하는 외부 전자 장치로, 상기 제1 비디오에서 상기 식별된 이벤트의 발생을 알리는 신호를 송신하고;
상기 신호를 송신한 이후, 상기 외부 전자 장치로부터 상기 신호에 대응하는 액션을 수행한 결과를 나타내는 다른 신호를 수신하고; 및
상기 다른 신호의 수신에 응답하여, 상기 메모리 내에 상기 제1 비디오, 상기 대응하는 이벤트 및 상기 수신된 다른 신호에 포함된 상기 액션을 수행한 결과의 조합을 저장하도록 제어하는 전자 장치.
제11항에 있어서,
상기 복수의 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행될 때에, 상기 적어도 하나의 프로세서가,
상기 조합을 저장한 이후, 상기 메모리 내에 저장된 비디오의 조회와 관련된 사용자의 입력을 식별하고;
상기 입력의 식별에 응답하여, 상기 적어도 하나의 디스플레이 내에, 상기 조합에 포함된 상기 제1 비디오, 상기 이벤트 및 상기 액션을 수행한 결과 중 적어도 하나를 표시하도록 제어하는 전자 장치.
삭제
삭제
삭제
삭제
전자 장치(electronic device)의 방법에 있어서,
상기 전자 장치에 포함된 통신 회로를 이용하여, 상기 전자 장치와 구별되는 카메라에서 캡쳐되고 있는 비디오를 수신하는 동작;
상기 비디오의 수신에 응답하여, 상기 비디오의 적어도 일부분과 관련된 정보를 획득하는 동작, 상기 정보는 복수의 지정된 이벤트들 중에서 상기 비디오의 적어도 일부분에 대응하는 이벤트, 및 상기 이벤트 및 상기 일부분 사이의 유사도를 포함함;
상기 정보의 획득에 응답하여, 상기 전자 장치에 포함된 메모리에 기반하는 데이터베이스 내에 상기 비디오의 적어도 일부분 및 상기 정보의 조합을 저장하는 동작;
상기 조합을 저장한 이후, 상기 데이터베이스에 저장된 비디오를 조회하기 위한 사용자의 입력을 식별하는 동작; 및
상기 입력의 식별에 응답하여, 상기 데이터베이스에 저장된 상기 조합을 이용하여 상기 입력에 대응하는 비디오를 조회한 결과를 출력하는 동작을 포함하고,
상기 정보를 획득하는 동작은,
상기 비디오의 수신에 응답하여, 제1 프레임 레이트에 기반하여 상기 수신되고 있는 비디오에 포함된 하나 이상의 프레임을 포함하는 제1 프레임 셋을 획득하는 동작;
상기 비디오의 수신에 응답하여, 상기 제1 프레임 레이트와 구별되는 제2 프레임 레이트에 기반하여 상기 수신되고 있는 비디오에 포함된 하나 이상의 프레임을 포함하는 제2 프레임 셋을 획득하는 동작;
상기 제1 프레임 셋 및 상기 제2 프레임 셋의 획득에 응답하여, 서로 구별되는 제1 뉴럴 네트워크 및 제2 뉴럴 네트워크 각각의 입력 레이어들에 상기 제1 프레임 셋 및 상기 제2 프레임 셋을 입력하는 동작, 상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크는 측선 연결에 기반하여 결합됨;
상기 제1 프레임 셋 및 상기 제2 프레임 셋의 입력 이후에, 상기 제1 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크 각각의 출력 레이어들에 기반하여, 상기 비디오의 적어도 일부분 및 복수의 지정된 이벤트들 각각과의 유사도들을 식별하는 동작; 및
상기 유사도들의 식별에 응답하여, 상기 유사도들 중에서 가장 높은 유사도에 대응하는 이벤트, 상기 가장 높은 유사도 및 상기 비디오의 적어도 일부분을 상기 데이터베이스 내에 저장하는 동작을 더 포함하는 방법.
삭제
전자 장치(electronic device)의 방법에 있어서,
상기 전자 장치에 포함된 통신 회로를 이용하여, 상기 전자 장치와 구별되는 카메라에서 캡쳐되고 있는 비디오를 수신하는 동작;
상기 비디오의 수신에 응답하여, 상기 비디오의 적어도 일부분과 관련된 정보를 획득하는 동작, 상기 정보는 복수의 지정된 이벤트들 중에서 상기 비디오의 적어도 일부분에 대응하는 이벤트, 및 상기 이벤트 및 상기 일부분 사이의 유사도를 포함함;
상기 정보의 획득에 응답하여, 상기 전자 장치에 포함된 메모리에 기반하는 데이터베이스 내에 상기 비디오의 적어도 일부분 및 상기 정보의 조합을 저장하는 동작;
상기 조합을 저장한 이후, 상기 데이터베이스에 저장된 비디오를 조회하기 위한 사용자의 입력을 식별하는 동작;
상기 입력의 식별에 응답하여, 상기 데이터베이스에 저장된 상기 조합을 이용하여 상기 입력에 대응하는 비디오를 조회한 결과를 출력하는 동작; 및
상기 전자 장치에 포함된 디스플레이 내에, 상기 결과에 대응하는 상기 조합에 포함된 상기 이벤트, 상기 정보 및 상기 비디오의 적어도 일부분의 썸네일 중 적어도 하나를 포함하는 테이블을 표시하는 동작을 포함하고,
상기 표시하는 동작은,
상기 테이블 내에, 상기 비디오의 적어도 일부분 및 상기 유사도에 기반하여 상기 이벤트와 관련된 외부 전자 장치와 통신한 결과를 표시하는 동작을 더 포함하는 방법.
삭제