KR102496734B1 - 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템 및 이를 이용한 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템 - Google Patents

Abstract

본 발명의 일 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템은 링 토폴로지(Ring Topology) 형태로 구성된 복수 개의 딥러닝 칩을 포함하는 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템에 관한 것으로, 외부장치로부터부터 스트리밍 데이터를 직접 전달받는 제1 딥러닝 칩, 외부의 클라우드 또는 서버와 연결되는 제N 딥러닝 칩 및 상기 제1 딥러닝 칩과 상기 제N 딥러닝 칩 사이를 직렬로 연결하는 N-2개의 딥러닝 칩으로 구성된 복수 개의 딥러닝 칩; 외부의 LAN 환경, 상기 제1 딥러닝 칩 및 하기 제2-3 포트 스위치 사이의 연결을 제어하는 제1 3-포트 스위치; 및 외부의 WAN 환경, 제N 딥러닝 칩 및 상기 제1 3-포트 스위치 사이의 연결을 제어하는 제2 3-포트 스위치;를 포함하고, 상기 복수 개의 딥러닝 칩 중 상호 인접하는 딥러닝 칩 간에는 딥러닝 연산에 필요한 데이터 및 가중치 중 적어도 하나를 표준 네트웍 인터페이스를 통해 패킷 전송 방식으로 전송한다.

Description

분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템 및 이를 이용한 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템{A DEEP LEARNING PROCESSING ACCELERATION SYSTEM FOR STREAMING DATA BASED ON PACKET TRANSMISSIONG IN A DISTRIBUTED ENVIRONMENT AND AN ANOMALY DETECTION SYSTEM USING THE SAME}

본 발명은 고속의 동영상 스트리밍 데이터의 딥러닝 처리 가속화에 대한 시스템에 관한 것으로 구체적으로는 링 토폴로지(Ring Topology)형태의 메시지 패싱(Message Passing) 방법을 사용하고 복수 개의 딥러닝 칩(MPDLC: Message Passing Deep Learning Chip) 또는 딥러닝 처리 가속화 모듈을 고속 serial 인터페이스를 이용하여 링을 구성하여 딥러닝 연산 가속화를 구현하는 시스템에 관한 것이다.

고속의 스트리밍 동영상 입력에서의 이동 객체인 사람을 인식하고 또한 비정상 상태를 탐지하는 시스템의 경우 카메라로 촬영된 영상에서의 사람의 비정상 행동 탐지의 정교성을 향상시키기 위하여 기계학습을 활용하는 방안을 고려할 수 있으며, 이러한 머신러닝을 위한 알고리즘과 방법론이 최근 다양하게 제시되고 있다.

기계학습에서 필요한 것은 무엇보다도 많은 데이터를 이용하여 학습을 수행하는 것이며, 데이터를 확보하기 위해서는 수많은 데이터들 중에서 학습에 적합한 데이터를 선정하고 이를 학습의 결과값과 연결시키는 것이 필요하다.

이러한 딥러닝 연산을 위해서는 일반적으로 GPU(Graphics Processing Unit) 및 클라우드 환경을 활용하는데, 이 경우 전력소모량도 많고 고가의 장비를 사용해야 하는 문제점이 있으며, 이로 인하여 IoT 및 센서단의 저전력을 필요로 하고 낮은 성능의 연산장치를 가지고 있는 에지 응용분야에는 적용하기 어려움이 있다.

따라서 에지 디바이스에서 딥러닝 가속화 기술을 구현하는 경우 유연한 확장성 및 경제성을 갖춘 저전력의 적용이 가능한 기술이 요구되고 있으며, 또한 유지보수 및 구축비용을 절감하기 위한 표준인터페이스의 필요성이 대두되고 있다.

한편 하기 선행기술문헌은 시뮬레이션 시스템과 연동하거나 시스템 성능 및 유저 인터페이스가 개선된 언어지능 모듈 실시간 분산처리 최적화 시스템 및 방법에 관한 내용만 개시하고 있을 뿐 본 발명의 기술적 요지는 개시하고 있지 않다.

대한민국 공개특허공보 제10-2018-0052890호

본 발명의 일 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템은 전술한 문제점을 해결하기 위하여 다음과 같은 해결과제를 목적으로 한다.

딥러닝 연산에 필요한 데이터와 가중치를 표준 네트웍 인터페이스(1G-Ethernet, 등등)를 통해 패킷 전송 방식으로 전송하여 기존 시스템과의 편리성 및 정합성을 높이고 유지보수 및 설치 비용을 절감할 수 있는 딥러닝 처리 가속화 시스템을 제공하는 것이다.

또한, 딥러닝 연산에 필요한 데이터와 가중치를 여러 모듈에 분산저장 및 분산처리를 함으로써 응용분야에 따라 많은 연산량을 요구하는 시스템에는 여러 딥러닝 모듈을 사용하여 분산처리를 수행하고 네트웍 인터페이스(1G-Ethernet, 등등)를 통해 여러 모듈간 제어 정보 및 데이터 전송을 수행함으로써 확장성을 높일 수 있는 딥러닝 처리 가속화 시스템을 제공하는 것이다.

아울러, 상술한 딥러닝 처리 가속화 시스템을 사람의 이상상태 탐지 시스템에 적용함으로써 인간의 이상상태를 정확하게 탐지할 수 있는 딥러닝 처리 가속화 시스템 및 이를 이용한 이상상태 탐지 시스템을 제공하는 것이다.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해되어 질 수 있을 것이다.

본 발명의 일 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템은 링 토폴로지(Ring Topology) 형태로 구성된 복수 개의 딥러닝 칩을 포함하는 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템에 관한 것으로, 외부장치로부터부터 스트리밍 데이터를 직접 전달받는 제1 딥러닝 칩, 외부의 클라우드 또는 서버와 연결되는 제N 딥러닝 칩 및 상기 제1 딥러닝 칩과 상기 제N 딥러닝 칩 사이를 직렬로 연결하는 N-2개의 딥러닝 칩으로 구성된 복수 개의 딥러닝 칩; 외부의 LAN 환경, 상기 제1 딥러닝 칩 및 하기 제2 3-포트 스위치 사이의 연결을 제어하는 제1 3-포트 스위치; 및 외부의 WAN 환경, 제N 딥러닝 칩 및 상기 제1 3-포트 스위치 사이의 연결을 제어하는 제2 3-포트 스위치;를 포함하고, 상기 복수 개의 딥러닝 칩 중 상호 인접하는 딥러닝 칩 간에는 딥러닝 연산에 필요한 데이터 및 가중치 중 적어도 하나를 표준 네트웍 인터페이스를 통해 패킷 전송 방식으로 전송한다.

상기 각각의 딥러닝 칩은, 상기 스트리밍 데이터를 감지하고 이를 전처리하는 전처리 엔진; 상기 전처리 엔진으로부터 전달받은 전처리 데이터에 기초하여 딥러닝을 수행하는 딥러닝 프로세스 유닛; 전단의 딥러닝 칩과 제어정보, 명령어, 데이터 및 가중치 정보 중 적어도 하나의 송수신을 위하여 마련된 제1 이더넷 스위치 포트; 후단의 딥러닝 칩과 제어정보, 명령어, 데이터 및 가중치 정보 중 적어도 하나의 송수신을 위하여 마련된 제2 이더넷 스위치 포트; 및 상기 전처리 엔진, 딥러닝 프로세스 유닛, 제1 이더넷 스위치 포트 및 제2 이더넷 스위치 포트 중 적어도 하나를 제어하는 마이크로 컨트롤러 유닛;을 포함하는 것이 바람직하다.

상기 각각의 딥러닝 칩은, 상기 제1 이더넷 스위치 포트를 통해 수신된 압축 데이터 중 가중치 정보의 압축을 풀은 후 저장하는 제1 인버퍼; 및 상기 딥러닝 프로세스 유닛이 연산한 가중치 정보를 저장한 후 이를 압축하여 상기 제2 이더넷 스위치 포프로 전달하는 제2 인버퍼;를 더 포함하는 것이 바람직하다.

상기 각각의 딥러닝 칩에서 연산한 가중치 정보를 저장하기 위하여 각각의 딥러닝 칩과 각각 연결되는 싱글 포트 램;을 더 포함하고, 상기 각각의 딥러닝 칩은 상기 싱글 포트 램을 제어하기 위한 제1 메모리 컨트롤러를 더 포함하는 것이 바람직하다.

상호 인접한 2개의 딥러닝 칩에서 연산한 가중치 정보를 저장하기 위하여 상호 인접한 2개의 딥러닝 칩 사이에 구성되는 듀얼 포트 램; 및 상기 제1 딥러닝 칩 및 제N 딥러닝 칩과 각각 연결되는 싱글 포트 램;을 더 포함하고, 상기 각각의 딥러닝 칩은 제1 메모리 컨트롤러 및 제2 메모리 컨트롤러를 더 포함하되, 상기 듀얼 포트 램은 상호 인접한 2개의 딥러닝 칩 중 전단의 딥러닝 칩의 제2 메모리 컨트롤러 및 후단의 딥러닝 칩의 제1 메모리 컨트롤러에 의하여 제어되고, 상기 싱글 포트 램은 상기 제1 딥러닝 칩의 제1 메모리컨트롤러 또는 제N 딥러닝 칩의 제2 메모리컨트롤러에 의하여 제어되는 것이 바람직하다.

상호 인접한 2개의 딥러닝 칩에서 연산한 가중치 데이터를 저장하기 위하여 상호 인접한 2개의 딥러닝 칩 사이에 구성되는 제1 싱글 포트 램; 상기 제1 싱글 포트 램을 제어하는 램 제어 스위치; 상기 제1 딥러닝 칩 및 제N 딥러닝 칩과 각각 연결되는 제2 싱글 포트 램;을 더 포함하고, 상기 각각의 딥러닝 칩은 제1 메모리 컨트롤러 및 제2 메모리 컨트롤러를 더 포함하되, 상기 램 제어 스위치는 상호 인접한 2개의 딥러닝 칩 중 전단의 딥러닝 칩의 제2 메모리 컨트롤러 및 후단의 딥러닝 칩의 제1 메모리 컨트롤러에 의하여 제어되고, 상기 두 개의 제2 싱글 포트 램은 각각 상기 제1 딥러닝 칩의 제1 메모리 컨트롤러 및 제N 딥러닝 칩의 제2 메모리컨트롤러에 의하여 제어되는 것이 바람직하다.

본 발명의 일 실시예에 따른 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템은 복수의 위치에 설치되는 복수 개의 카메라; 상기 카메라에서 획득한 영상을 전달받되, 링 토폴로지(Ring Topology) 형태로 구성된 복수 개의 딥러닝 처리 가속화 모듈; 상기 복수 개의 딥러닝 처리 가속화 모듈 간에 딥러닝 연산에 필요한 데이터 및 가중치 중 적어도 하나를 표준 네트웍 인터페이스를 통해 패킷 전송 방식으로 전송하는 제1 통신라인; 상기 복수 개의 딥러닝 처리 가속화 모듈 중 어느 하나의 딥러닝 처리 가속화 모듈과 외부의 클라우드 서버와 통신을 수행하는 제2 통신라인;을 포함하고, 상기 딥러닝 처리 가속화 모듈 각각은, 외부로부터부터 스트리밍 데이터를 직접 전달받는 제1 딥러닝 칩, 외부의 클라우드 또는 서버와 연결되는 제N 딥러닝 칩 및 상기 제1 딥러닝 칩과 상기 제N 딥러닝 칩 사이를 직렬로 연결하는 N-2개의 딥러닝 칩으로 구성된 복수 개의 딥러닝 칩;을 포함한다.

상기 딥러닝 처리 가속화 모듈은, 상기 각각의 카메라에서 획득한 영상에서 사람의 얼굴을 인식하고, 인식된 사람의 얼굴에서 두 눈을 추출하여 눈의 상태에 기초하여 사람의 이상상태를 탐지하는 것이 바람직하다.

상기 딥러닝 처리 가속화 모듈은, 상기 카메라로부터 획득된 영상의 히스토그램 및 조명 정보를 분석하여 저조도 영역에 톤-매핑 기법을 적용하여 상기 영상의 화질을 개선하는 것이 바람직하다.

상기 딥러닝 처리 가속화 모듈의 이상상태 탐지 결과에 기초하여 경고 알람신호를 생성하는 경고모듈;을 더 포함하는 것이 바람직하다.

본 발명의 일 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템은 딥러닝 연산에 필요한 데이터와 가중치를 표준 네트웍 인터페이스(1G-Ethernet, 등등)를 통해 패킷 전송 방식으로 전송함으로써 표준화 및 경량화를 구현할 수 있으며, 이를 통한 유지비용 및 구축비용을 절감할 수 있는 효과가 있다.

또한, 딥러닝 처리 가속화 모듈을 고속 serial 인터페이스를 이용하여 링 토폴로지를 구성함으로써 용이한 확장성을 담보할 수 있으며, 링 토폴로지를 통한 피드백(Feedback), 피드포워드(Feedforward) 및 피드스루(Feedthrough) 기능을 간단히 구현함으로써 유연성이 있는 딥러닝 가속화 시스템을 제공할 수 있는 효과가 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해되어질 수 있을 것이다.

도 1은 본 발명의 제1 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템을 간략히 도시한 블록도이다.
도 2는 본 발명의 제2 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템을 간략히 도시한 블록도이다.
도 3은 본 발명의 제3 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템을 간략히 도시한 블록도이다.
도 4는 본 발명의 제4 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템을 간략히 도시한 블록도이다.
도 5는 본 발명에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템에서 PHY(물리계층)를 활용한 실시예를 도시한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템에서 멀티 로케이션에서의 스트리밍 동영상을 동시에 딥러닝 처리하기 위한 실시예를 도시한 블록도이다.
도 7은 딥러닝 네트워크의 구성도이다.
도 8은 딥러닝 추론시스템을 도시한 도면이다.
도 9는 칩간 분산화 및 파이프라인의 실행에 대하여 설명하기 위한 블록도이다.
도 10 내지 12는 커넥터를 이용하여 원거리 보드링(Board Ring) 딥러닝 가속화 시스템을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템의 구성을 간략히 도시한 도면이다.
도 14 및 도 15는 본 발명의 일 실시예에 따른 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템의 구체적인 기능을 설명하기 위한 도면이다.

첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

이하 도 1 내지 도 12를 참조하여 본 발명에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템의 다양한 실시예에 대하여 설명하도록 한다.

본 발명의 제1 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템(10)은, 도 1에 도시된 바와 같이 구체적으로 복수 개의 딥러닝 칩(100), 제1 3-포트 스위치(50) 및 제2 3-포트 스위치(60)를 포함하도록 구성된다.

복수 개의 딥러닝 칩(100)은 시리얼 인터페이스를 통해 링 토폴로지(Ring Topology) 형태로 연결되는데, CCTV 및 카메라 등의 외부장치(20)로부터 스트리밍 데이터를 직접 전달받는 제1 딥러닝 칩(100-1), 외부의 클라우드 또는 서버(40)와 연결되는 제N 딥러닝 칩(100-N) 및 제1 딥러닝 칩(100-1)과 제N 딥러닝 칩(100-N) 사이를 직렬로 연결하는 N-2개의 딥러닝 칩으로 구성된다.

제1 3-포트 스위치(50)는 외부의 LAN 환경(30), 제1 딥러닝 칩(100-1) 및 제2 3-포트 스위치(60) 간의 연결을 제어하는 기능을 수행하며, 제2 3-포트 스위치(60)는 외부의 WAN 환경(40), 제N 딥러닝 칩(100-N) 및 제1 3-포트 스위치(60) 간의 연결을 제어하는 기능을 수행한다.

특히, 제2 3-포트 스위치(60)는 WAN 연결부를 통하여 서버 및 클라우드 연결되어 실시간 Training 및 Inference feedback path를 구성하여 입력되는 동영상을 통한 training을 수행하고 다시 그 결과치(가중치)를 단말(에지)에서 inference에 적용할 수 있게 된다.

특히 복수 개의 딥러닝 칩(100) 중 상호 인접하는 딥러닝 칩 간에는 딥러닝 연산에 필요한 데이터 및 가중치 중 적어도 하나를 RGMII(Reduced Gigabit Media Independent Interface) 등의 표준 네트웍 인터페이스를 통해 패킷 전송 방식으로 전송하도록 구성된다.

상기와 같은 구조를 활용하여 간단한 구조의 딥러닝 연산은 단일 칩 내에서 처리하고 좀 더 복잡한 연산은 멀티 칩으로 구현할 수 있게 된다.

특히 본 발명의 제1 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템에서의 각각의 딥러닝 칩은, 도 1에 도시된 바와 같이 전처리 엔진(110), 딥러닝 프로세스 유닛(120), 제1 이더넷 스위치 포트(131), 제2 이더넷 스위치 포트(132), 마이크로 컨트롤러 유닛(160), 제1 인버퍼(141) 및 제2 인버퍼(142)를 포함하도록 구성된다.

전처리 엔진(110)은 스트리밍 입력 동영상을 먼저 전처리(Pre-Processing)하여 후술할 딥러닝 프로세스 유닛(120)의 연산량을 감소시키고, 입력되는 동영상에 따라 실시간으로 향후 수행하여야 할 딥러닝 가속화 방법을 결정하는 기능을 수행한다.

딥러닝 프로세스 유닛(120)은 전처리 엔진(110)으로부터 전달받은 전처리 데이터에 기초하여 딥러닝 연산을 진행하는 기능을 수행한다.

제1 이더넷 스위치 포트(131)는 Ring Topology를 구현하고, 전단의 딥러닝 칩(100)과 데이터 및 가중치 중 적어도 하나의 송수신을 위한 기능을 수행하고, 제2 이더넷 스위치 포트(132) 또한 Ring Topology를 구현하되, 후단의 딥러닝 칩과 데이터 및 가중치 중 적어도 하나의 송수신을 위한 기능을 수행한다.

마이크로 컨트롤러 유닛(160)은 상술한 전처리 엔진(110), 딥러닝 프로세스 유닛(120), 제1 이더넷 스위치 포트(131) 및 제2 이더넷 스위치 포트(132) 중 적어도 하나를 제어하는 기능을 수행한다.

제1 인버퍼(141)는 제1 이더넷 스위치 포트(131)를 통해 수신된 데이터 중 특히 가중치(Weight)를 저장하는 기능을 수행하며, 제2 인버퍼(142)는 딥러닝 칩(100)에서의 연산 이후 제2 이더넷 스위치 포트(132)로 전달될 데이터, 특히 가중치(Weight)를 저장하는 기능을 수행한다.

여기에서 제1 인버퍼(141) 및 제2 인버퍼(142)는 딥러닝 칩(100) 내부에 포함되는 SRAM 또는 Embedded Flash 메모리인 것이 바람직하다.

특히 제1 인버퍼(141) 및 제2 인버퍼(142)의 크기를 줄이기 위해서 compression 및 decompression을 사용할 수 있으며, 구체적으로 제1 인버퍼(141)에는 전단의 딥러닝 칩(100)에서 전달받은 압축 데이터를 푸는 decompression이 수행될 수 있으며, 제2 인버퍼(142)에서는 딥러닝 프로세스 유닛(120)에서 연산이 완료되어 후단의 딥러닝 칩(100)으로 전달되어야 할 데이터를 압축하는 compression이 수행되는 것이 바람직하다.

아울러, 제1 인버퍼(141) 및 제2 인버퍼(142)는 딥러닝 처리를 수행하는 각 단계에서 산출된 여러 개의 가중치 중 한개를 선택할 수 있도록 프리페치(Pre-Fetch) 구조를 구비하며, 이를 통해 외부 동영상의 Pre-Processing 결과에 따라 각 단계에서의 최적의 가중치 Set를 선택할 수 있게 된다.

상술한 본 발명의 제1 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템은 딥러닝 칩(100)에 연결되는 별도의 인메모리 없이 가속화 시스템의 구현이 가능하므로 시스템 구조를 단순화할 수 있으며 경제성을 구현할 수 있다는 장점이 있다.

이하, 도 2를 참조하여 본 발명의 제2 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템에 대하여 설명하도록 한다.

본 발명의 제2 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템은 본 발명의 제1 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템에서 제1 인버퍼(141) 및 제2 인버퍼(142) 대신 각각의 딥러닝 칩(100)과 연결되는 싱글 포트 램(200) 및 제1 메모리 컨트롤러(151)의 구성을 구비한다.

이는 좀 더 복잡한 딥러닝 연산을 지원하기 위하여 딥러닝 칩(100)과는 별도로 배치되는 인메모리를 활용하는 것으로, 싱글 포트 램(200)은 각각의 딥러닝 칩(100)에서 연산한 데이터를 저장하기 위하여 각각의 딥러닝 칩과 각각 연결되는 구성이며, 제1 메모리 컨트롤러(151)는 싱글 포트 램(200)을 제어하기 위한 구성이다.

상기와 같은 시스템 구조에서는 모든 데이터를 싱글 포트 램(200)에 저장하는 구조이므로 딥러닝 칩(100)간 전송 데이터가 많지 않은 경우 적합하며 필요 시점에 제1 이더넷 스위치 포트(131) 및 제2 이더넷 스위치 포트(132)를 통해서 딥러닝 칩(100)에 제어정보 및 명령어 및 데이터를 전송한다.

이를 통하여 최소지연시간으로 파이프라인화된 실시간적인 딥러닝 연산 가속화 시스템을 구현할 수 있으며, 이는 후술할 본 발명의 제3 실시예 및 제4 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템에서도 그대로 적용될 수 있다.

이하, 도 3을 참조하여 본 발명의 제3 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템에 대하여 설명하도록 한다.

본 발명의 제3 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템은 본 발명의 제2 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템과는 다르게 듀얼 포트 램(300)이 적용된다.

듀얼 포트 램(300)은 상호 인접한 2개의 딥러닝 칩(100)에서 연산한 가중치 정보를 저장하기 위하여 상호 인접한 2개의 딥러닝 칩(100) 사이에 구성된다.

아울러, 각각의 딥러닝 칩(100)은 제1 메모리 컨트롤러(151) 및 제2 메모리 컨트롤러(152)를 포함하며, 듀얼 포트 램(300)은 상호 인접한 2개의 딥러닝 칩(100) 중 전단의 딥러닝 칩의 제2 메모리 컨트롤러(152) 및 후단의 딥러닝 칩(100)의 제1 메모리 컨트롤러(151)에 의하여 제어된다.

한편, 제1 3-포트 스위치(50)와 연결되는 최전단의 딥러닝 칩인 제1 딥러닝 칩(100-1)의 경우 전단의 딥러닝 칩이 존재하지 않으므로 제1 딥러닝 칩(100-1)과 연결되는 싱글 포트 램(200)이 구비되며, 이러한 싱글 포트 램(200)은 제1 딥러닝 칩(100-1)의 제1 메모리 컨트롤러(151)에 의하여 제어된다.

마찬가지로 제2 3-포트 스위치(60)와 연결되는 최후단의 딥러닝 칩인 제N 딥러닝칩(100-N)의 경우 후단의 딥러닝 칩이 존재하지 않으므로 제N 딥러닝 칩(100-N)과 연결되는 싱글 포트 램(200)이 구비되며, 이러한 싱글 포트 램(200)은 제N 딥러닝칩(100-N)의 제2 메모리 컨트롤러(152)에 의하여 제어된다.

이하 도 4를 참조하여 본 발명의 제4 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템에 대하여 설명하도록 한다.

본 발명의 제4 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템은 상술한 본 발명의 제3 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템에서의 상호 인접한 2개의 딥러닝 칩(100) 사이에 구성되는 듀얼 포트 램(300) 대신 싱글 포트 램 및 램 제어 스위치를 포함하도록 구성된다.

구체적으로 본 발명의 제4 실시예에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템은 제1 싱글 포트 램(210), 램 제어 스위치(211) 및 제2 싱글 포트 램(220)을 포함하도록 구성된다.

제1 싱글 포트 램(210)은 상호 인접한 2개의 딥러닝 칩(100)에서 연산한 가중치 데이터를 저장하기 위하여 상호 인접한 2개의 딥러닝 칩(100) 사이에 형성되는 구성이다.

램 제어 스위치(211)는 제1 싱글 포트 램(210)을 제어하는 구성이며, 제2 싱글 포트 램(220)은 제1 딥러닝 칩(100) 및 제N 딥러닝 칩과 각각 연결되는 구성이다.

아울러, 각각의 딥러닝 칩(100)은 제1 메모리 컨트롤러(151) 및 제2 메모리 컨트롤러(152)를 포함하는데, 램 제어 스위치(211)는 상호 인접한 2개의 딥러닝 칩(100) 중 전단의 딥러닝 칩의 제2 메모리 컨트롤러(152) 및 후단의 딥러닝 칩의 제1 메모리 컨트롤러(151)에 의하여 제어되며, 램 제어 스위치(211)에 의하여 제1 싱글 포트 램(210)이 제어된다.

또한 2개의 제2 싱글 포트 램(220) 중 최전단의 딥러닝 칩인 제1 딥러닝 칩(100-1)과 연결되는 제2 싱글 포트 램(220)은 제1 딥러닝 칩(100-1)의 제1 메모리 컨트롤러(151)에 의하여 제어되고, 제N 딥러닝 칩(100-n)과 연결되는 제2 싱글 포트 램(220)은 제N 딥러닝 칩(100-n_의 제2 메모리 컨트롤러(152)에 의하여 제어된다.

한편, 본 발명에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템은 각 딥러닝 칩간 데이터 전송을 RGMII(Reduced Gigabit Media Independent Interface) 등의 표준 네트웍 인터페이스를 통해 패킷 전송 방식으로 전송하도록 구성될 수 있으나, 원거리 데이터 전송시에는 도 5에 도시된 바와 같이 PHY(물리계층)를 활용하여 칩링을 구성하는 것도 가능하다.

도 6은 상술한 여러 실시예의 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템을 하나의 딥러닝 처리 가속화 모듈(10)로 구성하고 각각의 딥러닝 처리 가속화 모듈마다 CCTV 및 카메라 등의 외부장치(20)가 촬영한 영상을 받아서 멀티 로케이션에서 딥러닝 가속화를 구형하는 시스템이 도시되어 있다.

각각의 딥러닝 처리 가속화 모듈(10)에서는 링 토폴로지 구조로 연결된 복수 개의 딥러닝 칩에 의하여 분산 딥러닝 가속화 처리를 수행하지만, 다른 딥러닝 처리 가속화 모듈(10)의 입력 스트리밍 동영상과의 상관관계의 처리를 위해 하나의 딥러닝 처리 가속화 모듈(10)의 결과치가 다음 딥러닝 처리 가속화 모듈(10) 측으로 전달된다.

한편, 도 7에 도시된 바와 같이 딥러닝 네트워크들은 여러가지 컴포넌트의 조합으로 구성되어 있는데, 각각의 컴포넌트들은 많은 양의 계산을 필요로 하기 때문에 딥러닝 네트워크가 복잡한 구조를 가질 경우 단일 칩만으로 구현하는데 한계가 있는데, 본 발명에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템은 딥러닝 칩 간 분산화 알고리즘을 통하여 상술한 한계를 극복할 수 있다.

도 8에는 일반적인 딥러닝 인식 시스템의 구조를 도시하고 있는데, 이러한 구조를 도 8과 같이 3가지 태스트(TASK)로 분리하여 구분할 수 있으며, 분리된 3개의 태스크는 도 9에 도시된 바와 같이 표준 인터페이스와 인메모리에 연결된 딥러닝 칩(100)에 분산된다.

도 9를 참조하여 본 발명에 따른 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템을 좀 더 구체적으로 설명해보면, 제1 딥러닝 칩(100-1)은 외부 장치(20)로부터 입력된 이미지를 처리하는 작업 및 딥러닝 연산에 해당하는 태스크 1의 작업을 수행한다.

태스크 1의 작업이 끝나면 태스크 1에서 계산된 결과는 인메모리인 듀얼 포트 램(300)으로 전송되고, 태스크 1이 완료된 것을 표준 인터페인스인 제2 이더넷 스위치 포트(131)를 통하여 제2 딥러닝 칩(100-2)에게 알려준다.

제2 딥러닝 칩(100-2)은 제1 딥러닝 칩(100-1)에서 처리된 태스크 1의 결과를 듀얼 포트 램(300)을 통해 전송 받은 후 제2 딥러닝 칩(100-2)은 태스크 2를 실행하고 완료가 되면 듀얼 포트 램(300)을 통해 제3 딥러닝 칩(100-3)으로 태스크 2의 처리 결과를 전송한다.

제3 딥러닝 칩(100-3)은 제2 딥러닝 칩(100-2)으로부터 전달받은 태스크 2의 결과를 이용하여 최종 태스크인 태스크 3을 실행하고 추론 결과를 이더넷 스위치 포트(132)를 통해 서버로 리포트한다.

이후 테스트 1, 테스크 2 ,테스크 3은 하기 표와 같이 칩간 분산화로 동시에 실행되며, 이러한 분산화를 통해 복잡한 딥러닝 알고리즘을 실시간으로 실행할 수 있다.

시간	제1 딥러닝 칩	제2 딥러닝 칩	제3 딥러닝 칩
T=0	태스크 1
T=1	태스크 1	태스크 2
T=2	태스크 1	태스크 2	태스크 3
.......	.......	.......	.......
T=n	태스크 1	태스크 2	태스크 3

도 10 내지 도 12는 하나의 딥러닝 처리 가속화 모듈 각각을 하나의 딥러닝 처리 가속화 보드(1 ~ 5)로 구현한 후 이들을 연결하여 보드 링 구조를 구현하는 내용을 설명하기 위한 도면이다.

각 보드의 전면은 도 11에 도시된 바와 같이 링 토폴로지로 구현된 딥러닝 처리 가속화 모듈(10), 메모리(11), SD Card(12), 전면 입력 커넥터(13) 및 전면 출력 커넥터(14)로 구성되고, 각 보드의 후면은 도 12에 도시된 바와 같이 후면 출력 커넥터(15) 및 후면 입력 커넥터(16)로 구성된다.

각 보드는 표준 시리얼 포트를 사용하여 전면 입력 커넥터(13)로 패킷을 입력받고, 후면 출력 커넥터(15)를 통하여 다음 보드로 패킷을 전달하는 방식으로 상호 연결된다.

최전단 보드인 제1 보드(1)의 전면 입력 커넥터(13)를 통해 전달된 패킷은 제1 보드(1)의 후면 출력 커넥터(15)를 경유하여 제2 보드(2)의 전면 입력 커넥터(13)로 전달되며, 상술한 과정을 통하여 패킷이 최후단 보드인 제5 보드(5)의 후면 출력 커넥터(15)까지 전달된다.

제5 보드(5)의 후면 출력 커넥터(15)는 제5 보드(5)의 후면 입력 커넥터(16)와 연결되고, 이를 통해 패킷은 전면 출력 커넥터(14)를 통해 제4 보드(4)의 후면 입력 커넥터(16)와 연결되며, 상술한 과정을 통하여 패킷은 최전단 보드인 제1 보드(1)의 후면 입력 커넥터(16)로 전달된다.

이하 도 13 내지 도 15를 참조하여 본 발명의 일 실시예에 따른 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템에 대하여 설명하도록 한다.

본 발명의 일 실시예에 따른 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템은 앞에서 설명한 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템을 적용한 이상상태 탐지 시스템에 관한 것이다.

의심 영상 내에서 이상상태의 탐지를 위하여 영상 내의 사람의 움직임 및 배경을 판별하는 알고리즘이 요구되며, 특히 이상상태의 정확한 판단을 위하여 사람의 다양한 움직임 및 다양한 상태 영상을 이용하여 딥러닝 구조를 사전 학습하는 것이 요구된다.

본 발명의 일 실시예에 따른 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템은 미리 학습된 인물의 특징 정보를 이상상태 영상에 반영하여 영상 내의 변화를 판별할 수 있는 시스템으로, 이러한 시스템은 운전자, 특히 시니어 운전자의 이상상태 판별에 적용되는 것이 바람직하다.

이를 위하여 본 발명의 일 실시예에 따른 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템은 카메라(20), 딥러닝 처리 가속화 모듈(10), 제1 통신라인, 제2 통신라인을 포함하도록 구성된다.

카메라(20)는 도 13에 도시된 바와 같이 차량내 복수의 위치, 예를 들어 좌측 전방, 좌측 후방, 우측 전방, 우측 후방 등에 배치되는 구성으로 각각의 카메라(20)는 다른 위치에서의 운전자 영상을 취득하게 된다.

딥러닝 처리 가속화 모듈(10)은 앞에서 설명한 바와 같이 복수 개의 카메라에서 획득한 영상을 각각 전달받되, 도 6과 같이 복수 개의 딥러닝 처리 가속화 모듈(10)은 링 토폴로지 형태로 구성된다.

제1 통신라인은 복수 개의 딥러닝 처리 가속화 모듈(10) 간의 딥러닝 연산에 필요한 데이터 및 가중치 중 적어도 하나를 표준 네트웍 인터페이스를 통해 패킷 전송 방식으로 전송하는 기능을 수행하며, 여기에서 표준 네트웍 인터페이스는 CAN(Controller Area Network)인 것이 바람직하다.

제2 통신라인은 복수 개의 딥러닝 처리 가속화 모듈(10) 중 어느 하나의 딥러닝 처리 가속화 모듈과 외부의 클라우드 서버와 통신을 수행하기 위한 구성이다.

한편, 딥러닝 처리 가속화 모듈(10) 각각은 앞에서 설명한 바와 같이 복수 개의 딥러닝 칩(100) 등으로 구성되며, 이에 대한 자세한 설명은 생략하도록 한다.

본 발명의 일 실시예에 따른 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템은 복수개의 위치 예를 들면 전/후/좌/우에 각각 배치된 카메라(20)가 획득한 각각의 동영상을 복합적 분산 딥러닝을 적용함으로써 실시간으로 이루어지는 이상상태 탐지의 정확성을 크게 높일 수 있다.

구체적으로 이상상태 탐지 시스템의 동작으로 도 14를 참조하여 설명하면, 카메라(20)로 촬영된 영상에서 딥러닝을 이용하여 운전자의 얼굴을 인식하고, 운전자의 얼굴에서 두 눈을 추출한 다음 눈의 깜빡임 및 현재의 시선 상태를 추적한다.

운전자의 눈의 깜박임이 미리 설정된 시간 이상 지속되지 못하거나 또는 시선이 미리 설정된 시간을 초과에서 정면에서 벗어난 것으로 판단이 될 경우에 현재 운전자의 상태가 이상상태임을 탐지하고, 경고모듈은 경고 알람신호를 생성하여 운전자 등에게 경고를 수행하게 된다.

한편, 야간 주행시 카메라의 성능 및 주변 조도에 따라 저조도 영상이 취득되며, 저조도 촬영 영상의 경우 feature 추출의 오류로 인하여 이상상태 추정의 정확도가 크게 떨어진다는 문제점이 있다.

이러한 문제점을 극복하기 위하여 본 발명의 일 실시예에 따른 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템의 딥러닝 처리 가속화 모듈(10)은 도 15에 도시된 바와 같이 카메라(20)로부터 획득된 영상의 히스토그램 및 조명(illumination) 정보를 분석하여 저조도 영역에 톤-매핑(tone-mapping) 기법을 적용하여 영상의 화질을 개선하는 기능을 구비한다.

이러한 저조도 영상 화질 개선 기능으로 인하여 운전자 상태 추정의 정확도를 크게 향상시킬 수 있다.

본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것이 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당해 기술분야에 있어서의 통상의 지식을 가진 자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

1. 링 토폴로지(Ring Topology) 형태로 구성된 복수 개의 딥러닝 칩을 포함하는 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템에 있어서,
   외부장치로부터부터 스트리밍 데이터를 직접 전달받는 제1 딥러닝 칩, 외부의 클라우드 또는 서버와 연결되는 제N 딥러닝 칩 및 상기 제1 딥러닝 칩과 상기 제N 딥러닝 칩 사이를 직렬로 연결하는 N-2개의 딥러닝 칩으로 구성된 복수 개의 딥러닝 칩;
   외부의 LAN 환경, 상기 제1 딥러닝 칩 및 하기 제2 3-포트 스위치 사이의 연결을 제어하는 제1 3-포트 스위치;
   외부의 WAN 환경, 제N 딥러닝 칩 및 상기 제1 3-포트 스위치 사이의 연결을 제어하는 제2 3-포트 스위치;
   상호 인접한 2개의 딥러닝 칩에서 연산한 가중치 정보를 저장하기 위하여 상호 인접한 2개의 딥러닝 칩 사이에 구성되는 듀얼 포트 램; 및
   상기 제1 딥러닝 칩 및 제N 딥러닝 칩과 각각 연결되는 싱글 포트 램;
   을 포함하고,
   상기 복수 개의 딥러닝 칩 중 상호 인접하는 딥러닝 칩 간에는 딥러닝 연산에 필요한 데이터 및 가중치 중 적어도 하나를 표준 네트웍 인터페이스를 통해 패킷 전송 방식으로 전송하고,
   상기 각각의 딥러닝 칩은, 상기 스트리밍 데이터를 감지하고 이를 전처리하는 전처리 엔진; 상기 전처리 엔진으로부터 전달받은 전처리 데이터에 기초하여 딥러닝을 수행하는 딥러닝 프로세스 유닛; 전단의 딥러닝 칩과 제어정보, 명령어, 데이터 및 가중치 정보 중 적어도 하나의 송수신을 위하여 마련된 제1 이더넷 스위치 포트; 후단의 딥러닝 칩과 제어정보, 명령어, 데이터 및 가중치 정보 중 적어도 하나의 송수신을 위하여 마련된 제2 이더넷 스위치 포트; 및 상기 전처리 엔진, 딥러닝 프로세스 유닛, 제1 이더넷 스위치 포트 및 제2 이더넷 스위치 포트 중 적어도 하나를 제어하는 마이크로 컨트롤러 유닛;을 포함하고,
   상기 각각의 딥러닝 칩은 제1 메모리 컨트롤러 및 제2 메모리 컨트롤러를 더 포함하되, 상기 듀얼 포트 램은 상호 인접한 2개의 딥러닝 칩 중 전단의 딥러닝 칩의 제2 메모리 컨트롤러 및 후단의 딥러닝 칩의 제1 메모리 컨트롤러에 의하여 제어되고,
   상기 싱글 포트 램은 상기 제1 딥러닝 칩의 제1 메모리컨트롤러 또는 제N 딥러닝 칩의 제2 메모리컨트롤러에 의하여 제어되는 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템.
   
2. 링 토폴로지(Ring Topology) 형태로 구성된 복수 개의 딥러닝 칩을 포함하는 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템에 있어서,
   외부장치로부터부터 스트리밍 데이터를 직접 전달받는 제1 딥러닝 칩, 외부의 클라우드 또는 서버와 연결되는 제N 딥러닝 칩 및 상기 제1 딥러닝 칩과 상기 제N 딥러닝 칩 사이를 직렬로 연결하는 N-2개의 딥러닝 칩으로 구성된 복수 개의 딥러닝 칩;
   외부의 LAN 환경, 상기 제1 딥러닝 칩 및 하기 제2 3-포트 스위치 사이의 연결을 제어하는 제1 3-포트 스위치;
   외부의 WAN 환경, 제N 딥러닝 칩 및 상기 제1 3-포트 스위치 사이의 연결을 제어하는 제2 3-포트 스위치;
   상호 인접한 2개의 딥러닝 칩에서 연산한 가중치 데이터를 저장하기 위하여 상호 인접한 2개의 딥러닝 칩 사이에 구성되는 제1 싱글 포트 램;
   상기 제1 싱글 포트 램을 제어하는 램 제어 스위치; 및
   상기 제1 딥러닝 칩 및 제N 딥러닝 칩과 각각 연결되는 제2 싱글 포트 램;
   을 포함하고,
   상기 각각의 딥러닝 칩은, 상기 스트리밍 데이터를 감지하고 이를 전처리하는 전처리 엔진; 상기 전처리 엔진으로부터 전달받은 전처리 데이터에 기초하여 딥러닝을 수행하는 딥러닝 프로세스 유닛; 전단의 딥러닝 칩과 제어정보, 명령어, 데이터 및 가중치 정보 중 적어도 하나의 송수신을 위하여 마련된 제1 이더넷 스위치 포트; 후단의 딥러닝 칩과 제어정보, 명령어, 데이터 및 가중치 정보 중 적어도 하나의 송수신을 위하여 마련된 제2 이더넷 스위치 포트; 및 상기 전처리 엔진, 딥러닝 프로세스 유닛, 제1 이더넷 스위치 포트 및 제2 이더넷 스위치 포트 중 적어도 하나를 제어하는 마이크로 컨트롤러 유닛;을 포함하고,
   상기 각각의 딥러닝 칩은 제1 메모리 컨트롤러 및 제2 메모리 컨트롤러를 더 포함하되, 상기 램 제어 스위치는 상호 인접한 2개의 딥러닝 칩 중 전단의 딥러닝 칩의 제2 메모리 컨트롤러 및 후단의 딥러닝 칩의 제1 메모리 컨트롤러에 의하여 제어되고,
   상기 두 개의 제2 싱글 포트 램은 각각 상기 제1 딥러닝 칩의 제1 메모리 컨트롤러 및 제N 딥러닝 칩의 제2 메모리컨트롤러에 의하여 제어되는 분산환경 패킷 전송 기반의 스트리밍 데이터 딥러닝 처리 가속화 시스템.
   
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 복수의 위치에 설치되는 카메라;
   상기 카메라에서 획득한 영상을 전달받되, 링 토폴로지(Ring Topology) 형태로 구성된 복수 개의 딥러닝 처리 가속화 모듈;
   상기 복수 개의 딥러닝 처리 가속화 모듈 간에 딥러닝 연산에 필요한 데이터 및 가중치 중 적어도 하나를 표준 네트웍 인터페이스를 통해 패킷 전송 방식으로 전송하는 제1 통신라인;
   상기 복수 개의 딥러닝 처리 가속화 모듈 중 어느 하나의 딥러닝 처리 가속화 모듈과 외부의 클라우드 서버와 통신을 수행하는 제2 통신라인;
   을 포함하고,
   상기 딥러닝 처리 가속화 모듈 각각은, 외부로부터부터 스트리밍 데이터를 직접 전달받는 제1 딥러닝 칩, 외부의 클라우드 또는 서버와 연결되는 제N 딥러닝 칩 및 상기 제1 딥러닝 칩과 상기 제N 딥러닝 칩 사이를 직렬로 연결하는 N-2개의 딥러닝 칩으로 구성된 복수 개의 딥러닝 칩;
   을 포함하는 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템.
   
8. 청구항 7에 있어서,
   상기 딥러닝 처리 가속화 모듈은, 상기 각각의 카메라에서 획득한 영상에서 사람의 얼굴을 인식하고, 인식된 사람의 얼굴에서 두 눈을 추출하여 눈의 상태에 기초하여 사람의 이상상태를 탐지하는 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템.
   
9. 청구항 8에 있어서,
   상기 딥러닝 처리 가속화 모듈은, 상기 카메라로부터 획득된 영상의 히스토그램 및 조명 정보를 분석하여 저조도 영역에 톤-매핑 기법을 적용하여 상기 영상의 화질을 개선하는 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템.
   
10. 청구항 8에 있어서,
    상기 딥러닝 처리 가속화 모듈의 이상상태 탐지 결과에 기초하여 경고 알람신호를 생성하는 경고모듈;을 더 포함하는 멀티 로케이션 멀티 스트리밍 이상상태 탐지 시스템.

Images