KR102405726B1 - 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치 및 제어 방법 - Google Patents

클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치 및 제어 방법 Download PDF

Info

Publication number
KR102405726B1
KR102405726B1 KR1020210120018A KR20210120018A KR102405726B1 KR 102405726 B1 KR102405726 B1 KR 102405726B1 KR 1020210120018 A KR1020210120018 A KR 1020210120018A KR 20210120018 A KR20210120018 A KR 20210120018A KR 102405726 B1 KR102405726 B1 KR 102405726B1
Authority
KR
South Korea
Prior art keywords
neuron
model
learning
biological
image
Prior art date
Application number
KR1020210120018A
Other languages
English (en)
Inventor
정재우
Original Assignee
에이엠스퀘어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이엠스퀘어 주식회사 filed Critical 에이엠스퀘어 주식회사
Priority to KR1020210120018A priority Critical patent/KR102405726B1/ko
Application granted granted Critical
Publication of KR102405726B1 publication Critical patent/KR102405726B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치는, 사진 또는 영상 데이터를 수신하는 데이터 수집부, 데이터 수집부에 수집된 영상에서 특징을 자동으로 추출하는 뉴런 특징 추출부 및 특정 이미지가 뉴런 신호를 발생시켰을 때 관련된 시냅스를 강화하고, 블랙 아웃이 발생할 경우 전류값이 낮아지는 생물학적 뉴런 모델인 Leaky integrate-and-fire(L.I.F.)를 사용하여 뉴런의 신호가 발생하는 것을 자연적으로 억제하는 방식으로 네트워크를 경유하여 클라우드 플랫폼으로 전송되는 클라우드 데이터 전송 정보량을 제어하는 예측 제어부를 포함한다.

Description

클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치 및 제어 방법{Neuron model based control device for optimization of cloud data transmission information amount and control method thereof}
본 발명은 영상데이터를 저장하지 않고도 카메라의 스트리밍 영상만으로 상황을 인식하고 특징적인 이미지를 포착하는 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치 및 제어 방법에 관한 것이다.
스마트 팩토리 구축을 위해서는 여러 센서를 통하여 데이터를 수집하고 클라우드에 전송 및 저장하는 작업이 필요하다. 클라우드에 축적된 데이터를 기반으로 인공지능 모델을 개발하고 이를 센서로 배포해야 하기 때문이다.
이와 관련된 종래의 기술로 대한민국 공개특허 제10-2021-0036226호(2021.04.02)의'복수의 엣지와 클라우드를 포함하는 분산 컴퓨팅 시스템 및 이의 적응적 지능 활용을 위한 분석 모델 제공 방법'에는 분산 컴퓨팅 환경에서의 적응적 지능 활용을 위한 시스템 및 모델 제공 방법이 개시되어 있다.
또한, 대한민국 공개특허 제10-2021-0085609호(2021.07.08)의'코어 VMS와 엣지 VMS를 구비한 모바일 엣지 컴퓨팅 기반의 영상 관제 시스템'에서는 실시간 영상 데이터를 신속하게 처리하고 이로부터 얻어지는 정보를 이용하여 관제 서비스를 제공하는 모바일 엣지 컴퓨팅(MEC) 기반의 영상 관제 시스템의 구성이 개시되고 있다.
또한, 대한민국 등록특허 제10-2247111호의'엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템 및 이의 동작 방법'에는 영상 감시 시스템의 네트워크 트래픽(traffic)과 지연(latency)을 감소시킬 수 있는 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템의 구성이 개시되어 있다.
이러한 종래의 클라우드 시스템은, 카메라에 정해진 FPS(Frames Per Second)에 따라서 취득되는 영상들로부터 스스로 상황을 인식하고 각 상황별로 특징적인 이미지를 수집해야 하며, 카메라에 문제가 생겨서 이미지 수집이 중단되는 블랙아웃이 예상치 못하게 발생하는 경우에 사람의 개입이 없이 스스로 학습을 중단해야 하며, 다시 영상이 재개되었을 때 알고리즘이 자체적으로 학습기능을 재개해야 하며, 수집된 특징적인 이미지들은 부분적으로 영상으로 제공되어야 하며, 특징적인 이미지를 영상과 대조하였을때 명확히 특정 지을 수 있어야 하는 난제가 있었다.
대한민국 공개특허 제10-2021-0036226호(2021.04.02) 대한민국 공개특허 제10-2021-0085609호(2021.07.08) 대한민국 등록특허 제10-2247111호(2021.04.27)
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 클라우드 컴퓨터에 수집되는 모든 데이터를 저장하지 않고 센서가 스스로 상황을 인식하여 필요한 정보만을 클라우드에 저장하는 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치 및 제어 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 시스템은, 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 시스템에 있어서, 네트워크; 및 네트워크와 연결되어 데이터를 저장하고 저장된 데이터를 송수신하는 클라우드 플랫폼; 클라우드 플랫폼에 수집되는 모든 데이터를 저장하지 않고 센서가 스스로 상황을 인식하여 필요한 정보만을 클라우드 플랫폼에 저장하는 뉴런 모델 기반 제어 장치; 를 포함할 수 있다.
본 발명의 다른 목적을 달성하기 위한 일 실시예에 따른 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치는, 사진 또는 영상 데이터를 수신하는 데이터 수집부; 데이터 수집부에 수집된 영상에서 특징을 자동으로 추출하는 뉴런 특징 추출부; 및 특정 이미지가 뉴런 신호를 발생시켰을 때 관련된 시냅스를 강화하고, 블랙 아웃이 발생할 경우 전류값이 낮아지는 생물학적 뉴런 모델인 Leaky integrate-and-fire(L.I.F.)를 사용하여 뉴런의 신호가 발생하는 것을 자연적으로 억제하는 방식으로 네트워크를 경유하여 클라우드 플랫폼으로 전송되는 클라우드 데이터 전송 정보량을 제어하는 예측 제어부; 를 포함할 수 있다.
상기 장치는, 단일 카메라 또는 복수의 카메라로 구성된 멀티 카메라가 설치된 주변의 감시 영역을 촬영하여 복수의 영상 프레임들을 생성하고, 촬영된 사진 또는 영상 데이터를 데이터 수집부로 전송하는 영상부; 를 더 포함할 수 있다.
데이터 수집부는, 학습부가 모델 학습에 필요한 영상 데이터를 모델부에 제공하는 방식을 설정하고, 영상 데이터를 시간 순서대로 동기화하여 모델부의 모델 학습 수행의 입력 데이터로 전송할 수 있다.
뉴런 특징 추출부는, 전류의 흐름에 따라 적응하는 생물학적 뉴런을 가상으로 구현한 복수의 뉴런이 상호 연결되어 구성될 수 있다.
복수의 뉴런은, 뉴런간에 이미지 정보가 송수신되는 시냅스로 뉴런과 뉴런 사이가 연결되고, 단 반향성의 스파이크 신호를 주고 받으며 신호를 처리할 수 있다.
상기 장치는, 뉴런 특징 추출부의 휴지기, 경쟁 계수, 뉴런의 개수 파라미터를 설정하는 파라미터 설정부; 를 더 포함할 수 있다.
상기 장치는, 설정된 파라미터에 따라 뉴런이 LTP(Long-Term-Potentiation)로 업데이트 되는 과정을 학습하여 새로운 일이 학습되고 있을 때 새로운 신경 회로를 강화하는 방식으로 모델부를 업데이트하는 학습부; 를 더 포함할 수 있다.
상기 장치는, LTP(Long-Term-Potentiation) 시냅스 업데이트 방식을 통하여 학습부가 모델을 학습하여 클라우드에 전송되는 예측 데이터를 새로운 모델로 업데이트하는 모델부; 를 더 포함할 수 있다.
모델부는, 클라우드 플랫폼에 데이터를 전송하지 않고 스스로 학습하여 필요한 데이터만 선별하여 클라우드 데이터 저장공간을 위한 설비투자 비용이 감소되게 하고, LTP(Long-Term-Potentiation)을 통하여 학습하여 목적함수가 없이 주어진 상황에서 필요한 정보를 수집할 수 있다.
상기 장치는, 데이터 및 신호를 네트워크를 경유하여 클라우드 플랫폼으로 전송하거나 수신하는 통신부; 를 더 포함할 수 있다.
상기 장치는, 뉴런 모델 기반 제어 장치로 입력되거나 출력된 데이터를 저장하는 데이터 저장부; 를 더 포함할 수 있다.
데이터 저장부는, 데이터 수집부로 전송된 영상부의 사진 및 영상 데이터가 저장되는 제1 데이터 저장부; 및 뉴런 특징 추출부에서 추출된 사진 및 영상 데이터의 특징 데이터가 저장되는 제2 데이터 저장부; 를 포함할 수 있다.
본 발명의 다른 목적을 달성하기 위한 일 실시예에 따른 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치는, 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치에 있어서, 프로세서(processor); 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory); 를 포함하되, 적어도 하나의 명령은 상기 프로세서가: 모델 학습에 필요한 화면을 모델에 제공하는 방식을 설정하는 카메라에서 수집되는 데이터를 모델로 전송하기 위한 준비 단계; 뉴런의 생물학적 파라미터를 설정하는 모델의 학습 파라미터 설정 단계; 설정된 파라미터에 따라 뉴런이 LTP(Long-Term-Potentiation)로 업데이트 되는 모델 학습 단계; 및 LTP(Long-Term-Potentiation)로 업데이트된 시냅스 정보를 열람하는 학습 정보 확인 단계; 를 수행하도록 구성될 수 있다.
본 발명의 또 다른 목적을 달성하기 위한 일 실시예에 따른 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 방법은, 모델 학습에 필요한 화면을 모델에 제공하는 방식을 설정하는 카메라에서 수집되는 데이터를 모델로 전송하기 위한 준비 단계; 뉴런의 생물학적 파라미터를 설정하는 모델의 학습 파라미터 설정 단계; 설정된 파라미터에 따라 뉴런이 LTP(Long-Term-Potentiation)로 업데이트 되는 모델 학습 단계; 및 LTP(Long-Term-Potentiation)로 업데이트된 시냅스 정보를 열람하는 학습 정보 확인 단계; 를 포함할 수 있다.
카메라에서 수집되는 데이터를 모델로 전송하기 위한 준비 단계는, 단일 카메라 또는 멀티 카메라로부터 수집된 데이터를 수신하여 모델 학습에 필요한 화면을 모델에 제공하는 방식을 설정하는 단계; 및 수신한 카메라 입력 영상을 시간 순서대로 동기화하여 카메라 영상을 모델 학습 수행의 입력 영상으로서 출력하는 단계; 를 포함할 수 있다.
모델의 학습 파라미터 설정 단계는, 뉴런의 생물학적 파라미터인 휴지기, 경쟁 계수, 뉴런의 개수를 설정하는 단계; 및 뉴런들이 시냅스로 연결되어 단 방향성의 스파이크 신호를 주고받으며 신호를 처리하는 단계; 를 포함할 수 있다.
모델 학습 단계는, 설정된 파라미터에 따라 뉴런이 LTP(Long-Term-Potentiation)로 업데이트 되는 단계; 및 신경 회로의 스냅스 연결 강도가 학습을 반복하여 강화되는 단계; 를 포함할 수 있다.
학습 정보 확인 단계는, LTP(Long-Term-Potentiation)로 업데이트된 시냅스 정보를 열람하는 단계; 및 시냅스가 뉴런간에 전송되는 이미지 정보를 저장하는 단계; 를 포함할 수 있다.
본 발명에 따르면, 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치 및 제어 방법은, 종래의 기술이 클라우드에 축적된 데이터로 인공지능 모델을 학습하여 배포하는 방식인 반면에 본 발명은 클라우드에 데이터를 전송하지 않고 스스로 학습하여 필요한 데이터만 선별하기 때문에 클라우드 데이터 저장공간을 위한 설비투자 비용이 저렴하여 경제적인 클라우드 시스템을 제공할 수 있다.
또한, 종래의 기술은 인공지능 모델을 역전파(Backpropagation) 학습을 통하여 학습하는 반면에 본 발명은 인간의 두뇌에서 이루어지는 시냅스 업데이트 방식인 LTP(Long-Term-Potentiation)을 통하여 학습하기 때문에 목적함수가 없더라도 주어진 상황에서 필요한 정보를 수집할 수 있다.
도 1은 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 시스템의 구성도이다.
도 2는 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)의 구성도이다.
도 3은 본 발명의 다른 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)의 구성도이다.
도 4는 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)의 뉴런 특징 추출부(3000)의 뉴런을 설명하기 위한 모식도이다.
도 5는 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)의 제어 방법을 도시한 흐름도이다.
도 6 내지 도 9는 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치의 제어 방법에서 블랙아웃 현상을 대비하기 위하여 생물학적 뉴런 모델(Biological neuron model) 중에 'Leaky integrate-and-fire'를 설명하기 위한 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 시스템의 구성도이고, 도 2는 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)의 구성도이다.
도 1을 참조하면, 본 발명의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 시스템은 뉴런 모델 기반 제어 장치(1000), 네트워크(2000) 및 클라우드 플랫폼(3000)으로 구성되고, 뉴런 모델 기반 제어 장치(1000)는 적어도 하나의 네트워크(2000)를 통하여 클라우드 플랫폼(3000)과 연결되어 데이터 및 신호를 송수신한다.
본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)는 데이터 수집부(200), 뉴런 특징 추출부(300), 예측 제어부(900)를 포함하며, 바람직하게는 영상부(100)를 더 포함하여 구성될 수도 있다.
도 2를 참조하면, 본 발명의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)는 영상부(100), 데이터 수집부(200), 뉴런 특징 추출부(300), 예측 제어부(500), 모델부(600), 통신부(700), 저장부(800), 예측 제어부(900)을 포함한다. 저장부(800)는 제1 데이터 저장부(810) 및 제2 데이터 저장부(820)을 포함한다.
영상부(100)는 단일 카메라 또는 복수의 카메라로 구성된 멀티 카메라일 수 있으며 공장, 공항, 도로, 공원, 쇼핑몰, 병원, 회사 등 다양한 장소들에서 안전과 보안을 위해 설치된다. 영상부(100)는 복수의 카메라들이 설치된 주변의 감시 영역을 촬영하여 복수의 영상 프레임들을 생성한다. 실시 예에 따라서는 영상부(100)의 카메라는 디지털 카메라는 사물 인터넷(Internet Of Things)일 수 있으며, 필요에 의해서는 디지털 카메라 대신에 아날로그 카메라가 이용될 수도 있다. 영상부(100)는 촬영된 사진 또는 영상 데이터를 데이터 수집부(200)로 전송한다.
데이터 수집부(200)는 영상부(100)로부터 전송된 사진 또는 영상 데이터를 수신한다. 데이터 수집부(200)에서 수집된 사진 또는 영상 데이터는 제1 데이터 저장부(810)에 저장된다. 데이터 수집부(200)는 학습부(500)가 모델 학습에 필요한 화면을 모델부(600)에 제공하는 방식을 설정할 수 있다. 이때 수신한 영상부(100)의 입력 영상을 시간 순서대로 동기화하여, 영상부(100)의 영상 데이터를 모델부(600)의 모델 학습 수행의 입력 데이터로 출력할 수도 있다.
뉴런 특징 추출부(300)는 영상부(100)로부터 전송된 사진 또는 영상 데이터를 수신하고 수집되는 영상에서 특징을 자동으로 추출한다. 뉴런 특징 추출부(300)는 상호 연결된 복수의 뉴런으로 구성되고, Leaky integrate-and-fire(L.I.F.)를 사용하여 뉴런의 신호가 발생하는 것을 자연적으로 억제하므로, 학습 데이터가 필요하지 않으며, 추출된 특징은 제2 데이터 저장부(820)에 저장된다. 본 발명에서 의미하는 뉴런은 인공지능 분야에서 말하는 노드(node)의 개념이 아니라 전류의 흐름에 따라 적응하는 생물학적 뉴런을 가상으로 구현한 것을 의미한다. 뉴런 특징 추출부(300)의 상호 연결된 복수의 뉴런은, 생물학적 뉴런의 기능과 마찬가지로 뉴런 특징 추출부(300)의 뉴런과 뉴런 사이는 시냅스로 연결되고, 뉴런들은 단 반향성의 스파이크 신호를 주고 받으며 신호를 처리한다. 뉴런 특징 추출부(300)의 시냅스는 뉴런간에 전송되는 이미지 정보를 담고 있다.
파라미터 설정부(400)는 뉴런 특징 추출부(300)의 파라미터를 설정한다. 파라미터 설정부(400)가 설정하는 뉴런 특징 추출부(300)의 파라미터는 휴지기, 경쟁 계수, 뉴런의 개수가 있다.
학습부(500)는 설정된 파라미터에 따라 뉴런이 LTP(Long-Term-Potentiation)로 업데이트 되는 과정을 학습하여 새로운 일이 학습되고 있을 때 새로운 신경 회로를 강화하는 방식으로 모델부(600)를 업데이트한다. 신경 회로의 스냅스 연결 강도는 학습을 반복할 때마다 강해지며, 이는 정확하고 효율적인 작업을 수행할 수 있도록 만든다.
모델부(600)는 LTP(Long-Term-Potentiation) 시냅스 업데이트 방식을 통하여 뉴런 모델 기반 제어 장치(1000)의 클라우드에 전송되는 데이터를 예측하고 모델을 학습하여 새로운 모델을 업데이트한다.
종래의 기술이 클라우드에 축적된 데이터로 인공지능 모델을 학습하여 배포하는 방식인 반면에 본 발명의 모델부(600)는 클라우드에 데이터를 전송하지 않고 스스로 학습하여 필요한 데이터만 선별하기 때문에 클라우드 데이터 저장공간을 위한 설비투자 비용이 저렴하여 경제적인 클라우드 시스템을 제공할 수 있다. 또한, 종래의 기술은 인공지능 모델을 역전파(Backpropagation) 학습을 통하여 학습하는 반면에 본 발명의 모델부(600)는 인간의 두뇌에서 이루어지는 시냅스 업데이트 방식인 LTP(Long-Term-Potentiation)을 통하여 학습하기 때문에 목적함수가 없더라도 주어진 상황에서 필요한 정보를 수집할 수 있다.
통신부(700)는 뉴런 모델 기반 제어 장치(1000)의 데이터 및 신호를 네트워크(200)를 경유하여 클라우드 플랫폼(3000)으로 전송하거나 수신한다.
저장부(800)는 뉴런 모델 기반 제어 장치(1000)로 입력되거나 출력된 데이터를 저장한다. 제1 데이터 저장부(810)과 제2 데이터 저장부(820)를 포함하지만 이에 한정되는 것은 아니다. 제1 데이터 저장부(810)는 데이터 수집부(200)로 전송된 영상부(100)의 사진 및 영상 데이터가 저장되고, 제2 데이터 저장부(820)는 뉴런 특징 추출부(300)에서 추출된 사진 및 영상 데이터의 특징 데이터가 저장된다.
예측 제어부(900)는 LTP(Long-Term-Potentiation)로 업데이트된 시냅스 정보를 열람하여 학습 정보를 확인하고, 뉴런 모델 기반 제어 장치(1000)의 전 구성 요소를 제어한다. 예측 제어부(900)는 프로세서(1100)에 포함되며, 뉴런 모델 기반 제어 장치(1000)의 예측 제어부(900)의 동작은 프로세서(1100)의 동작으로 이해될 수 있다.
도 3은 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)의 구성도이다.
도 3을 참조하면, 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)는, 프로세서(1100), 메모리(1200), 송수신 장치(transceiver, 1300), 입력 인터페이스 장치(1400), 출력 인터페이스 장치(1500), 저장 장치(1600) 및 버스(bus)(1700)를 포함하여 구성될 수 있다.
본 발명의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)는, 프로세서(processor)(1100) 및 프로세서(1100)를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)(1200)를 포함하되, 데이터 수집부(200)가 영상부(100)로부터 영상 데이터로를 전송 받아서 학습부(600)가 모델 학습에 필요한 영상 처리 방식으로 설정하는 데이터 전송 준비 단계(S100), 뉴런 특징 추출부(300)를 구성하는 단위 뉴런의 생물학적 파라미터를 설정하는 모델 파라미터 설정 단계(S200), 설정된 파라미터에 따라 뉴런 특징 추출부(300)가 LTP(Long-Term-Potentiation)로 업데이트 되는 과정을 수행하는 모델 학습 단계(S300), 예측 제어부(900)가 LTP(Long-Term-Potentiation)로 업데이트된 시냅스 정보를 열람하는 학습 정보 확인 단계(S400)를 수행하도록 구성된다.
프로세서(1100)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.
메모리(1200) 및 저장 장치(1600) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(1200)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
또한, 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)는 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(1300)를 포함할 수 있다.
클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)는 입력 인터페이스 장치(1400), 출력 인터페이스 장치(1500), 저장 장치(1600) 등을 더 포함할 수 있다.
클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)에 포함된 각각의 구성 요소들은 버스(bus)(1700)에 의해 연결되어 서로 통신을 수행할 수 있다.
본 발명의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
도 4는 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)의 뉴런 특징 추출부(3000)의 뉴런을 설명하기 위한 모식도이다.
도 4(a) 및 도 4(b)를 참조하면, 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)의 뉴런 특징 추출부(3000)의 Leaky Integrate and Fire 모델의 모식도가 개시되어 있다.
도 4(a) 및 도 4(b)의 오른쪽 점선 원 안에는 체세포 회로가 있다. 도 3(a) 및 도 3(b)의 왼쪽에서 저역 통과 필터 회로를 포함하는 시냅스는 입력 스파이크 δ(t - tj(f))와 소마 사이의 연결 역할을 한다. 입력 스파이크는 필터링되고 전류 α(t - tj(f))는 프로세스의 결과이며 소마(Soma)로 전송된다. 전류 I(t)는 RC 회로를 충전하여 뉴런의 막 전위를 변경한다. 커패시터 u(t)의 양극과 음극 사이에 다른 전압으로 표시되는 뉴런의 막 전위는 다음 임계값 θ 와 비교된다. 두 가지 경우가 발생할 수 있으며, 시간 ti(f)에서 u(t)가 θ에 도달하면 뉴런은 δ(t - ti(f))의 출력 펄스를 생성(또는 발사)하고, 그렇지 않으면 u(t) 가 θ보다 작으면 출력 스파이크가 생성되지 않는다. 또한 회로도에서 뉴런의 "통합" 부분과 "누출" 부분이 작동하는 방식에 대한 설명도 있다. 커패시터는 입력 전류 I(t)의 적분인 뉴런의 막 전위의 주요 저장 장치이고 저항은 커패시터와 병렬로 막 전위의 누출이 발생하는 곳이다. 발사(스파이크) 이벤트와 작동 순서는 회로도에 구체적으로 제시되어 있지 않지만 다이어그램에서 막 전위 u(t)가 임계값 θ에 도달하자마자 뉴런의 막 전위는 재설정 전위 ur로 즉시 재설정되고 다음 적분은 막 전위의 초기 값으로 시작된다. LIF 뉴런 모델은 시간 경과에 따른 입력 스파이크와 막 전위의 누출 통합으로 수학식 1과 같이 표현될 수 있다.
(수학식 1)
τ m (du/dt) = -u(t) + RI(t)
방정식의 오른쪽에서 u(t)는 시간 t에서 뉴런의 막 전위, R은 막 저항, I(t)는 시냅스 전하의 시냅스 연결에서 생성되는 전류이다. 방정식의 왼쪽에 있는 요소 τ m은 막 저항과 막전위를 나타내는 막 커패시턴스를 곱하여 계산된 막 시간 상수이다(τ m = R * C).
도 4(c)를 참조하면, Leaky Integrate and Fire 뉴런의 블록 다이어그램이 도시되어 있다. 뉴런이 어떻게 작동하는지 설명하기 위해 최소한 하나의 시냅스 블록, 리키 적분기 블록(leaky integrator block) 및 비교기 블록으로 구성된 회로로 생각할 수 있다. 시냅스 블록은 뉴런의 수상돌기 및 시냅스 연결 역할을 모두 수행하는 반면 누출 통합 블록 및 비교 블록 기능은 도 4(c)에 제시된 뉴런 체세포의 기능과 유사하다.
도 5는 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)의 제어 방법을 도시한 흐름도이다.
도 5를 참조하면, 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 방법은, 단계적으로 카메라에서 수집되는 데이터를 모델로 전송하기 위한 준비 단계(S100), 모델의 학습 파라미터 설정 단계(S200), 모델 학습 단계(S300), 학습 정보 확인 단계(S400)의 일련적인 프로세스를 진행하여 실행된다.
S100 단계에서, 카메라에서 수집되는 데이터 전송을 위한 준비 단계(S100)에서는 모델 학습에 필요한 화면을 모델에 제공하는 방식을 설정하는 것을 의미한다. 데이터 수집은 단일 카메라 또는 멀티 카메라로부터 수신이 가능하다. 이때 수신한 카메라 입력 영상을 시간 순서대로 동기화하여, 카메라 영상을 모델 학습 수행의 입력 영상으로서 출력하는 단계를 포함한다(S110).
S200 단계에서, 모델 파라미터 설정 단계는 뉴런의 생물학적 파라미터를 설정(S200)하는 것을 의미한다. 생물학적으로 뉴런과 뉴런 사이는 시냅스로 연결되어 있다. 이때 뉴런들은 단 방향성의 스파이크 신호를 주고받으며 신호를 처리한다. 대표적인 뉴런의 생물학적 파라미터는 휴지기, 경쟁 계수, 뉴런의 개수가 있다. 본 발명에서 의미하는 뉴런 특징 추출부(300)의 뉴런은 인공지능 분야에서 말하는 노드(node)의 개념이 아니라 전류의 흐름에 따라 적응하는 생물학적 뉴런을 가상으로 구현한 것을 의미한다.
S300 단계에서, 모델 학습 단계(S300)는 앞 단계에서 설정된 파라미터에 따라 뉴런이 LTP(Long-Term-Potentiation)로 업데이트 되는 과정을 의미한다. 이 업데이트 과정은 새로운 일이 학습되고 있을 때 새로운 신경 회로가 강화되는 모습이다. 신경 회로의 스냅스 연결 강도는 학습을 반복할 때마다 강해지며, 이는 정확하고 효율적인 작업을 수행할 수 있도록 만든다.
S400 단계에서, 학습 정보 확인 단계(S400)는 LTP(Long-Term-Potentiation)로 업데이트된 시냅스 정보를 열람하는 것을 의미한다. 시냅스는 뉴런간에 전송되는 이미지 정보를 담고 있다.
도 6 내지 도 9는 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치의 제어 방법에서 블랙아웃 현상을 대비하기 위하여 생물학적 뉴런 모델(Biological neuron model) 중에 'Leaky integrate-and-fire'를 설명하기 위한 개념도이다.
도 6을 참조하면, 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 방법의 생물학적 뉴런 모델인 'Leaky integrate-and-fire(L.I.F.)'를 사용하여 뉴런의 신호가 발생하는 것을 자연적으로 억제하는 Leaky integrate-and-fire(L.I.F.) 구현 절차는 다음의 단계들을 실행하여 구현된다.
카메라 준비단계(S100 단계)에서 FPS(frames per second)가 높은 고성능 카메라를 사용할 경우를 대비하여 큐(Queue)를 사용한다. FPS가 높은 고성능 카메라일 경우 모델이 학습하는데 필요한 시간보다 영상이 수집되는 시간이 더 짧기 때문이다.
데이터 수집부(200)는 영상부(100)로부터 전송된 사진 또는 영상 데이터를 수신하고, 전송된 사진 또는 영상 데이터는 제1 데이터 저장부(810)에 저장된다. 데이터 수집부(200)에서 수집된 사진 또는 영상 데이터는 뉴런 특징 추출부(300)으로 전송된다.
뉴런 특징 추출부(300)는 데이터 수집부(200)에서 수집된 사진 또는 영상 데이터에서 특징을 자동으로 추출한다. 뉴런 특징 추출부(300)는 학습 데이터가 필요하지 않으며, 영상부(100)로부터 전송된 사진 또는 영상 데이터로부터 추출된 특징은 제2 데이터 저장부(820)에 저장된다.
도 7을 참조하면, 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치 운영 장치(1000)는 블랙 아웃이 발생할 경우 전류값이 낮아지는 원리를 이용하여 생물학적 뉴런 모델인 'Leaky integrate-and-fire(L.I.F.)'를 사용하여 뉴런의 신호가 발생하는 것을 자연적으로 억제한다.
모델 파라미터 설정 단계(S200 단계)에서는 뉴런의 휴지기(Refractory period) 설정, 경쟁 계수, 개수를 설정한다. 뉴런의 휴지기란 뉴런의 신호가 발생한 후 일정 시간 동안 전류를 받아들이지 않는 현상을 말한다. 휴지기가 길수록 다양한 이미지를 포착할 수 있으나 메모리가 빨리 소진되는 단점이 있기 때문에 적절한 값을 적용처에 따라 설정해야 한다.
경쟁 계수란 서로 다른 뉴런이 같은 정보를 포착하였을 때 승자 독식방식을 채택하여 저장하고 있는 전류 값이 높은 쪽에 모든 정보를 독식하게 하는 정도를 설정하는 것이다. 경쟁 계수가 높을수록 패배한 뉴런의 정보가 많이 소진된다.
뉴런의 개수란 영상에서 취득할 정보의 개수를 말한다. 개수가 많을수록 학습에 필요한 시간이 길어지기 때문에 적용처에 따라 설정해야 한다.
도 8을 참조하면, 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 방법은 모델 학습에서 Hebbian 학습법 중 LTP(Long Term Potentiation) 방식을 사용하여 시냅스를 업데이트하고, LTP(Long Term Potentiation) 방식은 특정 이미지가 뉴런 신호를 발생시켰을 때 관련된 시냅스를 강화하는 방식이다. 학습 정보 확인은 각 뉴런의 시냅스 강도로 확인할 수 있다. 강화된 시냅스는 해당하는 픽셀의 전류 값을 강하게 받아들이는 것을 의미하기 때문에 시냅스를 관찰하면 뉴런에 저장된 이미지를 확인할 수 있다.
도 9를 참조하면, 본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 방법은 모델 학습에서 Hebbian 학습법 중 LTP(Long Term Potentiation) 방식을 사용하여 시냅스를 업데이트하고, LTP(Long Term Potentiation) 방식은 특정 이미지가 뉴런 신호를 발생시켰을 때 관련된 시냅스를 강화하지만, 발생한 신호가 약한 뉴런에 대해서는 관련된 시냅스를 약화하는 방식이다.
<실험예>
본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 방법의 실험예는 발명의 실시 방법을 이해하는 데 초점을 맞추어 비교적 저가형 카메라를 사용한다는 가정하에 구성되었다. 이보다 복잡하거나, 매개변수가 포함된 것 등도 동일한 방법으로 실제로 구현이 가능함을 확인하였다.
본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 방법의 실시예에서는 FPS가 30이며, 취득되는 이미지의 사이즈가 120x150의 경우 한 프레임당 시냅스가 업데이트 되는 시간이 1/30초보다 짧기 때문에 큐(Queue)를 통하여 모델이 실시간으로 이미지를 제공한다.
본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 방법의 실험예에서는 패치 사이즈를 40x40으로 설정하여 120x150 사이즈의 영상에서 특징적인 40x40 사이즈의 이미지를 수집한다. 휴지기를 5로 설정하여 뉴련이 전류를 방출한 후 5 프레임동안 정보를 업데이트 하지 않도록 설정한다. 경쟁 계수를 0.4로 설정하여 서로 다른 뉴런이 같은 부분의 이미지를 수집한 경우 방출한 전류값이 더 낮은 뉴런이 해당 정보를 -0.4만큼 소실하는 것으로 설정한다. 뉴런의 개수를 100으로 설정하여 카메라에서 영상이 수집되는 동안 100개의 특징적인 이미지를 수집하도록 설정한다.
본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 방법은 학습을 위하여 목적함수가 없어도 LTP(Long-Term-Potentiation)를 통하여 학습이 가능하기 때문에 학습단계에서 사용자가 별도로 설정해야 할 변수는 없다.
본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 방법은 학습 정보를 확인하기 위하여 각 뉴런의 시냅스 패턴을 이미지화 한다.
본 발명의 일 실시예의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 방법은 카메라에서 수집되었던 특징적인 정보를 파악할 수 있다.
본 발명의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)의 제어 방법은 뉴런 모델 기반 제어 장치(1000)의 제어 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램일 수 있다.
본 발명의 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치(1000)의 제어 방법은 뉴런 모델 기반 제어 장치(1000)의 제어 방법의 학습 데이터 세트 구조가 저장된 기록 매체일 수 있다.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 정보가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 삭제
  2. 클라우드 데이터 전송 정보량을 제어하는 뉴런 모델 기반 제어 장치로서,
    카메라에 정해진 FPS(frames per second)에 따라 수집되는 데이터나 영상들을 시간 순서대로 동기화하여 모델 학습에 필요한 화면이나 입력 영상으로서 출력하고, 상기 화면이나 입력 영상을 생물학적 뉴런 모델에 제공하는 방식을 설정하는 데이터 수집부;
    상기 생물학적 뉴런 모델의 학습 파라미터인 뉴런의 생물학적 파라미터를 설정하는 파라미터 설정부;
    상기 파라미터 설정부에 의해 설정된 상기 뉴런의 생물학적 파라미터에 따라 상기 생물학적 뉴런 모델에 포함된 뉴런들 간에 전송되는 영상 정보를 담고 있는 시냅스를 LTP(long-term-potentiation) 방식을 사용하여 업데이트하는 학습부-상기 LTP 방식은 특정 영상이 뉴런 신호를 발생시킬 때 관련된 시냅스를 강화하는 것을 포함함-; 및
    상기 생물학적 뉴런 모델의 각 뉴런의 시냅스 강도로 상기 생물학적 뉴런 모델에 의한 학습 정보를 확인하는 예측 제어부;를 포함하며,
    상기 뉴런의 생물학적 파라미터는, 뉴런의 휴지기(refractory period), 경쟁 계수 및 뉴런의 개수를 포함하고,
    상기 경쟁 계수는 서로 다른 뉴런이 같은 영상 정보를 포착할 때 각 뉴런이 저장하고 있는 전류 값들 중 가장 큰 전류 값을 가진 뉴런이 모든 정보를 독식하도록 하는 정도를 나타내는, 뉴런 모델 기반 제어 장치.
  3. 삭제
  4. 청구항 2에 있어서,
    상기 데이터 수집부는, 제1 사이즈의 영상에서 특징적인 제2 사이즈의 이미지를 수집하기 위한 제2 사이즈의 패치를 이용하고, 상기 뉴런의 전류를 방출한 후 상기 뉴런의 상기 휴지기에 대해 설정된 일정 프레임동안 정보를 업데이트하지 않는, 뉴런 모델 기반 제어 장치.
  5. 청구항 2에 있어서,
    상기 학습부는, 상기 특정 영상이 뉴런 신호를 발생시킬 때, 발생한 신호가 약한 뉴런에 대하여 관련된 시냅스를 약화시키는 것을 더 포함하는, 뉴런 모델 기반 제어 장치.
  6. 청구항 2에 있어서,
    상기 학습부는, 상기 뉴런의 신호가 발생하는 것을 자연적으로 억제하는 LIF(leaky integrate-and fire)를 사용하여, 상기 화면 또는 입력 영상의 수집이 중단되는 블랙아웃의 발생 후에 사람의 개입 없이 스스로 학습을 중단하고, 상기 화면 또는 입력 영상의 수집이 재개될 때 자체적으로 학습을 재개하는, 뉴런 모델 기반 제어 장치.
  7. 청구항 2에 있어서,
    상기 학습부는, 학습을 반복하여 상기 뉴런의 시냅스 연결 강도를 강화하는 것을 더 포함하는, 뉴런 모델 기반 제어 장치.
  8. 청구항 2에 있어서,
    상기 예측 제어부, 상기 LTP 방식으로 업데이트된 시냅스에 담긴 영상 정보를 열람하고, 열람한 영상 정보를 데이터 저장부에 저장하는, 뉴런 모델 기반 제어 장치.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 클라우드 데이터 전송 정보량을 제어하는 뉴런 모델 기반 제어 장치로서,
    프로세서(processor); 및
    상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory);를 포함하되,
    적어도 하나의 명령은 상기 프로세서가, 카메라에 정해진 FPS(frames per second)에 따라 수집되는 데이터나 영상들을 시간 순서대로 동기화하여 모델 학습에 필요한 화면이나 입력 영상으로서 출력하고, 상기 화면이나 입력 영상을 생물학적 뉴런 모델에 제공하는 방식을 설정하고, 상기 생물학적 뉴런 모델의 학습 파라미터인 뉴런의 생물학적 파라미터를 설정하고, 상기 뉴런의 생물학적 파라미터에 따라 상기 생물학적 뉴런 모델에 포함된 뉴런들 간에 전송되는 영상 정보를 담고 있는 시냅스를 LTP(long-term-potentiation) 방식을 사용하여 업데이트하고, 상기 생물학적 뉴런 모델의 각 뉴런의 시냅스 강도로 상기 생물학적 뉴런 모델에 의한 학습 정보를 확인하는 일련의 단계들을 수행하도록 구성되고,
    상기 LTP 방식은 특정 영상이 뉴런 신호를 발생시킬 때 관련된 시냅스를 강화하는 것을 포함하고,
    상기 뉴런의 생물학적 파라미터는, 뉴런의 휴지기(refractory period), 경쟁 계수 및 뉴런의 개수를 포함하고,
    상기 경쟁 계수는 서로 다른 뉴런이 같은 영상 정보를 포착할 때 각 뉴런이 저장하고 있는 전류 값들 중 가장 큰 전류 값을 가진 뉴런이 모든 정보를 독식하도록 하는 정도를 나타내는, 뉴런 모델 기반 제어 장치.
  15. 클라우드 데이터 전송 정보량을 제어하기 위한 프로세서에 의해 수행되는 뉴런 모델 기반 제어 방법으로서,
    카메라에 정해진 FPS(frames per second)에 따라 수집되는 데이터나 영상들을 시간 순서대로 동기화하여 모델 학습에 필요한 화면이나 입력 영상으로서 출력하는 단계;
    상기 화면이나 입력 영상을 생물학적 뉴런 모델에 제공하는 방식을 설정하는 단계;
    상기 생물학적 뉴런 모델의 학습 파라미터인 뉴런의 생물학적 파라미터를 설정하는 단계;
    상기 뉴런의 생물학적 파라미터에 따라 상기 생물학적 뉴런 모델에 포함된 뉴런들 간에 전송되는 영상 정보를 담고 있는 시냅스를 LTP(long-term-potentiation) 방식을 사용하여 업데이트하는 단계-상기 LTP 방식은 특정 영상이 뉴런 신호를 발생시킬 때 관련된 시냅스를 강화하는 것을 포함함-; 및
    상기 생물학적 뉴런 모델의 각 뉴런의 시냅스 강도로 상기 생물학적 뉴런 모델에 의한 학습 정보를 확인하는 단계;를 포함하며,
    상기 뉴런의 생물학적 파라미터는, 뉴런의 휴지기(refractory period), 경쟁 계수 및 뉴런의 개수를 포함하고,
    상기 경쟁 계수는 서로 다른 뉴런이 같은 영상 정보를 포착할 때 각 뉴런이 저장하고 있는 전류 값들 중 가장 큰 전류 값을 가진 뉴런이 모든 정보를 독식하도록 하는 정도를 나타내는, 뉴런 모델 기반 제어 방법.
  16. 청구항 15에 있어서,
    상기 화면이나 입력 영상을 생물학적 뉴런 모델에 제공하는 방식을 설정하는 단계는, 제1 사이즈의 영상에서 특징적인 제2 사이즈의 이미지를 수집하기 위한 제2 사이즈의 패치를 이용하고, 상기 뉴런의 전류를 방출한 후 상기 뉴런의 상기 휴지기에 대해 설정된 일정 프레임동안 정보를 업데이트하지 않는 것을 포함하는, 뉴런 모델 기반 제어 방법.
  17. 청구항 15에 있어서,
    상기 업데이트하는 단계는, 상기 특정 영상이 뉴런 신호를 발생시킬 때, 발생한 신호가 약한 뉴런에 대하여 관련된 시냅스를 약화시키는 것을 더 포함하는, 뉴런 모델 기반 제어 방법.
  18. 청구항 16 또는 청구항 17에 있어서,
    상기 업데이트하는 단계는, 상기 뉴런의 신호가 발생하는 것을 자연적으로 억제하는 LIF(leaky integrate-and fire)를 사용하여, 상기 화면 또는 입력 영상의 수집이 중단되는 블랙아웃의 발생 후에 사람의 개입 없이 스스로 학습을 중단하고, 상기 화면 또는 입력 영상의 수집이 재개될 때 자체적으로 학습을 재개하는 것을 더 포함하는, 뉴런 모델 기반 제어 방법.
  19. 청구항 16 또는 청구항 17에 있어서,
    상기 업데이트하는 단계는, 학습을 반복하여 상기 뉴런의 시냅스 연결 강도를 강화하는 것을 더 포함하는, 뉴런 모델 기반 제어 방법.
  20. 청구항 15에 있어서,
    상기 LTP 방식으로 업데이트된 시냅스에 담긴 영상 정보를 열람하는 단계; 및
    열람한 영상 정보를 데이터 저장부에 저장하는 단계를 더 포함하는, 뉴런 모델 기반 제어 방법.
KR1020210120018A 2021-09-08 2021-09-08 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치 및 제어 방법 KR102405726B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210120018A KR102405726B1 (ko) 2021-09-08 2021-09-08 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치 및 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210120018A KR102405726B1 (ko) 2021-09-08 2021-09-08 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치 및 제어 방법

Publications (1)

Publication Number Publication Date
KR102405726B1 true KR102405726B1 (ko) 2022-06-07

Family

ID=81987171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210120018A KR102405726B1 (ko) 2021-09-08 2021-09-08 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치 및 제어 방법

Country Status (1)

Country Link
KR (1) KR102405726B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050246298A1 (en) * 2004-03-22 2005-11-03 Siemens Aktiengesellschaft Device for context-dependent data analysis
KR20170008747A (ko) * 2014-05-12 2017-01-24 퀄컴 인코포레이티드 공통 피처들에 대한 분류자의 업데이트
KR20190056720A (ko) * 2017-11-17 2019-05-27 삼성전자주식회사 뉴럴 네트워크 학습 방법 및 디바이스
KR20210036226A (ko) 2019-09-25 2021-04-02 한국전자기술연구원 복수의 엣지와 클라우드를 포함하는 분산 컴퓨팅 시스템 및 이의 적응적 지능 활용을 위한 분석 모델 제공 방법
KR102247111B1 (ko) 2020-12-30 2021-05-03 주식회사세오 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템 및 이의 동작 방법
KR20210075991A (ko) * 2018-10-19 2021-06-23 소니그룹주식회사 센서 장치 및 파라미터 설정 방법
KR20210085609A (ko) 2019-12-31 2021-07-08 이노뎁 주식회사 코어 vms와 엣지 vms를 구비한 모바일 엣지 컴퓨팅 기반의 영상 관제 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050246298A1 (en) * 2004-03-22 2005-11-03 Siemens Aktiengesellschaft Device for context-dependent data analysis
KR20170008747A (ko) * 2014-05-12 2017-01-24 퀄컴 인코포레이티드 공통 피처들에 대한 분류자의 업데이트
KR20190056720A (ko) * 2017-11-17 2019-05-27 삼성전자주식회사 뉴럴 네트워크 학습 방법 및 디바이스
KR20210075991A (ko) * 2018-10-19 2021-06-23 소니그룹주식회사 센서 장치 및 파라미터 설정 방법
KR20210036226A (ko) 2019-09-25 2021-04-02 한국전자기술연구원 복수의 엣지와 클라우드를 포함하는 분산 컴퓨팅 시스템 및 이의 적응적 지능 활용을 위한 분석 모델 제공 방법
KR20210085609A (ko) 2019-12-31 2021-07-08 이노뎁 주식회사 코어 vms와 엣지 vms를 구비한 모바일 엣지 컴퓨팅 기반의 영상 관제 시스템
KR102247111B1 (ko) 2020-12-30 2021-05-03 주식회사세오 엣지 컴퓨팅 기반의 인공지능 영상 감시 시스템 및 이의 동작 방법

Similar Documents

Publication Publication Date Title
US10558892B2 (en) Scene understanding using a neurosynaptic system
WO2021043112A1 (zh) 图像分类方法以及装置
WO2021238366A1 (zh) 一种神经网络构建方法以及装置
US20190182499A1 (en) Apparatus and methods for real time estimation of differential motion in live video
US9436908B2 (en) Apparatus and methods for rate-modulated plasticity in a neuron network
CN109993707B (zh) 图像去噪方法和装置
US11631246B2 (en) Method for outputting a signal from an event-based sensor, and event-based sensor using such method
CN111246091B (zh) 一种动态自动曝光控制方法和装置及电子设备
Yousefzadeh et al. Hardware implementation of convolutional STDP for on-line visual feature learning
CN110516623B (zh) 一种人脸识别方法、装置及电子设备
CN111832592A (zh) Rgbd显著性检测方法以及相关装置
CN110222718B (zh) 图像处理的方法及装置
CN112862828B (zh) 一种语义分割方法、模型训练方法及装置
KR102628898B1 (ko) 인공 지능 기반의 영상 처리 방법 및 이를 수행하는 영상 처리 장치
CN113011562A (zh) 一种模型训练方法及装置
CN112668366A (zh) 图像识别方法、装置、计算机可读存储介质及芯片
CN112464930A (zh) 目标检测网络构建方法、目标检测方法、装置和存储介质
CN111931901A (zh) 一种神经网络构建方法以及装置
CN113516227A (zh) 一种基于联邦学习的神经网络训练方法及设备
WO2022132407A1 (en) Event camera based navigation control
CN115239581A (zh) 一种图像处理方法及相关装置
CN113536970A (zh) 一种视频分类模型的训练方法及相关装置
CN114723781B (zh) 基于相机阵列的目标追踪方法及系统
KR102405726B1 (ko) 클라우드 데이터 전송 정보량의 최적화를 위한 뉴런 모델 기반 제어 장치 및 제어 방법
CN110705564A (zh) 图像识别的方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant