KR20220078834A - 온디바이스 ai 수행을 위한 대용량 스트림 데이터 처리 방법 - Google Patents

온디바이스 ai 수행을 위한 대용량 스트림 데이터 처리 방법 Download PDF

Info

Publication number
KR20220078834A
KR20220078834A KR1020200168008A KR20200168008A KR20220078834A KR 20220078834 A KR20220078834 A KR 20220078834A KR 1020200168008 A KR1020200168008 A KR 1020200168008A KR 20200168008 A KR20200168008 A KR 20200168008A KR 20220078834 A KR20220078834 A KR 20220078834A
Authority
KR
South Korea
Prior art keywords
data
deep learning
analysis model
interest
stream data
Prior art date
Application number
KR1020200168008A
Other languages
English (en)
Other versions
KR102574744B1 (ko
Inventor
이석준
성낙명
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020200168008A priority Critical patent/KR102574744B1/ko
Publication of KR20220078834A publication Critical patent/KR20220078834A/ko
Application granted granted Critical
Publication of KR102574744B1 publication Critical patent/KR102574744B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

4K 영상, LiDar와 같이 대용량 센서 데이터에 대해 온디바이스 환경에서 AI 분석을 수행하기 위해, 데이터를 전처리하여 AI 분석을 수행하는 데이터 처리 방법이 제공된다. 본 발명의 실시예에 따른 대용량 스트림 데이터 처리 방법은, 대용량 스트림 데이터 처리 시스템이 영상 데이터를 수집하는 단계; 대용량 스트림 데이터 처리 시스템이, 컨텍스트 정보를 이용하여 수집된 데이터를 필터링하는 데이터 전처리 절차를 수행하는 단계; 및 대용량 스트림 데이터 처리 시스템이, 컨텍스트 기반의 딥러닝 분석 모델에 데이터 전처리 절차를 거친 데이터를 입력하여, 영상을 분석하는 단계;를 포함한다. 이에 의해, 컨텍스트 정보를 이용해 데이터를 전처리하여, 4K 영상, 라이다(LiDar) 데이터와 같이 대용량 센서 데이터에 대해 온디바이스 환경에서 AI 분석을 수행하는데 기여할 수 있다.

Description

온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 방법{Large stream data processing method for On-device Artificial Intelligence implementation}
본 발명은 대용량 데이터 처리 방법에 관한 것으로, 더욱 상세하게는 4K 영상, LiDar와 같이 대용량 센서 데이터에 대해 온디바이스 환경에서 AI 분석을 수행하기 위해, 데이터를 전처리하여 AI 분석을 수행하는 데이터 처리 방법에 관한 것이다.
일반적으로, AI(Artificial Intelligence)는 보통 여러 개의 AI 모델로 이루어져 있으며, AI 학습을 기반으로 구현된다.
이러한 AI는 사용자의 컨텍스트(맥락, 환경, 의도)를 고려하여, 다양한 서비스를 제공하고자 개발되고 있다.
그러나 대용량 데이터를 기반으로 AI를 수행하는 경우, 네트워크 상에서 데이터를 처리하는데 걸리는 시간이 상당하며, 범용적으로 구현된 AI 모델을 이용하여 서비스를 제공함에 따라 즉각적으로 현재 컨텍스트에 맞는 AI 분석의 성능을 확보하기 어렵다는 문제점이 존재한다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 4K 영상, 라이다(LiDar) 데이터와 같이 대용량 센서 데이터에 대해 온디바이스 환경에서 AI 분석을 수행하기 위해, 컨텍스트 정보를 이용해 데이터를 전처리하여 AI 분석을 수행할 수 있는 대용량 스트림 데이터 처리 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 대용량 스트림 데이터 처리 방법은, 대용량 스트림 데이터 처리 시스템이 영상 데이터를 수집하는 단계; 대용량 스트림 데이터 처리 시스템이, 컨텍스트 정보를 이용하여 수집된 데이터를 필터링하는 데이터 전처리 절차를 수행하는 단계; 및 대용량 스트림 데이터 처리 시스템이, 컨텍스트 기반의 딥러닝 분석 모델에 데이터 전처리 절차를 거친 데이터를 입력하여, 영상을 분석하는 단계;를 포함한다.
또한, 데이터 전처리 절차를 수행하는 단계는, 컨텍스트 정보를 이용하여 수집된 데이터를 필터링하여, 영상 데이터 내 관심 영역을 설정할 수 있다.
그리고 데이터 전처리 절차를 수행하는 단계는, 관심 영역 설정 시, 이전 분석에서의 객체 위치를 기반으로 데이터에서 객체가 존재할 수 있는 영역만을 필터링하고, 필터링 결과를 기반으로 관심 영역을 설정할 수 있다.
또한, 데이터 전처리 절차를 수행하는 단계는, 관심 영역이 설정되면, 관심 영역이 포함된 데이터를 컨텍스트 기반의 딥러닝 분석 모델의 딥러닝 학습에 적합한 형태로 변환하기 위해, 샘플링을 수행할 수 있다.
그리고 데이터 전처리 절차를 수행하는 단계는, 영상 데이터를 수집하는 디바이스가 이동체인 경우, 이동체의 이동 속도를 고려하여, 샘플링 레이트(Sampling Rate)를 조절할 수 있다.
또한, 본 발명의 일 실시예에 따른, 대용량 스트림 데이터 처리 방법은, 대용량 스트림 데이터 처리 시스템이, 복수의 딥러닝 분석 모델을 학습시키고, 학습된 딥러닝 분석 모델 중 사용될 딥러닝 분석 모델을 선택하는 단계;를 더 포함할 수 있다.
그리고 딥러닝 분석 모델을 선택하는 단계는, 학습된 딥러닝 분석 모델들을 상대적으로 고성능 분석 모델로 구성되는 제1 그룹과 제1 그룹보다 성능이 낮지만, 리소스 부하가 제1 그룹보다 적은 제2 그룹으로 구분하고, 현재 컨텍스트를 고려하여, 제1 그룹 및 제2 그룹에서 각각 적어도 하나의 분석 모델을 선택할 수 있다.
또한, 영상을 분석하는 단계는, 데이터 전처리 절차를 거친 데이터 중 관심 영역에 해당하는 데이터를 제1 그룹에서 선택된 고성능 분석 모델에 입력하고, 관심 영역에 해당하지 않는 데이터를 제2 그룹에서 선택된 분석 모델에 입력할 수 있다.
그리고 영상을 분석하는 단계는, 영상 내 관심 영역에 해당하는 데이터 중 기설정된 타겟에 해당하는 데이터에 가중치를 부여하고, 가중치가 부여된 데이터를 다른 관심 영역에 해당하는 데이터보다 우선적으로 제1 그룹에서 선택된 고성능 분석 모델에 입력하며, 이때, 기설정된 타겟은, 자동차, 차선, 횡단보도, 신호등 및 보행자 중 적어도 하나일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 대용량 스트림 데이터 처리 시스템은, 영상 데이터를 수집하는 수집부; 및 컨텍스트 정보를 이용하여 수집된 데이터를 필터링하는 데이터 전처리 절차를 수행하고, 컨텍스트 기반의 딥러닝 분석 모델에 데이터 전처리 절차를 거친 데이터를 입력하여, 영상을 분석하는 프로세서;를 포함한다.
그리고 본 발명의 다른 실시예에 따른, 대용량 스트림 데이터 처리 방법은, 대용량 스트림 데이터 처리 시스템이 영상 데이터를 수집하는 단계; 대용량 스트림 데이터 처리 시스템이, 컨텍스트 정보를 이용하여 수집된 데이터를 필터링하여, 영상 데이터 내 관심 영역을 설정하는 데이터 전처리 절차를 수행하는 단계; 대용량 스트림 데이터 처리 시스템이, 복수의 딥러닝 분석 모델을 학습시키고, 학습된 딥러닝 분석 모델 중 사용될 딥러닝 분석 모델을 선택하는 단계; 및 대용량 스트림 데이터 처리 시스템이, 선택된 딥러닝 분석 모델에 데이터 전처리 절차를 거친 데이터를 입력하여, 영상을 분석하는 단계;를 포함한다.
또한, 본 발명의 다른 실시예에 따른, 대용량 스트림 데이터 처리 시스템은, 영상 데이터를 수집하는 수집부; 및 컨텍스트 정보를 이용하여 수집된 데이터를 필터링하여, 영상 데이터 내 관심 영역을 설정하는 데이터 전처리 절차를 수행하고, 복수의 딥러닝 분석 모델을 학습시키고, 학습된 딥러닝 분석 모델 중 사용될 딥러닝 분석 모델을 선택하며, 선택된 딥러닝 분석 모델에 데이터 전처리 절차를 거친 데이터를 입력하여, 영상을 분석하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 컨텍스트 정보를 이용해 데이터를 전처리하여, 4K 영상, 라이다(LiDar) 데이터와 같이 대용량 센서 데이터에 대해 온디바이스 환경에서 AI 분석을 수행하는데 기여할 수 있다.
도 1은, 본 발명의 일 실시예에 따른 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 시스템의 설명에 제공된 도면,
도 2는, 본 발명의 일 실시예에 따른 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 시스템의 구성 설명에 제공된 도면,
도 3은, 영상 데이터 내 관심 영역을 설정하는 과정의 설명에 제공된 도면, 그리고
도 4는, 본 발명의 일 실시예에 따른 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 방법의 설명에 제공된 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은, 본 발명의 일 실시예에 따른 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 시스템의 설명에 제공된 도면이고, 도 2는, 본 발명의 일 실시예에 따른 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 시스템의 구성 설명에 제공된 도면이며, 도 3은, 영상 데이터 내 관심 영역을 설정하는 과정의 설명에 제공된 도면이다.
본 실시예에 따른 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 시스템(이하에서는 '대용량 스트림 데이터 처리 시스템'으로 총칭하기로 함)은, 4K 영상, 라이다 데이터와 같이 대용량 센서 데이터에 대해, 컨텍스트 정보를 이용해 데이터를 전처리하여 온디바이스 환경에서 AI 분석을 수행할 수 있다.
이를 위해, 본 대용량 스트림 데이터 처리 시스템은, 수집부(110), 프로세서(120) 및 저장부(130)를 포함할 수 있다.
수집부(110)는, AI 모델이 적용되는 서비스를 지원하기 위해, 분석하고자 하는 영상 데이터(또는 라이다 데이터) 및 영상 데이터(또는 라이다 데이터) 분석에 이용될 수 있는 AI 모델이 수행되는 공간, 시간, 날씨(기상), 기타 환경, AI가 동작하는 디바이스 환경 등이 포함된 컨텍스트 데이터를 수집할 수 있다.
프로세서(120)는, 컨텍스트 정보를 이용하여 수집된 데이터를 필터링하는 데이터 전처리 절차를 수행하고, 컨텍스트 기반의 딥러닝 분석 모델에 데이터 전처리 절차를 거친 데이터를 입력하여, 영상을 분석할 수 있다.
구체적으로 프로세서(120)는, 데이터 전처리 절차 수행 시, 컨텍스트 정보를 이용하여 수집된 데이터를 필터링하여, 영상 데이터 내 관심 영역(ROI, Region Of Interest)을 설정할 수 있다.
예를 들면, 프로세서(120)는, 도 3에 예시된 바와 같이 관심 영역 설정 시, 이전 분석에서의 객체 위치를 기반으로 데이터에서 객체가 존재할 수 있는 영역만을 필터링하고, 필터링 결과를 기반으로 관심 영역을 설정하는 것이다.
그리고 프로세서(120)는, 관심 영역이 설정되면, 관심 영역이 포함된 데이터를 컨텍스트 기반의 딥러닝 분석 모델의 딥러닝 학습에 적합한 형태로 변환하기 위해, 샘플링을 수행할 수 있다.
이때, 프로세서(120)는, 영상 데이터를 수집하는 디바이스의 위치 또는 이동속도와 같은 특성을 고려하여, 샘플링 레이트를 조절할 수 있다.
예를 들면, 프로세서(120)는, 영상 데이터를 수집하는 디바이스가 이동체인 경우, 이동체의 비행 고도 또는 이동 속도를 고려하여, 샘플링 레이트를 조절할 수 있다.
한편, 프로세서(120)는, 수집부(110)를 통해 수집된 영상 데이터를 이용하여, 복수의 딥러닝 분석 모델을 학습시킬 수 있다.
그리고 프로세서(120)는, 특정 딥러닝 분석 모델이 적용되는 서비스를 지원하기 위해, 학습된 복수의 딥러닝 분석 모델 중 적어도 하나를 사용될 딥러닝 분석 모델로서 선택할 수 있다.
예를 들면, 프로세서(120)는, 학습된 딥러닝 분석 모델별 연산 성능을 정리하여 리스트를 생성하며, 리스트를 기반으로 사용될 딥러닝 분석 모델 실행을 선택할 수 있다.
여기서, 프로세서(120)는, 리스트 생성 시, 각각의 학습된 딥러닝 분석 모델의 성능을 비교 평가하여 리스트를 생성할 수 있다.
또한, 프로세서(120)는, 생성된 리스트를 이용하여, 학습된 딥러닝 분석 모델들이 보장하는 연산 성능과 영상 분석 시 발생하는 리소스 부하를 기준으로 복수의 그룹으로 구분할 수 있다.
이는, 프로세서(120)에 의해, 관심 영역이 설정되는 경우, 관심 영역에 해당하는 데이터와 관심 영역이 아닌 데이터를 구분하여, 서로 다른 연산 성능의 딥러닝 분석 모델들을 사용하기 위함이다.
예를 들면, 프로세서(120)는, 학습된 딥러닝 분석 모델들을 상대적으로 고성능 분석 모델로 구성되는 제1 그룹과 기설정된 임계 성능 이상을 보장하되, 제1 그룹보다 연산 성능이 낮고, 리소스 부하가 제1 그룹보다 적은 제2 그룹으로 구분할 수 있다.
그리고 프로세서(120)는, 현재 컨텍스트 데이터를 고려하여, 제1 그룹 및 제2 그룹에서 각각 적어도 하나의 분석 모델을 선택하고, 데이터 전처리 절차를 거친 데이터 중 관심 영역에 해당하는 데이터를 제1 그룹에서 선택된 고성능 분석 모델에 입력하여 고성능의 영상 분석이 수행되도록 하고, 관심 영역에 해당하지 않는 데이터를 제2 그룹에서 선택된 분석 모델에 입력하여, 리소스 부하가 관심 영역보다 적게 발생하는 상태로 영상 분석이 수행되도록 할 수 있다.
이를 통해, 대용량 데이터를 처리하는 과정에서 발생하는 리소스 부하를 절감시키고, 데이터 처리 속도를 향상시킬 수 있다.
한편, 프로세서(120)는, 영상 내 관심 영역에 해당하는 데이터 중 기설정된 타겟에 해당하는 데이터에 가중치를 부여하고, 가중치가 부여된 데이터를 다른 관심 영역에 해당하는 데이터보다 우선적으로 제1 그룹에서 선택된 고성능 분석 모델에 입력할 수 있다.
이때, 기설정된 타겟은, 자동차, 무인 비행체, 오토바이와 같은 이동체, 차선, 횡단보도, 신호등 및 보행자 등이 포함될 수 있다.
저장부(130)는, 프로세서(120)가 동작함에 있어 필요한 프로그램 및 데이터를 저장하는 저장매체이다.
도 4는, 본 발명의 일 실시예에 따른 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 방법의 설명에 제공된 도면이다.
도 4를 참조하면, 본 실시예에 따른 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 방법은, 도 1 내지 도 3을 참조하여 전술한 대용량 스트림 데이터 처리 시스템을 이용하여 실행될 수 있다.
구체적으로, 본 실시예에 따른 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 방법은, AI 모델이 적용되는 서비스를 지원하기 위해, 분석하고자 하는 영상 데이터(또는 라이다 데이터) 및 영상 데이터(또는 라이다 데이터) 분석에 이용될 수 있는 AI 모델이 수행되는 공간, 시간, 날씨(기상), 기타 환경, AI가 동작하는 디바이스 환경 등이 포함된 컨텍스트 데이터를 수집할 수 있다(S410).
그리고 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 방법은, 컨텍스트 정보를 이용하여 수집된 데이터를 필터링하는 데이터 전처리 절차를 수행할 수 있다(S420).
구체적으로, 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 방법은, 프로세서(120)를 이용하여, 이전 분석에서의 객체 위치를 기반으로 데이터에서 객체가 존재할 수 있는 영역만을 필터링하고, 필터링 결과를 기반으로 관심 영역으로 설정할 수 있다.
또한, 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 방법은, 프로세서(120)를 이용하여, 샘플링을 수행하여, 관심 영역이 포함된 데이터를 컨텍스트 기반의 딥러닝 분석 모델의 딥러닝 학습에 적합한 형태로 변환할 수 있다.
그리고 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 방법은, 데이터 전처리 절차가 완료되면, 영상 데이터를 이용하여, 복수의 딥러닝 분석 모델을 학습시키고(S430), 특정 딥러닝 분석 모델이 적용되는 서비스를 지원하기 위해, 학습된 복수의 딥러닝 분석 모델 중 적어도 하나를 사용될 딥러닝 분석 모델로서 선택하여(S440), 영상 분석을 수행할 수 있다(S450).
구체적으로, 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 방법은, 프로세서(120)를 이용하여, 학습된 딥러닝 분석 모델별 연산 성능을 정리하여 리스트를 생성하고, 리스트를 기반으로 사용될 딥러닝 분석 모델 실행을 선택할 수 있으며, 생성된 리스트를 이용하여, 학습된 딥러닝 분석 모델들이 보장하는 연산 성능과 영상 분석 시 발생하는 리소스 부하를 기준으로 복수의 그룹으로 구분할 수 있다.
즉, 온디바이스 AI 수행을 위한 대용량 스트림 데이터 처리 방법은, 학습된 딥러닝 분석 모델들을 상대적으로 고성능 분석 모델로 구성되는 제1 그룹과 기설정된 임계 성능 이상을 보장하되, 제1 그룹보다 연산 성능이 낮고, 리소스 부하가 제1 그룹보다 적은 제2 그룹으로 구분하고, 현재 컨텍스트 데이터를 고려하여, 제1 그룹 및 제2 그룹에서 각각 적어도 하나의 분석 모델을 선택하고, 데이터 전처리 절차를 거친 데이터 중 관심 영역에 해당하는 데이터를 제1 그룹에서 선택된 고성능 분석 모델에 입력하여 고성능의 영상 분석이 수행되도록 하고, 관심 영역에 해당하지 않는 데이터를 제2 그룹에서 선택된 분석 모델에 입력하여, 리소스 부하가 관심 영역보다 적게 발생하는 상태로 영상 분석이 수행되도록 할 수 있다.
이를 통해, 컨텍스트 정보를 이용해 데이터를 전처리하여, 4K 영상, 라이다(LiDar) 데이터와 같이 대용량 센서 데이터에 대해 온디바이스 환경에서 AI 분석을 수행하는데 기여할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 수집부
120 : 프로세서
130 : 저장부

Claims (12)

  1. 대용량 스트림 데이터 처리 시스템이 영상 데이터를 수집하는 단계;
    대용량 스트림 데이터 처리 시스템이, 컨텍스트 정보를 이용하여 수집된 데이터를 필터링하는 데이터 전처리 절차를 수행하는 단계; 및
    대용량 스트림 데이터 처리 시스템이, 컨텍스트 기반의 딥러닝 분석 모델에 데이터 전처리 절차를 거친 데이터를 입력하여, 영상을 분석하는 단계;를 포함하는 대용량 스트림 데이터 처리 방법.
  2. 청구항 1에 있어서,
    데이터 전처리 절차를 수행하는 단계는,
    컨텍스트 정보를 이용하여 수집된 데이터를 필터링하여, 영상 데이터 내 관심 영역을 설정하는 것을 특징으로 하는 대용량 스트림 데이터 처리 방법.
  3. 청구항 2에 있어서,
    데이터 전처리 절차를 수행하는 단계는,
    관심 영역 설정 시, 이전 분석에서의 객체 위치를 기반으로 데이터에서 객체가 존재할 수 있는 영역만을 필터링하고, 필터링 결과를 기반으로 관심 영역을 설정하는 것을 특징으로 하는 대용량 스트림 데이터 처리 방법.
  4. 청구항 3에 있어서,
    데이터 전처리 절차를 수행하는 단계는,
    관심 영역이 설정되면, 관심 영역이 포함된 데이터를 컨텍스트 기반의 딥러닝 분석 모델의 딥러닝 학습에 적합한 형태로 변환하기 위해, 샘플링을 수행하는 것을 특징으로 하는 대용량 스트림 데이터 처리 방법.
  5. 청구항 4에 있어서,
    데이터 전처리 절차를 수행하는 단계는,
    영상 데이터를 수집하는 디바이스가 이동체인 경우, 이동체의 이동 속도를 고려하여, 샘플링 레이트를 조절하는 것을 특징으로 하는 대용량 스트림 데이터 처리 방법.
  6. 청구항 4에 있어서,
    대용량 스트림 데이터 처리 시스템이, 복수의 딥러닝 분석 모델을 학습시키고, 학습된 딥러닝 분석 모델 중 사용될 딥러닝 분석 모델을 선택하는 단계;를 더 포함하는 것을 특징으로 하는 대용량 스트림 데이터 처리 방법.
  7. 청구항 6에 있어서,
    딥러닝 분석 모델을 선택하는 단계는,
    학습된 딥러닝 분석 모델들을 상대적으로 고성능 분석 모델로 구성되는 제1 그룹과 제1 그룹보다 성능이 낮지만, 리소스 부하가 제1 그룹보다 적은 제2 그룹으로 구분하고, 현재 컨텍스트를 고려하여, 제1 그룹 및 제2 그룹에서 각각 적어도 하나의 분석 모델을 선택하는 것을 특징으로 하는 대용량 스트림 데이터 처리 방법.
  8. 청구항 7에 있어서,
    영상을 분석하는 단계는,
    데이터 전처리 절차를 거친 데이터 중 관심 영역에 해당하는 데이터를 제1 그룹에서 선택된 고성능 분석 모델에 입력하고, 관심 영역에 해당하지 않는 데이터를 제2 그룹에서 선택된 분석 모델에 입력하는 것을 특징으로 하는 대용량 스트림 데이터 처리 방법.
  9. 청구항 8에 있어서,
    영상을 분석하는 단계는,
    영상 내 관심 영역에 해당하는 데이터 중 기설정된 타겟에 해당하는 데이터에 가중치를 부여하고,
    가중치가 부여된 데이터를 다른 관심 영역에 해당하는 데이터보다 우선적으로 제1 그룹에서 선택된 고성능 분석 모델에 입력하며,
    기설정된 타겟은,
    자동차, 차선, 횡단보도, 신호등 및 보행자 중 적어도 하나인 것을 특징으로 하는 대용량 스트림 데이터 처리 방법.
  10. 영상 데이터를 수집하는 수집부; 및
    컨텍스트 정보를 이용하여 수집된 데이터를 필터링하는 데이터 전처리 절차를 수행하고, 컨텍스트 기반의 딥러닝 분석 모델에 데이터 전처리 절차를 거친 데이터를 입력하여, 영상을 분석하는 프로세서;를 포함하는 대용량 스트림 데이터 처리 시스템.
  11. 대용량 스트림 데이터 처리 시스템이 영상 데이터를 수집하는 단계;
    대용량 스트림 데이터 처리 시스템이, 컨텍스트 정보를 이용하여 수집된 데이터를 필터링하여, 영상 데이터 내 관심 영역을 설정하는 데이터 전처리 절차를 수행하는 단계;
    대용량 스트림 데이터 처리 시스템이, 복수의 딥러닝 분석 모델을 학습시키고, 학습된 딥러닝 분석 모델 중 사용될 딥러닝 분석 모델을 선택하는 단계; 및
    대용량 스트림 데이터 처리 시스템이, 선택된 딥러닝 분석 모델에 데이터 전처리 절차를 거친 데이터를 입력하여, 영상을 분석하는 단계;를 포함하는 대용량 스트림 데이터 처리 방법.
  12. 영상 데이터를 수집하는 수집부; 및
    컨텍스트 정보를 이용하여 수집된 데이터를 필터링하여, 영상 데이터 내 관심 영역을 설정하는 데이터 전처리 절차를 수행하고, 복수의 딥러닝 분석 모델을 학습시키고, 학습된 딥러닝 분석 모델 중 사용될 딥러닝 분석 모델을 선택하며, 선택된 딥러닝 분석 모델에 데이터 전처리 절차를 거친 데이터를 입력하여, 영상을 분석하는 프로세서;를 포함하는 대용량 스트림 데이터 처리 시스템.
KR1020200168008A 2020-12-04 2020-12-04 온디바이스 ai 수행을 위한 대용량 스트림 데이터 처리 방법 KR102574744B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200168008A KR102574744B1 (ko) 2020-12-04 2020-12-04 온디바이스 ai 수행을 위한 대용량 스트림 데이터 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200168008A KR102574744B1 (ko) 2020-12-04 2020-12-04 온디바이스 ai 수행을 위한 대용량 스트림 데이터 처리 방법

Publications (2)

Publication Number Publication Date
KR20220078834A true KR20220078834A (ko) 2022-06-13
KR102574744B1 KR102574744B1 (ko) 2023-09-06

Family

ID=81984517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200168008A KR102574744B1 (ko) 2020-12-04 2020-12-04 온디바이스 ai 수행을 위한 대용량 스트림 데이터 처리 방법

Country Status (1)

Country Link
KR (1) KR102574744B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102567024B1 (ko) 2022-12-26 2023-08-16 한국단자공업 주식회사 임베디드 기기 내 센서데이터의 온-디바이스 학습을 위한 신경망 구조 탐색방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019194863A1 (en) * 2018-04-04 2019-10-10 Sri International Methods for enhanced imaging based on semantic processing and dynamic scene modeling
JP2019215755A (ja) * 2018-06-13 2019-12-19 株式会社デンソーテン 画像認識装置、画像認識方法、機械学習モデル提供装置、機械学習モデル提供方法、機械学習モデル生成方法、および機械学習モデル装置
KR20200037602A (ko) * 2018-10-01 2020-04-09 주식회사 한글과컴퓨터 인공 신경망 선택 장치 및 방법
JP2020113964A (ja) * 2019-07-17 2020-07-27 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視カメラおよび検知方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019194863A1 (en) * 2018-04-04 2019-10-10 Sri International Methods for enhanced imaging based on semantic processing and dynamic scene modeling
JP2019215755A (ja) * 2018-06-13 2019-12-19 株式会社デンソーテン 画像認識装置、画像認識方法、機械学習モデル提供装置、機械学習モデル提供方法、機械学習モデル生成方法、および機械学習モデル装置
KR20200037602A (ko) * 2018-10-01 2020-04-09 주식회사 한글과컴퓨터 인공 신경망 선택 장치 및 방법
JP2020113964A (ja) * 2019-07-17 2020-07-27 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視カメラおよび検知方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102567024B1 (ko) 2022-12-26 2023-08-16 한국단자공업 주식회사 임베디드 기기 내 센서데이터의 온-디바이스 학습을 위한 신경망 구조 탐색방법

Also Published As

Publication number Publication date
KR102574744B1 (ko) 2023-09-06

Similar Documents

Publication Publication Date Title
Zhao et al. Multi-agent tensor fusion for contextual trajectory prediction
Codevilla et al. On offline evaluation of vision-based driving models
Ishihara et al. Multi-task learning with attention for end-to-end autonomous driving
Perera et al. A multiviewpoint outdoor dataset for human action recognition
KR101934325B1 (ko) 객체 분류 방법 및 그 장치
CN107741781A (zh) 无人机的飞行控制方法、装置、无人机及存储介质
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN110348278B (zh) 用于自主驾驶的基于视觉的样本高效的强化学习框架
US11222431B2 (en) Feature processing method and device for motion trajectory, and computer storage medium
US11288515B2 (en) Methods and systems for real-time data reduction
CN109063667B (zh) 一种基于场景的视频识别方式优化及推送方法
KR20230133059A (ko) 인공지능 기반 디지털 미디어 컨텐츠 자동 제작 방법, 장치 및 시스템
WO2022132407A1 (en) Event camera based navigation control
KR20220078834A (ko) 온디바이스 ai 수행을 위한 대용량 스트림 데이터 처리 방법
JP2022513868A (ja) カメラ位置決め
Huu et al. Proposing recognition algorithms for hand gestures based on machine learning model
CN116051561A (zh) 一种基于车载边缘设备的轻量化路面病害巡检方法
CN112819856B (zh) 一种应用于无人机的目标跟踪方法及自定位方法
WO2020008459A1 (en) System and method for use in object detection from video stream
KR102529335B1 (ko) Ai 칩 연계 기반 온디바이스 ai 지원 방법
CN115588150A (zh) 基于改进YOLOv5-L的宠物犬视频目标检测方法及系统
KR20230056366A (ko) 딥러닝을 이용한 행동 인식 방법 및 그 장치
JP2021197184A (ja) 分類器を訓練及びテストするためのデバイス及び方法
CN113505729A (zh) 基于人体面部运动单元的面试作弊检测方法及系统
CN112732083A (zh) 一种基于手势识别的无人机智能控制方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant