KR20200046168A - 모듈화된 신경망의 데이터 처리를 제어하는 전자 장치 및 그 제어 방법 - Google Patents

모듈화된 신경망의 데이터 처리를 제어하는 전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20200046168A
KR20200046168A KR1020180123799A KR20180123799A KR20200046168A KR 20200046168 A KR20200046168 A KR 20200046168A KR 1020180123799 A KR1020180123799 A KR 1020180123799A KR 20180123799 A KR20180123799 A KR 20180123799A KR 20200046168 A KR20200046168 A KR 20200046168A
Authority
KR
South Korea
Prior art keywords
artificial intelligence
data
data processing
intelligence model
model
Prior art date
Application number
KR1020180123799A
Other languages
English (en)
Inventor
함명주
문지중
박진혁
안형주
임근식
정재윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180123799A priority Critical patent/KR20200046168A/ko
Priority to PCT/KR2019/013049 priority patent/WO2020080718A1/ko
Priority to US17/266,781 priority patent/US20210319282A1/en
Publication of KR20200046168A publication Critical patent/KR20200046168A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 개시에서는 전자 장치 및 그 제어 방법이 제공된다. 본 개시의 전자 장치는 메모리 및 메모리와 연결되어 전자 장치를 제어하는 프로세서를 포함하며, 프로세서는 메모리에 저장된 적어도 하나의 명령을 실행함으로써, 복수의 인공 지능 모델의 데이터 처리 속도 및 연결 구조 중 적어도 하나에 기초하여 복수의 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.

Description

모듈화된 신경망의 데이터 처리를 제어하는 전자 장치 및 그 제어 방법 {ELECTRONIC APPARATUS FOR CONTROLLING DATA PROCESSING OF MODULED NEURAL NETWORK AND THEREOF CONTROL METHOD}
본 개시는 전자 장치 및 그 제어 방법에 관한 것으로, 보다 상세하게는 모듈화된 신경망의 데이터 처리를 제어하는 전자 장치 및 그 제어 방법에 관한 것이다.
최근, 대규모의 데이터를 빠르게 연산할 수 있는 기술 및 네트워크를 통한 데이터를 수집하는 기술이 발전함으로 인해, 신경망(Neural Network; NN)을 기반으로 하는 딥러닝(Deep Learning)을 활용하는 인공 지능 시스템이 개발되고 있다.
신경망 기반의 딥러닝 시스템은 데이터를 기반으로 기계가 학습하고 판단하는 컴퓨터 시스템으로서, 학습이 누적될수록 판단에 대한 정확도가 향상되는 시스템이다. 여기서, 신경망은 입력과 출력 사이에 뉴런을 층층이 쌓고 연결한 것이다.
한편, 신경망의 인식율이 저하되거나 에러가 발생하더라도 그 원인을 규명하기가 쉽지 않다는 문제가 있다. 또한, 신경망에서 데이터의 흐름을 변경하거나 새로운 신경망이 추가하는 등의 작업은 그 주체가 관리자(또는 개발자)라는 점에서, 신경망이 고도화될수록 관리자의 노력, 비용 및 시간이 요구된다는 문제가 있다.
따라서, 최근에는 신경망의 부분적인 교체 또는 변경을 쉽게 하기 위해, 신경망을 모듈화하려는 시도가 이루어지고 있다. 이때, 모듈화된 개별 신경망은 Caffe, Tensorflow, PyTorch, Keras 등과 같은 프레임워크(Framework) 또는 라이브러리(Library)에 의해 구축될 수 있다(이하에서는 프레임워크라 한다).
다만, 개별 신경망을 조합하여 대규모의 신경망을 구축하는 경우에 개별 신경망을 구축하는 프레임워크의 종류가 다르거나, 종류가 동일하더라도 프레임워크의 버전이 다른 경우에는 개별 신경망 간의 호환성이 문제될 수 있다.
또한, 개별 신경망에 대해 파이프라인을 구성하더라도 개별 신경망은 모듈화된 환경을 고려하여 구축된 것이 아니라는 점에서, 개별 신경망에서 처리된 데이터 간 동기화가 어렵다는 문제가 있고, 개별 신경망 각각에서 데이터를 처리하는 자원이 효율적으로 분배되지 않는다는 문제가 있다.
본 개시는 상술한 필요성에 의해 안출된 것으로, 본 개시의 목적은 개별 신경망을 조합하여 대규모의 신경망을 구축하는 경우에 이종 프레임워크에 기반한 신경망 간의 호환성을 향상시키고 개별 신경망의 데이터 처리에 대한 스케줄링을 향상시키는 전자 장치 및 그 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한, 본 개시의 일 실시 예에 따른 전자 장치는 메모리 및 메모리와 연결되어 전자 장치를 제어하는 프로세서를 포함하며, 프로세서는 메모리에 저장된 적어도 하나의 명령을 실행함으로써, 복수의 인공 지능 모델의 데이터 처리 속도 및 연결 구조 중 적어도 하나에 기초하여 복수의 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어한다.
여기에서, 프로세서는 복수의 인공 지능 모델 중에서 데이터 처리 속도가 서로 다른 제1 인공 지능 모델 및 제2 인공 지능 모델이 동일한 데이터 패스에 존재하는 경우, 제1 및 제2 인공 지능 모델 중 데이터 처리 속도가 느린 인공 지능 모델의 데이터 처리 속도에 기초하여 제1 및 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
여기에서, 프로세서는 제2 인공 지능 모델이 제1 인공 지능 모델의 출력 데이터를 입력 데이터로서 이용하고, 제2 인공 지능 모델의 데이터 처리 속도가 제1 인공 지능 모델의 데이터 처리 속도보다 느린 경우, 제2 인공 지능 모델의 처리 속도에 기초하여 제2 인공 지능 모델에 입력된 제1 인공 지능 모델의 출력 데이터 중에서 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 입력된 데이터를 입력 데이터로서 이용하도록 제1 및 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편, 프로세서는 데이터 처리 속도가 서로 다른 제1 내지 제3 인공 지능 모델 중에서, 제1 및 제2 인공 지능 모델이 서로 다른 데이터 패스에 존재하고 제1 및 제2 인공 지능 모델의 출력 데이터가 머지(merge)되어 제3 인공 지능 모델의 입력 데이터로서 이용되는 경우, 제1 내지 제3 인공 지능 모델의 데이터 처리 속도에 기초하여 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
여기에서, 프로세서는 제1 내지 제3 인공 지능 모델 중에서 제3 인공 지능 모델의 데이터 처리 속도가 가장 빠르고, 제1 인공 지능 모델이 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 제1 인공 지능 모델의 처리 속도에 기초하여 제1 및 제2 인공 지능 모델 중 데이터 처리 속도가 상대적으로 느린 제2 인공 지능 모델의 출력 데이터를 복사하고, 제1 인공 지능 모델의 출력 데이터 및 복사된 출력 데이터를 머지하여 제3 인공 지능 모델의 입력 데이터로서 이용하도록 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편, 프로세서는 제1 내지 제3 인공 지능 모델 중에서 제3 인공 지능 모델의 데이터 처리 속도가 가장 빠르고, 제1 인공 지능 모델이 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 제2 인공 지능 모델의 처리 속도에 기초하여 제1 인공 지능 모델의 출력 데이터 중에서 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 출력된 출력 데이터 및 제2 인공 지능 모델의 출력 데이터를 머지하여 제3 인공 지능 모델의 입력 데이터로서 이용하도록 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편, 프로세서는 제1 내지 제3 인공 지능 모델 중에서 제3 인공 지능 모델의 데이터 처리 속도가 가장 느린 경우, 제1 인공 지능 모델의 출력 데이터 및 제2 인공 지능 모델의 출력 데이터 중에서 제3 인공 지능 모델의 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 출력된 출력 데이터를 머지하여 제3 인공 지능 모델의 입력 데이터로서 이용하도록 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편, 프로세서는 복수의 인공 지능 모델 중에서 데이터 처리 속도가 서로 다른 제1 및 제2 인공 지능 모델이 서로 다른 데이터 패스에 존재하고, 제1 및 제2 인공 지능 모델이 소스의 데이터를 입력 데이터로서 이용하는 경우, 제1 및 제2 인공 지능 모델의 데이터 처리 속도에 기초하여 제1 및 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
여기에서, 프로세서는 제1 인공 지능 모델이 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 제1 인공 지능 모델의 데이터 처리 속도에 기초하여 소스의 데이터가 스플릿되어 제1 및 제2 인공 지능 모델의 입력 데이터로서 이용하도록 소스의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
여기에서, 프로세서는 제1 인공 지능 모델이 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 제2 인공 지능 모델에 입력 된 소스의 데이터 중에서 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 입력된 데이터를 입력 데이터로서 이용하도록 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편, 상기 목적을 달성하기 위한, 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 복수의 인공 지능 모델의 입력 데이터를 수신하는 단계, 복수의 인공 지능 모델에 의해 입력 데이터를 처리한 출력 데이터를 출력하는 단계 및 복수의 인공 지능 모델의 데이터 처리 속도 및 연결 구조 중 적어도 하나에 기초하여 복수의 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는 단계를 포함한다.
여기에서, 스케줄링을 제어하는 단계는 데이터 처리 속도가 서로 다른 제1 인공 지능 모델 및 제2 인공 지능 모델이 동일한 데이터 패스에 존재하는 경우, 제1 및 제2 인공 지능 모델 중 데이터 처리 속도가 느린 인공 지능 모델의 데이터 처리 속도에 기초하여 제1 및 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
여기에서, 스케줄링을 제어하는 단계는 제2 인공 지능 모델이 제1 인공 지능 모델의 출력 데이터를 입력 데이터로서 이용하고, 제2 인공 지능 모델의 데이터 처리 속도가 제1 인공 지능 모델의 데이터 처리 속도보다 느린 경우, 제2 인공 지능 모델의 처리 속도에 기초하여 제2 인공 지능 모델에 입력된 제1 인공 지능 모델의 출력 데이터 중에서 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 입력된 데이터를 입력 데이터로서 이용하도록 제1 및 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편, 스케줄링을 제어하는 단계는 데이터 처리 속도가 서로 다른 제1 내지 제3 인공 지능 모델 중에서, 제1 및 제2 인공 지능 모델이 서로 다른 데이터 패스에 존재하고 제1 및 제2 인공 지능 모델의 출력 데이터가 머지(merge)되어 제3 인공 지능 모델의 입력 데이터로서 이용되는 경우, 제1 내지 제3 인공 지능 모델의 데이터 처리 속도에 기초하여 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
여기에서, 스케줄링을 제어하는 단계는 제1 내지 제3 인공 지능 모델 중에서 제3 인공 지능 모델의 데이터 처리 속도가 가장 빠르고, 제1 인공 지능 모델이 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 제1 인공 지능 모델의 처리 속도에 기초하여 제1 및 제2 인공 지능 모델 중 데이터 처리 속도가 상대적으로 느린 제2 인공 지능 모델의 출력 데이터를 복사하고, 제1 인공 지능 모델의 출력 데이터 및 복사된 출력 데이터를 머지하여 제3 인공 지능 모델의 입력 데이터로서 이용하도록 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편, 스케줄링을 제어하는 단계는 제1 내지 제3 인공 지능 모델 중에서 제3 인공 지능 모델의 데이터 처리 속도가 가장 빠르고, 제1 인공 지능 모델이 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 제2 인공 지능 모델의 처리 속도에 기초하여 제1 인공 지능 모델의 출력 데이터 중에서 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 출력된 출력 데이터 및 제2 인공 지능 모델의 출력 데이터를 머지하여 제3 인공 지능 모델의 입력 데이터로서 이용하도록 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편, 스케줄링을 제어하는 단계는 제1 내지 제3 인공 지능 모델 중에서 제3 인공 지능 모델의 데이터 처리 속도가 가장 느린 경우, 제1 인공 지능 모델의 출력 데이터 및 제2 인공 지능 모델의 출력 데이터 중에서 제3 인공 지능 모델의 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 출력된 출력 데이터를 머지하여 제3 인공 지능 모델의 입력 데이터로서 이용하도록 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편, 스케줄링을 제어하는 단계는 복수의 인공 지능 모델 중에서 데이터 처리 속도가 서로 다른 제1 및 제2 인공 지능 모델이 서로 다른 데이터 패스에 존재하고, 제1 및 제2 인공 지능 모델이 소스의 데이터를 입력 데이터로서 이용하는 경우, 제1 및 제2 인공 지능 모델의 데이터 처리 속도에 기초하여 제1 및 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
여기에서, 스케줄링을 제어하는 단계는 제1 인공 지능 모델이 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 제1 인공 지능 모델의 데이터 처리 속도에 기초하여 소스의 데이터가 스플릿되어 제1 및 제2 인공 지능 모델의 입력 데이터로서 이용하도록 소스의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
여기에서, 스케줄링을 제어하는 단계는 제1 인공 지능 모델이 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 제2 인공 지능 모델에 입력 된 소스의 데이터 중에서 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 입력된 데이터를 입력 데이터로서 이용하도록 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 개별 신경망을 조합하여 대규모의 신경망을 구축하는 경우에 이종 프레임워크에 기반한 신경망 간의 호환성을 향상시키고 개별 신경망의 데이터 처리에 대한 스케줄링을 향상시키는 전자 장치 및 그 제어 방법을 제공할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 블록도이다.
도 2 내지 도 4는 복수의 인공 지능 모델의 구조에 따른 데이터의 패스를 설명하기 위한 도면이다.
도 5 및 도 6은 복수의 인공 지능 모델이 적용된 일 실시 예를 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 흐름도를 설명하기 위한 도면이다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
이하에서, 첨부된 도면을 이용하여 본 개시의 다양한 실시 예들에 대하여 구체적으로 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 블록도이다.
도 1을 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다.
전자 장치(100)는 태블릿 PC, 스피커, 이동 전화기, 전화기, 스마트폰, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 워크스테이션, 서버, PDA, PMP(portable multimediaplayer), MP3 플레이어, 의료기기, 카메라, 텔레비전, DVD(digital video disk) 플레이어, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 전자 액자 또는 웨어러블 장치 등과 같은 장치로 구현될 수 있다.
또한, 전자 장치(100)는 이와 같은 개별적인 전자 장치뿐만 아니라 개별적인 전자 장치의 조합으로 구성된 시스템으로 구현될 수 있으며, 전자 장치(100)가 시스템으로 구현되는 경우 메모리(110) 및 프로세서(120)는 시스템 내에서 복수로 구현될 수 있다. 이하에서는 설명의 편의를 위해 전자 장치(100)는 개별적인 전자 장치로서 구현된 것을 가정하도록 한다.
메모리(110)는 전자 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 이때, 메모리(110)는 프레임워크에 의해 구축된 인공 지능 모델에 관련된 적어도 하나의 명령 또는 데이터를 저장할 수 있다. 여기서, 프레임워크는 인공 지능 모델을 구축하는 개발자 도구와 같은 소프트웨어를 의미할 수 있다. 일예로서, 프레임워크는 Caffe, Tensorflow, PyTorch, Keras 등이 될 수 있다.
이 경우, 메모리(110)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 메모리(110)는 프로세서(120)에 의해 액세스되며, 프로세서(120)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 개시의 메모리라는 용어는 메모리(110), 프로세서(120) 내의 RAM(미도시), ROM(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱 등)를 포함할 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
프로세서(120)는 메모리에 저장된 적어도 하나의 명령을 실행함으로써, 복수의 인공 지능 모델의 데이터 처리 속도 및 연결 구조 중 적어도 하나에 기초하여 복수의 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
여기서, 인공 지능 모델은 머신러닝 또는 딥러닝과 같이 입력된 데이터를 이용하여 특정한 패턴을 컴퓨터로 학습하고 결과 데이터를 출력하도록 설계된 것을 의미할 수 있다. 일 예로서, 인공 지능 모델은 프레임워크에 의해 구축된 신경망 모델, 유전자 모델, 확률 통계 모델 등이 될 수 있다. 특히, 복수의 인공 지능 모델은 서로 다른 프레임워크에 의해 구축된 인공 지능 모델일 수 있다.
이를 위해, 제어부(미도시)는 인공 지능 모델에 입력된 데이터를 인공 지능 모델에 의해 학습 및 처리하여 출력할 수 있다. 이때, 제어부는 CPU(Central Processing Unit), GPU(Graphic Processing Unit), APU(Accelerated Processing Unit), NPU(Neural Processing Unit), TPU(Tensor Processing Unit) 등으로 구현되될 수 있다. 한편, 다른 실시 예로서, 제어부는 프로세서(120)로 구현될 수 있다. 이와 같이 인공 지능 모델에서 데이터를 처리하는 주체는 다양하게 변형되어 실시될 수 있다.
이 경우, 프로세서(120)는 메모리(110)에 저장된 적어도 하나의 명령을 실행함으로써, 복수의 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다. 여기에서, 메모리(110)에 저장된 적어도 하나의 명령은 프로세서(120)가 복수의 인공 지능 모델의 데이터 처리에 대한 스케쥴링을 제어할 수 있도록 프로그래밍화된 것일 수 있다.
구체적으로, 프로세서(120)가 데이터 처리에 대한 스케줄링을 제어하는 것은, 메모리(110)에 저장된 적어도 하나의 명령을 실행함으로써, 복수의 인공 지능 모델에 의해 데이터가 처리되는 동작을 수행하는 시간 및 속도 등을 제어하고, 복수의 인공 지능 모델에 의해 처리될 데이터를 결정하거나, 데이터의 병합/복사/전송 등의 동작을 수행하도록 제어하는 것 중 적어도 하나일 수 있다.
이때, 프로세서(120)는 복수의 인공 지능 모델의 데이터 처리 속도 및 연결 구조 중 적어도 하나에 기초하여 복수의 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
구체적으로, 프로세서(120)는 인공 지능 모델에 의해 입력된 데이터가 처리되어 출력되는 시간을 모니터링함으로써, 인공 지능 모델의 데이터 처리 속도를 결정할 수 있다. 한편 이와 다른 실시 예로서, 프로세서(120)는 기저장된 제어부의 연산 능력에 대한 정보 및 인공 지능 모델의 데이터 처리시 요구되는 연산 양에 대한 정보를 비교함으로써 인공 지능 모델의 데이터 처리 속도를 결정할 수 있다.
여기에서, 데이터 처리 속도는 단위 데이터당 인공 지능 모델에 의해 입력된 데이터가 처리되어 출력되는 시간을 의미할 수 있다. 이 경우, 데이터 처리 속도는 시간만으로 나타낼 수 있다(예: ms, s 등). 다만, 이는 일 실시 예일 뿐이고, 데이터 처리 속도는 단위 시간당 인공 지능 모델에 의해 입력된 데이터가 처리되어 출력되는 데이터의 양을 의미할 수 있다. 예를 들어, 데이터 처리 속도는 초당 프레임 수(frames per second, fps), 초당 비트 수(bits per second, bps) 등이 될 수 있다.
한편, 프로세서(120)는 입출력 데이터의 패스(또는 스트림)을 기준으로 복수의 인공 지능 모델의 연결 구조를 결정할 수 있다. 이때, 복수의 인공 지능 모델의 연결 구조는 직렬 구조 또는 병렬 구조로 구성될 수 있다.
여기에서, 직렬 구조는 도 2에 도시된 바와 같이 복수의 인공 지능 모델이 순차적으로 연결되어 하나의 인공 지능 모델에서 출력된 데이터가 다른 인공 지능 모델의 입력 데이터로서 전송되는 구조를 의미할 수 있다. 한편, 병렬 구조는 도 3에 도시된 바와 같이 복수의 인공 지능 모델의 출력 데이터를 수신하는 싱크(sink)가 동일한 구조이거나 또는 도 4에 도시된 바와 같이 복수의 인공 지능 모델에 입력 데이터를 전송하는 데이터 소스(source)가 동일한 구조를 의미할 수 있다.
프로세서(120)는 복수의 인공 지능 모델의 연결 구조 및 복수의 인공 지능 모델의 데이터 처리 속도에 따라, 복수의 인공 지능 모델에 의해 데이터가 처리되는 동작을 수행하는 시간 및 속도 등을 제어하고, 복수의 인공 지능 모델에 의해 처리될 데이터를 결정하거나, 데이터의 병합/복사/전송 등의 동작을 수행하도록 제어할 수 있다.
이하에서는 도 2 내지 도 4를 참조하여, 복수의 인공 지능 모델의 연결 구조에 따른 데이터의 패스를 상세하게 설명하기로 한다.
도 2에 도시된 바와 같이, 본 개시의 제1 실시 예에 따라 복수의 인공 지능 모델 중에서 데이터 처리 속도가 서로 다른 제1 인공 지능 모델(220) 및 제2 인공 지능 모델(230)이 동일한 데이터 패스에 존재하는 경우를 가정한다.
이 경우, 프로세서(120)는 입출력 데이터의 패스(또는 스트림)을 기준으로 제1 인공 지능 모델(220) 및 제2 인공 지능 모델(230)의 연결 구조를 직렬 구조라고 결정할 수 있다.
그리고, 프로세서(120)는 제1 및 제2 인공 지능 모델(220, 230) 중 데이터 처리 속도가 느린 인공 지능 모델(230)의 데이터 처리 속도에 기초하여 제1 및 제2 인공 지능 모델(220, 230)의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
구체적으로, 프로세서(120)는 데이터 소스(210)로부터 입력된 데이터가 제1 인공 지능 모델 A(220)에 의해 처리되어 제2 인공 지능 모델 B(230)로 출력되는 시간을 모니터링하여, 제1 인공 지능 모델 A(220)의 데이터 처리 속도는 10ms이라고 결정할 수 있다.
또한, 프로세서(120)는 제1 인공 지능 모델 A(220)로부터 입력된 데이터가 제2 인공 지능 모델 B(230)에 의해 처리되어 데이터 아웃풋(240)으로 출력되는 시간을 모니터링하여, 제2 인공 지능 모델 B(230)의 데이터 처리 속도는 100ms이라고 결정할 수 있다.
그리고, 프로세서(120)는 제1 인공 지능 모델 A(220)의 데이터 처리 속도 및 제2 인공 지능 모델 B(230)의 데이터 처리 속도를 비교할 수 있다. 이때, 프로세서(120)는 제1 인공 지능 모델 A(220) 및 제2 인공 지능 모델 B(230)의 데이터 처리 속도의 대소 관계를 결정할 수 있다.
이후, 프로세서(120)는 제1 인공 지능 모델 A(220)의 출력 데이터를 입력 데이터로 이용하는 제2 인공 지능 모델 B(230)의 데이터 처리 속도가 제1 인공 지능 모델 A(220)의 데이터 처리 속도보다 느리다고 판단한 경우, 제2 인공 지능 모델 B(230)의 데이터 처리 속도(100ms)에 따라, 제1 인공 지능 모델 A(220)에 의해 데이터가 처리되는 동작을 수행하는 시간 및 속도를 제어할 수 있다. 예를 들어, 프로세서(120)는 제2 인공 지능 모델 B(230)의 데이터 처리 속도(100ms)에 따라 100ms 의 속도로 제1 인공 지능 모델 A(220)에 입력된 데이터가 하나씩 처리되도록 제어할 수 있다.
여기에서, 프로세서(120)는 제2 인공 지능 모델(230)이 제1 인공 지능 모델(220)의 출력 데이터를 입력 데이터로서 이용하고, 제2 인공 지능 모델(230)의 데이터 처리 속도가 제1 인공 지능 모델(220)의 데이터 처리 속도보다 느린 경우, 제2 인공 지능 모델(230)에 입력된 제1 인공 지능 모델(220)의 출력 데이터 중에서 제2 인공 지능 모델(230)이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 입력된 데이터를 입력 데이터로서 이용하도록 제2 인공 지능 모델(230)의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
예를 들어, 제1 인공 지능 모델 A(220)에서 100ms 의 속도로 데이터를 처리하더라도 제1 인공 지능 모델 A(220)의 데이터 처리 속도가 가변적인 경우(예: 5ms ~ 20ms)가 발생할 수 있고, 이 경우 제1 인공 지능 모델 A(220)은 100ms 동안 복수의 데이터를 처리하여 제2 인공 지능 모델 B(230)에 입력 데이터로 전송할 수 있다.
이때, 프로세서(120)는 제2 인공 지능 모델에 입력된 제1 인공 지능 모델의 복수의 출력 데이터 중에서 제2 인공 지능 모델 B(230)에서 처리되지 않은 복수의 데이터를 입력된 순으로 대기열에 정렬시킬 수 있다.
이 경우, 프로세서(120)는 대기열에 정렬된 복수의 데이터 중 제2 인공 지능 모델(230)이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 입력된 데이터가 제2 인공 지능 모델(230)에 의해 처리되도록 결정하여 제2 인공 지능 모델(230)의 데이터 처리에 대한 스케줄링을 제어할 수 있다. 이때, 프로세서(120)는 대기열에 정렬된 복수의 데이터 중 제2 인공 지능 모델(230)에 의해 처리되도록 결정되지 않은 나머지 데이터가 이후에도 제2 인공 지능 모델(230)에 의해 처리되지 않도록 대기열에서 제거할 수 있다.
한편, 프로세서(120)는 제1 인공 지능 모델 A(220)의 출력 데이터를 제2 인공 지능 모델 B(230)의 입력 데이터로 이용하기 위해, 복수의 인공 지능 모델에 입력되는 데이터 또는 출력된 데이터를 기설정된 규격으로 변환시킬 수 있다.
이와 같은 본 개시의 일 실시 예에 따르면, 제1 인공 지능 모델 A(220) 및 제2 인공 지능 모델 B(230)이 순차적으로 연결된 구조에서, 제2 인공 지능 모델 B(230)의 데이터 처리 속도가 제1 인공 지능 모델 A(220)보다 느린 경우에, 제1 인공 지능 모델 A(220)의 데이터를 처리하는데 소요되는 워크로드를 줄임으로써 자원의 효율성을 향상시킬 수 있고, 제2 인공 지능 모델 B(230)의 대기열에 존재하는 미처리된 입력 데이터가 시간이 지날수록 누적되는 병목 현상 및 프레임 차이가 누적되는 현상을 방지할 수 있다.
도 3에 도시된 바와 같이, 본 개시의 제2 실시 예에 따라 데이터 처리 속도가 서로 다른 제1 내지 제3 인공 지능 모델(320-1, 320-2, 340) 중에서, 제1 및 제2 인공 지능 모델(320-1, 320-2)이 서로 다른 데이터 패스에 존재하고 제1 및 제2 인공 지능 모델(320-1, 320-2)의 출력 데이터가 머지(merge)되어 제3 인공 지능 모델(340)의 입력 데이터로서 이용되는 경우를 가정한다.
이 경우, 프로세서(120)는 입출력 데이터의 패스를 기준으로 제1 및 제2 인공 지능 모델(320-1, 320-2)의 연결 구조를 병렬 구조라고 결정하고, 제1 및 제2 인공 지능 모델(320-1, 320-2)의 출력 데이터를 수신하는 싱크가 동일한 구조라고 결정할 수 있다.
여기에서, 프로세서(120)는 복수의 출력 데이터를 머지(330)시킬 수 있다. 이때, 머지는 복수의 데이터를 하나의 데이터로 합하는 동작(예: RGB 이미지 및 IR 이미지를 합하는 것, 전방/좌측/우측/후방 이미지를 합해 360도 이미지를 만드는 것 등), 복수의 데이터가 함께 송수신되도록 복수의 데이터를 한 채널로 병합하는 동작(예: 복수의 이미지들로 구성된 단일 스트림을 생성하는 것) 중에서 적어도 하나를 의미할 수 있다.
한편, 프로세서(120)는 복수의 출력 데이터가 머지된 단일한 데이터를 복수의 출력 데이터로 디머지(Demerge)할 수 있다. 이때, 디머지는 머지와 반대되는 동작이 될 수 있다.
그리고, 프로세서(120)는 제1 내지 제3 인공 지능 모델(320-1, 320-2, 340) 의 데이터 처리 속도에 기초하여 제1 내지 제3 인공 지능 모델(320-1, 320-2, 340) 의 데이터 처리에 대한 스케줄링을 제어할 수 있다. 이때, 프로세서(120)는 제1 내지 제3 인공 지능 모델(320-1, 320-2, 340)에 의해 데이터가 처리되는 동작을 수행하는 시간 및 속도 등을 제어하고, 제1 내지 제3 인공 지능 모델(320-1, 320-2, 340)에 의해 처리될 데이터를 결정하거나, 데이터의 병합/복사/전송 등의 동작을 수행하도록 제어할 수 있다.
이를 위해, 프로세서(120)는 전술한 것과 같은 방식으로 제1 내지 제3 인공 지능 모델(320-1, 320-2, 340)의 데이터 처리 속도를 결정하고, 데이터 처리 속도를 비교할 수 있다.
본 개시의 일 실시 예로서, 제1 내지 제3 인공 지능 모델(320-1, 320-2, 340)의 데이터 처리 속도는 각각 10ms, 100ms, 1ms 인 것으로 가정한다.
이 경우, 프로세서(120)는 제1 내지 제3 인공 지능 모델(320-1, 320-2, 340)의 데이터 처리 속도를 비교한 결과, 제1 내지 제3 인공 지능 모델(320-1, 320-2, 340) 중에서 제3 인공 지능 모델 C(340)의 데이터 처리 속도가 가장 빠르다고 결정할 수 있다.
이때, 일 실시 예로서, 프로세서(120)는 제1 및 제2 인공 지능 모델(320-1, 320-2) 중 빠른 제1 인공 지능 모델 A(320-1)의 처리 속도에 기초하여, 제1 및 제2 인공 지능 모델(320-1, 320-2) 중 데이터 처리 속도가 상대적으로 느린 제2 인공 지능 모델 B(320-2)의 출력 데이터를 복사할 수 있다.
구체적으로, 프로세서(120)는 제1 인공 지능 모델 A(320-1)에서 처리된 복수의 데이터 및 제2 인공 지능 모델(320-2)에서 처리된 복수의 데이터를 각각 머지(330)시킬 수 있다.
이때, 프로세서(120)는 데이터 처리 속도가 상대적으로 느린 제2 인공 지능 모델 B(320-2)의 출력 데이터의 양은 데이터 처리 속도가 상대적으로 빠른 제1 인공 지능 모델 A(320-1)의 출력 데이터의 양보다 적다는 점에서, 제2 인공 지능 모델 B(320-2)의 출력 데이터를 복사할 수 있다. 여기서, 프로세서(120)는 출력 데이터가 저장된 위치에 대한 정보를 포함하는 메타 데이터를 복사하는 것으로 출력 데이터의 복사본을 생성할 수 있다.
그리고, 프로세서(120)는 제1 인공 지능 모델의 출력 데이터 및 복사된 출력 데이터를 머지(330)하여 제3 인공 지능 모델(340)의 입력 데이터로서 이용하도록 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
구체적으로, 프로세서(120)는 제1 인공 지능 모델 A(320-1)의 처리 속도에 대응되는 속도(10ms)로 제1 인공 지능 모델 A(320-1)에서 처리된 데이터 및 제2 인공 지능 모델(320-2)에서 처리된 데이터를 머지(330)시킬 수 있다.
예를 들어, 100ms 시간 동안 제1 인공 지능 모델 A(320-1)의 출력 데이터는 (A1), (A2), … (A10)과 같이 10개가 출력되고 제2 인공 지능 모델 B(320-2)의 출력 데이터는 (B1) 1개가 출력되는 경우를 가정한다.
이 경우, 프로세서(120)는 제2 인공 지능 모델 B(320-2)의 출력 데이터 (B1)을 복사하여 (B1), (B1), … (B1) 10개의 데이터를 생성하고, (A1), (A2), … (A10) 및 (B1), (B1), … (B1)을 각각 대응시켜 (A1, B1), (A2, B1), … (A10, B1) 과 같이 10개의 데이터로 머지(330)시킬 수 있다.
그리고, 프로세서(120)는 이와 같은 방식으로 머지된 데이터 (A1, B1), (A2, B1), … (A10, B1), (A11, B2), (A12, B2), … 를 제1 인공 지능 모델 A(320-1)의 처리 속도에 대응되는 속도로 제3 인공 지능 모델(340)에 입력하도록 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편, 다른 실시 예로서, 프로세서(120)는 제1 내지 제3 인공 지능 모델 중(320-1, 320-2, 340)에서 제3 인공 지능 모델 C(340)의 데이터 처리 속도가 가장 빠르고, 제1 인공 지능 모델 A(320-1)이 제2 인공 지능 모델 B(320-2)보다 데이터 처리 속도가 빠르다고 결정한 경우, 제2 인공 지능 모델 B(320-2)의 처리 속도에 기초하여 제1 인공 지능 모델 A(320-1)의 출력 데이터 중에서 제2 인공 지능 모델 B(320-2)이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 출력된 출력 데이터 및 제2 인공 지능 모델 B(320-2)의 출력 데이터를 머지(330)하여 제3 인공 지능 모델의 입력 데이터로서 이용하도록 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
구체적으로, 프로세서(120)는 제1 및 제2 인공 지능 모델(320-1, 320-2) 중 느린 제2 인공 지능 모델 B(320-2)의 처리 속도에 기초하여, 프로세서(120)는 제1 인공 지능 모델 A(320-1)에서 처리된 복수의 데이터 및 제2 인공 지능 모델(320-2)에서 처리된 복수의 데이터를 각각 머지(330)시킬 수 있다.
이때, 프로세서(120)는 데이터 처리 속도가 상대적으로 빠른 제1 인공 지능 모델 A(320-1)의 출력 데이터의 양은 데이터 처리 속도가 상대적으로 느린 제2 인공 지능 모델 B(320-2)의 출력 데이터의 양보다 많다는 점에서, 프로세서(120)는 제1 인공 지능 모델 A(320-1)의 출력 데이터 중에서 제2 인공 지능 모델 B(320-2)이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 출력된 출력 데이터를 결정하고, 결정된 출력 데이터 및 제2 인공 지능 모델 B(320-2)의 출력 데이터를 머지(330)시킬 수 있다.
예를 들어, 제2 인공 지능 모델 B(320-2)이 출력 데이터 (B1) 1개를 출력하는 시간 100ms 동안 제1 인공 지능 모델 A(320-1)의 출력 데이터는 (A1), (A2), … (A10)과 같이 10개가 순차적으로 출력하는 경우를 가정한다.
이 경우, 프로세서(120)는 제1 인공 지능 모델 A(320-1)의 출력 데이터 (A1), (A2), … (A10) 중에서 제2 인공 지능 모델 B(320-2)의 출력 데이터 (B1)이 출력되는 시점에 가장 최근에 출력된 출력 데이터가 (A10)이라는 것을 결정할 수 있고, (A10) 및 (B1)을 (A10, B1)과 같이 머지(330)시킬 수 있다.
그리고, 프로세서(120)는 이와 같은 방식으로 머지된 데이터 (A10, B1), (A20, B2), … 를 제2 인공 지능 모델 B(320-2)의 처리 속도에 대응되는 속도로 제3 인공 지능 모델(340)에 입력하도록 데이터 처리에 대한 스케줄링을 제어할 수 있다.
본 개시의 다른 실시 예로서, 제1 내지 제3 인공 지능 모델(320-1, 320-2, 340)의 데이터 처리 속도는 각각 10ms, 100ms, 1s 인 것으로 가정한다.
이 경우, 프로세서(120)는 제1 내지 제3 인공 지능 모델(320-1, 320-2, 340)의 데이터 처리 속도를 비교한 결과, 제1 내지 제3 인공 지능 모델(320-1, 320-2, 340) 중에서 제3 인공 지능 모델 C(340)의 데이터 처리 속도가 가장 느리다고 결정할 수 있다.
이때, 프로세서(120)는 제1 인공 지능 모델 A(320-1)의 출력 데이터 및 제2 인공 지능 모델 B(320-2)의 출력 데이터 중에서 제3 인공 지능 모델(340)의 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 출력된 출력 데이터를 머지(330)하여 제3 인공 지능 모델 C(340)의 입력 데이터로서 이용하도록 제1 내지 제3 인공 지능 모델(320-1, 320-2, 340)의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
구체적으로, 프로세서(120)는 제1 내지 제3 인공 지능 모델(320-1, 320-2, 340) 중 가장 느린 제3 인공 지능 모델 C(340)의 데이터 처리 속도에 기초하여, 프로세서(120)는 제1 인공 지능 모델 A(320-1)에서 처리된 복수의 데이터 및 제2 인공 지능 모델(320-2)에서 처리된 복수의 데이터를 각각 머지(330)시킬 수 있다.
이때, 프로세서(120)는 제1 및 제2 인공 지능 모델(320-1, 320-2)의 출력 데이터 중에서 제3 인공 지능 모델 C(340)이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 출력된 출력 데이터를 결정하고, 제1 및 제2 인공 지능 모델(320-1, 320-2)에서 각각 결정된 출력 데이터를 머지(330)시킬 수 있다.
예를 들어, 제3 인공 지능 모델 C(340)이 출력 데이터 (C1) 1개를 출력하는 시간 1s 동안, 제1 인공 지능 모델 A(320-1)의 출력 데이터는 (A1), (A2), … (A100)과 같이 100개가 순차적으로 출력하고, 제2 인공 지능 모델 B(320-2)의 출력 데이터는 (B1), (B2), … (B10)과 같이 10개가 순차적으로 출력 경우를 가정한다.
이 경우, 프로세서(120)는 제3 인공 지능 모델 B(340)의 출력 데이터 (C1)이 출력되는 시점 1s을 기준으로, 제1 인공 지능 모델 A(320-1)의 출력 데이터 (A1), (A2), … (A100) 중에서 가장 최근에 출력된 출력 데이터 (A100)을 결정하고, 제2 인공 지능 모델 B(320-2)의 출력 데이터 (B1), (B2), … (B10) 중에서 가장 최근에 출력된 출력 데이터 (B10)을 결정할 수 있다.
그리고, 프로세서(120)는 결정된 데이터 (A100) 및 (B10)을 (A100, B10)과 같이 머지(330)시킬 수 있다.
그리고, 프로세서(120)는 이와 같은 방식으로 머지된 데이터 (A100, B10), (A200, B20), … 를 제3 인공 지능 모델 C(340)의 처리 속도에 대응되는 속도로 제3 인공 지능 모델(340)에 입력하도록 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편, 프로세서(120)는 제1 인공 지능 모델 A(320-1)의 데이터 처리 속도가 데이터 소스 A(310-1)로부터 출력되는 데이터의 속도보다 느린 경우에, 도 2에서 설명한 제2 인공 지능 모델 B(230)의 데이터 처리 속도가 제1 인공 지능 모델 A(220)의 데이터 처리 속도보다 느린 경우에 제2 인공 지능 모델 B(230)의 데이터 처리에 대한 스케줄링을 제어하는 것과 같이 제1 인공 지능 모델 A(320-1) 데이터 처리에 대한 스케줄링을 제어할 수 있다.
도 4에 도시된 바와 같이, 본 개시의 제3 실시 예에 따라 복수의 인공 지능 모델 중에서 데이터 처리 속도가 서로 다른 제1 및 제2 인공 지능 모델(430-1, 430-2)이 서로 다른 데이터 패스에 존재하고, 제1 및 제2 인공 지능 모델(430-1, 430-2)이 동일한 소스의 데이터를 입력 데이터로서 이용하는 경우를 가정한다.
이 경우, 프로세서(120)는 입출력 데이터의 패스를 기준으로 제1 및 제2 인공 지능 모델(430-1, 430-2)의 연결 구조를 병렬 구조라고 결정하고, 제1 및 제2 인공 지능 모델(430-1, 430-2)의 입력 데이터를 전송하는 데이터 소스(410)가 동일한 구조라고 결정할 수 있다.
이를 위해, 프로세서(120)는 데이터 소스(410)의 입력 데이터를 스플릿(420)시킬 수 있다. 이때, 스플릿(420)은 머지와 반대되는 동작으로서, 하나의 데이터를 복수의 데이터로 나누는 동작(예: 360도 이미지를 전방/좌측/우측/후방 이미지와 같이 나누는 것 등), 한 채널에 포함된 복수의 데이터를 분리하는 동작 중에서 적어도 하나를 의미할 수 있다.
그리고, 프로세서(120)는 제1 및 제2 인공 지능 모델(430-1, 430-2)의 데이터 처리 속도에 기초하여 제1 및 제2 인공 지능 모델(430-1, 430-2)의 데이터 처리에 대한 스케줄링을 제어할 수 있다. 이때, 프로세서(120)는 제1 및 제2 인공 지능 모델(430-1, 430-2)에 의해 데이터가 처리되는 동작을 수행하는 시간 및 속도 등을 제어하고, 제1 및 제2 인공 지능 모델(430-1, 430-2)에 의해 처리될 데이터를 결정하거나, 데이터의 복사/전송 등의 동작을 수행하도록 제어할 수 있다.
이를 위해, 프로세서(120)는 전술한 것과 같은 방식으로, 제1 및 제2 인공 지능 모델(430-1, 430-2)의 데이터 처리 속도를 결정하고 비교할 수 있다.
예를 들어, 제1 인공 지능 모델(430-1)의 데이터 처리 속도는 10ms 이고, 제2 인공 지능 모델(430-2)의 데이터 처리 속도는 100ms 인 경우, 프로세서(120)는 제1 인공 지능 모델(430-1)이 제2 인공 지능 모델(430-2)보다 데이터 처리 속도가 빠르다고 결정할 수 있다.
이 경우, 프로세서(120)는 제1 및 제2 인공 지능 모델(430-1, 430-2) 중 빠른 제1 인공 지능 모델 A(430-1)의 처리 속도 10ms에 대응되는 속도로 데이터 소스(410)의 입력 데이터를 스플릿(420)시키고, 제1 인공 지능 모델 A(430-1)의 처리 속도 10ms에 대응되는 속도로 스플릿된 데이터를 제1 및 제2 인공 지능 모델(430-1, 430-2)에 각각 입력하도록 데이터 소스(410)의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
또한, 프로세서(120)는 제1 및 제2 인공 지능 모델(430-1, 430-2) 중 느린 데이터 처리 속도를 갖는 제2 인공 지능 모델(430-2)에 입력 된 데이터 중에서, 제2 인공 지능 모델(430-2)에서 처리되지 않은 복수의 데이터를 입력된 순으로 대기열에 정렬시킬 수 있다.
이 경우, 프로세서(120)는 대기열에 정렬된 복수의 데이터 중 제2 인공 지능 모델(430-2)이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 입력된 데이터를 제2 인공 지능 모델(430-2)에 의해 처리되는 입력 데이터로 결정하여, 제2 인공 지능 모델(430-2)의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
이때, 프로세서(120)는 대기열에 정렬된 복수의 데이터 중 제2 인공 지능 모델(430-2)에 의해 처리되도록 결정되지 않은 나머지 데이터가 이후에도 제2 인공 지능 모델(230)에 의해 처리되지 않도록 대기열에서 제거할 수 있다.
이와 같은 본 개시의 일 실시 예에 따르면, 복수의 인공 지능 모델이 병렬적으로 연결된 구조에서 복수의 인공 지능 모델의 데이터 처리 속도 차이에 따라 발생될 수 있는 자원의 낭비, 병목 현상 및 프레임 차이가 누적되는 현상을 줄일 수 있다.
도 5 및 도 6은 복수의 인공 지능 모델이 적용된 일 실시 예를 설명하기 위한 도면이다.
도 5를 참조하여, RGB 카메라 및 IR 카메라의 데이터를 머지하는 인공 지능 모델이 적용된 전자 장치의 데이터 흐름을 설명하기로 한다.
우선, 프로세서(120)는 전자 장치(100)의 내부 또는 외부에 구비된 RGB 카메라 및 IR 카메라로부터 이미지 포맷의 RGB 및 IR 데이터를 직접 획득할 수 있다. 이때, 프로세서(120)는 획득된 RGB 및 IR 데이터를 디코더에서 각각 디코딩시킬 수 있다.
여기서, RGB 카메라는 렌즈를 통해 수신된 광자의 세기 및 위치를 감지하여 이미지 포맷의 데이터를 획득할 수 있다. 한편, IR 카메라는 온도 또는 적외선(IR)을 감지하여 이미지 포맷의 데이터를 획득할 수 있다.
한편, 도 5에 도시된 카메라는 일 실시 예일뿐, 데이터를 획득하는 경로는 마이크, 센서, 네트워크 등 다양한 방식을 통해 획득될 수 있다.
여기서, 마이크(미도시)는 외부의 소리를 감지하여 음성 포맷의 데이터를 획득할 수 있다.
한편, 센서(미도시)는 객체의 이동 또는 회전에 대한 속도, 방향, 거리 등을 감지하여 데이터를 획득할 수 있다. 이때, 센서는 가속도 센서, 자이로(gyro) 센서, 근접 센서, 지자기 센서, 중력 센서 및 압력 센서 중에서 적어도 하나로 구현될 수 있으며, 이들을 결합한 모션 센서로서 구현될 수도 있다. 또한, 센서는 센서와 객체 사이의 거리를 직접 감지하여 데이터를 획득할 수 있다. 이때, 센서는 레이저 센서, 적외선 센서 등과 같은 빔 센서, 레이더로 구현될 수 있다.
한편, 네트워크는 전자 장치(100)의 통신부(미도시)에 의해 외부 전자 장치(미도시)와 다양한 방식의 통신을 수행하여 데이터를 획득할 수 있다.
다음으로, 프로세서(120)는 디코딩된 RGB 및 IR 데이터를 비디오 컨버트 및 컨버터(Converter)에서 미디어 포맷의 데이터를 인공 지능 모델의 입출력 데이터로 이용할 수 있도록 규격화된 포맷을 갖는 표준화 데이터(예: tensor data 등)로 각각 변환하도록 제어할 수 있다.
이때, 프로세서(120)는 디코딩된 RGB 데이터 및 RGB-IR 데이터에서 영상을 합성하거나 전환하기 위해, 디코딩된 RGB 데이터를 스플릿(420-1)하여 비디오 믹서로 입력하도록 제어할 수 있다. 이후, 비디오 믹서를 통해 비디오 싱크로 전송된 영상은 플레이어를 통해 재생될 수 있다.
다음으로, 프로세서(120)는 표준화 데이터(예: tensor data 등)로 변환되어 입력된 데이터를 머지(330-1)하여 RGB-IR 데이터를 생성하도록 제어할 수 있다.
다음으로, 프로세서(120)는 RGB-IR 데이터를 텐서 필터에서 처리하도록 제어할 수 있다. 이때, 텐서 필터는 표준화 데이터에 대한 필터로서, 프레임워크와 이를 이용하는 인공지능 모델을 사용할 수 있도록 하는 필터일 수 있다. 이때, 텐서 필터는 CPU, GPU, TPU, VPU, NPU 또는 프로세서(120) 등에 의해 인공 지능 모델에 입력된 데이터를 처리할 수 있다.
한편, 텐서 필터는 일반적인 프레임워크와 이를 사용하는 인공 지능 모델, 기타 변형된 바이너리에 적용될 수 있다.
이때, 텐서 필터는 정적 링킹(Static Linking)을 통해 실행하거나, 또는 실행시간에 포함할 대상을 정하여 동적 링킹(Dynamic Linking)을 통해 실행할 수 있다. 한편, 다른 실시 예로서 텐서 필터는 동적 로딩(Dynamic Load)를 통하여 실행시간 중에 포함할 대상을 바꾸면서 실행할 수 있다.
한편, 복수의 텐서 필터 간에 데이터가 송수신 되는경우, 복수의 텐서 필터들은 하나의 프로세스 내에 포함되어 메모리에 쓰는 작업 없이 데이터를 송수신할 수 있다.
한편, 복수의 텐서 필터들은 서로 다른 스레드에 포함되어 상호간 비동기적으로 동작할 수 있거나, 단일 패스에 연결된 경우 동일한 스레드에 포함되어 동작할 수 있다.
다음으로, 프로세서(120)는 텐서 필터에서 처리된 RGB-IR 데이터를 스플릿(420-2)하여 제1 스트림은 텐서 싱크를 통해 어플리케이션으로 입력하고, 다른 제2 스트림은 텐서 디코더를 통해 비디오 믹서로 입력하도록 제어할 수 있다.
이때, 제1 스트림의 경우, 프로세서(120)는 텐서 싱크(Tensor Sink)에서 표준화 데이터를 어플리케이션에서 요구되는 방식으로 처리하고, 어플리케이션에 효율적으로 전달하도록 제어할 수 있다.
한편, 제2 스트림의 경우, 프로세서(120)는 텐서 디코더(Tensor decoder)에서 표준화 데이터를 원래의 미디어 포맷을 갖는 데이터로 변환하고, 비디오 믹서로 전달하도록 제어할 수 있다.
도 6를 참조하여, 도 5와 중복되는 부분을 제외하고 인공 지능 모델이 적용된 전자 장치의 데이터 흐름을 설명하기로 한다.
여기서, 프로세서(120)는 카메라로부터 이미지 포맷의 데이터를 획득하고, 마이크로부터 음성 포맷의 데이터를 획득할 수 있다.
이때, 프로세서(120)는 각각의 데이터를 컨버터(Converter)에서 미디어 포맷의 데이터를 표준화 데이터(예: tensor data 등)로 각각 변환할 수 있고, 이를 위해 프로세서(120)는 각각의 데이터에 대해 노이즈를 제거하는 등의 전처리를 수행하도록 제어할 수 있다.
이후, 프로세서(120)는 표준화 데이터 각각을 머지(330-1, 330-4)하고, 머지된 데이터를 스플릿(420-1, 420-2)하여 각각의 텐서 필터 NN-I1, NN-I2, NN-I3, NN-A1, NN-A2, NN-A3로 전송하여 데이터가 처리되도록 제어할 수 있다.
이때, 프로세서(120)는 텐서 필터 NN-I1, NN-A1 에서 처리된 데이터를 텐서 싱크를 통해 어플리케이션1 및 2로 각각 전달되도록 제어할 수 있다.
또한, 프로세서(120)는 텐서 필터 NN-I2, NN-I3에서 처리된 데이터를 머지(330-2)하고, 텐서 필터 NN-A2, NN-A3에서 처리된 데이터를 머지(330-5)하여 각각 텐서 필터 NN-I4, NN-A4로 전송되도록 제어할 수 있다.
이후, 프로세서(120)는 텐서 필터 NN-A4에서 처리된 데이터를 스플릿(420-3)하여 제1 스트림을 텐서 필터 NN-MM2를 통해 처리된 데이터를 어플리케이션 4로 전달되도록 제어하고, 제2 스트림을 텐서 필터 NN-I4에서 처리된 데이터와 머지(330-3)하여 텐서 필터 NN-MM1을 통해 처리된 데이터를 어플리케이션 3으로 전달되도록 제어할 수 있다.
한편, 도 5 및 도 6에 도시되지 않았으나, 이와 관련된 프로세서(120)의 동작을 추가적으로 설명하기로 한다.
프로세서(120)는 텐서 트랜스폼(Tensor Transform)(미도시)에서 dimension 정보나 scale 등을 재구성할 수 있다. 이때, 텐서 트랜스폼은 CPU, GPU, TPU, VPU, NPU 등에 의해 데이터를 처리할 수 있다.
한편, 프로세서(120)는 텐서 소스(Tensor Source)에서 미디어 포맷의 데이터 외의 다른 포맷의 데이터를 입력 받을 수 있다.
한편, 프로세서(120)는 텐서 세이브(Tensor Save) 또는 텐서 로드(Tensor Load) 에서 표준화 데이터를 메모리(110)에 저장 또는 로드 할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 흐름도를 설명하기 위한 도면이다.
도 7을 참조하면, 먼저 복수의 인공 지능 모델의 입력 데이터를 수신한다(S710).
그리고, 복수의 인공 지능 모델에 의해 입력 데이터를 처리한 출력 데이터를 출력한다(S720).
그리고, 복수의 인공 지능 모델의 데이터 처리 속도 및 연결 구조 중 적어도 하나에 기초하여 복수의 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어한다(S730). 이를 위해, 먼저 복수의 인공 지능 모델의 데이터 처리 속도 및 연결 구조를 결정할 수 있다. 여기서 연결 구조는 직렬 또는 병렬 구조가 될 수 있다.
구체적으로, 본 개시의 제1 실시 예에 따르면, 스케줄링을 제어하는 단계는 데이터 처리 속도가 서로 다른 제1 인공 지능 모델 및 제2 인공 지능 모델이 동일한 데이터 패스에 존재하는 경우, 제1 및 제2 인공 지능 모델 중 데이터 처리 속도가 느린 인공 지능 모델의 데이터 처리 속도에 기초하여 제1 및 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
이 경우, 스케줄링을 제어하는 단계는, 제2 인공 지능 모델이 제1 인공 지능 모델의 출력 데이터를 입력 데이터로서 이용하고, 제2 인공 지능 모델의 데이터 처리 속도가 제1 인공 지능 모델의 데이터 처리 속도보다 느린 경우, 제2 인공 지능 모델의 처리 속도에 기초하여 제2 인공 지능 모델에 입력된 제1 인공 지능 모델의 출력 데이터 중에서 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 입력된 데이터를 입력 데이터로서 이용하도록 제1 및 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편, 본 개시의 제2 실시 예에 따르면, 스케줄링을 제어하는 단계는 데이터 처리 속도가 서로 다른 제1 내지 제3 인공 지능 모델 중에서, 제1 및 제2 인공 지능 모델이 서로 다른 데이터 패스에 존재하고 제1 및 제2 인공 지능 모델의 출력 데이터가 머지(merge)되어 제3 인공 지능 모델의 입력 데이터로서 이용되는 경우, 제1 내지 제3 인공 지능 모델의 데이터 처리 속도에 기초하여 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 제어 방법.
여기서 일 실시 예로서, 스케줄링을 제어하는 단계는 제1 내지 제3 인공 지능 모델 중에서 제3 인공 지능 모델의 데이터 처리 속도가 가장 빠르고, 제1 인공 지능 모델이 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 제1 인공 지능 모델의 처리 속도에 기초하여제1 및 제2 인공 지능 모델 중 데이터 처리 속도가 상대적으로 느린 제2 인공 지능 모델의 출력 데이터를 복사하고, 제1 인공 지능 모델의 출력 데이터 및 복사된 출력 데이터를 머지하여 제3 인공 지능 모델의 입력 데이터로서 이용하도록 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편 다른 실시 예로서, 스케줄링을 제어하는 단계는 제1 내지 제3 인공 지능 모델 중에서 제3 인공 지능 모델의 데이터 처리 속도가 가장 빠르고, 제1 인공 지능 모델이 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 제2 인공 지능 모델의 처리 속도에 기초하여 제1 인공 지능 모델의 출력 데이터 중에서 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 출력된 출력 데이터 및 제2 인공 지능 모델의 출력 데이터를 머지하여 제3 인공 지능 모델의 입력 데이터로서 이용하도록 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편, 이와 다른 실시 예로서, 스케줄링을 제어하는 단계는 제1 내지 제3 인공 지능 모델 중에서 제3 인공 지능 모델의 데이터 처리 속도가 가장 느린 경우, 제1 인공 지능 모델의 출력 데이터 및 제2 인공 지능 모델의 출력 데이터 중에서 제3 인공 지능 모델의 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 출력된 출력 데이터를 머지하여 제3 인공 지능 모델의 입력 데이터로서 이용하도록 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
한편, 본 개시의 제3 실시 예에 따르면, 스케줄링을 제어하는 단계는 복수의 인공 지능 모델 중에서 데이터 처리 속도가 서로 다른 제1 및 제2 인공 지능 모델이 서로 다른 데이터 패스에 존재하고, 제1 및 제2 인공 지능 모델이 동일한 소스의 데이터를 입력 데이터로서 이용하는 경우, 제1 및 제2 인공 지능 모델의 데이터 처리 속도에 기초하여 제1 및 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
여기에서, 스케줄링을 제어하는 단계는 제1 인공 지능 모델이 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 제1 인공 지능 모델의 데이터 처리 속도에 기초하여 동일한 소스의 데이터를 스플릿하여 제1 및 제2 인공 지능 모델에 입력하도록 소스의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
여기에서, 스케줄링을 제어하는 단계는 제1 인공 지능 모델이 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 제2 인공 지능 모델에 입력 된 동일한 소스의 데이터 중에서 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 입력된 데이터를 입력 데이터로서 이용하도록 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어할 수 있다.
본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
100: 전자 장치

Claims (20)

  1. 전자 장치에 있어서,
    메모리; 및
    상기 메모리와 연결되어, 상기 전자 장치를 제어하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 메모리에 저장된 적어도 하나의 명령을 실행함으로써, 복수의 인공 지능 모델의 데이터 처리 속도 및 연결 구조 중 적어도 하나에 기초하여 상기 복수의 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    복수의 인공 지능 모델 중에서 데이터 처리 속도가 서로 다른 제1 인공 지능 모델 및 제2 인공 지능 모델이 동일한 데이터 패스에 존재하는 경우, 상기 제1 및 제2 인공 지능 모델 중 데이터 처리 속도가 느린 인공 지능 모델의 데이터 처리 속도에 기초하여 상기 제1 및 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 제2 인공 지능 모델이 상기 제1 인공 지능 모델의 출력 데이터를 입력 데이터로서 이용하고, 상기 제2 인공 지능 모델의 데이터 처리 속도가 상기 제1 인공 지능 모델의 데이터 처리 속도보다 느린 경우, 상기 제2 인공 지능 모델에 입력된 상기 제1 인공 지능 모델의 출력 데이터 중에서 상기 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 입력된 데이터를 상기 입력 데이터로서 이용하도록 상기 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    데이터 처리 속도가 서로 다른 제1 내지 제3 인공 지능 모델 중에서, 상기 제1 및 제2 인공 지능 모델이 서로 다른 데이터 패스에 존재하고 상기 제1 및 제2 인공 지능 모델의 출력 데이터가 머지(merge)되어 제3 인공 지능 모델의 입력 데이터로서 이용되는 경우, 상기 제1 내지 제3 인공 지능 모델의 데이터 처리 속도에 기초하여 상기 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 제1 내지 제3 인공 지능 모델 중에서 상기 제3 인공 지능 모델의 데이터 처리 속도가 가장 빠르고, 상기 제1 인공 지능 모델이 상기 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 상기 제1 인공 지능 모델의 처리 속도에 기초하여상기 제1 및 제2 인공 지능 모델 중 상기 데이터 처리 속도가 상대적으로 느린 상기 제2 인공 지능 모델의 출력 데이터를 복사하고, 상기 제1 인공 지능 모델의 출력 데이터 및 상기 복사된 출력 데이터를 머지하여 상기 제3 인공 지능 모델의 입력 데이터로서 이용하도록 상기 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 전자 장치.
  6. 제4항에 있어서,
    상기 프로세서는,
    상기 제1 내지 제3 인공 지능 모델 중에서 상기 제3 인공 지능 모델의 데이터 처리 속도가 가장 빠르고, 상기 제1 인공 지능 모델이 상기 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 상기 제2 인공 지능 모델의 처리 속도에 기초하여 상기 제1 인공 지능 모델의 출력 데이터 중에서 상기 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 출력된 출력 데이터 및 상기 제2 인공 지능 모델의 출력 데이터를 머지하여 상기 제3 인공 지능 모델의 입력 데이터로서 이용하도록 상기 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 전자 장치.
  7. 제4항에 있어서,
    상기 프로세서는,
    상기 제1 내지 제3 인공 지능 모델 중에서 상기 제3 인공 지능 모델의 데이터 처리 속도가 가장 느린 경우, 상기 제1 인공 지능 모델의 출력 데이터 및 상기 제2 인공 지능 모델의 출력 데이터 중에서 상기 제3 인공 지능 모델의 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 출력된 출력 데이터를 머지하여 상기 제3 인공 지능 모델의 입력 데이터로서 이용하도록 상기 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    복수의 인공 지능 모델 중에서 데이터 처리 속도가 서로 다른 제1 및 제2 인공 지능 모델이 서로 다른 데이터 패스에 존재하고, 상기 제1 및 제2 인공 지능 모델이 소스의 데이터를 입력 데이터로서 이용하는 경우, 상기 제1 및 제2 인공 지능 모델의 데이터 처리 속도에 기초하여 상기 제1 및 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 제1 인공 지능 모델이 상기 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 상기 제1 인공 지능 모델의 데이터 처리 속도에 기초하여 상기 소스의 데이터가 스플릿(split)되어 상기 제1 및 제2 인공 지능 모델의 입력 데이터로서 이용하도록 상기 소스의 데이터 처리에 대한 스케줄링을 제어하는, 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 제1 인공 지능 모델이 상기 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 제2 인공 지능 모델에 입력 된 상기 소스의 데이터 중에서 상기 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 입력된 데이터를 상기 입력 데이터로서 이용하도록 상기 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    복수의 인공 지능 모델의 입력 데이터를 수신하는 단계;
    상기 복수의 인공 지능 모델에 의해 상기 입력 데이터를 처리한 출력 데이터를 출력하는 단계; 및
    상기 복수의 인공 지능 모델의 데이터 처리 속도 및 연결 구조 중 적어도 하나에 기초하여 복수의 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는 단계;를 포함하는, 제어 방법.
  12. 제11항에 있어서,
    상기 스케줄링을 제어하는 단계는,
    데이터 처리 속도가 서로 다른 제1 인공 지능 모델 및 제2 인공 지능 모델이 동일한 데이터 패스에 존재하는 경우, 상기 제1 및 제2 인공 지능 모델 중 데이터 처리 속도가 느린 인공 지능 모델의 데이터 처리 속도에 기초하여 상기 제1 및 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 제어 방법.
  13. 제12항에 있어서,
    상기 스케줄링을 제어하는 단계는,
    상기 제2 인공 지능 모델이 상기 제1 인공 지능 모델의 출력 데이터를 입력 데이터로서 이용하고, 상기 제2 인공 지능 모델의 데이터 처리 속도가 상기 제1 인공 지능 모델의 데이터 처리 속도보다 느린 경우, 상기 제2 인공 지능 모델에 입력된 상기 제1 인공 지능 모델의 출력 데이터 중에서 상기 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 입력된 데이터를 상기 입력 데이터로서 이용하도록 상기 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 제어 방법.
  14. 제11항에 있어서,
    상기 스케줄링을 제어하는 단계는,
    데이터 처리 속도가 서로 다른 제1 내지 제3 인공 지능 모델 중에서, 상기 제1 및 제2 인공 지능 모델이 서로 다른 데이터 패스에 존재하고 상기 제1 및 제2 인공 지능 모델의 출력 데이터가 머지(merge)되어 제3 인공 지능 모델의 입력 데이터로서 이용되는 경우, 상기 제1 내지 제3 인공 지능 모델의 데이터 처리 속도에 기초하여 상기 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 제어 방법.
  15. 제14항에 있어서,
    상기 스케줄링을 제어하는 단계는,
    상기 제1 내지 제3 인공 지능 모델 중에서 상기 제3 인공 지능 모델의 데이터 처리 속도가 가장 빠르고, 상기 제1 인공 지능 모델이 상기 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 상기 제1 인공 지능 모델의 처리 속도에 기초하여상기 제1 및 제2 인공 지능 모델 중 상기 데이터 처리 속도가 상대적으로 느린 상기 제2 인공 지능 모델의 출력 데이터를 복사하고, 상기 제1 인공 지능 모델의 출력 데이터 및 상기 복사된 출력 데이터를 머지하여 상기 제3 인공 지능 모델의 입력 데이터로서 이용하도록 상기 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 제어 방법.
  16. 제14항에 있어서,
    상기 스케줄링을 제어하는 단계는,
    상기 제1 내지 제3 인공 지능 모델 중에서 상기 제3 인공 지능 모델의 데이터 처리 속도가 가장 빠르고, 상기 제1 인공 지능 모델이 상기 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 상기 제2 인공 지능 모델의 처리 속도에 기초하여 상기 제1 인공 지능 모델의 출력 데이터 중에서 상기 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 출력된 출력 데이터 및 상기 제2 인공 지능 모델의 출력 데이터를 머지하여 상기 제3 인공 지능 모델의 입력 데이터로서 이용하도록 상기 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 제어 방법.
  17. 제14항에 있어서,
    상기 스케줄링을 제어하는 단계는,
    상기 제1 내지 제3 인공 지능 모델 중에서 상기 제3 인공 지능 모델의 데이터 처리 속도가 가장 느린 경우, 상기 제1 인공 지능 모델의 출력 데이터 및 상기 제2 인공 지능 모델의 출력 데이터 중에서 상기 제3 인공 지능 모델의 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 출력된 출력 데이터를 머지하여 상기 제3 인공 지능 모델의 입력 데이터로서 이용하도록 상기 제1 내지 제3 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 제어 방법.
  18. 제11항에 있어서,
    상기 스케줄링을 제어하는 단계는,
    복수의 인공 지능 모델 중에서 데이터 처리 속도가 서로 다른 제1 및 제2 인공 지능 모델이 서로 다른 데이터 패스에 존재하고, 상기 제1 및 제2 인공 지능 모델이 동일한 소스의 데이터를 입력 데이터로서 이용하는 경우, 상기 제1 및 제2 인공 지능 모델의 데이터 처리 속도에 기초하여 상기 제1 및 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 제어 방법.
  19. 제18항에 있어서,
    상기 스케줄링을 제어하는 단계는,
    상기 제1 인공 지능 모델이 상기 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 상기 제1 인공 지능 모델의 데이터 처리 속도에 기초하여 상기 소스의 데이터가 스플릿되어 상기 제1 및 제2 인공 지능 모델의 입력 데이터로서 이용하도록 상기 소스의 데이터 처리에 대한 스케줄링을 제어하는, 제어 방법.
  20. 제18항에 있어서,
    상기 스케줄링을 제어하는 단계는,
    상기 제1 인공 지능 모델이 상기 제2 인공 지능 모델보다 데이터 처리 속도가 빠른 경우, 제2 인공 지능 모델에 입력 된 상기 소스의 데이터 중에서 상기 제2 인공 지능 모델이 출력 데이터를 출력하는 시점을 기준으로 가장 최근에 입력된 데이터를 상기 입력 데이터로서 이용하도록 상기 제2 인공 지능 모델의 데이터 처리에 대한 스케줄링을 제어하는, 제어 방법.
KR1020180123799A 2018-10-17 2018-10-17 모듈화된 신경망의 데이터 처리를 제어하는 전자 장치 및 그 제어 방법 KR20200046168A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180123799A KR20200046168A (ko) 2018-10-17 2018-10-17 모듈화된 신경망의 데이터 처리를 제어하는 전자 장치 및 그 제어 방법
PCT/KR2019/013049 WO2020080718A1 (ko) 2018-10-17 2019-10-04 모듈화된 신경망의 데이터 처리를 제어하는 전자 장치 및 그 제어 방법
US17/266,781 US20210319282A1 (en) 2018-10-17 2019-10-04 Electronic device for controlling data processing of modularized neural network, and method for controlling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180123799A KR20200046168A (ko) 2018-10-17 2018-10-17 모듈화된 신경망의 데이터 처리를 제어하는 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20200046168A true KR20200046168A (ko) 2020-05-07

Family

ID=70283279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180123799A KR20200046168A (ko) 2018-10-17 2018-10-17 모듈화된 신경망의 데이터 처리를 제어하는 전자 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20210319282A1 (ko)
KR (1) KR20200046168A (ko)
WO (1) WO2020080718A1 (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1316361C (zh) * 2000-06-27 2007-05-16 皇家菲利浦电子有限公司 确定一个进度表的方法、调度器和系统
JP2002196811A (ja) * 2000-12-27 2002-07-12 Matsushita Electric Ind Co Ltd スケジューリング装置、スケジューリング方法及び記録媒体
EP2849083A4 (en) * 2012-05-10 2017-05-03 Consejo Superior De Investigaciones Científicas (CSIC) Method and system for converting pulsed-processing neural network with instantaneous integration synapses into dynamic integration synapses
US9015096B2 (en) * 2012-05-30 2015-04-21 Qualcomm Incorporated Continuous time spiking neural network event-based simulation that schedules co-pending events using an indexable list of nodes
US20170193136A1 (en) * 2015-12-30 2017-07-06 Sharat C. Prasad On-chip and system-area multi-processor interconnection networks in advanced processes for maximizing performance minimizing cost and energy
US11669718B2 (en) * 2017-05-23 2023-06-06 Intel Corporation Methods and apparatus for discriminative semantic transfer and physics-inspired optimization of features in deep learning

Also Published As

Publication number Publication date
US20210319282A1 (en) 2021-10-14
WO2020080718A1 (ko) 2020-04-23

Similar Documents

Publication Publication Date Title
TWI492062B (zh) 用於程式化狀態機引擎之方法與裝置
TWI569206B (zh) 用於狀態機引擎之結果產生
CN112333623B (zh) 使用图像信息的基于空间的音频对象生成
US12008038B2 (en) Summarization of video artificial intelligence method, system, and apparatus
TW201419146A (zh) 用於處理狀態機引擎所接收之資料之方法及系統
US20170323638A1 (en) System and method of automatic speech recognition using parallel processing for weighted finite state transducer-based speech decoding
TW201423586A (zh) 在圖案識別處理系統中用於電力管理之方法及系統
WO2021019342A1 (en) Synchronized sound generation from videos
CN115004299A (zh) 使用合成图像特征来对音频场景进行分类
TW201419158A (zh) 用於使用狀態機引擎中之狀態向量資料之方法及系統
US20140279744A1 (en) Continuous interaction learning and detection in real-time
JP7372011B2 (ja) 深層学習の大規模なモデル・サポート
Zhao et al. Hvpi: Extending hadoop to support video analytic applications
CN106688015B (zh) 处理用于当解码图像时对于块的操作的参数
US10747691B2 (en) Memory device, a dual inline memory module, a storage device, an apparatus for storing, a method for storing, a computer program, a machine readable storage, and a machine readable medium
US20220334790A1 (en) Methods, systems, articles of manufacture, and apparatus to dynamically determine interaction display regions for screen sharing
CN113052303A (zh) 用于控制神经网络电路的数据输入和输出的设备
US20210327449A1 (en) Electronic device for speech recognition and control method thereof
TWI587705B (zh) 硬體輔助之媒體回放與擷取的同步技術
CN112766470B (zh) 特征数据处理方法、指令序列生成方法、装置及设备
KR20200046168A (ko) 모듈화된 신경망의 데이터 처리를 제어하는 전자 장치 및 그 제어 방법
Wang et al. Large-scale human action recognition with spark
US10423468B2 (en) Complex event processing using pseudo-clock
US20230177382A1 (en) Method(s) and system(s) for improved efficiency in federated learning of machine learning model(s)
US20230419082A1 (en) Improved Processing of Sequential Data via Machine Learning Models Featuring Temporal Residual Connections

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal