KR20220150096A - 딥러닝 머신 및 그 운용방법 - Google Patents

딥러닝 머신 및 그 운용방법 Download PDF

Info

Publication number
KR20220150096A
KR20220150096A KR1020210057399A KR20210057399A KR20220150096A KR 20220150096 A KR20220150096 A KR 20220150096A KR 1020210057399 A KR1020210057399 A KR 1020210057399A KR 20210057399 A KR20210057399 A KR 20210057399A KR 20220150096 A KR20220150096 A KR 20220150096A
Authority
KR
South Korea
Prior art keywords
data
learning
input data
deep learning
labeling
Prior art date
Application number
KR1020210057399A
Other languages
English (en)
Inventor
이혁
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020210057399A priority Critical patent/KR20220150096A/ko
Priority to US17/397,220 priority patent/US11720648B2/en
Priority to DE102021123695.9A priority patent/DE102021123695A1/de
Priority to CN202111083160.3A priority patent/CN115293357A/zh
Publication of KR20220150096A publication Critical patent/KR20220150096A/ko

Links

Images

Classifications

    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

라벨링기준을 구비하고, 입력데이터를 라벨링기준에 따라 라벨링하는 분류부; 분류부의 라벨링된 입력데이터들 중 정수화가 필요한 제1타입으로 라벨링된 입력데이터를 정수화하는 변환부; 변환부를 통해 정수화된 제1타입의 입력데이터를 입력받아 출력데이터를 추론하는 제1학습데이터부; 및 정수화가 필요하지 않은 제2타입으로 라벨링된 입력데이터를 입력받아 출력데이터를 추론하는 제2학습데이터부;를 포함하는 딥러닝 머신 및 그 운용방법이 소개된다.

Description

딥러닝 머신 및 그 운용방법 {APPARATUS FOR DEEP LEARNING AND OPERATING METHOD THEREOF}
본 발명은 정수 연산을 기반으로 딥러닝 추론을 함에 있어서 부동소수점 연산을 기반으로 한 인식 성능가 열화되지 않는 입력 데이터를 구별하기 위한 분류 딥러닝을 추가로 활용하여 정수 연산으로 인한 특징값 손실을 방지하면서 복잡한 입력데이터를 처리하는데 필요한 연산량을 감소시키고 딥러닝의 성능을 최대화할 수 있는 딥러닝 머신 및 그 운용방법에 관한 것이다.
영상 인식과 같이 사물들을 구별하는 규칙을 찾기 힘든 문제들에 대해 머신러닝 기술이 대두되고 있다. 머신 러닝은 학습하고자 하는 데이터들의 알려진 특징을 기반으로 주로 통계적인 방법을 사용하여 데이터를 입력받아 표현(representation)하고 이를 바탕으로 미지의 데이터를 일반화(generalization)한다. 이렇게 얻은 머신 러닝의 규칙들을 활용하기 위해 입력데이터들에서 그 특징들을 추출해야 하고, 이 과정에서 딥러닝 기술을 사용할 수 있다.
그런데, 실제로 이러한 딥러닝 기술은 복잡하고 방대한 입력데이터에 대해 많은 양의 연산을 필요로 한다. 이러한 점 때문에 스마트폰과 같이 제한된 리소스를 가진 시스템에서 딥러닝 기술을 구동하기 위해서는 부동 소수점 연산을 정수화하여 임베디드하는 것이 최근의 동향이다.
그러나 부동 소수점 기반 알고리즘과 달리, 정수 기반 알고리즘은 미가공 데이터의 양자화 과정에서 인식 성능의 열화가 존재한다. 특히 그러한 인식 성능의 열화는 특정 구간, 즉 데이터가 양 극단에 몰려있는 경우 이 값들을 양자화하는 과정에서 크게 발생한다. 따라서, 이러한 문제점을 해결하기 위한 기술이 요구된다.
상기 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
KR 10-2132407 B1
본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로서, 정수 연산을 기반으로 딥러닝 추론을 함에 있어서 부동소수점 연산을 기반으로 한 인식 성능가 열화되지 않는 입력 데이터를 구별하기 위한 분류 딥러닝을 추가로 활용하여 정수 연산으로 인한 특징값 손실을 방지하면서 복잡한 입력데이터를 처리하는데 필요한 연산량을 감소시키고 딥러닝의 성능을 최대화할 수 있는 딥러닝 머신 및 그 운용방법을 제공하고자 함이다.
본 발명에 따른 딥러닝 머신은, 라벨링기준을 구비하고, 입력데이터를 라벨링기준에 따라 라벨링하는 분류부; 분류부의 라벨링된 입력데이터들 중 정수화가 필요한 제1타입으로 라벨링된 입력데이터를 정수화하는 변환부; 변환부를 통해 정수화된 제1타입의 입력데이터를 입력받아 출력데이터를 추론하는 제1학습데이터부; 및 정수화가 필요하지 않은 제2타입으로 라벨링된 입력데이터를 입력받아 출력데이터를 추론하는 제2학습데이터부;를 포함한다.
라벨링기준은 정수화된 입력데이터를 입력받아 출력데이터를 추론하여 도출되는 추론성능값를 기반으로 구비될 수 있다.
추론성능값은 입력데이터를 딥러닝한 것을 양자화한 제3양자학습데이터를 기반으로 출력데이터를 추론하여 도출될 수 있다.
라벨링기준은 입력데이터의 추론성능값 대비 정수화된 입력데이터의 추론성능값의 차이에 관한 규칙을 딥러닝하여 도출된 것을 양자화한 제4양자학습데이터를 기반으로 구비될 수 있다.
분류부는 입력데이터의 클래스에 대응되는 적어도 하나의 라벨링기준을 구비할 수 있다.
제1학습데이터부는 제1타입의 입력데이터를 딥러닝하여 도출된 제1학습데이터를 기반으로 출력데이터를 추론할 수 있다.
제1학습데이터부는 제1학습데이터를 양자화한 제1양자학습데이터를 기반으로 출력데이터를 추론할 수 있다.
제2학습데이터부는 제2타입의 입력데이터를 딥러닝하여 도출된 것을 양자화한 제2양자학습데이터를 기반으로 출력데이터를 추론할 수 있다.
본 발명에 따른 딥러닝 머신의 운용방법은,
라벨링기준이 구비된 분류부에 입력데이터를 입력하고 라벨링기준에 따라 분류부에서 입력데이터를 라벨링하는 단계; 변환부에서 라벨링된 입력데이터들 중 정수화가 필요한 제1타입으로 라벨링된 입력데이터를 정수화하는 단계; 및 제1학습데이터부에서 정수화된 제1타입의 입력데이터를 입력받아 출력데이터를 추론하는 단계; 를 포함한다.
분류부에서 라벨링하는 단계에서, 입력데이터를 딥러닝한 것을 양자화한 제3양자학습데이터를 기반으로 정수화된 입력데이터를 입력받아 출력데이터를 추론하여 도출되는 추론성능값을 기반으로 구비된 라벨링기준에 따라 라벨링할 수 있다.
분류부에서 라벨링하는 단계에서, 입력데이터의 추론성능값 대비 정수화된 입력데이터의 추론성능값의 차이에 관한 규칙을 딥러닝하여 도출된 것을 양자화한 제4양자학습데이터를 딥러닝하여 구비된 라벨링기준에 따라 라벨링할 수 있다.
분류부에서 라벨링하는 단계에서, 입력데이터의 클래스에 대응되는 적어도 하나의 라벨링기준에 따라 라벨링할 수 있다.
제1학습데이터부에서 출력데이터를 추론하는 단계에서, 제1타입으로 라벨링된 입력데이터를 딥러닝한 것을 양자화한 제1양자학습데이터를 기반으로 출력데이터를 추론할 수 있다.
제1학습데이터부에서 출력데이터를 추론하는 단계 이후에, 제2학습데이터부에서 정수화가 필요하지 않은 제2타입으로 라벨링된 입력데이터를 입력받아 출력데이터를 추론할 수 있다.
제2학습데이터부에서 출력데이터를 추론하는 단계에서, 제2타입으로 라벨링된 입력데이터를 딥러닝한 것을 양자화한 제2양자학습데이터를 기반으로 출력데이터를 추론할 수 있다.
본 발명의 딥러닝 머신 및 그 운용방법에 따르면, 본 발명은 정수 연산을 기반으로 딥러닝 추론을 함에 있어서 부동소수점 연산을 기반으로 한 인식 성능가 열화되지 않는 입력 데이터를 구별하기 위한 분류 딥러닝을 추가로 활용하여 정수 연산으로 인한 특징값 손실을 방지하면서 복잡한 입력데이터를 처리하는데 필요한 연산량을 감소시키고 딥러닝의 성능을 최대화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 머신의 구성도.
도 2는 본 발명의 일 실시예에 따른 딥러닝 머신의 블록도.
도 3는 본 발명의 일 실시예에 따른 딥러닝 머신의 운용방법의 순서도.
본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다. 이하, 본 발명의 실시예를 첨부도면을 참조로 상세하게 설명하기로 한다.
본 실시예에서 사용되는 “~부(unit)”는 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램, 프로그램 기반 AI 가속화기(accelerator)와 같은 소프트웨어 각각 또는 조합, GPU(Graphic processing unit), CPU(Central Processing Unit), FPGA(field programmable gate array)나 ASIC(applicationspecific integrated circuit), DSP(Digital Signal Processor), VPC(Vision Processing Units), 뉴로모픽 칩(Neromorphic IC), 하드웨어 기반 AI 가속화기와 같은 하드웨어 각각 또는 조합으로 구현될 수 있다. 또한, 본 실시예의 "~부"는 각각 또는 조합된 소프트웨어 및 하드웨어의 조합으로 이루어질 수 있다. 또한, 본 실시예의 "~부" 는 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있다. 또한, 본 실시예의 "~부"는 복수의 하드웨어나 소프트웨어, 또는 그 조합에 그 일부가 분산되어 분포될 수도 있다. 이 경우, 본 실시예의 "~부"의 데이터 처리는 클라우드 컴퓨팅 또는 엣지 컴퓨팅 또는 AI 엣지 컴퓨팅 등곽 같이 분산되거나, 집중되거나, 가속화될 수 있다.
또한, 본 실시예에서 사용되는 "딥 러닝"은 머신 러닝의 한 종류로 머신 러닝과 혼용될 수 있다. 머신 러닝은 경험적 데이터를 기반으로 학습과 추론을 수행하면서 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘에 관한 기술이다. 즉, 머신 러닝은 입력데이터를 기반으로 출력데이터를 추론하기 위해 특정한 모델을 구축하는 방식이다. 여기서 딥 러닝은 그러한 특정한 모델을 구축하는 방식으로서 입력데이터와 출력 데이터 사이에 입력데이터로부터 인공신경망과 같은 알고리즘에서의 가중치, 편향, 활성화 함수와 같은 학습 파라미터 등을 통해 특징들을 추출하여 출력데이터로 전달하는 은닉데이터를 포함하는 것이다.
따라서 여기서의 러닝(학습)은 입력데이터의 분류, 회귀분석, 군집화 등 해당 시스템의 목적을 위하여 학습데이터를 이용하여 학습 파라미터를 결정하는 과정을 의미할 수 있다. 그리고, 여기서의 러닝(학습)은 훈련, 재훈련과 같은 학습 그자체 또는 예측이나 결정과 같은 추론을 포함하는 개념일 수 있다. 물론, 여기서의 딥 러닝은 회귀기법을 활용하는 인공 신경망을 이용한 학습(CNN 등)과 확률기반, 기하기반, 앙상블 기반 등의 알고리즘을 이용한 기계학습을 포함한다. 또한, 여기서의 딥 러닝은 지도 학습과 비지도 학습, 반지도 학습, 강화학습을 포함한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 머신의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 딥러닝 머신의 블록도이며, 도 3는 본 발명의 일 실시예에 따른 딥러닝 머신의 운용방법의 순서도이다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 머신의 구성도이고, 본 발명의 일 실시예에 따른 딥러닝 머신은, 라벨링기준을 구비하고, 입력데이터를 라벨링기준에 따라 라벨링하는 분류부(D); 분류부의 라벨링된 입력데이터들 중 정수화가 필요한 제1타입으로 라벨링된 입력데이터를 정수화하는 변환부(C); 변환부를 통해 정수화된 제1타입의 입력데이터를 입력받아 출력데이터를 추론하는 제1학습데이터부(T1); 및 정수화가 필요하지 않은 제2타입으로 라벨링된 입력데이터를 입력받아 출력데이터를 추론하는 제2학습데이터부(T2);를 포함한다.
도 1의 입력부(I)는 딥 러닝 모델, 딥 러닝 모델의 훈련 또는 학습을 위한 훈련 데이터 , 재훈련 데이터, 또는 학습된 모델을 이용하여 출력을 얻기 위한 입력데이터, 출력 후 출력 히스토리 또는 사용자의 사용히스토리를 입력받을 수 있다. 입력부(I)는 미가공된 입력데이터를 얻을 수 있고, 딥 러닝 모델의 학습을 위해 전처리된 입력데이터를 얻을 수 있다. 여기서 전처리는 입력 데이터로부터 입력 특징점(input feature)를 추출하는 것을 의미할 수 있다. 또한, 입력부(I)의 입력데이터는 유무선 통신이나 인터페이스를 통하여 다른 장치 또는 사용자와 송수신한 데이터일 수 있다. 데이터의 종류는 이미지 정보, 오디오 정보, 정보에 해당되는 신호, 데이터, 또는 사용자 입력 정보 일 수 있다.
그리고, 도 1의 입력부(I)의 입력데이터는 분류부(D)에서 정수화가 필요한 제1타입 또는 정수화가 필요하지 않은 제2타입으로 라벨링된다. 이 때, 분류부(D)는 라벨링기준을 구비할 수 있다. 이 중 정수화가 필요한 제1타입으로 라벨링된 입력데이터는 변환부(C)에서 정수화된다. 제1학습데이터부(T1)는 정수화된 제1타입의 입력데이터는 딥러닝 모델을 거쳐 출력데이터를 추론한다. 그리고, 제2학습데이터부(T2)는 정수화가 필요하지 않은 제2타입으로 라벨링된 입력데이터에 대해 변환부(C)를 거치지 않고, 또는 부동소수점 데이터로 변환하는 변환부(C)를 거쳐(미도시) 딥러닝 모델을 통해 출력데이터를 추론한다.
여기서 정수화란 모델 압축 기술로, 정보의 표현력을 잃지 않으면서도 모델의 크기를 줄여 연산량을 줄이고 연산속도와 효율을 높이는 모델압축기술인 양자화의 일종이다. 또한, 여기서의 정수화란, 부동 소수점을 포함하는 입력데이터를 고정 소수점 또는 정수를 포함하는 정수형 데이터로 변환하는 것을 의미한다. 특히, 정수화란 정수 연산기, 즉 부동소수점 데이터를 처리할 수 없는 연산기에 적합하도록 입력데이터를 변환하는 것을 의미할 수 있다.
여기서 정수화가 필요하다는 것은 정수화로 인해 입력데이터의 정보 표현력(예를 들어 영상 정보의 해상력)이 일정 기준값 이상 감소되지 않은 것, 또는 그 학습성능값 또는 추론성능값이 일정 기준값 이상 감소되지 않는 것을 의미할 수 있다. 또한, 여기서 정수화가 필요한 제1타입, 또는 정수화가 필요하지 않은 제2타입 간에는 양립불가능하다. 다만, 제1타입 내에서는 정수화가 더 필요한 제1타입과 정수화가 덜 필요한 제1타입 등 복수의 타입을 포함할 수 있다. 마찬가지로, 제2타입 내에서도 정수화가 더 불필요한 제2타입과 정수화가 덜 불필요한 제2타입 등 복수의 타입을 포함할 수 있다.
그리고, 도 1의 제어부(M)는 제1학습데이터부(T1) 또는 제2학습데이터부(T2)에서 추론한 출력데이터를 바탕으로 장치를 제어한다. 또는, 도 1의 제어부(M)는 제1학습데이터부(T1) 또는 제2학습데이터부(T2)의 학습량과 학습속도, 추론량과 추론속도를 제어할 수 있다. 일례로, 제어부(M)는 모빌리티에서 측정하는 영상의 특징들을 추출한 출력데이터를 바탕으로 자율주행를 위해 동력발생장치, 동력전달장치, 제동장치, 조향장치, 자율주행 사용자 편의를 위한 전기장치, 또는 그 주변장치를 제어할 수 있다. 이 때, 제어부(M)는 모빌리티 충돌 위험과 같이 우선순위가 높은 기능을 수행하기 위해, 영상의 장애물들의 속도나 거리 등의 정보에 대한 정보를 우선적으로 학습하거나 출력하도록 제어할 수 있다.
한편, 도 1의 제어부(M)는 제어 단계에서 저장부(S)에 저장된 데이터와 출력데이터를 결합하여 특정 기능을 실행하는 최적 제어점을 결정할 수 있다. 한편, 도 1의 저장부(S)는 딥 러닝 머신를 구성하는 각 부에서 사용되는 프로그램들 및/또는 데이터를 저장할 수 있다. 또한, 도 1의 저장부(S)는 학습을 위한 학습 파라미터와 양자화를 위한 양자화 파라미터, 입력데이터 및 출력데이터를 저장할 수 있다.
딥 러닝 기술은 복잡하고 방대한 입력데이터에 대해 많은 양의 연산을 필요로 한다. 이러한 점 때문에, 스마트폰과 같이 제한된 리소스를 가진 시스템에서 딥 러닝 기술을 도입하는 것은 연산 속도를 급격히 늦춘다. 특히, 입력데이터가 가공되지 않거나 부동소수점인 경우 그러하다. 따라서, 이러한 시스템에서도 딥러닝 기술을 구동하기 위해서는 부동 소수점 연산을 정수화하여 임베디드하는 것이 필요하다. 그러나 부동 소수점의 입력데이터를 기반으로 한 알고리즘과 달리, 정수의 입력데이터를 기반으로 한 딥러닝 알고리즘은 미가공 데이터의 정수화 과정에서 인식 성능의 열화가 존재한다. 특히 그러한 인식 성능의 열화는 특정 구간, 즉 데이터가 양 극단에 몰려있는 경우 이 값들을 정수화하고, 이를 학습한 학습데이터를 양자화하는 과정에서 크게 발생한다.
따라서 이러한 문제점을 해결하기 위해, 본 발명의 일 실시예에 따른 딥러닝 머신은 분류 네트워크를 추가하고 이를 딥러닝 모델과 결합한다. 즉, 본 일 실시예는 딥러닝 모델을 통한 추론 이전에 입력데이터를 제1타입 또는 제2타입, 즉 정수화가 필요한 입력데이터를 분류하고 그 중 정수화가 필요한 입력데이터만을 정수화하여 그에 맞는 특성에 따라 추론하고, 정수화가 필요하지 않은 입력데이터는 그에 맞는 특성에 따라 추론한다. 그러므로, 본 발명의 일 실시예에 따른 딥러닝 머신은 부동소수점 기반 입력데이터를 통한 추론의 추론성능과 정확도를 유지, 향상시키면서도 정수 기반 입력데이터를 통한 추론의 높은 연산속도를 확보할 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 머신의 구성도이고, 라벨링기준은 정수화된 입력데이터를 입력받아 출력데이터를 추론하여 도출되는 추론성능값를 기반으로 구비될 수 있다. 또한, 추론성능값은 입력데이터를 딥러닝한 것을 양자화한 제3양자학습데이터를 기반으로 출력데이터를 추론하여 도출될 수 있다. 즉, 정수화 기반 추론 이전 단계에서 본 발명의 일 실시예는 전처리된 학습데이터를 통해 추론성능값을 결정하고 이를 기반으로 라벨링기준을 구비할 수 있다.
도 1의 제3학습데이터부(T3)에서는 저장부(S)에서 또는 입력부(I)에서(미도시) 정수화되지 않은 입력데이터를 입력받아 딥러닝하여 제3학습데이터를 생성한다. 또한, 제3학습데이터부(T3)는 그 제3학습데이터를 양자화하여 제3양자학습데이터를 생성하고, 이를 통해 정수화되지 않은 입력데이터와 정수화된 입력데이터를 입력받아 출력데이터를 추론한다. 이로서, 분류부(D)는 제3학습데이터부(T3)의 추론성능와 정수화된 입력데이터의 추론(미도시)에 의한 추론성능을 기반으로 라벨링기준을 구비될 수 있다.
이러한 추론성능값은 지도(supervised)될 수 있으나, 이는 기계학습의 목적상 바람직하지 않다. 특히 이러한 추론성능값은 영상 인식(detection)과 단위 분할(segmentation)에서 사용되는 mIOU(Mean Intersection over Union) 등을 통해 계산될 수 있다. 이 경우, 이러한 추론은 정수화되지 않은 입력데이터를 딥러닝한 제3학습데이터 또는 제3양자학습데이터를 기반으로 하여 하는 것이 바람직하다. 물론, 이로 인해 복잡도가 상승할 수 있으므로 간단한 분류네트워크를 생성하는 것이 바람직하다. 이러한 간단한 분류네트워크를 선제적으로 거쳐 측정된 추론성능값을 기반으로 정수화가 필요한 또는 불필요한 입력데이터를 라벨링하는 것은 궁극적으로 추론성능을 높인다. 결국, 본 발명의 일 실시예에 따른 딥러닝 머신은 라벨링기준을 제3양자학습데이터를 기반으로 한 추론성능값에 따라 구비함으로써 정수화가 필요한 입력데이터의 기준을 명확히 하고 그에 따라 본 머신의 추론성능을 향상시킨다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 머신의 구성도이고, 라벨링기준은 입력데이터의 추론성능값 대비 정수화된 입력데이터의 추론성능값의 차이에 관한 규칙을 딥러닝하여 도출된 것을 양자화한 제4양자학습데이터를 기반으로 구비될 수 있다. 즉, 본 실시예는 라벨링기준을 제4양자학습데이터를 기반으로 딥러닝하여 도출한다.
도 1의 제4학습데이터부(T4)는 저장부(S)에서 또는 입력부(I)에서(미도시) 정수화되지 않은 입력데이터를 입력받아 출력데이터를 추론한 추론성능값을 입력받는다. 이러한 추론은 앞서 언급한 제3학습데이터부(T3)에서 이루어질 수 있다. 제4학습데이터부(T3)는 제3학습데이터부(T3)에서 이루어진 입력데이터와 정수화된 입력데이터의 추론성능값을 입력받고, 어떠한 입력데이터에서 정수화로 인해 추론성능값이 떨어졌는지에 관한 규칙을 딥러닝한다. 제4학습데이터부(T4)는 이를 양자화한 제4양자학습데이터를 기반으로 라벨링기준을 구비함으로써 라벨링기준을 업데이트한다. 결국, 본 발명의 일 실시예에 따른 딥러닝 머신은 라벨링기준을 제3양자학습데이터를 포함한 학습데이터를 기반으로 한 추론성능값에 따라 구비함으로써, 정수화가 필요한 입력데이터의 기준을 딥러닝하여 업데이트한다. 그에 따라 본 머신의 분류성능이 향상되고, 이에 상응하는 정수 기반 추론의 추론성능을 향상시킨다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 머신의 블록도이며, 분류부(D)는 입력데이터의 클래스에 대응되는 적어도 하나의 라벨링기준을 구비할 수 있다. 도 2의 입력부(I)에서 입력되는 입력데이터는 영상데이터를 포함할 수 있다. 이 경우, 해당 영상데이터는 시간단위로 분할된 정지화상데이터와 음성데이터 등의 합이다. 그러나, 도 2와 같이 이러한 영상을 실시간으로 입력하는 장비들(SR Radar, LR Radar, LiDar, SVM Camera, Camera)은 그 목적과 기능에 맞게 다른 영상데이터를 입력한다. 따라서, 도 2의 분류부(D)는 이러한 입력부(I)에서 입력된 각 장비들의 영상데이터에 맞게, 영상데이터에 포함된 각 입력데이터에 맞게 라벨링기준을 다르게 구비할 수 있다. 이러한 라벨링기준은 앞서 언급한 제4학습데이터부(T4)를 각 장비들에 맞게 다르게 설정함으로써 구비될 수 있다. 이에 따라, 제어부(M)도 각 제4학습데이터부(T4)에 맞는 라벨링기준에 따른 제1,2학습데이터부(T1,T2)의 추론에 따라 관련 장치를 제어할 수 있다.
따라서, 본 발명의 일 실시예에 따른 딥러닝 머신은 입력데이터의 클래스에 대응되는 라벨링기준을 구비함으로써 입력데이터의 정보량과 종류, 그에 맞는 출력데이터의 정보량과 종류, 그 고도성 등을 최적화할 수 있다. 특히, 위의 각 장비의 출력데이터의 경우 영상 정보에서 중요한 물체 분류(classification) 및 로컬화(localization), 영상 인식(detection), 의미 단위 분할(sementic segmentation), 개체 단위 분할(object segmentation)로 가는 고도성이 있을 수 있다. 각 장비는 예를 들어 충돌 경고 및 긴급 제동이 목적인 경우 저도의 단계, 차량간 거리유지가 목적인 경우 고도의 단계가 필요할 수 있다. 이 중 더 중요한 것에 맞게 본 일 실시예는 최적화될 수 있다. 따라서, 본 발명의 일 실시예에 따른 딥러닝 머신은 이에 따른 입력데이터의 라벨링 역시 고도성에 맞게 최적화된다면 고도화될 필요가 없는 입력데이터에 대해 학습량을 줄이거나, 고도화되어야 하는 입력데이터에 대해 학습량을 늘이는 제어를 할 수 있다. 그러므로, 본 일 실시예는 정수 연산을 각 영상정보와 필요한 출력정보에 맞게 최적화하여 정확한 제어와 빠른 연산을 수행하도록 한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 머신의 구성도이고, 제1학습데이터부(T1)는 제1타입의 입력데이터를 딥러닝하여 도출된 제1학습데이터를 기반으로 출력데이터를 추론할 수 있다. 또한, 제1학습데이터부는 제1학습데이터를 양자화한 제1양자학습데이터를 기반으로 출력데이터를 추론할 수 있다. 그리고, 제2학습데이터부는 제2타입의 입력데이터를 딥러닝하여 도출된 것을 양자화한 제2양자학습데이터를 기반으로 출력데이터를 추론할 수 있다. 즉, 본 발명의 일 실시예는 각 타입에 맞는 학습과 추론을 수행한다.
딥러닝한 학습데이터는 부동 소수점 기반의 입력데이터를 통해 또는 정수 기반의 입력데이터를 통해 구비될 수 있다. 다만, 정수 연산에 맞는 입력데이터로서 정수화가 필요한 제1타입 또는 정수화가 필요하지 않은 제2타입을 통해 딥러닝한 학습데이터인 제1학습데이터와 제2학습데이터를 기반으로 정수 연산 기반 추론을 하는 것이 추론성능면에서 정확하고 연산속도 면에서 높다. 그 과정에서 제1학습데이터 등을 양자화하는 것이 연산속도상 유리하다. 따라서, 본 발명의 일 실시예에 따른 딥러닝 머신은 라벨링기준에 따라 분류된 입력데이터의 특성을 재학습한 (양자화된) 제1/2학습데이터를 통해 추론을 수행함으로써 정수연산 기반 추론의 성능을 향상시킬 수 있다.
도 3는 본 발명의 일 실시예에 따른 딥러닝 머신의 운용방법의 순서도이다. 본 발명에 따른 딥러닝 머신의 운용방법은, 라벨링기준이 구비된 분류부에 입력데이터를 입력하고 라벨링기준에 따라 분류부에서 입력데이터를 라벨링하는 단계(S200); 변환부에서 라벨링된 입력데이터들 중 정수화가 필요한 제1타입으로 라벨링된 입력데이터를 정수화하는 단계(S300); 및 제1학습데이터부에서 정수화된 제1타입의 입력데이터를 입력받아 출력데이터를 추론하는 단계(S500); 를 포함한다.
본 발명의 일 실시예에 따른 딥러닝 머신의 운용방법의 첫 단계로, 도 3과 같이 입력데이터, 정수화된 입력데이터, 학습데이터, 양자화된 학습데이터, 학습 및 추론모델을 입력한다(S100). 이러한 입력은 입력부(I) 또는 저장부(S)에서 수행될 수 있다. 그 다음 단계로, 분류부에서 라벨링기준에 따라 입력데이터를 정수화가 필요한 제1타입과 정수화가 불필요한 제2타입으로 라벨링한다(S200). 이러한 라벨링기준은 제3양자학습데이터 또는 제3학습데이터(미도시)를 기반으로 추론성능값을 도출함으로써 구비될 수 있다(S202). 또는, 이러한 추론성능값의 차이에 관한 규칙을 딥러닝하여 도출된 제4학습데이터(미도시) 또는 제4양자학습데이터를 딥러닝하여 라벨링기준을 구비할 수 있다(S204).
그 다음 단계로, 변환부에서 라벨링된 입력데이터들 중 정수화가 필요한 제1타입으로 라벨링된 입력데이터를 정수화한다(S300). 이 단계와 동시에, 변환부에서 정수화가 불필요한 제2타입으로 라벨링된 입력데이터를 부동소수점 데이터로 변환하는 단계를 포함할 수 있다(S302). 최종 단계로, 제1학습데이터부에서 정수화된 제1타입의 입력데이터를 기반으로 출력데이터를 추론한다(S500). 부가적으로, 제2학습데이터부에서 정수화된 제2타입의 입력데이터를 기반으로 출력데이터를 추론할 수 있다(S502).
최종 단계 전에, 제1학습데이터부에서 제1타입으로 라벨링된 입력데이터를 딥러닝한 것을 양자화하여 제1양자학습데이터를 생성할 수 있다(S400). 이를 통해, 최종단계의 추론은 제1양자학습데이터를 기반으로 수행할 수 있다. 이와 마찬가지로, 최종 단계 전에 제2학습데이터부에서 제2타입으로 라벨링된 입력데이터를 딥러닝한 것을 양자화하여 제2양자학습데이터를 생성할 수 있다(S402). 이를 통해, 최종단계의 추론은 제2양자학습데이터를 기반으로 수행할 수 있다.
결국 본 발명의 일 실시예에 따른 딥러닝 머신의 운용방법은 분류 네트워크를 추가하고 이를 딥러닝 모델과 결합한다. 그러므로, 본 발명의 일 실시예에 따른 딥러닝 머신의 운용방법은 부동소수점 기반 입력데이터를 통한 추론의 추론성능과 정확도를 유지, 향상시키면서도 정수 기반 입력데이터를 통한 추론의 높은 연산속도를 확보할 수 있다.
도 3는 본 발명의 일 실시예에 따른 딥러닝 머신의 운용방법의 순서도이고, 분류부에서 라벨링하는 단계(S200)에서, 입력데이터를 딥러닝한 것을 양자화한 제3양자학습데이터를 기반으로 정수화된 입력데이터를 입력받아 출력데이터를 추론하여 도출(S202)되는 추론성능값을 기반으로 구비된 라벨링기준에 따라 라벨링할 수 있다. 이러한 간단한 분류네트워크를 선제적으로 거쳐 측정된 추론성능값을 기반으로 정수화가 필요한 또는 불필요한 입력데이터를 라벨링하는 것은 궁극적으로 추론성능을 높인다. 결국, 본 발명의 일 실시예에 따른 딥러닝 머신의 운용방법은 라벨링기준을 제3양자학습데이터를 기반으로 한 추론성능값에 따라 구비함으로써 정수화가 필요한 입력데이터의 기준을 명확히 하고 그에 따라 본 머신의 추론성능을 향상시킨다.
도 3는 본 발명의 일 실시예에 따른 딥러닝 머신의 운용방법의 순서도이고, 분류부에서 라벨링하는 단계(S200)에서, 입력데이터의 추론성능값 대비 정수화된 입력데이터의 추론성능값의 차이에 관한 규칙을 딥러닝하여 도출된 것을 양자화한 제4양자학습데이터를 딥러닝하여 구비(S204)된 라벨링기준에 따라 라벨링할 수 있다. 본 단계에서는, 양자화한 제4양자학습데이터를 기반으로 라벨링기준을 구비함으로써 라벨링기준을 업데이트한다. 결국, 본 발명의 일 실시예에 따른 딥러닝 머신의 운용방법은 라벨링기준을 제3양자학습데이터를 포함한 학습데이터를 기반으로 한 추론성능값에 따라 구비함으로써, 정수화가 필요한 입력데이터의 기준을 딥러닝하여 업데이트한다. 그에 따라 본 머신의 분류성능이 향상되고, 이에 상응하는 정수 기반 추론의 추론성능을 향상시킨다.
도 3는 본 발명의 일 실시예에 따른 딥러닝 머신의 운용방법의 순서도이고, 분류부에서 라벨링하는 단계에서(S200), 입력데이터의 클래스에 대응되는 적어도 하나의 라벨링기준에 따라 라벨링할 수 있다. 따라서, 본 발명의 일 실시예에 따른 딥러닝 머신의 운용방법은 입력데이터의 클래스에 대응되는 라벨링기준을 구비함으로써 입력데이터의 정보량과 종류, 그에 맞는 출력데이터의 정보량과 종류, 그 고도성 등을 최적화할 수 있다. 그러므로, 본 일 실시예에 따른 딥러닝 머신의 운용방법은 정수 연산을 각 영상정보와 필요한 출력정보에 맞게 최적화하여 정확한 제어와 빠른 연산을 수행하도록 한다.
도 3는 본 발명의 일 실시예에 따른 딥러닝 머신의 운용방법의 순서도이다. 제1학습데이터부에서 출력데이터를 추론하는 단계에서(S500), 제1타입으로 라벨링된 입력데이터를 딥러닝한 것을 양자화(S400)한 제1양자학습데이터를 기반으로 출력데이터를 추론할 수 있다. 또한, 제1학습데이터부에서 출력데이터를 추론하는 단계(S500) 이후에, 제2학습데이터부에서 정수화가 필요하지 않은 제2타입으로 라벨링된 입력데이터를 입력받아 출력데이터를 추론할 수 있다(S502). 그리고, 제2학습데이터부에서 출력데이터를 추론하는 단계(S502)에서, 제2타입으로 라벨링된 입력데이터를 딥러닝한 것을 양자화한 제2양자학습데이터를 기반으로 출력데이터를 추론할 수 있다(S402).
본 발명의 일 실시예에 따른 딥러닝 머신의 운용방법은 추론 단계에서 정수연산을 기반으로 한다. 정수 연산에 맞는 입력데이터로서 정수화가 필요한 제1타입 또는 정수화가 필요하지 않은 제2타입을 통해 딥러닝한 학습데이터인 제1학습데이터와 제2학습데이터를 기반으로 정수 연산 기반 추론을 하는 것이 추론성능면에서 정확하고 연산속도 면에서 높다. 물론 그 과정에서 제1학습데이터 등을 양자화하는 것이 연산속도상 유리하다. 결국, 본 발명의 일 실시예에 따른 딥러닝 머신은 라벨링기준에 따라 분류된 입력데이터의 특성을 재학습한 (양자화된) 제1/2학습데이터를 통해 추론을 수행함으로써 정수연산 기반 추론의 성능을 향상시킬 수 있다.
본 발명은 딥러닝 머신 및 그 운용방법에 관한 것으로, 더 구체적으로는, 정수 연산을 기반으로 딥러닝 추론을 함에 있어서 부동소수점 연산을 기반으로 한 인식 성능가 열화되지 않는 입력 데이터를 구별하기 위한 분류 딥러닝을 추가로 활용하는 딥러닝 머신 및 그 운용방법에 관한 것이다.
본 발명의 딥 러닝 기술은 복잡하고 방대한 입력데이터에 대해 많은 양의 연산을 필요로 한다. 이러한 점 때문에, 스마트폰과 같이 제한된 리소스를 가진 시스템에서 딥 러닝 기술을 도입하는 것은 연산 속도를 급격히 늦춘다. 따라서, 이러한 시스템에서도 딥러닝 기술을 구동하기 위해서는 부동 소수점 연산을 정수화하는 것이 필요하다. 그러나 부동 소수점의 입력데이터를 기반으로 한 알고리즘과 달리, 정수의 입력데이터를 기반으로 한 딥러닝 알고리즘은 미가공 데이터의 정수화 과정에서 인식 성능의 열화가 존재한다. 특히 그러한 인식 성능의 열화는 특정 구간, 즉 데이터가 양 극단에 몰려있는 경우 이 값들을 정수화하고, 이를 학습한 학습데이터를 양자화하는 과정에서 크게 발생한다.
따라서 이러한 문제점을 해결하기 위해, 본 발명의 일 실시예에 따른 딥러닝 머신 및 그 운용방법은 분류 네트워크를 추가하고 이를 딥러닝 모델과 결합한다. 즉, 본 일 실시예에 따른 딥러닝 머신 및 그 운용방법은, 딥러닝 모델을 통한 추론 이전에 입력데이터를 제1타입 또는 제2타입, 즉 정수화가 필요한 입력데이터를 분류하고 그 중 정수화가 필요한 입력데이터만을 정수화하여 그에 맞는 특성에 따라 추론하고, 정수화가 필요하지 않은 입력데이터는 그에 맞는 특성에 따라 추론한다. 그러므로, 본 발명의 일 실시예에 따른 딥러닝 머신 및 그 운용방법은 부동소수점 기반 입력데이터를 통한 추론의 추론성능과 정확도를 유지, 향상시키면서도 정수 기반 입력데이터를 통한 추론의 높은 연산속도를 확보할 수 있다.
상기한 바와 같이 본 발명의 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.
T1: 제1학습데이터부 T2: 제2학습데이터부
T3: 제3학습데이터부 T4: 제4학습데이터부
C : 변환부 D : 분류부
I : 입력부 S : 저장부
M : 제어부

Claims (15)

  1. 라벨링기준을 구비하고, 입력데이터를 라벨링기준에 따라 라벨링하는 분류부;
    분류부의 라벨링된 입력데이터들 중 정수화가 필요한 제1타입으로 라벨링된 입력데이터를 정수화하는 변환부;
    변환부를 통해 정수화된 제1타입의 입력데이터를 입력받아 출력데이터를 추론하는 제1학습데이터부; 및
    정수화가 필요하지 않은 제2타입으로 라벨링된 입력데이터를 입력받아 출력데이터를 추론하는 제2학습데이터부;를 포함하는 딥러닝 머신.
  2. 청구항 1에 있어서,
    라벨링기준은 정수화된 입력데이터를 입력받아 출력데이터를 추론하여 도출되는 추론성능값를 기반으로 구비되는 것을 특징으로 하는 딥러닝 머신.
  3. 청구항 2에 있어서,
    추론성능값은 입력데이터를 딥러닝한 것을 양자화한 제3양자학습데이터를 기반으로 출력데이터를 추론하여 도출되는 것을 특징으로 하는 딥러닝 머신.
  4. 청구항 1에 있어서,
    라벨링기준은 입력데이터의 추론성능값 대비 정수화된 입력데이터의 추론성능값의 차이에 관한 규칙을 딥러닝하여 도출된 것을 양자화한 제4양자학습데이터를 기반으로 구비되는 것을 특징으로 하는 딥러닝 머신.
  5. 청구항 1에 있어서,
    분류부는 입력데이터의 클래스에 대응되는 적어도 하나의 라벨링기준을 구비하는 것을 특징으로 하는 딥러닝 머신.
  6. 청구항 1에 있어서,
    제1학습데이터부는 제1타입으로 라벨링된 입력데이터를 딥러닝하여 도출된 제1학습데이터를 기반으로 출력데이터를 추론하는 것을 특징으로 하는 딥러닝 머신.
  7. 청구항 6에 있어서,
    제1학습데이터부는 제1학습데이터를 양자화한 제1양자학습데이터를 기반으로 출력데이터를 추론하는 것을 특징으로 하는 딥러닝 머신.
  8. 청구항 1에 있어서,
    제2학습데이터부는 제2타입으로 라벨링된 입력데이터를 딥러닝하여 도출된 것을 양자화한 제2양자학습데이터를 기반으로 출력데이터를 추론하는 것을 특징으로 하는 딥러닝 머신.
  9. 라벨링기준이 구비된 분류부에 입력데이터를 입력하고 라벨링기준에 따라 분류부에서 입력데이터를 라벨링하는 단계;
    변환부에서 라벨링된 입력데이터들 중 정수화가 필요한 제1타입으로 라벨링된 입력데이터를 정수화하는 단계; 및
    제1학습데이터부에서 정수화된 제1타입의 입력데이터를 입력받아 출력데이터를 추론하는 단계; 를 포함하는 딥러닝 머신의 운용방법.
  10. 청구항 9에 있어서,
    분류부에서 라벨링하는 단계에서, 입력데이터를 딥러닝한 것을 양자화한 제3양자학습데이터를 기반으로 정수화된 입력데이터를 입력받아 출력데이터를 추론하여 도출되는 추론성능값을 기반으로 구비된 라벨링기준에 따라 라벨링하는 것을 특징으로 하는 딥러닝 머신의 운용방법.
  11. 청구항 9에 있어서,
    분류부에서 라벨링하는 단계에서, 입력데이터의 추론성능값 대비 정수화된 입력데이터의 추론성능값의 차이에 관한 규칙을 딥러닝하여 도출된 것을 양자화한 제4양자학습데이터를 딥러닝하여 구비된 라벨링기준에 따라 라벨링하는 것을 구비하는 것을 특징으로 하는 딥러닝 머신의 운용방법.
  12. 청구항 9에 있어서,
    분류부에서 라벨링하는 단계에서, 입력데이터의 클래스에 대응되는 적어도 하나의 라벨링기준에 따라 라벨링하는 것을 특징으로 하는 딥러닝 머신의 운용방법.
  13. 청구항 9에 있어서,
    제1학습데이터부에서 출력데이터를 추론하는 단계에서, 제1타입으로 라벨링된 입력데이터를 딥러닝한 것을 양자화한 제1양자학습데이터를 기반으로 출력데이터를 추론하는 것을 특징으로 하는 딥러닝 머신의 운용방법.
  14. 청구항 9에 있어서,
    제1학습데이터부에서 출력데이터를 추론하는 단계 이후에, 제2학습데이터부에서 정수화가 필요하지 않은 제2타입으로 라벨링된 입력데이터를 입력받아 출력데이터를 추론하는 단계;를 더 포함하는 것을 특징으로 하는 딥러닝 머신의 운용방법.
  15. 청구항 14에 있어서,
    제2학습데이터부에서 출력데이터를 추론하는 단계에서, 제2타입으로 라벨링된 입력데이터를 딥러닝한 것을 양자화한 제2양자학습데이터를 기반으로 출력데이터를 추론하는 것을 특징으로 하는 딥러닝 머신의 운용방법.
KR1020210057399A 2021-05-03 2021-05-03 딥러닝 머신 및 그 운용방법 KR20220150096A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210057399A KR20220150096A (ko) 2021-05-03 2021-05-03 딥러닝 머신 및 그 운용방법
US17/397,220 US11720648B2 (en) 2021-05-03 2021-08-09 Deep learning machine and operation method thereof
DE102021123695.9A DE102021123695A1 (de) 2021-05-03 2021-09-14 Deep-learning-maschine und arbeitsverfahren davon
CN202111083160.3A CN115293357A (zh) 2021-05-03 2021-09-15 深度学习机及其运算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210057399A KR20220150096A (ko) 2021-05-03 2021-05-03 딥러닝 머신 및 그 운용방법

Publications (1)

Publication Number Publication Date
KR20220150096A true KR20220150096A (ko) 2022-11-10

Family

ID=83600952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210057399A KR20220150096A (ko) 2021-05-03 2021-05-03 딥러닝 머신 및 그 운용방법

Country Status (4)

Country Link
US (1) US11720648B2 (ko)
KR (1) KR20220150096A (ko)
CN (1) CN115293357A (ko)
DE (1) DE102021123695A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102132407B1 (ko) 2017-11-22 2020-07-10 인하대학교 산학협력단 점진적 딥러닝 학습을 이용한 적응적 영상 인식 기반 감성 추정 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9363159B2 (en) 2013-08-19 2016-06-07 Centurylink Intellectual Property Llc Network management layer—configuration management
US11214273B2 (en) 2017-06-23 2022-01-04 Nvidia Corporation Method of using a single controller (ECU) for a fault-tolerant/fail-operational self-driving system
KR20190068255A (ko) * 2017-12-08 2019-06-18 삼성전자주식회사 고정 소수점 뉴럴 네트워크를 생성하는 방법 및 장치
CN112204578B (zh) 2018-03-28 2024-04-02 辉达公司 使用机器学习在数据接口上检测数据异常
US20190041853A1 (en) 2018-06-29 2019-02-07 Intel Corporation Distributed compute method, apparatus, and system
US11087175B2 (en) 2019-01-30 2021-08-10 StradVision, Inc. Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them
US10627823B1 (en) 2019-01-30 2020-04-21 StradVision, Inc. Method and device for performing multiple agent sensor fusion in cooperative driving based on reinforcement learning
KR102120007B1 (ko) 2019-05-27 2020-06-05 한국항공대학교산학협력단 객체 추적 장치 및 객체 추적 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102132407B1 (ko) 2017-11-22 2020-07-10 인하대학교 산학협력단 점진적 딥러닝 학습을 이용한 적응적 영상 인식 기반 감성 추정 방법 및 장치

Also Published As

Publication number Publication date
DE102021123695A1 (de) 2022-11-03
CN115293357A (zh) 2022-11-04
US11720648B2 (en) 2023-08-08
US20220351010A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
CN113067873B (zh) 基于深度强化学习的边云协同优化方法
US11354578B2 (en) Mixture of generators model
EP3913542A2 (en) Method and apparatus of training model, device, medium, and program product
US20180336471A1 (en) Semi-supervised regression with generative adversarial networks
WO2020189844A1 (ko) 인공 신경망을 처리하는 방법 및 이를 위한 전자 장치
US20240071070A1 (en) Algorithm and method for dynamically changing quantization precision of deep-learning network
CN116594748B (zh) 针对任务的模型定制处理方法、装置、设备和介质
CN109491956B (zh) 一种异构协同计算系统
KR20230088714A (ko) 개인화된 뉴럴 네트워크 프루닝
CN117668563B (zh) 文本识别方法、装置、电子设备及可读存储介质
CN115511069A (zh) 神经网络的训练方法、数据处理方法、设备及存储介质
US11366984B1 (en) Verifying a target object based on confidence coefficients generated by trained models
CN116762085A (zh) 使用神经网络模型的可变比特率压缩
CN116362325A (zh) 一种基于模型压缩的电力图像识别模型轻量化应用方法
CN117036706A (zh) 一种基于多模态对话语言模型的图像分割方法和系统
KR20210042012A (ko) 인공 지능 추론 장치 및 방법
KR20220150096A (ko) 딥러닝 머신 및 그 운용방법
US20220284260A1 (en) Variable quantization for neural networks
CN114202006A (zh) 神经网络选择
CN117734728A (zh) 自动驾驶决策方法、系统、介质、自动驾驶系统及车辆
CN117634459A (zh) 目标内容生成及模型训练方法、装置、系统、设备及介质
KR20210141262A (ko) 가변형 전류 고정 날개 및 가변형 전류 고정 날개의 열림각 조절 방법
CN115719478A (zh) 一种独立于无关信息的加速强化学习的端到端自动驾驶方法
Naveen et al. Optimized Convolutional Neural Network at the IoT edge for image detection using pruning and quantization
CN113761834A (zh) 自然语言处理模型的获取词向量的方法、装置和存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210503

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240729

Patent event code: PE09021S01D