KR102048390B1 - 심층 신경망 기반의 인식 장치, 트레이닝 장치, 및 이들의 방법 - Google Patents

심층 신경망 기반의 인식 장치, 트레이닝 장치, 및 이들의 방법 Download PDF

Info

Publication number
KR102048390B1
KR102048390B1 KR1020170054482A KR20170054482A KR102048390B1 KR 102048390 B1 KR102048390 B1 KR 102048390B1 KR 1020170054482 A KR1020170054482 A KR 1020170054482A KR 20170054482 A KR20170054482 A KR 20170054482A KR 102048390 B1 KR102048390 B1 KR 102048390B1
Authority
KR
South Korea
Prior art keywords
sample
neural network
deep neural
training
positive
Prior art date
Application number
KR1020170054482A
Other languages
English (en)
Other versions
KR20170125720A (ko
Inventor
송 왕
웨이 판
준 선
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20170125720A publication Critical patent/KR20170125720A/ko
Application granted granted Critical
Publication of KR102048390B1 publication Critical patent/KR102048390B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

심층 신경망 기반의 인식 장치, 트레이닝 장치, 및 이들의 방법. 심층 신경망은 심층 신경망의 입력 층에 포지티브 샘플 및 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하고, 트레이닝함으로써 얻어진다. 인식 장치는, 심층 신경망의 출력 층에 의해 출력된 분류 결과에서 포지티브 샘플 클래스의 신뢰도가 모두 미리 정의된 문턱값보다 작은 경우, 인식될 샘플이 의심나는 비정상 샘플인 것으로 판단하도록 구성된 판단 유닛을 포함한다. 따라서, 심층 신경망에 의해 출력된 분류 결과의 신뢰도의 신뢰성은 효율적으로 향상될 수 있다.

Description

심층 신경망 기반의 인식 장치, 트레이닝 장치, 및 이들의 방법{RECOGNITION APPARATUS BASED ON DEEP NEURAL NETWORK, TRAINING APPARATUS AND METHODS THEREOF}
본 개시는 정보 기술 분야에 관한 것으로, 특히, 심층 신경망(deep neural network) 기반의 인식 장치, 트레이닝 장치, 및 이들의 방법에 관한 것이다.
요즘, 정보 기술의 지속적인 발전으로, 심층 신경망(deep neural network; DNN) 기반의 인식 방법이 분류 분야에서 성공을 거두었다. 기존 DNN은 계층적 모델이다. 도 1은 기존 DNN의 개략도이다. 도 1에 도시된 바와 같이, 기존 DNN은 입력 층(101), 여러 개의 숨은 층들(102) 및 출력 층(103)으로 구성된다. 입력 층(101)에는 일반적으로 처리될 데이터가 입력된다. 숨은 층들(102)은 컨벌루션 층(convolutional layer), 풀링 층(pooling layer), 또는 완전 연결 층(fully connected layer) 등을 포함할 수 있다. 분류의 배출을 위해, 출력 층(103)은 소프트맥스(softmax) 분류기 또는 서포트 벡터 머신(support vector machine; SVM) 등과 같은 분류기일 수 있다.
기존 DNN은 일반적으로 트레이닝에서 최적화 목표로서 망 손실(또는 분류 오류라고도 언급됨)의 최소화를 취하며, 역방향 전파 알고리즘인 최적화 방법을 사용한다. 도 2는 기존의 방법을 사용하여 DNN을 트레이닝하는 개략도이다. 도 2에 도시된 바와 같이, 먼저 트레이닝 샘플이 입력 층(101)에 입력되고, 정보는 DNN을 따라 순방향으로 전파되며, 그런 다음, 트레이닝 샘플은 숨은 층들(102)을 통해 출력 층(103)으로 전파되고, 출력 층(103)에 의해 출력된 분류 결과는 트레이닝 샘플 클래스의 실제 값과 비교되어 망 손실을 얻는다. 그 후에, 망 손실은 층층마다 다시 전송되어, 이에 의해, 출력 층(103), 숨은 층(102) 및 입력 층(101) 각각의 파라미터를 정정한다. 망 손실이 특정 수렴 조건을 만족할 때까지 상기 단계가 반복되고, 이것은 DNN의 최적화 목표가 달성되어 트레이닝이 종료된 것으로 여겨진다.
도 3은 기존의 트레이닝 방법을 사용하여 트레이닝된 DNN을 사용하여 인식을 수행하는 개략도이다. 도 3에 도시된 바와 같이, 인식될 입력 샘플이 비정상 샘플(예컨대, 네거티브 샘플)인 경우, 출력된 포지티브 샘플 클래스의 신뢰도(confidence)는 각각 3 %, 7 % 및 90 %이다.
배경에 대한 상기 설명은 단지 본 개시의 명확하고 완전한 설명을 위해 그리고 당업자에 의한 용이한 이해를 위해 제공되는 것임을 유의해야 한다. 또한, 상기 기술적 해결책은 본 개시의 배경에서 설명된 바와 같이 당업자에게 공지되어 있는 것으로 이해해서는 안 된다.
기존의 트레이닝 방법을 사용하여 트레이닝된 DNN이 인식에 사용될 때, 인식될 입력 샘플이 비정상 샘플인 경우, 출력 분류 결과에서의 포지티브 샘플 클래스의 신뢰도(예컨대, 도 3에서의 90 %)가 여전히 매우 높기 때문에, 분류 결과를 신뢰할 수 없다.
본 개시의 실시예들은 심층 신경망 기반의 인식 장치, 트레이닝 장치, 및 이들의 방법을 제공하고, 상기 방법에서, 심층 신경망의 입력 층에 포지티브 샘플 및 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하고, 트레이닝하며, 출력된 포지티브 샘플 클래스의 신뢰도가 모두 미리 정의된 문턱값보다 작은 경우, 인식될 샘플이 의심나는 비정상 샘플임을 판단함으로써, 심층 신경망에 의해 출력된 분류 결과의 신뢰도의 신뢰성(reliability)이 효율적으로 향상될 수 있다.
본 개시의 실시예들의 제 1 양태에 따르면, 심층 신경망 기반의 인식 장치가 제공되고, 심층 신경망은 심층 신경망의 입력 층에 포지티브 샘플 및 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하고 트레이닝함으로써 얻어지고, 상기 인식 장치는, 심층 신경망의 출력 층에 의해 출력된 분류 결과에서 포지티브 샘플 클래스의 신뢰도가 모두 미리 정의된 문턱값보다 작은 경우, 인식될 샘플이 의심나는 비정상 샘플인 것으로 판단하도록 구성된 판단 유닛을 포함한다.
본 개시의 실시예들의 제 2 양태에 따르면, 심층 신경망에 트레이닝 장치가 제공되고, 상기 트레이닝 장치는, 심층 신경망의 입력 층에 포지티브 샘플 및 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하도록 구성된 입력 유닛; 트레이닝 샘플의 포지티브 샘플에 대해, 포지티브 샘플의 포지티브 샘플 클래스의 실제 값 태그를 1로 설정하고, 다른 포지티브 샘플 클래스의 실제 값 태그를 0으로 설정하며, 트레이닝 샘플의 네거티브 샘플에 대해, 모든 포지티브 샘플 클래스의 실제 값 태그를 0으로 설정하도록 구성된 설정 유닛; 및 심층 신경망의 출력 층이 트레이닝 샘플과 포지티브 샘플 클래스 간의 유사성을 출력하게 하도록 구성된 출력 유닛을 포함한다.
본 개시의 실시예들의 제 3 양태에 따르면, 제 1 양태에 설명된 바와 같은 인식 장치 또는 제 2 양태에 설명된 바와 같은 트레이닝 장치를 포함하는 전자 디바이스가 제공된다.
본 개시의 실시예들의 장점이 존재하는데, 심층 신경망의 입력 층에 포지티브 샘플 및 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하고, 트레이닝하며, 출력된 포지티브 샘플 클래스의 신뢰도가 모두 미리 정의된 문턱값보다 작은 경우, 인식될 샘플이 의심나는 비정상 샘플인 것으로 판단함으로써, 심층 신경망에 의해 출력된 분류 결과의 신뢰도의 신뢰성이 효율적으로 향상될 수 있다는 점이다.
이하의 설명 및 도면들을 참조하여, 본 개시의 특정 실시예들이 상세히 개시되고, 본 개시의 원리 및 사용 방법이 표시된다. 본 개시의 실시예들의 범위는 이에 한정되지 않는다는 것을 이해해야 한다. 본 개시의 실시예들은 첨부된 청구항의 범위 내의 많은 변경, 수정 및 등가물을 포함한다.
일 실시예와 관련하여 설명 및/또는 도시된 특징들은 하나 이상의 다른 실시예들에서 및/또는 다른 실시예들의 특징들과 함께 또는 대신하여 동일한 방식으로 또는 유사한 방식으로 사용될 수 있다.
용어 "포함한다/포함하는/구비한다/구비하는"는 본 명세서에서 사용될 때에, 규정된 특징, 정수, 단계, 또는 컴포넌트의 존재를 명시하도록 취해졌지만, 하나 이상의 다른 특징, 정수, 단계, 컴포넌트 또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것을 강조해야 한다.
도면들이 본 개시의 추가의 이해를 제공하기 위해 포함되고, 본 명세서의 일부를 구성하고 본 개시의 바람직한 실시예들을 도시하며, 설명과 함께 본 개시의 원리를 설명하기 위해 사용된다. 다음의 설명에서 첨부 도면들은 본 개시의 일부 실시예들이며, 당업자에게는 발명의 노력 없이 첨부 도면에 따라 다른 첨부 도면이 획득될 수 있다는 것이 명백하다. 도면에서,
도 1은 기존 DNN의 개략도이다.
도 2는 기존의 방법을 사용하여 DNN을 트레이닝하는 개략도이다.
도 3은 기존의 트레이닝 방법을 사용하여 트레이닝된 DNN을 사용하여 인식을 수행하는 개략도이다.
도 4는 본 개시의 실시예 1의 심층 신경망 기반의 인식 장치의 개략도이다.
도 5는 본 개시의 실시예 1의 심층 신경망을 사용하여 인식을 수행하는 개략도이다.
도 6은 본 개시의 실시예 1의 심층 신경망을 사용하여 인식을 수행하는 다른 개략도이다.
도 7은 본 개시의 실시예 1의 심층 신경망을 위한 트레이닝 장치의 개략도이다.
도 8은 본 개시의 실시예 1의 심층 신경망을 트레이닝하는 개략도이다.
도 9는 본 개시의 실시예 1의 심층 신경망을 트레이닝하는 다른 개략도이다.
도 10은 본 개시의 실시예 1의 네거티브 샘플 클래스 및 네거티브 샘플 클래스의 신뢰도를 무효한 것으로 설정하는 개략도이다.
도 11은 본 개시의 실시예 2의 전자 디바이스의 개략도이다.
도 12는 본 개시의 실시예 2의 전자 디바이스의 조직적 구조의 블록도이다.
도 13은 본 개시의 실시예 3의 심층 신경망 기반의 인식 방법의 흐름도이다.
도 14는 본 개시의 실시예 3의 심층 신경망을 위한 트레이닝 방법의 흐름도이다.
본 개시의 이들 및 추가의 양태들 및 특징들은 다음의 설명 및 첨부된 도면들을 참조하여 명백해질 것이다. 설명 및 도면들에서, 본 개시의 특정 실시예들이 본 개시의 원리가 채용될 수 있는 방법의 일부를 나타내는 것으로 상세히 개시되었지만, 본 개시의 범위가 상응하게 제한되지 않는 것을 이해한다. 오히려, 본 개시는 첨부된 청구항 내의 모든 변경, 수정 및 등가물을 포함한다.
실시예 1
도 4는 본 개시의 실시예 1의 심층 신경망 기반의 인식 장치의 개략도이다. 도 4에 도시된 바와 같이, 장치(400)는,
심층 신경망의 출력 층에 의해 출력된 분류 결과에서 포지티브 샘플 클래스의 신뢰도가 모두 미리 정의된 문턱값보다 작은 경우, 인식될 샘플이 의심나는 비정상 샘플인 것으로 판단하도록 구성된 판단 유닛(401)을 포함한다.
본 실시예에서, 심층 신경망(DNN)은 심층 신경망의 입력 층에 포지티브 샘플과 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하고, 트레이닝함으로써 얻어진다.
이 실시예에서, 장치(400)는 DNN을 포함할 수 있고, DNN을 포함하지 않을 수도 있지만, DNN의 출력된 분류 결과를 사용하여 판단을 수행한다.
심층 신경망의 입력 층에 포지티브 샘플 및 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하고, 트레이닝하며, 출력된 포지티브 샘플 클래스의 신뢰도가 모두 미리 정의된 문턱값보다 작은 경우, 인식될 샘플이 의심나는 비정상 샘플인 것으로 판단함으로써, 심층 신경망에 의해 출력된 분류 결과의 신뢰도의 신뢰성이 효율적으로 향상될 수 있다는 것을 위의 실시예로부터 알 수 있다.
이 실시예에서, DNN은 임의의 타입의 기존 DNN일 수 있다. 예를 들어, DNN은 기존의 컨벌루션 신경망(convolutional neural network; CNN)이다. 그리고, DNN은 입력 층, 여러 개의 숨은 층들, 및 출력 층을 포함할 수 있다.
이 실시예에서, 심층 신경망의 출력 층에 의해 출력된 분류 결과는 포지티브 샘블 클래스 및 포지티브 샘플 클래스의 대응하는 신뢰도만 포함하고, 네거티브 샘플 클래스 및 네거티브 샘플 클래스의 신뢰도는 포함하지 않는다.
본 실시예에서, 비정상 샘플은 DNN의 출력 층에 의해 출력된 포지티브 샘플 클래스에 포함되지 않는 샘플을 나타낸다. 즉, 이 샘플은 네거티브 샘플이다는 것을 나타낸다. 그리고, 인식될 샘플이 의심나는 비정상 샘플이다는 것은, 인식될 샘플이 아마도 비정상 샘플일 수 있다는 것을 의미한다.
이 실시예에서, 포지티브 샘플 클래스의 신뢰도는 인식될 샘플과 포지티브 샘플 클래스 간의 유사성으로 표현될 수 있고, 또한 인식될 샘플이 포지티브 샘플 클래스에 속하는 확률로 표현될 수 있으며, 본 실시예에서는 신뢰도의 표현 방법이 제한되지 않는다.
이 실시예에서, 인식될 입력 샘플이 비정상 샘플인 경우, DNN의 출력 층에 의해 출력된 포지티브 샘플 클래스의 신뢰도의 합이 1이 아닐 수 있다.
도 5는 본 개시의 실시예 1의 심층 신경망을 사용하여 인식을 수행하는 개략도이다. 도 5에 도시된 바와 같이, 인식될 입력 샘플은 오각형의 별모양 샘플이다. 즉, 인식될 샘플은 비정상 샘플이다. DNN에 의해 출력되는 포지티브 샘플 클래스의 신뢰도는 인식될 샘플과 포지티브 샘플 클래스 간의 유사성으로 표현되고, DNN에 의해 출력되는 분류 결과는 각각 정사각형에 대해 0.1, 원형에 대해 0.15, 및 삼각형에 대해 0.25를 포함한다.
도 6은 본 개시의 실시예 1의 심층 신경망을 사용하여 인식을 수행하는 다른 개략도이다. 도 6에 도시된 바와 같이, 인식될 입력 샘플은 오각형의 별모양 샘플이다. 즉, 인식될 샘플은 비정상 샘플이다. DNN에 의해 출력되는 포지티브 샘플 클래스의 신뢰도는 인식될 샘플이 포지티브 샘플 클래스에 속하는 확률로 표현되고, DNN에 의해 출력되는 분류 결과는 각각 정사각형에 대해 5%, 원형에 대해 10%, 및 삼각형에 대해 20%이다.
이 실시예에서, 미리 정의된 문턱값은 실제로 요구되는 것으로 설정될 수 있으며, 예를 들어, 미리 정의된 문턱값은 0.3일 수 있다. 따라서, 도 5 및 도 6에 도시된 DNN에 의해 출력된 포지티브 샘플 클래스의 신뢰도가 모두 0.3 미만이므로, 판단 유닛(401)은 인식될 샘플이 비정상 샘플인 것으로 판단한다.
본 실시예에서, DNN은 DNN의 입력 층에 포지티브 샘플과 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하고 트레이닝함으로써 얻어진다. 본 개시의 실시예의 심층 신경망을 위한 트레이닝 장치 및 방법은, 인식 과정에서 포지티브 샘플 클래스의 신뢰도가 인식될 샘플과 포지티브 샘플 클래스 간의 유사성으로 표현되는 경우와 인식될 샘플이 포지티브 샘플 클래스에 속하는 확률로 표현되는 경우에 대해 각각 아래에 예시될 것이다.
도 7은 본 개시의 실시예 1의 심층 신경망을 위한 트레이닝 장치의 개략도이다. 도 7에 도시된 바와 같이, 장치(700)는,
심층 신경망의 입력 층에 포지티브 샘플 및 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하도록 구성된 입력 유닛(701);
트레이닝 샘플의 포지티브 샘플에 대해, 포지티브 샘플의 포지티브 샘플 클래스의 실제 값 태그를 1로 설정하고, 다른 포지티브 샘플 클래스의 실제 값 태그를 0으로 설정하며, 트레이닝 샘플의 네거티브 샘플에 대해, 모든 포지티브 샘플 클래스의 실제 값 태그를 0으로 설정하도록 구성된 설정 유닛(702); 및
심층 신경망의 출력 층이 트레이닝 샘플과 포지티브 샘플 클래스 간의 유사성을 출력하게 하도록 구성된 출력 유닛(703)을 포함한다.
본 실시예에서, DNN에 트레이닝 샘플이 입력된 이후에, 설정 유닛(702)은 DNN의 포지티브 샘플 클래스의 실제 값 태그를 설정한다.
도 8는 본 개시의 실시예 1의 심층 신경망을 트레이닝하는 개략도이다. 도 8에 도시된 바와 같이, 트레이닝 샘플의 정사각형의 포지티브 샘플에 대해, 포지티브 샘플의 포지티브 샘플 클래스의 실제 값 태그는 1로 설정되고, 다른 포지티브 샘플 클래스의 실제 값 태그는 0으로 설정되며, 트레이닝 샘플의 오각형의 별모양의 네거티브 샘플에 대해, 모든 포지티브 샘플 클래스의 실제 값 태그는 0으로 설정된다.
따라서, 트레이닝 샘플의 네거티브 샘플에 대해, 모든 포지티브 샘플 클래스의 실제 값 태그는 0으로 설정되고, 트레이닝 샘플과 포지티브 샘플 클래스 간의 유사성만 출력된다. 인식에서 출력된 유사성의 신뢰성이 향상될 수 있다.
이 실시예에서, 출력 유닛(703)은 기존의 방법을 사용하여, 심층 신경망의 출력 층이 트레이닝 샘플과 포지티브 샘플 클래스 간의 유사성을 출력하게 할 수 있다. 예를 들어, 출력 층으로 시그모이드(sigmoid) 층을 취하고, 트레이닝 동안에, DNN에 의해 출력된 포지티브 샘플 클래스와 트레이닝 샘플 간의 유사성의 초기 값이, 유사성의 초기 값을 랜덤으로 설정하는 바와 같이 기존의 방법을 사용하여 설정될 수 있다.
이 실시예에서, 트레이닝 샘플과 포지티브 샘플 클래스 간의 유사성은, 예를 들어, 유클리드 거리(Euclidean distance)로 표현될 수 있지만, 그러나, 유사성의 표현 방법은 이 실시예에서 제한되지 않는다.
이 실시예에서, 유사성은 1보다 작은 양수이며, 정규화될 필요는 없다. 즉, 트래이닝 샘플과 DNN의 출력 층에 의해 출력된 포지티브 샘플 클래스 간의 유사성의 합이 1이 아닐 수 있다.
이 실시예에서, 도 7에 도시된 바와 같이, 장치(700)는,
심층 신경망의 출력 층에 의해 출력된 포지티브 샘플 클래스와 트레이닝 샘플 간의 유사성과 실제 값 태그에 따라 얻어진 트레이닝 샘플의 실제 값에 따라 망 손실을 얻도록 구성된 획득 유닛(704);
트레이닝 샘플의 포지티브 샘플에 대해, 미리 정의된 가중치에 따라 망 손실을 조정하도록 구성된 조정 유닛(705); 및
조정된 망 손실에 따라 심층 신경망의 역방향 전파를 수행하도록 구성된 역방향 전파 유닛(706)을 더 포함한다.
이 실시예에서, 트레이닝 샘플의 실제 값은 설정 유닛(702)에 의해 설정된 실제 값 태그에 따라 얻어진다. 그리고, 획득 유닛(704)에 의해 망 손실(또한 분류 오류라고도 언급됨)을 얻는 방법은 기존의 방법일 수 있다. 예를 들어, 트레이닝 샘플과 DNN에 의해 출력된 포지티브 샘플 클래스 간의 유사성과 트레이닝 샘플의 실제 값 간의 차이는 망 손실로 간주될 수 있다.
이 실시예에서, 조정 유닛(705)은 아래의 수학식(1)에 따라 망 손실을 조정할 수 있다.
수학식(1)
Figure 112017041526785-pat00001
여기서,
Figure 112017041526785-pat00002
는 조정된 망 손실을 나타내고,
Figure 112017041526785-pat00003
은 조정 이전의 망 손실을 나타내고,
Figure 112017041526785-pat00004
는 미리 정의된 가중치를 나타내고, s∈{네거티브}는 현재 트레이닝 샘플이 네거티브 샘플임을 나타내며, s∈{포지티브}는 현재 트레이닝 샘플이 포지티브 샘플임을 나타낸다.
이 실시예에서, 미리 정의된 가중치는 실제 상황에 따라 설정될 수 있다. 예를 들어, 네거티브 샘플이 비교적 단순한 경우, 미리 정의된 가중치는 1보다 작은 양수로 설정될 수 있다. 네거티브 샘플이 비교적 복잡한 경우, 미리 정의된 가중치는 1보다 큰 양수로 설정될 수 있다.
따라서, 포지티브 샘플의 가중치를 설정하여 망 손실을 조정함으로써, DNN에 의해 출력된 분류 결과의 신뢰성은 더욱 향상될 수 있다.
이 실시예에서, 역방향 전파 유닛(706)은 조정된 망 손실에 따라 심층 신경망의 역방향 전파를 수행하는 기존의 방법을 사용할 수 있다.
예를 들어, 망 손실이 특정 수렴 조건을 만족할 때까지, DNN의 출력 층, 숨은 층들, 및 입력 층 각각의 파라미터가 정정되고, 상기 조정 단계는 반복된다.
인식 과정에서 포지티브 샘플 클래스의 신뢰도가 인식될 샘플과 포지티브 샘플 클래스 간의 유사성으로 표현되는 경우, 본 개시의 실시예의 심층 신경망을 위한 트레이닝 장치 및 방법은 앞서 설명되었다. 그리고, 인식 과정에서 포지티브 샘플 클래스의 신뢰도가 인식될 샘플이 포지티브 샘플 클래스에 속하는 확률로 표현되는 경우, 본 개시의 실시예의 심층 신경망을 위한 트레이닝 방법이 아래에 설명될 것이다.
도 9는 본 개시의 실시예 1의 심층 신경망을 트레이닝하는 다른 개략도이다. DNN의 출력 층은, 예를 들어 소프트맥스 층이다. 도 9에 도시된 바와 같이, 출력 분류 결과는 포지티브 샘플 클래스, 및 트레이닝 샘플이 포지티브 샘플 클래스에 속하는 확률뿐만 아니라, 네거티브 샘플 클래스, 및 트레이닝 샘플이 네거티브 샘플 클래스에 속하는 확률을 포함한다.
이 실시예에서, 인식 과정에서 포지티브 샘플 클래스의 신뢰도가 인식될 샘플이 포지티브 샘플 클래스에 속하는 확률로 표현되는 경우에 DNN을 트레이닝하는데 있어서, 조정 유닛(705)은 또한 망 손실을 조정하기 위해 사용될 수 있으며, 조정 방법은 앞서 설명된 것과 동일한 방법이므로, 본 명세서에서 더 이상 설명하지 않을 것이다.
이 실시예에서, 트레이닝 동안 DNN의 출력 결과가 네거티브 샘플 클래스 및 이들의 신뢰도를 포함하는 경우, 도 4에 도시된 바와 같이, 장치(400)는,
심층 신경망의 출력 층이 상기 분류 결과를 출력할 경우, 네거티브 샘플 클래스 및 네거티브 샘플 클래스의 신뢰도를 무효한 것으로 설정하도록 구성된 무효화 유닛(402)을 더 포함할 수 있다.
이 실시예에서, 무효화 유닛(402)은 선택적인 것으로, 도 4에서 점선 박스로 도시되어 있다.
도 10은 본 개시의 실시예 1의 네거티브 샘플 클래스 및 네거티브 샘플 클래스의 신뢰도를 무효한 것으로 설정하는 개략도이다. 도 10에 도시된 바와 같이, 인식 동안에 출력되는 포지티브 샘플 클래스와 그 확률은 각각 정사각형에 대해 5%, 원형에 대해 10%, 및 삼각형에 대해 20%이며, 네거티브 샘플 클래스의 확률은 65%이다. 네거티브 샘플 클래스 및 그 확률은 무효한 것으로 설정된다. 즉, 네거티브 샘플 클래스 및 그 확률이 출력되지 않는다. 따라서, 인식 동안에 출력된 분류 결과의 확률의 합이 100% 미만이다.
따라서, 포지티브 샘플 클래스 및 그 확률만 출력되기 때문에, 출력된 분류 결과의 신뢰도의 신뢰성은 더욱 향상될 수 있다.
심층 신경망의 입력 층에 포지티브 샘플 및 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하고, 트레이닝하며, 출력된 포지티브 샘플 클래스의 신뢰도가 모두 미리 정의된 문턱값보다 작은 경우, 인식될 샘플이 의심나는 비정상 샘플인 것으로 판단함으로써, 심층 신경망에 의해 출력된 분류 결과의 신뢰도의 신뢰성이 효율적으로 향상될 수 있다는 것을 위의 실시예로부터 알 수 있다.
실시예 2
본 개시의 실시예는 또한 전자 디바이스를 제공한다. 도 11은 본 개시의 실시예 2의 전자 디바이스의 개략도이다. 도 11에 도시된 바와 같이, 전자 디바이스(1100)는 심층 신경망 기반의 인식 장치(1101) 또는 심층 신경망을 위한 트레이닝 장치(1102)를 포함한다. 이 실시예에서, 인식 장치(1101) 및 트레이닝 장치(1102)의 구조 및 기능은 실시예 1에 포함된 구조 및 기능과 유사하므로, 본 명세서에서 더 이상 설명하지 않을 것이다.
도 12는 본 개시의 실시예 2의 전자 디바이스의 조직적 구조의 블록도이다. 도 12에 도시된 바와 같이, 전자 디바이스(1200)는 중앙 처리 유닛(1201) 및 메모리(1202)를 포함할 수 있고, 메모리(1202)는 중앙 처리 유닛(1201)에 결합될 수 있다. 이 도면은 오직 예시적인 것으로, 이 구조를 보충 또는 대체하고 통신 기능 또는 다른 기능을 달성하기 위해 다른 타입의 구조가 또한 사용될 수 있다.
도 12에 도시된 바와 같이, 전자 디바이스(1200)는 입력 유닛(1203), 디스플레이(1204), 및 파워 서플라이(1205)를 더 포함할 수 있다.
구현예에서, 실시예 1에 설명된 심층 신경망 기반의 인식 장치의 기능은 중앙 처리 유닛(1201)에 통합될 수 있다. 이 실시예에서, 중앙 처리 유닛(1201)은, 심층 신경망의 출력 층에 의해 출력된 분류 결과에서 포지티브 샘플 클래스의 신뢰도가 모두 미리 정의된 문턱값보다 작은 경우, 인식될 샘플이 의심나는 비정상 샘플인 것으로 판단하도록 구성될 수 있다.
이 실시예에서, 포지티브 샘플 클래스의 신뢰도는 인식될 샘플과 포지티브 샘플 클래스 간의 유사성을 나타낸다.
이 실시예에서, 중앙 처리 유닛(1201)은 또한, 심층 신경망의 출력 층이 네거티브 샘플 클래스 및 네거티브 샘플 클래스의 신뢰도의 분류 결과를 출력할 경우, 네거티브 샘플 클래스 및 네거티브 샘플 클래스의 신뢰도를 무효한 것으로 설정하도록 구성될 수 있다.
다른 구현예에서, 실시예 1에 설명된 심층 신경망을 위한 트레이닝 장치의 기능은 중앙 처리 유닛(1201)에 통합될 수 있다.
이 실시예에서, 중앙 처리 유닛(1201)은, 심층 신경망의 입력 층에 포지티브 샘플 및 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하고; 트레이닝 샘플의 포지티브 샘플에 대해, 포지티브 샘플의 포지티브 샘플 클래스의 실제 값 태그를 1로 설정하고, 다른 포지티브 샘플 클래스의 실제 값 태그를 0으로 설정하며, 트레이닝 샘플의 네거티브 샘플에 대해, 모든 포지티브 샘플 클래스의 실제 값 태그를 0으로 설정하도록 구성되며; 및 심층 신경망의 출력 층이 트레이닝 샘플과 포지티브 샘플 클래스 간의 유사성을 출력하게 하도록 구성될 수 있다.
이 실시예에서, 중앙 처리 유닛(1201)은 또한, 심층 신경망의 출력 층에 의해 출력된 포지티브 샘플 클래스와 트레이닝 샘플 간의 유사성 및 실제 값 태그에 따라 얻어진 트레이닝 샘플의 실제 값에 따라 망 손실을 얻고; 트레이닝 샘플의 포지티브 샘플에 대해, 미리 정의된 가중치에 따라 망 손실을 조정하며; 조정된 망 손실에 따라 심층 신경망의 역방향 전파를 수행하도록 구성될 수 있다.
이 실시예에서, 전자 디바이스(1200)는 도 12에 도시된 모든 부분을 반드시 포함하는 것은 아니다.
도 12에 도시된 바와 같이, 중앙 처리 유닛(1201)은 때때로 제어기 또는 제어부로서 언급되고, 마이크로 프로세서 또는 다른 프로세서 디바이스 및/또는 로직 디바이스를 포함할 수 있다. 중앙 처리 유닛(1201)은 입력을 수신하고, 전자 디바이스(1200)의 모든 컴포넌트들의 동작을 제어한다.
이 실시예에서, 메모리(1202)는 예를 들어, 버퍼 메모리, 플래시 메모리, 하드 드라이브, 모바일 매체, 휘발성 메모리, 비휘발성 메모리, 또는 다른 적합한 디바이스 중 하나 이상일 수 있고, 상기 계획된 망 정보 및 배치된 망 정보를 저장할 수 있으며, 관련된 정보를 실행하는 프로그램을 또한 저장할 수 있다. 그리고, 중앙 처리 유닛(1201)은 메모리(1202)에 저장된 프로그램을 실행하여 정보 저장 또는 처리 등을 실현할 수 있다. 다른 부분들의 기능은 관련 기술의 기능과 유사하므로, 본 명세서에서 더 이상 설명하지 않을 것이다. 전자 디바이스(1200)의 부분들은 본 개시의 범위를 벗어나지 않고, 특정 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의의 조합에 의해 실현될 수 있다.
심층 신경망의 입력 층에 포지티브 샘플 및 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하고, 트레이닝하며, 출력된 포지티브 샘플 클래스의 신뢰도가 모두 미리 정의된 문턱값보다 작은 경우, 인식될 샘플이 의심나는 비정상 샘플인 것으로 판단함으로써, 심층 신경망에 의해 출력된 분류 결과의 신뢰도의 신뢰성이 효율적으로 향상될 수 있다는 것을 위의 실시예로부터 알 수 있다.
실시예 3
본 개시의 실시예는 또한, 실시예 1에서 설명한 심층 신경망 기반의 인식 장치에 대응하는 심층 신경망 기반의 인식 방법을 제공한다. 도 13은 본 개시의 실시예 3의 심층 신경망 기반의 인식 방법의 흐름도이다. 도 13에 도시된 바와 같이, 방법은,
단계(1301): 심층 신경망의 출력 층에 의해 출력된 분류 결과에서의 포지티브 샘플 클래스의 신뢰도가 모두 미리 정의된 문턱값보다 작은 경우, 인식될 샘플이 의심나는 비정상 샘플인 것으로 판단하는 단계를 포함한다.
도 14는 본 개시의 실시예 3의 심층 신경망을 위한 트레이닝 방법의 흐름도이다. 도 14에 도시된 바와 같이, 방법은,
단계(1401): 포지티브 샘플 및 네거티브 샘플을 포함하는 트레이닝 샘플이 심층 신경망의 입력 층에 입력되는 단계;
단계(1402): 트레이닝 샘플의 포지티브 샘플에 대해, 포지티브 샘플의 포지티브 샘플 클래스의 실제 값 태그를 1로 설정하고, 다른 포지티브 샘플 클래스의 실제 값 태그를 0으로 설정하며, 트레이닝 샘플의 네거티브 샘플에 대해, 모든 포지티브 샘플 클래스의 실제 값 태그를 0으로 설정하는 단계; 및
단계(1403): 심층 신경망의 출력 층이 트레이닝 샘플과 포지티브 샘플 클래스 간의 유사성을 출력하게 하는 단계를 포함한다.
이 실시예에서, 인식될 샘플의 판정 방법, 실제 값 태그의 설정 방법, 및 유사성의 출력 방법은, 실시예 1에 포함되는 것과 동일하므로, 본 명세서에서 더 이상 설명하지 않을 것이다.
심층 신경망의 입력 층에 포지티브 샘플 및 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하고, 트레이닝하며, 출력된 포지티브 샘플 클래스의 신뢰도가 모두 미리 정의된 문턱값보다 작은 경우, 인식될 샘플이 의심나는 비정상 샘플인 것으로 판단함으로써, 심층 신경망에 의해 출력된 분류 결과의 신뢰도의 신뢰성이 효율적으로 향상될 수 있다는 것을 위의 실시예로부터 알 수 있다.
본 개시의 실시예는 컴퓨터 판독 가능 프로그램 코드를 제공하고, 상기 컴퓨터 판독 가능 프로그램 코드는 심층 신경망 기반의 인식 장치에서 실행될 때, 심층 신경망을 위한 트레이닝 장치 또는 전자 디바이스가, 컴퓨터 유닛으로 하여금, 심층 신경망 기반의 인식 장치, 심층 신경망을 위한 트레이닝 장치, 또는 전자 디바이스에서 실시예 3에서 설명된 인식 방법 또는 트레이닝 방법을 수행하게 할 것이다.
본 개시의 실시예는 컴퓨터 판독 가능 프로그램 코드를 포함하는 컴퓨터 판독 가능 매체를 제공하고, 상기 컴퓨터 판독 가능 프로그램 코드는, 컴퓨터 유닛으로 하여금, 심층 신경망 기반의 인식 장치, 심층 신경망을 위한 트레이닝 장치, 또는 전자 디바이스에서 실시예 3에서 설명된 인식 방법 또는 트레이닝 방법을 수행하게 할 것이다.
심층 신경망 기반의 인식 장치, 심층 신경망을 위한 트레이닝 장치, 또는 전자 디바이스에서 수행되는 본 개시의 실시예를 참조하여 설명되는 인식 방법 또는 트레이닝 방법은, 하드웨어, 프로세서에 의해 실행되는 소프트웨어 모듈, 또는 이들의 조합으로서 직접적으로 구현될 수 있다. 예를 들어, 도 4 및 도 7에 도시된 하나 이상의 기능 블록도 및/또는 이 기능 블록도의 하나 이상의 조합은 컴퓨터 프로그램의 절차의 소프트웨어 모듈에 대응하거나, 하드웨어 모듈에 대응할 수 있다. 이러한 소프트웨어 모듈들은 각각 도 13 및 도 14에 도시된 단계들에 대응할 수 있다. 그리고, 예를 들어, 하드웨어 모듈은 필드 프로그래머블 게이트 어레이(field programmable gate array; FPGA)를 사용하여 소프트 모듈을 퍼밍(firming)함으로써 수행될 수 있다.
소프트웨어 모듈은 RAM, 플래시 메모리, ROM, EPROM 및 EEPROM, 레지스터, 하드 디스크, 플로피 디스크, CD-ROM, 또는 당업계에 공지된 다른 형태의 임의의 메모리 매체에 위치할 수 있다. 메모리 매체는 프로세서에 결합되어, 프로세서는 메모리 매체로부터 정보를 판독하고 정보를 메모리 매체에 기록할 수 있다. 또는 메모리 매체는 프로세서의 컴포넌트일 수 있다. 프로세서 및 메모리 매체는 ASIC 내에 위치할 수 있다. 소프트웨어 모듈은 이동 단말기의 메모리에 저장될 수 있고, 또한 플러그형 이동 단말기의 메모리 카드에 저장될 수 있다. 예를 들어, 장비(예컨대, 이동 단말기)가 비교적 대용량의 MEGA-SIM 카드 또는 대용량의 플래시 메모리 디바이스를 사용하는 경우, 소프트웨어 모듈은 MEGA-SIM 카드 또는 대용량의 플래시 메모리 디바이스에 저장될 수 있다.
도 4 및 도 7의 하나 이상의 기능 블록들 및/또는 기능 블록들의 하나 이상의 조합은 범용 프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 주문형 반도체(application-specific integrated circuit; ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 또는 다른 프로그래머블 로직 디바이스, 이산 게이트 또는 트랜지스터 로직 디바이스, 이산 하드웨어 컴포넌트, 또는 본 명세서에서 설명된 기능을 수행하는 이들의 임의의 적절한 조합으로서 실현될 수 있다. 그리고, 도 4 및 도 7에 도시된 하나 이상의 기능 블록도 및/또는 이 기능 블록도의 하나 이상의 조합은 또한 DSP 및 마이크로 프로세서의 조합과 같은 컴퓨팅 장비의 조합, 다수의 프로세서, DSP와의 통신 조합의 하나 이상의 마이크로 프로세서, 또는 임의의 다른 이러한 구성으로서 실현될 수 있다.
본 개시는 특정 실시예를 참조하여 위에서 설명되었다. 그러나, 당업자는 이러한 설명이 단지 예시적인 것이며, 본 개시의 보호 범위를 제한하려는 의도가 아니라는 것을 이해해야 한다. 본 개시의 사상 및 원리에 따라 다양한 변형 및 수정이 당업자에 의해 이루어질 수 있으며, 이러한 변형 및 수정은 본 개시의 범위 내에 있다.

Claims (7)

  1. 심층 신경망 기반의 인식 장치에 있어서, 상기 심층 신경망은 상기 심층 신경망의 입력 층에 포지티브 샘플 및 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하고 트레이닝함으로써 얻어지고,
    상기 인식 장치는,
    상기 심층 신경망의 출력 층에 의해 출력된 분류 결과에서 포지티브 샘플 클래스의 신뢰도가 모두 미리 정의된 문턱값보다 작은 경우, 인식될 샘플이 의심나는 비정상 샘플인 것으로 판단하도록 구성된 판단 유닛; 및
    상기 심층 신경망의 출력 층이 상기 분류 결과를 출력하는 경우, 네거티브 샘플 클래스 및 상기 네거티브 샘플 클래스의 신뢰도를 출력하지 않도록 구성된 무효화 유닛
    을 포함하고,
    상기 인식될 샘플이 의심나는 비정상 샘플인 경우, 상기 출력 층에 의해 출력되는 상기 포지티브 샘플 클래스의 신뢰도의 합은 1이 아닌 것인, 심층 신경망 기반의 인식 장치.
  2. 제 1 항에 있어서, 상기 포지티브 샘플 클래스의 신뢰도는 상기 인식될 샘플과 상기 포지티브 샘플 클래스 간의 유사성을 나타내는 것인, 심층 신경망 기반의 인식 장치.
  3. 심층 신경망을 위한 트레이닝 장치에 있어서,
    상기 심층 신경망의 입력 층에 포지티브 샘플 및 네거티브 샘플을 포함하는 트레이닝 샘플을 입력하도록 구성된 입력 유닛;
    상기 트레이닝 샘플의 상기 포지티브 샘플에 대해, 상기 포지티브 샘플의 포지티브 샘플 클래스의 실제 값 태그를 1로 설정하고 다른 포지티브 샘플 클래스의 실제 값 태그를 0으로 설정하며, 상기 트레이닝 샘플의 상기 네거티브 샘플에 대해, 모든 포지티브 샘플 클래스의 실제 값 태그를 0으로 설정하도록 구성된 설정 유닛;
    상기 심층 신경망의 출력 층이 상기 트레이닝 샘플과 상기 포지티브 샘플 클래스 간의 유사성을 출력하게 하도록 구성된 출력 유닛;
    상기 심층 신경망의 출력 층에 의해 출력된 상기 트레이닝 샘플과 상기 포지티브 샘플 클래스 간의 상기 유사성과 상기 실제 값 태그에 따라 얻어진 상기 트레이닝 샘플의 실제 값에 따라, 망 오차(network error)를 얻도록 구성된 획득 유닛;
    상기 트레이닝 샘플의 상기 포지티브 샘플에 대해, 미리 정의된 가중치에 따라, 상기 망 오차를 조정하도록 구성된 조정 유닛; 및
    상기 조정된 망 오차에 따라, 상기 심층 신경망의 역방향 전파를 수행하도록 구성된 역방향 전파 유닛
    을 포함하고,
    상기 조정 유닛은 아래의 수학식(1)에 따라 상기 망 오차를 조정하며,
    수학식(1)
    Figure 112019078352324-pat00024

    여기서,
    Figure 112019078352324-pat00025
    는 조정된 망 오차을 나타내고,
    Figure 112019078352324-pat00026
    은 조정 이전의 망 오차를 나타내고,
    Figure 112019078352324-pat00027
    는 미리 정의된 가중치를 나타내고,
    Figure 112019078352324-pat00028
    는 1 보다 작은 양수이고, s∈{네거티브}는 현재 트레이닝 샘플이 네거티브 샘플임을 나타내며, s∈{포지티브}는 현재 트레이닝 샘플이 포지티브 샘플임을 나타내는 것인, 심층 신경망을 위한 트레이닝 장치.
  4. 전자 디바이스에 있어서,
    제1항에 기재된 상기 인식 장치 또는 제3항에 기재된 상기 트레이닝 장치를 포함하는 전자 디바이스.
  5. 삭제
  6. 삭제
  7. 삭제
KR1020170054482A 2016-05-06 2017-04-27 심층 신경망 기반의 인식 장치, 트레이닝 장치, 및 이들의 방법 KR102048390B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610298158.0 2016-05-06
CN201610298158.0A CN107346448B (zh) 2016-05-06 2016-05-06 基于深度神经网络的识别装置、训练装置及方法

Publications (2)

Publication Number Publication Date
KR20170125720A KR20170125720A (ko) 2017-11-15
KR102048390B1 true KR102048390B1 (ko) 2019-11-25

Family

ID=58638757

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170054482A KR102048390B1 (ko) 2016-05-06 2017-04-27 심층 신경망 기반의 인식 장치, 트레이닝 장치, 및 이들의 방법

Country Status (5)

Country Link
US (1) US11049007B2 (ko)
EP (1) EP3242255A1 (ko)
JP (1) JP6922387B2 (ko)
KR (1) KR102048390B1 (ko)
CN (1) CN107346448B (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3566177A1 (en) * 2017-02-03 2019-11-13 Siemens Aktiengesellschaft A method and apparatus for detecting objects of interest in images
US11100399B2 (en) * 2017-11-21 2021-08-24 International Business Machines Corporation Feature extraction using multi-task learning
US11068787B2 (en) 2017-12-15 2021-07-20 Uber Technologies, Inc. Training neural networks using evolution based strategies and novelty search
JP6993863B2 (ja) * 2017-12-18 2022-01-14 株式会社日立製作所 情報処理システムおよび情報処理システムの学習方法
CN108229555B (zh) * 2017-12-29 2019-10-25 深圳云天励飞技术有限公司 样本权重分配方法、模型训练方法、电子设备及存储介质
CN110022182A (zh) * 2018-01-10 2019-07-16 富士通株式会社 干扰源预测模型建立方法、干扰源识别方法、装置和终端设备
KR101889510B1 (ko) * 2018-02-05 2018-08-17 문경훈 심층 신경망을 이용한 정수 처리에서의 응집제 주입률 예측 방법
US11537872B2 (en) 2018-07-30 2022-12-27 International Business Machines Corporation Imitation learning by action shaping with antagonist reinforcement learning
US11501157B2 (en) 2018-07-30 2022-11-15 International Business Machines Corporation Action shaping from demonstration for fast reinforcement learning
US11734575B2 (en) 2018-07-30 2023-08-22 International Business Machines Corporation Sequential learning of constraints for hierarchical reinforcement learning
CN109376757B (zh) * 2018-09-06 2020-09-08 苏州飞搜科技有限公司 一种多标签分类方法及系统
CN111046891A (zh) * 2018-10-11 2020-04-21 杭州海康威视数字技术股份有限公司 车牌识别模型的训练方法、车牌识别方法和装置
CN109583301B (zh) * 2018-10-29 2021-08-31 广东奥博信息产业股份有限公司 一种农作物生长过程最优外部种植条件预测方法及装置
CN111353511B (zh) * 2018-12-20 2024-03-08 富士通株式会社 号码识别装置及方法
CN109948651A (zh) * 2019-02-13 2019-06-28 平安科技（深圳）有限公司 卷积神经网络的池化方法、装置及存储介质、计算机设备
CN111652664A (zh) * 2019-03-04 2020-09-11 富士通株式会社 训练混合元学习网络的装置和方法
CN109993065B (zh) * 2019-03-06 2022-08-23 开易（北京）科技有限公司 基于深度学习的驾驶员行为检测方法和系统
CN111783932A (zh) * 2019-04-03 2020-10-16 华为技术有限公司 训练神经网络的方法和装置
CN111931799B (zh) * 2019-05-13 2023-06-20 百度在线网络技术（北京）有限公司 图像识别方法及装置
CN110362681B (zh) * 2019-06-19 2023-09-22 平安科技（深圳）有限公司 问答系统重复问题识别方法、装置及存储介质
CN110428052B (zh) * 2019-08-01 2022-09-06 江苏满运软件科技有限公司 深度神经网络模型的构建方法、装置、介质及电子设备
CN110741388B (zh) * 2019-08-14 2023-04-14 东莞理工学院 对抗样本检测方法、装置、计算设备及计算机存储介质
CN110517670A (zh) * 2019-08-28 2019-11-29 苏州思必驰信息科技有限公司 提升唤醒性能的方法和装置
CN110993028B (zh) * 2019-12-17 2022-03-29 清华大学 突变数据识别方法、训练方法、处理装置及存储介质
CN111160454B (zh) * 2019-12-27 2023-12-22 北京旋极信息技术股份有限公司 一种速变信号检测方法和装置
CN113190646B (zh) * 2020-01-14 2024-05-07 北京达佳互联信息技术有限公司 一种用户名样本的标注方法、装置、电子设备及存储介质
CN111461164B (zh) * 2020-02-25 2024-04-12 清华大学 样本数据集的扩容方法及模型的训练方法
CN112132088B (zh) * 2020-09-29 2024-01-12 动联(山东)电子科技有限公司 一种巡检点位漏巡识别方法
CN112380319B (zh) * 2020-11-12 2023-10-17 平安科技（深圳）有限公司 一种模型训练的方法及相关装置
CN112396513B (zh) * 2020-11-27 2024-02-20 中国银联股份有限公司 一种数据处理的方法及装置
CN112966110A (zh) * 2021-03-17 2021-06-15 中国平安人寿保险股份有限公司 文本类别识别方法及相关设备
CN113344415A (zh) * 2021-06-23 2021-09-03 中国平安财产保险股份有限公司 基于深度神经网络的业务分配方法、装置、设备及介质
CN114462465A (zh) * 2021-09-30 2022-05-10 马上消费金融股份有限公司 一种分类模型的训练方法、质检预测方法及对应装置
CN117313899B (zh) * 2023-11-23 2024-02-23 全芯智造技术有限公司 用于数据处理的方法、设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080177680A1 (en) 2007-01-19 2008-07-24 Microsoft Corporation Resilient classification of data
US20160092766A1 (en) 2014-09-30 2016-03-31 Google Inc. Low-rank hidden input layer for speech recognition neural network

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3238178B2 (ja) * 1990-12-27 2001-12-10 株式会社東芝 学習機械の学習法
US5903884A (en) * 1995-08-08 1999-05-11 Apple Computer, Inc. Method for training a statistical classifier with reduced tendency for overfitting
GB0209780D0 (en) 2002-04-29 2002-06-05 Neural Technologies Ltd Method of encoding data for decoding data from and constraining a neural network
CN101814149B (zh) * 2010-05-10 2012-01-25 华中科技大学 一种基于在线学习的自适应级联分类器训练方法
JP5846553B2 (ja) * 2010-09-13 2016-01-20 国立大学法人東京工業大学 属性の学習及び転移システム、認識器生成装置、認識器生成方法及び認識装置
US9015082B1 (en) * 2010-12-14 2015-04-21 Symantec Corporation Data quality assessment for vector machine learning
CN102521656B (zh) 2011-12-29 2014-02-26 北京工商大学 非平衡样本分类的集成迁移学习方法
JP5974576B2 (ja) * 2012-03-26 2016-08-23 富士ゼロックス株式会社 文字認識学習装置、文字認識装置、およびプログラム
JP2016006626A (ja) * 2014-05-28 2016-01-14 株式会社デンソーアイティーラボラトリ 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法
CN104102919B (zh) 2014-07-14 2017-05-24 同济大学 一种有效防止卷积神经网络过拟合的图像分类方法
CN104408475B (zh) * 2014-12-08 2018-09-14 深圳市捷顺科技实业股份有限公司 一种车牌识别方法及车牌识别设备
CN104951784B (zh) * 2015-06-03 2018-10-12 贵州警官职业学院 一种车辆无牌及车牌遮挡实时检测方法
CN105354568A (zh) 2015-08-24 2016-02-24 西安电子科技大学 基于卷积神经网络的车标识别方法
US10579923B2 (en) * 2015-09-15 2020-03-03 International Business Machines Corporation Learning of classification model
CN105447730B (zh) * 2015-12-25 2020-11-06 腾讯科技（深圳）有限公司 目标用户定向方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080177680A1 (en) 2007-01-19 2008-07-24 Microsoft Corporation Resilient classification of data
US20160092766A1 (en) 2014-09-30 2016-03-31 Google Inc. Low-rank hidden input layer for speech recognition neural network

Also Published As

Publication number Publication date
CN107346448B (zh) 2021-12-21
CN107346448A (zh) 2017-11-14
EP3242255A1 (en) 2017-11-08
US20170323202A1 (en) 2017-11-09
KR20170125720A (ko) 2017-11-15
JP2017201526A (ja) 2017-11-09
JP6922387B2 (ja) 2021-08-18
US11049007B2 (en) 2021-06-29

Similar Documents

Publication Publication Date Title
KR102048390B1 (ko) 심층 신경망 기반의 인식 장치, 트레이닝 장치, 및 이들의 방법
US10825447B2 (en) Method and apparatus for optimizing model applicable to pattern recognition, and terminal device
WO2019127924A1 (zh) 样本权重分配方法、模型训练方法、电子设备及存储介质
US20210081793A1 (en) Hardened deep neural networks through training from adversarial misclassified data
US10402627B2 (en) Method and apparatus for determining identity identifier of face in face image, and terminal
KR102415503B1 (ko) 분류기 학습 방법 및 객체 검출 방법
CN108846826B (zh) 物体检测方法、装置、图像处理设备及存储介质
CN108388879B (zh) 目标的检测方法、装置和存储介质
WO2018166114A1 (zh) 图片识别的方法、系统、电子装置及介质
US20180018535A1 (en) Visual recognition using deep learning attributes
JP7110493B2 (ja) 深層モデルの訓練方法及びその装置、電子機器並びに記憶媒体
CN108491794B (zh) 面部识别的方法和装置
WO2022116440A1 (zh) 模型训练方法、装置和设备
WO2023273628A1 (zh) 一种视频循环识别方法、装置、计算机设备及存储介质
US11302108B2 (en) Rotation and scaling for optical character recognition using end-to-end deep learning
TW202011280A (zh) 操作搜索框架系統之方法
US11550996B2 (en) Method and system for detecting duplicate document using vector quantization
WO2019095587A1 (zh) 人脸识别方法、应用服务器及计算机可读存储介质
CN116569210A (zh) 归一化oct图像数据
US20180359378A1 (en) System, method, and non-transitory computer readable storage medium for image recognition based on convolutional neural networks
CN117635998A (zh) 用于多标签半监督分类的基于百分位数的伪标签选择
CN114926322B (zh) 图像生成方法、装置、电子设备和存储介质
CN116152595A (zh) 模型训练方法、图像处理方法、装置、设备与介质
CN112925533A (zh) 微控制器更新系统和方法
CN112270316B (zh) 文字识别、文字识别模型的训练方法、装置和电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant