KR102376110B1 - 딥 네트워크 구조 및 딥 러닝 기반 영상 인식 시스템 - Google Patents

딥 네트워크 구조 및 딥 러닝 기반 영상 인식 시스템 Download PDF

Info

Publication number
KR102376110B1
KR102376110B1 KR1020170073860A KR20170073860A KR102376110B1 KR 102376110 B1 KR102376110 B1 KR 102376110B1 KR 1020170073860 A KR1020170073860 A KR 1020170073860A KR 20170073860 A KR20170073860 A KR 20170073860A KR 102376110 B1 KR102376110 B1 KR 102376110B1
Authority
KR
South Korea
Prior art keywords
level feature
feature information
level
network
extracting
Prior art date
Application number
KR1020170073860A
Other languages
English (en)
Other versions
KR20180135616A (ko
Inventor
박상지
배순민
장재호
윤석민
신학철
김준모
김영수
김병주
이예강
Original Assignee
주식회사 한화
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한화, 한국과학기술원 filed Critical 주식회사 한화
Priority to KR1020170073860A priority Critical patent/KR102376110B1/ko
Publication of KR20180135616A publication Critical patent/KR20180135616A/ko
Application granted granted Critical
Publication of KR102376110B1 publication Critical patent/KR102376110B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 딥 러닝 기반 영상 인식 시스템은 객체를 포함하는 입력 영상을 수신하는 입력 영상 수신부, 상기 입력 영상에 대응하는 저 레벨 특징을 나타내는 저 레벨 특징 정보를 추출하는 제1 추출부, 상기 저 레벨 특징 정보에 대응하는 중간 레벨 특징을 나타내는 중간 레벨 특징 정보를 추출하는 제2 추출부 및 상기 중간 레벨 특징 정보에 대응하는 고 레벨 특징을 나타내는 고 레벨 특징 정보를 추출하는 제3 추출부를 포함하는 제1 네트워크; 상기 제1 추출부에 의해 추출된 상기 저 레벨 특징 정보에 대응하는 중간 레벨 특징을 나타내는 중간 레벨 특징 정보를 추출하는 제4 추출부 및 상기 제4 추출부에 의해 추출된 중간 레벨 특징 정보에 대응하는 고 레벨 특징을 나타내는 고 레벨 특징 정보를 추출하는 제5 추출부를 포함하는 제2 네트워크 및 상기 제1 네트워크에 의해 추출된 특징 정보와 상기 제2 네트워크에 의해 추출된 특징 정보를 이용하여 상기 객체에 대응하는 원소를 인식하는 인식부를 포함한다.

Description

딥 네트워크 구조 및 딥 러닝 기반 영상 인식 시스템{STRUCTURE OF DEEP NETWORK AND DEEP LEARNING BASED VISUAL IMAGE RECOGNITION SYSTEM}
본 발명은 딥 네트워크 구조 및 딥 러닝 기반 영상 인식 시스템에 관한 것으로, 보다 구체적으로, 브랜치드 네트워크(branched network) 구조를 이용하여 모델 앙상블 기법을 구현할 수 있는 딥 네트워크 구조 및 딥 러닝 기반 영상 인식 시스템에 대한 것이다.
딥 러닝(deep learning), 심층학습(深層學習)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야라고 이야기할 수 있다.
어떠한 데이터가 있을 때 이를 컴퓨터가 알아 들을 수 있는 형태(예컨대, 이미지의 경우는 픽셀정보를 열벡터로 표현하는 등)로 표현(representation)하고 이를 학습에 적용하기 위해 많은 연구(어떻게 하면 더 좋은 표현기법을 만들고 또 어떻게 이것들을 학습할 모델을 만들지에 대한)가 진행되고 있으며, 이러한 노력의 결과로 DNN(deep neural networks), CNN(convolutional deep neural networks), DBN(deep belief networks)와 같은 다양한 딥 러닝 기법들이 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용되어 최첨단의 결과들을 보여주고 있다.
이와 같이, 다양한 분야에서 사용되는 딥 네트워크에는 많은 레이어가 포함된다. 2012 년에는 8 계층만을 사용하는 AlexNet 구조가 기존 이미지 인식률을 크게 향상 시켰고, 급속한 기술 개발과 네트워크 구조의 심화로 1000 개가 넘는 네트워크가 발표되었다.
이러한 심층 네트워크는 다양한 영역에서 최고의 성능을 제공하지만, 1000 개가 넘는 계층의 아키텍처 기능으로 인해 학습 및 검증에 많은 메모리와 계산이 필요하다. 최근 몇 년 동안 점점 더 깊고 깊은 네트워크를 사용하는 경향이 강해짐에 따라 고가의 장비를 사용하여 고성능 이미지 인식기를 학습하고 사람의 능력을 초월한 고성능의 이미지 인식기가 개발되었다.
그러나, 네트워크가 깊어짐에 따라 네트워크에 학습 가능한 매개 변수가 더 많이 포함되므로 상당한 양의 메모리와 파라미터의 수가 과다한 문제가 심각해질 수 있습니다.
미국 등록특허공보 제953047호
본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로써, 저 레벨 특성에 대응하는 저 레벨 특성 정보를 추출하는 레이어를 공유하되, 중간 레벨 이상의 특성 정보를 추출하는 레이어가 분기되는 브랜치드 네트워크(branched network) 구조를 이용하여 모델 앙상블 기법을 구현함으로써, 메모리와 파라미터 요구치를 감소시킬 수 있는 딥 네트워크 구조 및 딥 러닝 기반 영상 인식 시스템을 제공한다.
또한, 라벨 스무딩(Label smoothing) 기법을 적용하여 정규화함으로써, 네트워크 사이의 상관관계(correlation)를 줄일 수 있다.
본 발명의 일 실시예에 따른 딥 러닝 기반 영상 인식 시스템은 객체를 포함하는 입력 영상을 수신하는 입력 영상 수신부, 상기 입력 영상에 대응하는 저 레벨 특징을 나타내는 저 레벨 특징 정보를 추출하는 제1 추출부, 상기 저 레벨 특징 정보에 대응하는 중간 레벨 특징을 나타내는 중간 레벨 특징 정보를 추출하는 제2 추출부 및 상기 중간 레벨 특징 정보에 대응하는 고 레벨 특징을 나타내는 고 레벨 특징 정보를 추출하는 제3 추출부를 포함하는 제1 네트워크; 상기 제1 추출부에 의해 추출된 상기 저 레벨 특징 정보에 대응하는 중간 레벨 특징을 나타내는 중간 레벨 특징 정보를 추출하는 제4 추출부 및 상기 제4 추출부에 의해 추출된 중간 레벨 특징 정보에 대응하는 고 레벨 특징을 나타내는 고 레벨 특징 정보를 추출하는 제5 추출부를 포함하는 제2 네트워크 및 상기 제1 네트워크에 의해 추출된 특징 정보와 상기 제2 네트워크에 의해 추출된 특징 정보를 이용하여 상기 객체에 대응하는 원소를 인식하는 인식부를 포함한다.
일 실시예에서, 상기 제1 네트워크 및 상기 제2 네트워크는, 라벨 스무딩(Label smoothing) 기법을 이용하여 상기 특징 정보를 추출할 수 있다.
본 발명의 일 실시형태에 의하면, 저 레벨 특성에 대응하는 저 레벨 특성 정보를 추출하는 레이어를 공유하되, 중간 레벨 이상의 특성 정보를 추출하는 레이어가 분기되는 브랜치드 네트워크(branched network) 구조를 이용하여 모델 앙상블 기법을 구현함으로써, 공간적 메모리의 점유율과 학습 속도를 감소시킬 수 있는 효과가 있다.
또한, 라벨 스무딩(Label smoothing) 기법을 적용하여 정규화함으로써, 네트워크 사이의 상관관계(correlation)를 줄일 수 있다.
도 1 및 도 2는 일 실시예에 따라 입력 영상을 저레벨 특징(low level feature), 중간레벨 특징(mid level feature), 및 고레벨 특징(high level feature)으로 추상화하여 인식 및 검증하는 구조를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 딥 러닝 기반 영상 인식 시스템의 일 실시예를 설명하기 위한 구성도이다.
도 4는 도 3에 도시된 딥 러닝 기반 영상 인식 시스템의 네트워크 구조의 일 실시예를 설명하기 위한 구성도이다.
도 5는 도 3에 도시된 딥 러닝 기반 영상 인식 시스템의 네트워크 구조의 다른 일 실시예를 설명하기 위한 구성도이다.
도 6은 원-핫(one-hot) 벡터 인코딩 기법과 라벨 스무딩 기법을 설명하기 위한 그래프이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 또한 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하며, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예의 구성을 상세히 설명하기로 한다.
이하, 본 명세서에서, 딥 러닝(Deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions)를 시도하는 기계학습(machine learning) 알고리즘의 집합을 나타낼 수 있다. 예를 들어, 딥러닝은 사람의 사고방식을 컴퓨터에게 가르치는 기계학습을 나타낼 수 있다. 여기서, 추상화는 복수의 데이터들로부터 핵심적인 데이터를 추출하는 작업을 나타낼 수 있다.
도 1 및 도 2는 일 실시예에 따라 입력 영상을 저레벨 특징(low level feature), 중간레벨 특징(mid level feature), 및 고레벨 특징(high level feature)으로 추상화하여 인식 및 검증하는 구조를 설명하기 위한 도면이다.
도 1에 도시된 딥 러닝 구조(100)는 입력 영상(101)을 순차적으로 복수의 레벨들에 대응하는 특징들을 이용하여 추상화할 수 있다. 예를 들어, 도 1의 딥 러닝 구조(100)는 입력 영상(101)을 저레벨 특징(110), 중간레벨 특징(120), 및 고레벨 특징(130)을 이용하여 추상화할 수 있다.
여기서, 특징은 복수의 데이터들(예를 들어, 트레이닝 영상)이 추상화되어 학습된 핵심적인 데이터를 나타낼 수 있다. 예를 들어, 본 명세서에서 특징은 임의의 영상이 추상화되어 학습된 특징 영상(feature image)을 포함할 수 있다. 특징 영상은, 트레이닝 영상(training image)에 대해 미리 정한 크기의 미리 정한 개수의 필터들을 이용하여 컨볼루션 필터링(convolution filtering)을 수행하여 생성된, 영상으로서 학습될 수 있다. 학습된 특징 영상의 개수는 상술한 필터들의 개수에 대응할 수 있다.
예를 들어, 도 1에서 저레벨 특징(110)은 저레벨 특징 영상들(111) 중 하나를 이용하여 표현될 수 있고, 중간레벨 특징(120)은 중간레벨 특징 영상들(121) 중 하나를 이용하여 표현될 수 있으며, 고레벨 특징(130)은 고레벨 특징 영상들(131) 중 하나를 이용하여 표현될 수 있다. 저레벨 특징 영상들(111)은 트레이닝 영상에 대해 컨볼루션 필터링이 수행되어 학습된 영상들, 중간레벨 특징 영상들(121)은 저레벨 특징 영상들(111)에 대해 다른 컨볼루션 필터링이 수행되어 학습된 영상들, 고레벨 특징 영상들(131)은 중간레벨 특징 영상들(121)에 대해 또 다른 컨볼루션 필터링이 수행되어 학습된 영상들을 나타낼 수 있다.
도 1에 도시된 딥 러닝 구조(100)에서 입력 영상(101)이 추상화된 결과는 각 레벨에 대응하는 특징들로부터 입력 영상(101)에 대응하는 특징을 지시하는 특징 정보로 나타낼 수 있다. 예를 들어, 특징 정보는 임의의 특징영상을 지시하는 특징 값(feature value)을 포함할 수 있다. 딥 러닝 구조(100)는 각 레벨에 대응하는 기 학습된 레이어(layer)를 이용하여, 각 레벨에 대응하는 특징 정보를 추출할 수 있다.
예를 들어, 도 1에서 딥 러닝 구조(100)는 입력 영상(101)에 대응하는 저레벨 특징(110)을 나타내는 저레벨 특징 정보를 추출하고, 저레벨 특징 정보에 대응하는 중간레벨 특징(120)을 나타내는 중간레벨 특징 정보를 추출하며, 중간레벨 특징 정보에 대응하는 고레벨 특징(130)을 나타내는 고레벨 특징 정보를 추출할 수 있다.
도 1에 도시된 구조(100)에서 인식/검증을 수행하는 모듈(140)은 각 레벨에서 순차적으로 추상화 과정을 거쳐, 마지막 레벨의 특징 정보를 활용하여 인식 및 검증을 수행할 수 있다. 예를 들어, 도 1에서는 고레벨 특징(130)을 나타내는 고레벨 특징 정보만을 이용하여 인식 및 검증을 수행될 수 있다. 이 경우, 저레벨 특징 정보 및 중간레벨 특징 정보가 손실될 수 있다.
도 2에 도시된 일 실시예에 따른 딥 러닝 구조(200)에서는 인식/검증을 수행하는 모듈(240)이 모든 레벨에 대응하는 특징 정보를 이용하여 인식 및 검증을 수행할 수 있다. 예를 들어, 도 2에서 인식/검증을 수행하는 모듈(240)은 저레벨 특징 정보, 중간레벨 특징 정보, 및 고레벨 특징 정보를 이용하여 입력 영상(101)에 대한 인식 및 검증을 수행할 수 있다. 다만, 도 2에서는 3개의 레벨(예를 들어, 저레벨, 중간레벨, 고레벨)로 예시적으로 설명하였으나, 이하에서는 영상의 특징이 적어도 2개 이상의 레벨로 추상화될 수 있다. 상술한 바와 같이, 각각의 레이어에서 출력되는 모든 특징 정보을 활용함으로써, 영상에 대한 인식률 및 검증률이 확보될 수 있다.
일 실시예에 따른 딥 러닝 구조(200)는 다양한 입력 영상(101)을 인식 및 검증하는데 적용될 수 있다. 예를 들어, 입력 영상(101)은 객체와 연관된 영상(예를 들어, 객체의 형상을 나타내는 영상)을 포함할 수 있다. 객체는 영상의 관심 영역(ROI, region of interest) 내에 포함되는 사람(예를 들어, 사람의 얼굴, 신체 등), 동물 및 사물 등을 나타낼 수 있다. 예를 들어, 일 실시예에 따른 딥 러닝 구조(200)는 사람의 얼굴을 인식하여 사용자를 인식 및 인증하는데 사용될 수 있다. 또한, 딥 러닝 구조(200)는 방대한 양의 컨텐츠(예를 들어, 사진, 동영상 등의 멀티미디어)를 자동으로 검색 및 관리하는데 사용될 수 있다.
상술한 딥 러닝 구조(200)는 소프트웨어 형태로 구현되거나 칩(chip)과 같은 하드웨어 형태로 구현되어, 전자기기에 탑재될 수 있다. 예를 들어, 전자 기기는 모바일 기기(예를 들어, 핸드폰, 스마트폰 등) 및 가전 기기(예를 들어, TV 등) 등을 포함할 수 있다.
딥 러닝 구조(200)는 영상을 인식하는 장치 및 영상을 검증하는 장치에 적용될 수 있다. 영상을 인식하는 장치 및 영상을 검증하는 장치는 트레이닝 데이터를 이용하여 학습될 수 있다. 트레이닝 데이터는 트레이닝 객체와 연관된 트레이닝 영상, 트레이닝 원소, 및 트레이닝 정보 등을 포함할 수 있다.
예를 들어, 영상을 인식하는 장치의 학습을 위한 트레이닝 데이터는 트레이닝 영상 및 트레이닝 영상과 연관된 트레이닝 원소를 포함할 수 있다. 영상을 인식하는 장치는 트레이닝 영상으로부터 트레이닝 원소가 출력되도록 학습될 수 있다. 여기서, 트레이닝 원소는 해당 트레이닝 영상에 포함된 트레이닝 객체를 지시하는 값일 수 있다.
다른 예를 들어, 영상을 검증하는 장치의 학습을 위한 트레이닝 데이터는 트레이닝 영상 쌍 및 트레이닝 정보를 포함할 수 있다. 영상을 검증하는 장치는 트레이닝 영상 쌍으로부터 트레이닝 정보가 출력되도록 학습될 수 있다. 여기서, 트레이닝 정보는 해당 트레이닝 영상 쌍이 동일한 트레이닝 객체를 포함하는지 여부를 나타내는 값일 수 있다.
일 실시예에 따르면 딥 러닝 구조는 인공 뉴럴 네트워크 (artificial neural network)를 포함할 수 있으며, 예를 들어 딥 콘볼루셔널 뉴럴 네트워크 (Deep Convolutional Neural Network, DCNN)로 구성될 수 있다.
뉴럴 네트워크는 입력 레이어, 히든 레이어, 및 출력 레이어를 포함할 수 있다. 각 레이어는 복수의 노드들을 포함하고, 인접한 레이어 사이의 노드들은 연결 가중치를 가지고 서로 연결될 수 있다. 각 노드들은 활성화 모델에 기초하여 동작할 수 있다. 활성화 모델에 따라 입력 값에 대응하는 출력 값이 결정될 수 있다. 임의의노드의 출력 값은 해당 노드와 연결된 다음 레이어의 노드로 입력될 수 있다. 다음 레이어의 노드는 복수의 노드들로부터 출력되는 값들을 입력 받을 수 있다. 임의의 노드의 출력 값이 다음 레이어의 노드로 입력되는 과정에서, 연결 가중치가 적용될 수 있다. 다음 레이어의 노드는 활성화 모델에 기초하여 입력 값에 대응하는 출력 값을 해당 노드와 연결된 그 다음 레이어의 노드로 출력할 수 있다.
출력 레이어는 복수의 원소들에 대응하는 노드들을 포함할 수 있다. 출력 레이어의 노드들은 복수의 원소들에 대응하는 특징값들을 출력할 수 있다. 아래에서 상세하게 설명하겠으나, 뉴럴 네트워크에서 출력되는 특징값들은 복수의 원소들을 위한 선형 분류기들을 통하여 원소들로 변환될 수 있다.
도 3은 본 발명에 따른 딥 러닝 기반 영상 인식 시스템의 일 실시예를 설명하기 위한 구성도이며, 도 4는 도 3에 도시된 딥 러닝 기반 영상 인식 시스템의 네트워크 구조의 일 실시예를 설명하기 위한 구성도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 딥 러닝 기반 영상 인식 시스템은 입력 영상 수신부(310), 제1 네트워크(320), 제2 네트워크(330) 및 인식부(340)를 포함할 수 있다.
입력 영상 수신부(310)는 객체를 포함하는 입력 영상을 수신할 수 있다. 여기서, 입력 영상은 전처리된 영상일 수 있다. 여기서, 전처리된 영상은 임의의 영상이 미리 정한 크기, 미리 정한 해상도, 해당 영상 내 객체와 배경 간의 비율(여기서, 배경은 영상 내에서 객체를 나타내는 부분을 제외한 부분)을 가지도록 처리된 영상을 나타낼 수 있다.
제1 네트워크(320)와 제2 네트워크(330)는 딥 네트워크의 성능을 향상시키기 위해 모델 앙상블 기법을 구현하기 위한 것으로, 제1 네트워크(320)와 제2 네트워크(330)는 각각 서로 다른 초기값으로 학습될 수 있다.
제1 네트워크(320)는 저 레벨 특징을 추출하는 제1 추출부(321), 중간 레벨 특징을 추출하는 제2 추출부(322) 및 고 레벨 특징을 추출하는 제3 추출부(323)를 포함할 수 있다.
제1 추출부(321)는 입력 영상 수신부(310)를 통해 입력되는 입력 영상에서 저 레벨 특징을 나타내는 저 레벨 특징 정보를 추출할 수 있다. 여기서, 저 레벨 특징은 이미지를 이루는 가장 기본적인 원소인 에지(edge)나 블롭(blob)와 같은 특징점일 수 있다. 제1 추출부(321)는, 도 4에서와 같이, 저 레벨 특징 정보를 추출하기 위한 복수개의 컨볼루션 레이어(convolution layer)를 포함할 수 있으며, 입력 영상 수신부(310)와 연결되는 레이어로부터 상위 레이어로 갈수록 보다 고차원의 특징에 대응되는 특징 정보를 추출할 수 있다.
제2 추출부(322)는 상기 입력 영상에서, 제1 추출부(321)에 의해 추출된 저 레벨 특징에 대응하는 중간 레벨 특징을 나타내는 중간 레벨 특징 정보를 추출할 수 있다. 여기서, 중간 레벨 특징 정보는 복수의 중간 레벨 특징들 중 임의의 저 레벨 특징 정보에 대응하는 적어도 하나의 중간 레벨 특징을 나타내는 특정 값(feature value)을 나타낼 수 있다. 여기서, 중간 레벨 특징은 저 레벨 특징이 추상화되어 학습된 특징 영상을 포함할 수 있다. 제2 추출부(322)는 중간 레벨 특징 정보를 추출하기 위한 복수개의 컨볼루션 레이어를 포함할 수 있다.
제3 추출부(323)는 상기 입력 영상에서, 제2 추출부(322)에 의해 추출된 중간 레벨 특징에 대응하는 고 레벨 특징을 나타내는 고 레벨 특징 정보를 추출할 수 있다. 여기서, 고 레벨 특징 정보는 복수의 고 레벨 특징들 중 임의의 중간 레벨 특징 정보에 대응하는 적어도 하나의 고 레벨 특징을 나타내는 특정 값(feature value)을 나타낼 수 있다. 여기서, 고 레벨 특징은 중간 레벨 특징이 추상화되어 학습된 특징 영상을 포함할 수 있다. 또한, 제3 추출부(323)는 고 레벨 특징 정보를 추출하기 위한 복수개의 컨볼루션 레이어를 포함할 수 있다.
제2 네트워크(330)는 제1 네트워크(320)의 제1 추출부(321)에 의해 추출된 저 레벨 특징 정보를 이용하여 중간 레벨 특징 정보 및 고 레벨 특징 정보를 추출할 수 있다. 즉, 제2 네트워크(330)는, 도 4에서와 같이, 제1 네트워크(320)와 제1 추출부(321)를 공유하는 구조로 형성될 수 있다. 다시 말하면, 제1 네트워크(320)와 제2 네트워크(330)는 저 레벨 특징 정보를 추출하는 제1 추출부(321)를 공유할 수 있으며, 중간 레벨 이상의 지점에서 분기될 수 있다. 이에 따라 하나의 입력 영상에 대한 다수의 출력을 얻기 위해 필요한 메모리와 파라미터의 수를 줄일 수 있는 효과가 있다.
일 실시예에서, 제2 네트워크(330)는 제4 추출부(332) 및 제5 추출부(334)를 포함할 수 있다.
제4 추출부(332)는 제1 추출부(321)에 의해 추출된 저 레벨 특징 정보에 대응하는 중간 레벨 특징을 나타내는 중간 레벨 정보를 추출할 수 있다. 여기서, 중간 레벨 특징 정보는 복수의 중간 레벨 특징들 중 임의의 저 레벨 특징 정보에 대응하는 적어도 하나의 중간 레벨 특징을 나타내는 특정 값(feature value)을 나타낼 수 있다. 여기서, 제4 추출부(332)는 중간 레벨 특징 정보를 추출하기 위한 복수개의 컨볼루션 레이어를 포함할 수 있다.
제5 추출부(334)는 제4 추출부(3320)에 의해 추출된 중간 레벨 특징 정보에 대응하는 고 레벨 특징을 나타내는 고 레벨 정보를 추출할 수 있다. 고 레벨 특징 정보는 복수의 고 레벨 특징들 중 임의의 중간 레벨 특징 정보에 대응하는 적어도 하나의 고 레벨 특징을 나타내는 특정 값(feature value)을 나타낼 수 있다. 여기서, 고 레벨 특징은 중간 레벨 특징이 추상화되어 학습된 특징 영상을 포함할 수 있다. 여기서, 제5 추출부(334)는 고 레벨 특징 정보를 추출하기 위한 복수개의 컨볼루션 레이어를 포함할 수 있다.
일 실시예에서, 제1 추출부(321) 내지 제5 추출부(334)는, 도 4에서와 같이, 컨볼루션 레이어(convolution layer) 및 풀링 레이어(pooling layer)를 포함할 수 있다.
컨볼루션 레이어는 미리 정한 크기(예컨대, 7 x 7 또는 3 x 3)의 필터를 이용하여 이전 레이어 또는 이전 추출부에서 추출된 정보를 필터링하는 컨볼루션 필터링을 수행하는데 사용될 수 있다. 도 4에서는 "conv."로 도시될 수 있다. 예컨대, 제1 추출부(321)의 컨볼루션 레이어는 미리 정해진 에지를 필터링 할 수 있다. 여기서, 컨볼루션 필터링의 결과로, 컨볼루션 레이어에 포함된 필터의 개수에 따라 필터 개수만큼의 필터링 영상들이 생성될 수 있다. 컨볼루션 레이어는 필터링 영상들에 포함된 노드들로 구성될 수 있다. 컨볼루션 레이어에 포함된 각 노드들은 이전 레이어 또는 이전 추출부의 특징 영상(단, 제1 추출부(621)인 경우에는 입력 영상)의 미리 정한 크기의 영역으로부터 필터링 된 값을 수신할 수 있다. 컨볼루션 레이어에 포함된 각 노드들의 활성화 모델로 ReLU (Rectifier Linear Unit)가 이용될 수 있다. ReLU는 0 이하의 입력에 대하여 0을 출력하고, 0을 초과하는 입력에 대하여 선형으로 비례하는 값을 출력하는 모델이다.
풀링 레이어(pooling layer)는, 풀링을 통하여, 이전 레이어의 특징 영상들로부터 대표 값들을 추출하는데 사용될 수 있다. 도 4에서는 "pool"로 도시될 수 있다. 여기서, 플링 레이어는 max pooling, average pooling 또는 stochastic pooling 중 어느 하나일 수 있다. 일 실시예에서, 제1 추출부(321)의 풀링 레이어는 max pooling을 사용할 수 있으며, 제3 추출부(323) 및 제5 추출부(334)의 풀링 레이어는 average pooling을 사용할 수 있다. 풀링 결과 특징 영상들 별로 풀링 영상들이 생성될 수 있다. 풀링 레이어는 풀링 영상들에 포함된 노드들로 구성될 수 있다. 풀링 레이어에 포함된 각 노드들은 대응하는 특징 영상의 크기의 영역으로부터 풀링 된 값을 수신할 수 있다. 예를 들어, 제1 추출부에 포함된 풀링 레이어는 필터링된 입력 영상에 대응하는 정보로부터 대표 값들을 추출할 수 있다.
상술한 컨볼루션 레이어 및 풀링 레이어에서 인접한 레이어들 사이의 노드들은 부분적으로 연결되고, 연결 가중치가 공유될 수 있다.
일 실시예에 따르면, 제2 추출부(322) 및 제4 추출부(332)에 포함된 컨볼루션 레이어의 필터들은 제1 추출부(321)에 포함된 컨볼루션 레이어의 필터들에 비하여 복잡한 에지를 필터링 할 수 있다. 제2 추출부(322) 및 제4 추출부(332)에 포함된 풀링 레이어에서는 풀링을 통하여, 제2 추출부(322) 및 제4 추출부(332)의 컨볼루션 레이어에 의해 필터링된 필터링 영상들(예를 들어, 필터링된 제1 특징 정보)로부터 대표 값들이 추출될 수 있다. 이상과 같이, 제2 추출부(322) 및 제4 추출부(332)에 포함된 레이어들에서는 제1 추출부(321)에 비해 높은 복잡도의 특징 정보들이 추출될 수 있다. 예를 들어, 입력 영상에 대해 중간 레벨에 대응하는 특징 정보들이 추출될 수 있다. (예를 들어, 중간 레벨은 중간 복잡도를 가질 수 있다)
제3 추출부(323) 및 제5 추출부(334)의 컨볼루션 레이어에서는 미리 정한 크기의 필터들을 이용하여 컨볼루션 필터링이 수행될 수있다. 필터들 각각은 미리 정해진 에지를 필터링 할 수 있다. 제3 추출부(323) 및 제5 추출부(334)의 컨볼루션 레이어의 필터들은 제2 추출부(322) 또는 제4 추출부(332)의 컨볼루션 레이어의 필터들에 비하여 더 복잡한 에지를 필터링 할 수 있다. 예를 들어, 입력 영상에 대해 고 레벨에 대응하는 특징 정보들이 추출될 수 있다. (예를 들어, 고 레벨은 높은 복잡도를 가질 수 있다)
다만, 추출부의 개수 및 추출부에 포함되는 레이어의 구성 등을 상술한 바로 한정하는 것은 아니고, 설계에 따라 변경될 수 있다.
인식부(340)는 제1 네트워크에 의해 추출된 저 레벨 특징 정보, 중간 레벨 특징 정보 및 고 레벨 특징 정보와, 제2 네트워크에 의해 추출된 중간 레벨 특징 정보 및 고 레벨 특징 정보를 이용하여 입력 영상에 포함되는 객체에 대응되는 원소를 인식할 수 있다. 여기서, 입력 영상에 대응하는 원소는 예를 들어, 트레이닝 데이터로부터 기 학습되어 저장된 기준 영상들에 포함된 객체를 나타내는 값을 포함할 수 있다.
일 실시예에서, 인식부(630)는 적어도 하나의 레이어를 포함할 수 있고, 예를 들어, 완전 연결 레이어(fully connected layer) 등을 포함할 수 있다(도 4에서는 "FULLY CON"으로 도시됨). 완전 연결 레이어에서 인접한 레이어들 사이의 노드들은 완전 연결되고, 연결 가중치가 개별적으로 설정될 수 있다. 예를 들어, 완전 연결 레이어들 각각은 2048개의 노드들로 구성될 수 있다.
일 실시예에서, 인식부(340)는 제1 네트워크(320)에 의해 추출된 특징 정보의 결과값과 제2 네트워크(330)에 의해 추출된 특징 정보의 결과값의 평균값을 산출할 수 있으며, 상기 평균값을 최종 결과로 추종할 수 있다.
비록 도시되진 않았지만, 입력 영상으로부터 원소를 인식하도록 인식부(340)의 파라미터를 학습하는 학습부를 더 포함할 수 있다.
도 5는 도 3에 도시된 딥 러닝 기반 영상 인식 시스템의 네트워크 구조의 다른 일 실시예를 설명하기 위한 구성도이며, 도 6은 원-핫(one-hot) 벡터 인코딩 기법과 라벨 스무딩 기법을 설명하기 위한 그래프이다.
도 4의 실시예와 같이, 제1 네트워크(320)와 제2 네트워크(330)가 제1 추출부(321)를 공유하는 구조로 구현되는 경우, 중간 레벨 및 고 레벨이 서로 독립적으로 학습된다고 하더라도, 제1 네트워크(320)와 제2 네트워크(430) 사이에 상관관계(correlation)가 발생할 수 있어, 원-핫(one-hot) 벡터 인코딩 기법을 이용하는 경우, 독립된 네트워크를 앙상블하는 것과 비교하여 효과가 감소할 수 있는 문제점이 발생할 수 있다.
도 5의 실시예는 제1 네트워크(320) 및 제2 네트워크(330)의 기본적인 구조는 도 4의 실시예와 동일하나, 제1 네트워크(320)와 제2 네트워크(330) 사이에 상관관계가 발생하는 것을 방지하기 위해, 제1 네트워크(320)와 제2 네트워크(330)가 라벨 스무딩(label smoothing) 기법을 이용하여 특징 정보를 추출하는 것을 특징으로 한다.
일 실시예에서, 라벨 스무딩 기법은 아래의 수학식 1을 이용하여 그라운드 트루(ground truth) 라벨을 인코딩할 수 있다.
수학식 1.
Figure 112017056168064-pat00001
여기서, k는 클래스(classses)의 수를 의미한다. 이러한 라벨 스무딩 기법은 모델로부터의 예측된 값의 분포를 균일한 분포로 사전에 정규화하는 방법으로 해석될 수 있다. 또한, 두 클래스가 매우 비슷한 경우 one-hot 벡터는 항상 두 클래스(제1 네트워크와 제2 네트워크에 의해 추출된 특징들)가 완전히 다르다는 것을 나타내는 반면, 라벨 스무딩 기법은 두 클래스 사이의 차이가 작아지므로 네트워크가 학습 데이터에서 추출한 지식을 학습할 수 있게 된다.
이와 같이, 라벨 스무딩 기법을 이용하여 적당히 부드럽게 인코딩된 벡터를 ground truth 라벨로 정의하여 모델을 정규화시킴으로써, 제1 네트워크(320)와 제2 네트워크(330) 사이의 상관관계(correlation)을 줄일 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다.
예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
310: 입력 영상 수신부
320: 제1 네트워크
321: 제1 추출부
322: 제2 추출부
323: 제3 추출부
330: 제2 네트워크
332: 제4 추출부
334: 제5 추출부
340: 인식부

Claims (6)

  1. 객체를 포함하는 입력 영상을 수신하는 입력 영상 수신부;
    상기 입력 영상에 대응하는 저 레벨 특징을 나타내는 저 레벨 특징 정보를 추출하는 제1 추출부, 상기 저 레벨 특징 정보에 대응하는 중간 레벨 특징을 나타내는 중간 레벨 특징 정보를 추출하는 제2 추출부 및 상기 중간 레벨 특징 정보에 대응하는 고 레벨 특징을 나타내는 고 레벨 특징 정보를 추출하는 제3 추출부를 포함하는 제1 네트워크;
    상기 제1 추출부에 의해 추출된 상기 저 레벨 특징 정보에 대응하는 중간 레벨 특징을 나타내는 중간 레벨 특징 정보를 추출하는 제4 추출부 및 상기 제4 추출부에 의해 추출된 중간 레벨 특징 정보에 대응하는 고 레벨 특징을 나타내는 고 레벨 특징 정보를 추출하는 제5 추출부를 포함하는 제2 네트워크; 및
    상기 제1 네트워크에 의해 추출된 저 레벨 특징 정보, 중간 레벨 특징 정보 및 고 레벨 특징 정보와 상기 제2 네트워크에 의해 추출된 중간 레벨 특징 정보 및 고 레벨 특징 정보를 이용하여 상기 객체에 대응하는 원소를 인식하는 인식부; 를 포함하는 딥 러닝 기반 영상 인식 시스템.
  2. 제1항에 있어서, 상기 인식부는,
    상기 제1 네트워크에 의해 추출된 저 레벨 특징 정보, 중간 레벨 특징 정보 및 고 레벨 특징 정보와 상기 제2 네트워크에 의해 추출된 중간 레벨 특징 정보 및 고 레벨 특징 정보의 평균값을 이용해 상기 객체에 대응하는 원소를 인식하는 딥 러닝 기반 영상 인식 시스템.
  3. 제1항에 있어서, 상기 제1 추출부 내지 상기 제5 추출부는,
    각각 저 레벨 특징 정보, 중간 레벨 특징 정보 또는 고 레벨 특징 정보를 추출하기 위한 적어도 하나의 컨볼루션 레이어(Convolution layer)를 포함하는 딥 러닝 기반 영상 인식 시스템.
  4. 제1항에 있어서, 상기 제1 네트워크는 라벨 스무딩(Label smoothing) 기법을 이용하여 저 레벨 특징 정보, 중간 레벨 특징 정보 및 고 레벨 특징 정보를 추출하고,
    상기 제2 네트워크는 라벨 스무딩(Label smoothing) 기법을 이용하여 중간 레벨 특징 정보 및 고 레벨 특징 정보를 추출하는 딥 러닝 기반 영상 인식 시스템.
  5. 입력 영상에 대응하는 저 레벨 특징을 나타내는 저 레벨 특징 정보를 추출하는 제1 저 레벨 특징 추출부, 상기 저 레벨 특징 정보에 대응하는 중간 레벨 특징을 나타내는 중간 레벨 특징 정보를 추출하는 제1 중간 레벨 특징 추출부 및 상기 중간 레벨 특징 정보에 대응하는 고 레벨 특징을 나타내는 고 레벨 특징 정보를 추출하는 제1 고 레벨 특징 추출부를 포함하는 제1 네트워크; 및
    상기 제1 저 레벨 특징 추출부로부터 분기되며, 상기 저 레벨 특징 정보에 대응하는 중간 레벨 특징을 나타내는 중간 레벨 특징 정보를 추출하는 제2 중간 레벨 특징 추출부 및 상기 제2 중간 레벨 특징 추출부에 의해 추출된 중간 레벨 특징 정보에 대응하는 고 레벨 특징을 나타내는 고 레벨 특징 정보를 추출하는 제2 고 레벨 특징 추출부를 포함하는 제2 네트워크;
    를 포함하는 딥 네트워크 구조.
  6. 제5항에 있어서, 상기 제1 네트워크 및 상기 제2 네트워크는,
    라벨 스무딩(Label smoothing) 기법을 이용하여 그라운드 트루(Ground truth) 라벨을 인코딩하는 딥 네트워크 구조.

KR1020170073860A 2017-06-13 2017-06-13 딥 네트워크 구조 및 딥 러닝 기반 영상 인식 시스템 KR102376110B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170073860A KR102376110B1 (ko) 2017-06-13 2017-06-13 딥 네트워크 구조 및 딥 러닝 기반 영상 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170073860A KR102376110B1 (ko) 2017-06-13 2017-06-13 딥 네트워크 구조 및 딥 러닝 기반 영상 인식 시스템

Publications (2)

Publication Number Publication Date
KR20180135616A KR20180135616A (ko) 2018-12-21
KR102376110B1 true KR102376110B1 (ko) 2022-03-17

Family

ID=64960100

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170073860A KR102376110B1 (ko) 2017-06-13 2017-06-13 딥 네트워크 구조 및 딥 러닝 기반 영상 인식 시스템

Country Status (1)

Country Link
KR (1) KR102376110B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102250756B1 (ko) * 2019-11-29 2021-05-10 연세대학교 산학협력단 양방향 메시지 패싱 구조를 활용한 핵심 포인트 추출 방법 및 장치
CN111126388B (zh) * 2019-12-20 2024-03-29 维沃移动通信有限公司 图像识别的方法及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100953047B1 (ko) 2007-12-28 2010-04-14 주식회사 하이닉스반도체 불휘발성 메모리 소자의 동작 방법
KR102222318B1 (ko) * 2014-03-18 2021-03-03 삼성전자주식회사 사용자 인식 방법 및 장치
KR102486699B1 (ko) * 2014-12-15 2023-01-11 삼성전자주식회사 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치

Also Published As

Publication number Publication date
KR20180135616A (ko) 2018-12-21

Similar Documents

Publication Publication Date Title
KR102486699B1 (ko) 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치
Chen et al. Backbone is all your need: A simplified architecture for visual object tracking
US10346726B2 (en) Image recognition method and apparatus, image verification method and apparatus, learning method and apparatus to recognize image, and learning method and apparatus to verify image
US11477468B2 (en) Method and device for compressing image and neural network using hidden variable
KR102545128B1 (ko) 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템
CN105631398B (zh) 识别对象的方法和设备以及训练识别器的方法和设备
Xiao et al. Scene classification with improved AlexNet model
KR102387570B1 (ko) 표정 생성 방법, 표정 생성 장치 및 표정 생성을 위한 학습 방법
KR102338372B1 (ko) 영상으로부터 객체를 분할하는 방법 및 장치
CN111738231A (zh) 目标对象检测方法、装置、计算机设备和存储介质
Ghosh et al. SegFast-V2: Semantic image segmentation with less parameters in deep learning for autonomous driving
CN112561027A (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN111160350A (zh) 人像分割方法、模型训练方法、装置、介质及电子设备
CN110765960B (zh) 一种自适应多任务深度学习的行人再识别方法
Putra et al. A deep neural network model for multi-view human activity recognition
CN116343190B (zh) 自然场景文字识别方法、系统、设备及存储介质
Zhang et al. Channel-wise and feature-points reweights densenet for image classification
KR102376110B1 (ko) 딥 네트워크 구조 및 딥 러닝 기반 영상 인식 시스템
KR102185979B1 (ko) 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치
CN111488901A (zh) 在cnn中从多个模块内的输入图像提取特征的方法及装置
KR102554149B1 (ko) 오브젝트 인식 방법 및 장치, 인식 모델 학습 방법 및 장치
Almeida et al. Deep networks for human visual attention: A hybrid model using foveal vision
CN114282055A (zh) 视频特征提取方法、装置、设备及计算机存储介质
CN112804558A (zh) 视频拆分方法、装置及设备
CN110781760B (zh) 一种基于空间注意的面部表情识别方法和装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant