KR102070828B1 - 딥러닝의 활성화 함수 분석을 통한 물체 검출 장치 및 방법 - Google Patents

딥러닝의 활성화 함수 분석을 통한 물체 검출 장치 및 방법 Download PDF

Info

Publication number
KR102070828B1
KR102070828B1 KR1020170144934A KR20170144934A KR102070828B1 KR 102070828 B1 KR102070828 B1 KR 102070828B1 KR 1020170144934 A KR1020170144934 A KR 1020170144934A KR 20170144934 A KR20170144934 A KR 20170144934A KR 102070828 B1 KR102070828 B1 KR 102070828B1
Authority
KR
South Korea
Prior art keywords
image
convolutional layer
feature
classifying
detection
Prior art date
Application number
KR1020170144934A
Other languages
English (en)
Other versions
KR20190049278A (ko
Inventor
윤종필
이상준
진용식
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020170144934A priority Critical patent/KR102070828B1/ko
Publication of KR20190049278A publication Critical patent/KR20190049278A/ko
Application granted granted Critical
Publication of KR102070828B1 publication Critical patent/KR102070828B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32—Golf
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 발명의 실시예에 따른 영상 내 특정 개체의 분류 및 검출 방법은, 제 1 컨볼루션 레이어 및 상기 제 1 컨볼루션 레이어의 출력을 이용하는 제 2 컨볼루션 레이어를 포함하는 컨볼루션 뉴럴 네트워크를 통하여 원본 이미지 내의 특정 개체(object)의 종류를 분류하는 단계; 상기 특정 개체가 존재하는 경우에, 상기 제 1 컨볼루션 레이어의 피처맵(Feature Map)의 사이즈에 기초하여 상기 제 2 컨볼루션 레이어의 피처맵의 대표 이미지를 업샘플링(upsampling)하여 업샘플링 이미지를 생성하는 단계; 상기 제 1 컨볼루션 레이어의 복수의 피처맵의 대표 이미지를 상기 업샘플링 이미지와 요소별(element-wise) 곱을 수행하여 제 1 특징 이미지를 생성하는 단계; 및 상기 제 1 특징 이미지에 기초하여 검출 이미지를 생성하고 상기 검출 이미지로부터 상기 특정 개체의 형상 및 위치를 검출하는 단계를 포함하는 것을 특징으로 한다.

Description

딥러닝의 활성화 함수 분석을 통한 물체 검출 장치 및 방법{Apparatus And Method for Detecting An Object Through Analyzing Activation Functions Of Deep Neural Network}
본 발명은 영상 내 특정 개체의 분류 및 검출 방법 및 시스템에 관한 것으로, 특히 딥러닝을 이용한 기계 학습에 기초하여 영상 내 특정 개체의 정확한 형태 및 위치 정보를 분류 정보와 함께 제공할 수 있는 방법 및 시스템에 관한 것이다.
최근 알파고와 이세돌 9단의 대결로 인공지능에 대한 관심이 크게 증가하였다. 특히 알파고의 핵심 기술로 알려진 딥러닝에 대한 학계와 산업계의 연구가 폭발적으로 증가하였으며, 딥러닝은 기존에 알려진 인공신경망(ANN: Artificial Neural Network)의 문제점, 즉 베니싱 현상(vanishing problem), 오버피팅(overfitting) 등의 문제를 정류 선형 유닛(ReLU, Rectified Linear Unit)의 개발과 드롭아웃(Drop-out)과 같은 알고리즘 개선으로 성능을 향상시켰다. 또한 GPU(Graphic Processing Units)와 같은 하드웨어의 발전, 그리고 복잡한 구조를 학습시킬 수 있는 빅데이터의 힘 덕분에 최근 여러 분야에 뛰어난 성능을 발휘하고 있다. 이러한 딥러닝 기술은 해외 많은 기업에 의해 빠르게 발전되고 있으며 얼굴인식, 음성인식, 자연어처리, 검색 서비스, 의료 등의 분야에 적용되고 있다.
특히, 최근, 딥러닝을 이용하여 영상 내 특정 물체를 검출하고, 동시에 검출된 물체를 분류하는 응용 연구들에 대한 수요가 폭발적으로 증가하고 있다. 로봇 또는 머신 비전을 이용한 결함 탐상 시스템 등, 다양한 분야에서 특정 물체의 위치 및 형태를 검출하고 동시에 물체의 종류를 분류하는 연구들이 진행되고 있다.
다만, 상술한 응용 분야에서는 복잡한 다량의 학습 데이터(Ground Truth Data)를 입력하여 시스템을 학습시키는 것이 필수적이였다. 즉, 물체의 형태 정보, 분류 정보, 위치 정보 등 복잡하고 다양한 정보를 포함하는 학습 데이터로 빅데이터를 생성하여야만 물체의 분류 및 검출을 동시에 수행하는 것이 가능하였다.
기존 연구의 또다른 문제점은 학습을 통하여 물체의 정확한 형상 및 위치를 추출하는 것은 매우 어려웠다.
따라서, 간단한 학습데이터로 물체의 분류 및 검출을 동시에 수행하면서 물체의 정확한 형상 및 위치를 추출할 수 있는 영상 내 특정 개체의 분류 및 검출 장치에 대한 요구가 점점 커지고 있었다.
본 발명은 상술한 요구에 부응하기 위하여 안출된 것으로, 본 발명에 따르면, 간단한 학습데이터로 학습된 딥러닝 기반의 기계 학습에 기반하여 물체의 분류 및 검출을 동시에 수행하면서 물체의 정확한 형상 및 위치를 추출할 수 있는 영상 내 특정 개체의 분류 및 검출 방법 및 시스템을 제공할 수 있다.
본 발명의 실시예에 따른 영상 내 특정 개체의 분류 및 검출 방법은, 제 1 컨볼루션 레이어 및 상기 제 1 컨볼루션 레이어의 출력을 이용하는 제 2 컨볼루션 레이어를 포함하는 컨볼루션 뉴럴 네트워크를 통하여 원본 이미지 내의 특정 개체(object)의 종류를 분류하는 단계; 상기 특정 개체가 존재하는 경우에, 상기 제 1 컨볼루션 레이어의 피처맵(Feature Map)의 사이즈에 기초하여 상기 제 2 컨볼루션 레이어의 피처맵의 대표 이미지를 업샘플링(upsampling)하여 업샘플링 이미지를 생성하는 단계; 상기 제 1 컨볼루션 레이어의 복수의 피처맵의 대표 이미지를 상기 업샘플링 이미지와 요소별(element-wise) 곱을 수행하여 제 1 특징 이미지를 생성하는 단계; 및 상기 제 1 특징 이미지에 기초하여 검출 이미지를 생성하고 상기 검출 이미지로부터 상기 특정 개체의 형상 및 위치를 검출하는 단계를 포함하는 것을 특징으로 한다.
이 경우, 상기 제 1 컨볼루션 레이어의 복수의 피처맵들의 대표 이미지 및 상기 제 2 컨볼루션 레이어의 복수의 피처맵들의 대표 이미지는 각각 상기 제 1 컨볼루션 레이어의 복수의 피처맵들의 평균 이미지 및 상기 제 2 컨볼루션 레이어의 복수의 피처맵들의 평균 이미지일 수 있다.
또한, 상기 특정 개체의 형상 및 위치를 검출하는 단계는, 상기 검출 이미지를 정규화하는 단계; 정규화된 검출 이미지를 이진화하는 단계 및 이진화된 검출 이미지에 대한 경계면 검출을 수행하는 단계를 포함할 수 있다.
또한, 상기 검출 이미지는 상기 원본 이미지와 크기가 동일할 수 있다.
또한, 상기 컨볼루션 뉴럴 네트워크를 학습 영상 및 상기 학습 영상에 대한 분류명을 포함하는 학습 데이터를 이용하여 기계학습 시키는 단계를 더 포함할 수 있다.
또한, 상기 컨볼루션 뉴럴 네트워크는 상기 제 1 컨볼루션 레이어에 출력을 제공하는 제 3 컨볼루션 레이어를 더 포함하며, 상기 특정 개체의 형상 및 위치를 검출하는 단계는 상기 제 1 특징 이미지를 상기 제 3 컨볼루션 레이어의 사이즈에 기초하여 업샘플링하는 단계; 상기 업샘플링된 제 1 특징 이미지를 상기 제 3 컨볼루션 레이어의 복수의 피처맵의 대표 이미지와 요소별로 곱하여 제 2 특징 이미지를 생성하는 단계 및 상기 제 2 특징 이미지에 기초하여 상기 검출 이미지를 생성하는 단계를 포함할 수 있다.
또한, 상기 영상 내 특정 개체의 분류 및 검출 방법은 분류된 상기 특정 개체의 종류, 상기 특정 개체의 형상 및 위치를 사용자에게 출력하는 단계를 더 포함할 수 있다.
이 때, 상기 특정 개체의 종류는, 피검사대상 표면 결함의 종류를 포함할 수 있다.
또한, 상기 특정 개체의 종류는, 골프 스윙의 궤적이 바람직한 지 또는 바람직하지 않은 지 여부를 포함할 수 있다.
상술한 바와 같이 이루어진 본 발명에 따른 영상 내 특정 개체의 분류 및 검출 방법 및 시스템은 따라서, 본 발명에 따른 영상 내 특정 개체의 분류 및 검출 방법 및 시스템은 머신 비전(Machine Vision)을 이용하여 움직이는 스트립(strip)의 제품 표면의 결함을 실시간으로 검출 및 분류할 수 있다. 또는 골프 스윙의 궤적을 검출하여 스윙 궤적이 바람직한지 여부 등을 판단할 수 있다.
또한, 결함 분류 학습 후 영상 입력만으로 결함 검출(위치 및 형태) 및 분류(결함 종류)를 동시에 수행하는 것이 가능하며, 학습을 위한 GTD(Ground Truth Data)는 분류명(분류 코드) 정보만으로 결함 검출 및 분류를 동시에 학습할 수 있으며, 결함 영상 데이터 검출 및 분류가 일체형으로 이루어져 있다.
또한, 본 발명의 특정 개체의 분류 및 검출 방법은 표면 결함 검출 뿐 아니라, 비파괴 검사와 같은 진단 분야, 스마트 팩토리(Smart Factory) 구현의 필수기술로, 생산 조업 조건에 따른 제품의 품질을 판정하고 이를 이용하여 생산 조건을 최적화하는 기술에도 응용될 수 있다. 물론 이러한 효과들에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 영상 내 특정 개체의 분류 및 검출 시스템에 대한 블록도이다.
도 3은 본 발명의 실시예에 따른 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN)을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 내 특정 개체의 분류 및 검출 시스템의 동작을 설명하기 위한 도면이다.
도 5 및 6은 본 발명의 일 실시예에 따른 영상 내 특정 개체의 분류 및 검출 방법의 구현예를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 내 특정 개체의 분류 및 검출 방법의 구현 예를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 내 특정 개체의 분류 및 검출 방법을 설명하기 위한 순서도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있는 것으로, 이하의 실시예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 또한, 설명의 편의를 위하여 도면에서는 구성 요소들이 그 크기가 과장 또는 축소될 수 있다.
그러나, 이하의 실시예는 이 기술분야에서 통상적인 지식을 가진 자에게 본 발명이 충분히 이해되도록 제공되는 것으로서 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 기술되는 실시예에 한정되는 것은 아니다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 영상 내 특정 개체의 분류 및 검출 시스템에 대한 블록도이다. 도 1에서 나타낸 시스템은 본 발명에 따른 영상 내 특정 개체의 분류 및 검출 방법을 결함 탐상 장치에 적용한 실시예로서, 본 발명은 이에 한정되지 않으며, 당업자라면 다양한 분야에서 본 발명을 활용할 수 있음을 알 수 있다.
도 1 및 도 2를 참조하면, 영상 내 특정 개체의 분류 및 검출 시스템은 영상 취득부(100), 분류 검출부(110) 및 개체 출력부(200)를 포함할 수 있다. 이 경우, 영상 취득부(100)는 카메라 모듈(101)을 포함할 수 있다.
보다 구체적으로, 카메라 모듈(101)은 예를 들어, 제품 표면의 결함 부분에서 빛의 경로가 변하여 카메라에 들어오는 빛의 양 변화를 영상화하여, 결함 부위의 신호 대 잡음비(S/N ratio)를 높여 촬영한 원본 영상을 분류 검출부(110)에 보낼 수 있다. 이 경우, 피검사대상(107), 예를 들어, 가공된 섬유, 철판, 금속 가공물 등 제조공정에서 표면에 결함을 가질 수 있는 물체들이 컨베이어 벨트에 의해 고속으로 지나가는 로딩 시스템(105)이 상기 카메라 모듈(101)의 하부에 배치될 수 있다.
한편, 분류 검출부(110)는 영상 취득부(100)가 취득한 피검사대상(107)에 대한 영상들로부터 사용자가 검출하고자 하는 특정 개체의 종류를 자동으로 분류하고 특정 개체의 정확한 형상 및 위치를 검출할 수 있다. 이 때 분류 검출부(110)는 개체 분류 모듈(120), 검출 여부 판단부(125), 개체 검출 모듈(130) 및 영상 조정부(140)를 포함할 수 있다.
이 경우, 특정 개체는 피검사대상 영상에서 사용자가 검출하고자 하는 개체를 의미하며, 예를 들어, 상술한 피검사대상 물체를 촬영한 영상에서 피검사대상의 표면 결함 등이 될 수 있다.
단, 특정 개체는 상술한 피검사대상의 표면 결함에 한정되지 않으며, 예를 들어, 골프 스윙 궤적 검출 시스템에서 검출하고자 하는 골프 스윙의 궤적 등이 될 수 있다. 다양한 특정 개체에 대한 검출 구현예들은 도 6 내지 도 7에 대한 설명에서 후술하기로 한다.
한편, 분류 검출부(110) 및 분류 검출부(110)의 하부 구성요소들은 컴퓨터 등의 연산 가능한 하드웨어 모듈, 소프트웨어 모듈 또는 하드웨어와 소프트웨어의 결합 등 다양한 형태로 구현될 수 있다.
도 2를 참조하면, 분류 검출부(110)는 개체 분류 모듈(120), 개체 검출 모듈(130), 검출 여부 판단부(125) 및 영상 조정부(140)를 포함할 수 있다. 이때, 분류 검출부(110)는 기계 학습 모드 및 개체 검출 모드의 2개 모드로 동작할 수 있다.
기계 학습 모드에서는 개체 분류 모듈(120)이 학습 데이터(GTD, Ground Truth Data)를 통하여 개체 분류에 대한 학습을 수행할 수 있다.
이 때, 개체 분류 모듈(120)은 영상에 대한 학습을 수행할 수 있는 신경망 회로(Neural Network), 예를 들어 CNN(Convolutional Neural Network)을 포함하여 기계 학습 및 영상 내의 특정 개체의 분류를 수행할 수 있다.
또한, 학습 데이터는 레이블링(labeling)된 GTD(Ground Truth Data)를 통하여 개체 분류 모듈을 기계학습 시킬 수 있다. 예를 들어 학습 데이터는 특정 개체의 복수의 종류의 분류명과 연결된 결함 영상을 포함할 수 있다. 예컨대, 첫 번째 종류의 결함 영상들은 분류명 ‘Scratch’ 또는 “0”과 연결될 수 있으며, 두번째 종류의 결함 영상들은 분류명 ‘Roll Marking’ 또는 “1”와 연결될 수 있으며, 세번째 종류의 결함 영상들은 분류명‘Dig’ 또는 “2”와 연결될 수 있다. 또한 분류 시 결함이 없는 경우에는 결함 영상은 분류명 “No Defect” 또는 “3”으로 분류되어 학습될 수 있다.
즉, 본 발명에 따르면, 학습 데이터는 영상과 영상에 대한 레이블링(예컨대, 결함명 또는 분류명)만이 필요하며, 복잡한 결함의 위치 및 형상 등에 대한 정보는 필요가 없다. 따라서, 본 발명에 따르면, 분류 검출부(110)가 간단한 학습 데이터만을 이용하여 복잡한 분류/검출 등의 연산을 정밀하게 수행할 수 있도록 학습된다는 장점이 있다.
한편, 개체 분류 모듈(120)은 복수의 컨볼루션 레이어와 풀링 레이어를 포함하는 컨볼루션 뉴럴 네트워크를 포함할 수 있다. 설명의 편의를 위하여, 개체 분류 모듈(120)은 제 1 컨볼루션 레이어(124) 및 제 2 컨볼루션 레이어(126) 등의 복수의 컨볼루션 레이어를 포함한다고 가정한다.
상술한 개체 분류 모듈(120)은 기계 학습 모드에서, 학습 데이터를 활용하여 컨볼루션 레이어의 컨볼루션 필터 커널들과 풀링 레이어의 풀링 커널들이 최적의 인수들을 가질 수 있도록 예를 들어, 역전파 알고리즘(Back Propagation) 등의 학습 알고리즘을 통하여 학습(연산)된다.
한편, 개체 검출 모드에서 개체 분류 모듈(120)은 기계 학습 모드에서 학습된 인수들을 모두 포함하는 컨볼루션 필터 커널들과 풀링 커널들을 구비한 상태에서 영상 취득부(100)에서 입력된 피검사대상 영상을 입력 받아 특정 개체의 종류를 분류하여 출력할 수 있다. 개체 분류 모듈(120)의 출력은 검출 여부 판단부(125)에 인가될 수 있다.
이하에서는 도 3을 참조하여 개체 분류 모듈(120)의 동작에 대하여 상세히 설명한다.
도 3를 참조하여 먼저 개체 검출 모드에 대하여 설명하면, 개체 분류 모듈(120)은 제 1 컨볼루션 레이어(124) 및 제 2 컨볼루션 레이어(126)를 포함할 수 있다. 이 경우, 제 2 컨볼루션 레이어(126)는 제 1 컨볼루션 레이어(124)의 후방에 존재한다. 즉, 제 2 컨볼루션 레이어(126)은 제 1 컨볼루션 레이어(124)의 출력을 이용한다.
보다 구체적으로, 제 1 컨볼루션 레이어(124)는 입력된 원본 영상의 사이즈보다 작은 사이즈의 컨볼루션 필터 커널에 기초하여 피처맵(Feature Map, 310)을 추출하게 된다. 컨볼루션 필터 커널은 원본 사이즈보다 작은 크기의 행렬이다. 이 때, 제 1 컨볼루션 레이어(124)는 컨볼루션 필터 커널을 이동시켜 가면서 원본 영상에 곱하여 피처맵을 추출한다. 이 때, 컨볼루션 연산을 완료한 후에, 데이터 활성화를 위하여 추가적으로 활성화 함수, 예를 들어, ReLU 등에 통과시킬 수 있다.
제 1 컨볼루션 레이어(124)를 통과한 후에는 데이터 및 연산량을 줄이기 위하여 풀링 레이어(320)를 통과하게 된다. 이 경우, 풀링 레이어(320)는 피처맵에서 풀링 커널(예를 들어 n x m) 크기만큼의 데이터를 더 작은 사이즈의 데이터로 서브샘플링(Subsampling)한다. 예를 들어, 풀링 커널의 크기가 3 x 3일 때, 9개의 데이터를 평균값, 최대값 또는 그 중 임의의 한 값을 이용하여 하나의 값으로 압축시킬 수 있다.
이와 같이, 개체 분류 모듈(120)의 CNN은 복수의 컨볼루션 레이어(124, 126) 및 풀링 레이어(320)를 반복적으로 통과시켜 연산을 수행한다.
또한, 제 1 컨볼루션 레이어(124) 및 제 2 컨볼루션 레이어(126)에서 수행된 연산 결과가 1차원 행렬이 될 때까지 반복적으로 연산을 수행하고, FC 레이어(Fully Connected Layer, 128)에서 결합될 수 있다.
FC 레이어(128)는 결합된 후에도 결함의 종류가 분류될 때까지 기존의 ANN(Artificial Neural Network)와 유사하게 연산을 계속하여 수행하게 된다. FC 레이어(128)의 연산 결과는 예를 들어, 피검사대상 표면에 있는 결함의 종류, 또는 골프 스윙 궤적이 바람직한지 여부 등이 될 수 있다.
개체 분류 모듈(120)은 기계 학습 모드시 동일한 구조에서 학습 데이터(영상 및 분류명)를 개체 분류 모듈(120)의 입력층과 출력층에 동시에 인가한 후, 역전파 알고리즘 등을 통하여 각 컨볼루션 필터 커널과 풀링 커널의 인수들을 모두 연산하게 된다. 이 때, 연산이 완전히 수행될 수 있도록 충분한 량의 데이터가 필요하다.
한편, 다시 도 2을 참조하면, 검출 여부 판단부(125)는 개체 분류 모듈(120)의 출력을 확인하여, 개체 검출 모듈(130)의 동작이 필요한지 여부를 판단할 수 있다. 예컨대, 검출 여부 판단부(125)는 검출하고자 하는 특정 개체가 없다고 판단할 경우(예를 들어, 분류명이 특정 개체가 없는 경우를 나타내는 경우), 개체 출력부(200)에 특정 개체가 없다는 신호를 인가하여 개체 출력부(200)에서 확인하고자 하는 특정 개체가 없다고 출력할 수 있다.
검출하고자 하는 특정 개체, 예컨대, 피검사대상 물체의 표면 결함이 존재할 경우, 결함 여부 판단부(125)는 개체 검출 모듈(130)이 결함 검출을 수행하도록 동작시킬 수 있다.
개체 검출 모듈(130)은 개체 분류 모듈(120)의 제 1 및 2 컨볼루션 레이어(124, 126) 에서 생성한 복수의 피처맵(Feature Map)들을 이용하여 검출 이미지(133)를 생성할 수 있다.
보다 상세하게, 도 4를 참조하면, 개체 검출 모듈(130)은 제 1 컨볼루션 레이어(124)의 피처맵(피처맵 #3)의 사이즈에 기초하여 제 2 레이어(126)의 피처맵(피처맵 #4)의 대표 이미지(135)를 업샘플링(upsampling)하여 제 1 업샘플링 이미지(137)를 생성한다. 이 경우, 업샘플링은 예를 들어, 영상 보간법(bilinear, bicubic 등)의 방법으로 진행한다.
여기서, 제 2 컨볼루션 레이어(126)는 제 1 컨볼루션 레이어(124)의 후방에 존재하고, 제 1 컨볼루션 레이어(124)는 제 2 컨볼루션 레이어의 전방에 존재한다. 즉, 제 2 컨볼루션 레이어(126)는 제 1 컨볼루션 레이어(124)의 출력을 이용한다.
또한, 제 2 컨볼루션 레이어(126)는 도 3에서 설명한 FC 레이어(124) 바로 전방의 컨볼루션 레이어인 것이 바람직하다.
또한, 대표 이미지(135)는 제 2 레이어(126)의 복수의 피처맵(피처맵 #4)을 대표하는 피처맵으로 예를 들어 제 3 레이어(126)의 복수의 피처맵(피처맵 #4)의 깊이(depth) 방향의 평균값으로 연산된 평균 이미지일 수 있다.
한편 개체 검출 모듈(130)은 제 1 레이어(124)의 복수의 피처맵(피처맵 #3)의 대표 이미지(136) 예를 들어, 평균 이미지와 제 1 업샘플링 이미지(137)의 요소별(element wise) 곱을 구하여 제 1 특징 이미지(138)를 생성할 수 있다.
한편, 개체 검출 모듈(130)은 최종적으로 검출 이미지(133)를 얻을 때까지 상술한 특징 이미지 생성 동작을 반복하게 된다.
예컨대, 개체 검출 모듈(130)은 제 1 특징 이미지(138)를 제 1 컨볼루션 레이어 전방의 제 3 컨볼루션 레이어(127)의 피처맵(피처맵 #2)의 사이즈에 기초하여 업샘플링하고 제 2 업샘플링 이미지(134)를 생성한다. 그리고, 개체 검출 모듈(130)은 제 3 컨볼루션 레이어(127)의 복수의 피처맵들의 대표 이미지(131)를 제 2 업샘플링 이미지(134)와 요소별로 곱하여 제 2 특징 이미지(132)를 생성할 수 있다. 그리고, 개체 검출 모듈(130)은 제 2 특징 이미지(132)에 기초하여 검출 이미지(133)를 생성한다.
이 때, 검출 이미지(133)는 예컨대, 사이즈가 원본 영상의 사이즈와 동일해 질 때까지 상술한 동작을 반복하여 생성된다. 여기서, 제 1 또는 제 2 특징 이미지에 ‘기초하여 검출 이미지가 생성된다’는 것은 상술한 업샘플링 동작 및 요소별 곱 연산의 반복에 의하여 검출 이미지(133)가 생성되는 것을 의미한다.
다시, 도 2를 참조하면, 영상 조정부(140)는 정규화부(143), 이진화부(145) 및 경계면 검출부(147)을 포함할 수 있으며, 검출 이미지(133)에 기초하여 최종적으로 특정 개체를 검출하게 된다.
이 경우, 정규화부(143)는 특정 개체의 특징 패턴 인식을 위하여 검출 이미지(133)에 대한 영상 정규화(normalization)를 수행한다. 예를 들어, 정규화부(143)는 검출 이미지(133)의 x,y 좌표에 해당하는 값(f(x,y))의 최대값(max(f(x,y)))과의 비(f(x,y)/max(f(x.y)))를 이용하여 검출 이미지(133)를 정규화할 수 있다.
이진화부(145)는 정규화된 검출 이미지(133)을 이진화한다. 예를 들어, 정규화된 검출 이미지(133)는 Otsu 이진화 방법 또는 단순히 임계값을 이용한 이진화 방법 등을 이용하여 이진화될 수 있다. 이진화된 검출 이미지(133)는 경계면 검출 알고리즘의 시드 포인트(seed point)로 사용된다.
경계면 검출부(147)는 이진화된 검출 이미지(133)에 대하여 경계면 검출 알고리즘을 수행하며, 이진화된 검출 이미지(133)를 시드 포인트로 활용하여 확인하고자 하는 특정 개체의 경계면을 검출한다.
보다 상세하게, 경계면 검출부(147)는 워터쉐드(watershed), 그래프 분할(graph-partitioning) 알고리즘 등을 사용하여 경계면 검출 알고리즘을 이용하여 특정 개체의 형태 및 위치 등의 정보를 생성하여 개체 출력부(200)에 출력할 수 있다.
마지막으로, 개체 출력부(200)는 개체 분류 모듈(120)에서 분류된 분류 정보, 영상 조정부(140)에서 출력한 특정 개체의 형태 및 위치 정보 등을 결합하여 확인하고자 하는 특정 개체에 대한 정확한 정보를 출력할 수 있다.
또한, 개체 출력부(120)는 특정 개체의 종류, 형태 및 위치를 모니터 등의 디스플레이를 통하여 사용자에게 즉각 출력할 수 있으며, 또는 데이터 베이스에 저장할 수도 있다. 이 경우, 개체 출력부(200)에 저장된 영상 및 분류명은 분류 검출부(110)의 기계 학습을 위한 빅데이터로서 저장될 수 있다.
이하에서는 도 5를 참조하여 본 발명의 실시예에 따른 영상 내 특정 개체의 분류 및 검출 방법의 구현예에 대하여 상세히 설명한다.
도 5를 참조하면, 본 발명에 따른 영상 내 특정 개체의 분류 및 검출 시스템을 이용한 결함 탐상 장치(100)의 영상을 통해 장애물 검출을 실험한 구현 예이다.
도 6에서 피검사 대상(107)의 영상(520)은 CNN을 통하여 복수의 피처맵을 가지게 된다 도 5의 피처맵(520-1 내지 520-5)들은 복수의 컨볼루션 레이어에서 생성한 피처맵들의 대표 이미지(본 실시예에서는 평균 이미지(F1 내지 F5))를 나타낸다.
이 경우, 제 2 컨볼루션 레이어(126)의 복수의 피처맵들의 대표 이미지(520-5)는 8ⅹ8 이미지이며, 제 1 컨볼루션 레이어(124)의 피처맵(520-4)의 사이즈(16ⅹ16)에 기초하여 업샘플링(upsampling, upscaling)되어 업샘플링 이미지를 생성한다.
생성된 업샘플링 이미지는 제 2 컨볼루션 레이어의 전방의 제 1 컨볼루션 레이어의 대표 이미지(520-4)와 요소별(element-wise)로 곱해져서 제 1 특징 이미지(M4)를 생성한다.
한편, 이러한 연산은 최종적인 검출 이미지(M1)이 생성될 때까지 반복된다.
예컨대, 제 1 컨볼루션 레이어 전방의 제 3 컨볼루션 레이어의 피처맵들의 대표 이미지(520-3)는 제 1 특징 이미지(M4)를 업샘플링한 이미지와 요소별로 곱해져서 제 2 특징 이미지(M3)를 생성한다. 또한, 제 3 컨볼루션 레이어 전방의 제 2 컨볼루션 레이어의 피처맵들의 대표 이미지(520-2)는 제 2 특징 이미지(M4)를 업샘플링한 이미지와 요소별로 곱해져서 제 3 특징 이미지(M2)를 생성한다.
마지막으로 원본 이미지와 동일한 사이즈의 제 4 컨볼루션 레이어의 피처맵들의 대표 이미지(520-1)는 제 3 특징 이미지(M3)를 업샘플링한 이미지와 요소별로 곱해져서 검출 이미지(M1)을 생성한다.
이 때, 검출 이미지(M1)는 바람직하게는 원본 영상인 하부 영역(sub-region, 520)의 영상과 동일한 크기를 가지게 된다.
상술한 바와 같이 검출 이미지(M1)는 영상 조정부(140)에서 정규화, 이진화 및 경계면 검출 알고리즘을 거쳐 형상과 위치가 검출되게 된다.
도 5에서 알 수 있는 바와 같이, 본 발명에 따르면, 검출하고자 하는 특정 개체(결함)이 CNN 네트워크의 피처맵들에서 분류 검출된 특징들에 의하여 표시되며 정확한 형상 및 위치의 검출이 가능하다는 것을 알 수 있다. 또한, 학습 데이터 준비도 영상 및 분류명 레이블링만으로 간략하게 준비될 수 있다.
도 6(a) 및 도 6(b)는 본 발명에 따른 영상 내 특정 개체의 분류 및 검출 시스템을 이용하여 금속 표면의 흠집 부분과 롤 마크의 결함부분을 검출한 것이다. 본 발명의 실시예에 따르면, 원본 영상의 결함 부분에 기초하여 자동적으로 최종적인 결함 영상을 획득할 수 있다.
이하에서는 도 7을 참조하여 본 발명의 또 다른 실시예에 대하여 상세히 설명한다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 특정 개체의 분류 및 검출 시스템은 골프 스윙 궤적 검출 시스템(700)으로 구현되며, 분류 검출부(110), 영상 취득부(100)을 포함한다.
이 경우, 분류 검출부(110)는 개체 분류 모듈(120), 검출 여부 판단부(125), 개체 검출 모듈(130) 및 영상 조정부(140)을 포함할 수 있다. 또한, 통신부(150)를 포함할 수 있다.
단, 골프 스윙 궤적 검출 시스템(700)으로 구현된 특정 개체의 분류 및 검출 시스템은 개체 검출 모드로만 동작될 수 있다.
골프 스윙 궤적 검출 시스템(700)의 분류 검출부(110)는 별도의 서버(110-1)에서 학습된 컨볼루션 필터 커널 및 풀링 커널의 인수를 구비하고, 개체 검출 모드로만 동작할 수도 있다.
본 실시예는, 골프 스윙 궤적 검출 시스템(700)에서 영상 내에 특정 개체로서 골프 스윙 궤적을 검출하고, 골프 스윙이 바람직한 지 여부를 분류하는 실시예이다.
이 경우, 학습 데이터는 기존의 골프 스윙 궤적 영상에 골프 스윙의 궤적이 바람직한 궤적일 경우 분류명“1”, 바람직하지 않을 경우 분류명“2”, 전선 또는 전봇대가 존재하지 않는 경우 분류명 “0”이 결합된 것일 수 있다.
분류 검출부(110)는 상술한 학습 데이터를 통하여 충분히 기계 학습되며, 분류 검출부(110) 내의 컨볼루션 필터 커널 및 풀링 커널의 인수들이 기계학습을 통하여 정해진다.
그 후, 분류 검출부(110)는 학습된 컨볼루션 필터 커널 및 풀링 커널의 인수들을 구비한 상태에서 사용자가 골프채를 스윙하는 경우에 골프채의 헤드부의 스윙 궤적(710)을 포함하는 영상을 취득한 후, 스윙 궤적(710)을 분류 및 검출하여 스윙 자세가 바람직한지 또는 바람직하지 않은지에 대한 정보를 사용자에게 제공할 수 있다.
도 8은 본 발명의 실시예에 따른 영상 내 특정 개체의 분류 및 검출 방법에 대한 순서도이다.
도 8을 참조하면, 먼저, 충분히 학습된 CNN을 통해 이미지 내의 검출하고자 하는 특정 개체의 종류를 분류할 수 있다(단계 S700) 보다 상세하게, 영상 취득부(100)를 통해 취득된 영상을 분류 검출부(110)에 입력하면 개체 분류 모듈(120)의 복수의 컨볼루션 레이어에서는 각 레이어 별로 피처맵을 추출할 수 있다.
이때, 검출 여부 판단부(125)는 개체 분류 모듈(120)의 출력을 통하여 검출하고자 하는 특정 개체의 존재 여부를 판단할 수 있다(단계 S710)
이때, 특정 개체가 존재하지 않을 경우, 결함이 없다고 출력될 수 있으며, (단계 S720) 특정 개체가 존재할 경우, 결함 여부 판단부(125)는 개체 검출 모듈(130)가 동작하도록 제어할 수 있다.
보다 상세하게는, 특정 개체가 존재할 경우, 개체 검출 모듈(130)은 제 2 컨볼루션 레이어(126)의 피처맵들의 대표 이미지(135)를 업샘플링(upsampling)하여 업샘플링 이미지(137)를 생성할 수 있다. (단계 S730)
이때, 제 2 컨볼루션 레이어(126)의 전방에 있는 제 1 컨볼루션 레이어(124)의 복수의 피처맵의 대표 이미지(136)를 업샘플링 이미지(137)와 요소별로 곱하여 제 1 특징 이미지(138)를 생성한다. (단계 S740)
상술한 업샘플링 동작 및 요소별 곱 연산은 최종적인 검출 이미지(133)를 얻을 때까지 반복된다.
보다 구체적으로 제 1 특징 이미지(138)를 업샘플링하고(단계 S750), 제 1 컨볼루션 레이어의 전방의 제 3 컨볼루션 레이어의 피처맵들의 대표 이미지(131)를 업샘플링된 제 1 특징 이미지(134)와 요소별로 곱하여 제 2 특징 이미지(132)를 생성한다.(단계 S760)
상술한 과정을 통하여 제 1 특징 이미지(132)에 기초하여 검출 이미지(133)를 생성할 수 있다.(단계 S770)
이때, 검출 이미지(133)는 영상 취득부(100)에서 입력 받은 영상과 사이즈가 동일한 것이 바람직하다.
마지막으로, 영상 조정부(140)는 검출 이미지(133)에 기초하여 특정 개체의 위치를 검출할 수 있다. (단계 S780)
보다 상세하게, 영상 조정부(140)는 검출 이미지(133)의 정규화, 이진화 및 경계면 검출 알고리즘을 수행하여 결함의 정확한 형상 및 위치를 결정할 수 있다.
따라서, 본 발명에 따른 영상 내 특정 개체의 분류 및 검출 방법 및 시스템은 머신 비전(Machine Vision)을 이용하여 움직이는 스트립(strip)의 제품 표면의 결함을 실시간으로 검출 및 분류할 수 있다. 또는 골프 스윙의 궤적을 검출하여 스윙 궤적이 바람직한지 여부 등을 판단할 수 있다.
또한, 결함 분류 학습 후 영상 입력만으로 결함 검출(위치 및 형태) 및 분류(결함 종류)를 동시에 수행하는 것이 가능하며, 학습을 위한 GTD(Ground Truth Data)는 분류명(분류 코드) 정보만으로 결함 검출 및 분류를 동시에 학습할 수 있으며, 결함 영상 데이터 검출 및 분류가 일체형으로 이루어져 있다.
또한, 본 발명의 특정 개체의 분류 및 검출 방법은 표면 결함 검출 뿐만 아니라, 비파괴 검사와 같은 진단 분야, 스마트 팩토리(Smart Factory) 구현의 필수기술로, 생산 조업 조건에 따른 제품의 품질을 판정하고 이를 이용하여 생산 조건을 최적화하는 기술에도 응용될 수 있다.
한편, 본 발명의 상세한 설명 및 첨부도면에서는 구체적인 실시예에 관해 설명하였으나, 본 발명은 개시된 실시예에 한정되지 않고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다. 따라서, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들을 포함하는 것으로 해석되어야 할 것이다.
100: 영상 취득부
110: 분류 검출부
120: 개체 출력부
120: 개체 분류 모듈
130: 개체 검출 모듈
140: 영상 조정부

Claims (9)

  1. 제 1 컨볼루션 레이어 및 상기 제 1 컨볼루션 레이어의 출력을 이용하는 제 2 컨볼루션 레이어를 포함하는 컨볼루션 뉴럴 네트워크를 통하여 원본 이미지 내의 특정 개체(object)의 종류를 분류하는 단계;
    상기 특정 개체가 존재하는 경우에, 상기 제 1 컨볼루션 레이어의 피처맵(Feature Map)의 사이즈에 기초하여 상기 제 2 컨볼루션 레이어의 피처맵의 대표 이미지를 업샘플링(upsampling)하여 업샘플링 이미지를 생성하는 단계;
    상기 제 1 컨볼루션 레이어의 복수의 피처맵의 대표 이미지를 상기 업샘플링 이미지와 요소별(element-wise) 곱을 수행하여 제 1 특징 이미지를 생성하는 단계;
    상기 제 1 특징 이미지에 기초하여 검출 이미지를 생성하고 상기 검출 이미지로부터 상기 특정 개체의 형상 및 위치를 검출하는 단계; 및
    상기 특정 개체가 존재하는 경우에, 분류된 상기 특정 개체의 종류, 상기 특정 개체의 형상 및 위치를 사용자에게 출력하는 단계
    를 포함하는,
    영상 내 특정 개체의 분류 및 검출 방법.
  2. 제 1 항에 있어서,
    상기 제 1 컨볼루션 레이어의 복수의 피처맵들의 대표 이미지 및 상기 제 2 컨볼루션 레이어의 복수의 피처맵들의 대표 이미지는 각각 상기 제 1 컨볼루션 레이어의 복수의 피처맵들의 평균 이미지 및 상기 제 2 컨볼루션 레이어의 복수의 피처맵들의 평균 이미지인,
    영상 내 특정 개체의 분류 및 검출 방법.
  3. 제 1 항에 있어서,
    상기 특정 개체의 형상 및 위치를 검출하는 단계는, 상기 검출 이미지를 정규화하는 단계;
    정규화된 검출 이미지를 이진화하는 단계 및
    이진화된 검출 이미지에 대한 경계면 검출을 수행하는 단계를 포함하는,
    영상 내 특정 개체의 분류 및 검출 방법.
  4. 제 1 항에 있어서,
    상기 검출 이미지는 상기 원본 이미지와 크기가 동일한,
    영상 내 특정 개체의 분류 및 검출 방법.
  5. 제 1 항에 있어서,
    상기 컨볼루션 뉴럴 네트워크를 학습 영상 및 상기 학습 영상에 대한 분류명을 포함하는 학습 데이터를 이용하여 기계학습 시키는 단계를 더 포함하는,
    영상 내 특정 개체의 분류 및 검출 방법.
  6. 제 1 항에 있어서,
    상기 컨볼루션 뉴럴 네트워크는 상기 제 1 컨볼루션 레이어에 출력을 제공하는 제 3 컨볼루션 레이어를 더 포함하며,
    상기 특정 개체의 형상 및 위치를 검출하는 단계는 상기 제 1 특징 이미지를 상기 제 3 컨볼루션 레이어의 사이즈에 기초하여 업샘플링하는 단계;
    상기 업샘플링된 제 1 특징 이미지를 상기 제 3 컨볼루션 레이어의 복수의 피처맵의 대표 이미지와 요소별로 곱하여 제 2 특징 이미지를 생성하는 단계 및
    상기 제 2 특징 이미지에 기초하여 상기 검출 이미지를 생성하는 단계를 포함하는,
    영상 내 특정 개체의 분류 및 검출 방법.
  7. 제 1 항에 있어서,
    상기 대표 이미지는 상기 제 2 컨볼루션 레이어의 복수의 피처맵의 깊이 방향의 평균값으로 연산된 평균 이미지인,
    영상 내 특정 개체의 분류 및 검출 방법.
  8. 제 1 항에 있어서,
    상기 특정 개체의 종류는, 피검사대상 표면 결함의 종류를 포함하는,
    영상 내 특정 개체의 분류 및 검출 방법.
  9. 제 1 항에 있어서,
    상기 특정 개체의 종류는, 골프 스윙의 궤적이 바람직한 지 또는 바람직하지 않은 지 여부를 포함하는,
    영상 내 특정 개체의 분류 및 검출 방법.
KR1020170144934A 2017-11-01 2017-11-01 딥러닝의 활성화 함수 분석을 통한 물체 검출 장치 및 방법 KR102070828B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170144934A KR102070828B1 (ko) 2017-11-01 2017-11-01 딥러닝의 활성화 함수 분석을 통한 물체 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170144934A KR102070828B1 (ko) 2017-11-01 2017-11-01 딥러닝의 활성화 함수 분석을 통한 물체 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190049278A KR20190049278A (ko) 2019-05-09
KR102070828B1 true KR102070828B1 (ko) 2020-01-30

Family

ID=66546752

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170144934A KR102070828B1 (ko) 2017-11-01 2017-11-01 딥러닝의 활성화 함수 분석을 통한 물체 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102070828B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102063859B1 (ko) * 2019-07-05 2020-02-11 주식회사 딥노이드 Ai 및 딥러닝 기반의 공항 보안 검색 시스템 및 방법
US11435719B2 (en) * 2019-09-27 2022-09-06 Samsung Display Co., Ltd. System and method for identifying manufacturing defects
KR102260405B1 (ko) * 2019-11-25 2021-06-03 재단법인대구경북과학기술원 인공신경망을 이용한 탑승객 인식 방법 및 그 장치
KR102369293B1 (ko) * 2020-07-06 2022-03-03 한국생산기술연구원 듀얼 딥러닝을 이용한 제품의 내부 결함 검사 시스템 및 방법
CN112966603B (zh) * 2021-03-05 2022-03-08 哈尔滨市科佳通用机电股份有限公司 一种铁路货车渡板脱落的故障识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101492336B1 (ko) 2013-09-24 2015-02-11 서울여자대학교 산학협력단 금속품의 크랙 자동 검출 시스템 및 그 검출 방법
KR101719549B1 (ko) * 2016-01-07 2017-03-24 (주)아이엠시티 차량 번호판 인식을 위한 영상처리방법 및 이를 이용한 차량 번호판 인식 장치
KR101743270B1 (ko) * 2017-03-08 2017-06-05 (주)나인정보시스템 다수의 플랑크톤이 응집 혹은 산재해 있는 현미경 영상에서 딥러닝을 이용하여 개개 플랑크톤을 분리 및 인식하는 방법
US20170287137A1 (en) 2016-03-31 2017-10-05 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101492336B1 (ko) 2013-09-24 2015-02-11 서울여자대학교 산학협력단 금속품의 크랙 자동 검출 시스템 및 그 검출 방법
KR101719549B1 (ko) * 2016-01-07 2017-03-24 (주)아이엠시티 차량 번호판 인식을 위한 영상처리방법 및 이를 이용한 차량 번호판 인식 장치
US20170287137A1 (en) 2016-03-31 2017-10-05 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
KR101743270B1 (ko) * 2017-03-08 2017-06-05 (주)나인정보시스템 다수의 플랑크톤이 응집 혹은 산재해 있는 현미경 영상에서 딥러닝을 이용하여 개개 플랑크톤을 분리 및 인식하는 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
H. Noh, S. Hong, B.Han, Learning Deconvolution Network for Semantic Segmentation, Department of Computer Science and Engineering, POSTECH, Korea, 2017, 12월 1부*

Also Published As

Publication number Publication date
KR20190049278A (ko) 2019-05-09

Similar Documents

Publication Publication Date Title
KR102070828B1 (ko) 딥러닝의 활성화 함수 분석을 통한 물체 검출 장치 및 방법
CN108334848B (zh) 一种基于生成对抗网络的微小人脸识别方法
Hoang Ngan Le et al. Robust hand detection and classification in vehicles and in the wild
Hicsonmez et al. GANILLA: Generative adversarial networks for image to illustration translation
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
Dubey et al. Fruit and vegetable recognition by fusing colour and texture features of the image using machine learning
CN110765833A (zh) 一种基于深度学习的人群密度估计方法
Wang et al. A coupled encoder–decoder network for joint face detection and landmark localization
Dawar et al. Continuous detection and recognition of actions of interest among actions of non-interest using a depth camera
CN112580617A (zh) 自然场景下的表情识别方法和装置
Nemani et al. Deep learning based holistic speaker independent visual speech recognition
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及系统
CN114529462A (zh) 一种基于改进YOLO V3-Tiny的毫米波图像目标检测方法及系统
He et al. CBAM-YOLOv5: a promising network model for wear particle recognition
CN114565753A (zh) 一种基于改进YOLOv4网络的无人机小目标识别方法
Pyingkodi et al. Fruits Quality Detection using Deep Learning Models: A Meta-Analysis
Pavan et al. Human Action Recognition in Still Images Using SIFT Key Points
Gao et al. Research on edge detection and image segmentation of cabinet region based on edge computing joint image detection algorithm
Bhavani Automated Attendance System and Voice Assistance using Face Recognition
Ahmed et al. Unconstrained Arabic scene text analysis using concurrent invariant points
Feng et al. A progressive deep learning framework for fine-grained primate behavior recognition
Zhou et al. A lightweight object detection framework for underwater imagery with joint image restoration and color transformation
Harshavardhan et al. Detection of Various Plant Leaf Diseases Using Deep Learning Techniques
Poornima et al. Recognition of Indian sign language alphanumeric gestures based on global features
Shah Automatic human face texture analysis for age and gender recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant