KR102026139B1 - 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치 및 그 동작 방법 - Google Patents

특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102026139B1
KR102026139B1 KR1020190059864A KR20190059864A KR102026139B1 KR 102026139 B1 KR102026139 B1 KR 102026139B1 KR 1020190059864 A KR1020190059864 A KR 1020190059864A KR 20190059864 A KR20190059864 A KR 20190059864A KR 102026139 B1 KR102026139 B1 KR 102026139B1
Authority
KR
South Korea
Prior art keywords
feature map
merge
region
feature
convolution filters
Prior art date
Application number
KR1020190059864A
Other languages
English (en)
Inventor
배승환
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020190059864A priority Critical patent/KR102026139B1/ko
Application granted granted Critical
Publication of KR102026139B1 publication Critical patent/KR102026139B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06K9/46—
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치 및 그 동작 방법이 개시된다. 본 발명은 기존의 합성곱신경망(Convolutional Neural Network: CNN) 방식이 단순히 입력 이미지에 콘볼루션 필터를 적용하여 객체 식별을 위한 학습 모델을 생성하는 알고리즘을 제시하고 있는 것에 반해, 입력 이미지의 특징맵을 기본 영역, 상단, 하단, 좌측, 우측 영역으로 각각 분할한 후 각 영역에서의 특징맵의 병합을 수행하여 객체 식별을 위한 학습 모델을 생성하는 알고리즘을 제시함으로써, 입력 이미지의 다양한 영역이 학습 모델 생성에 중복해서 반영될 수 있도록 하여 기존의 CNN 방식보다 높은 정확도의 학습 모델이 생성될 수 있도록 지원할 수 있다.

Description

특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치 및 그 동작 방법{ELECTRONIC DEVICE FOR PERFORMING MACHINE LEARNING BASED OBJECT IDENTIFICATION THROUGH REGION SEGMENTATION AND MERGING OF FEATURE MAPS AND OPERATING METHOD THEREOF}
본 발명은 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치 및 그 동작 방법에 대한 것이다.
최근, 인공지능 기술의 발전으로 인해 인공지능 기술을 이용해서 이미지에 존재하는 객체가 무엇인지를 판정하는 딥러닝 기술의 연구가 활발히 이루어지고 있다.
이미지에 존재하는 객체를 판정하는 방법으로 합성곱신경망(Convolutional Neural Network: CNN) 기술이 주로 사용되고 있다.
CNN은 입력 이미지에 대해 소정의 콘볼루션 필터를 적용하여 이미지의 특징 추출을 위한 특징맵의 생성 과정을 반복수행하고, 이를 기초로 전연결계층(fully connected layer)을 생성한 후 분류기를 통해 상기 입력 이미지의 객체가 무엇인지를 확률적으로 연산하여 그 연산 결과 값에 따른 손실(loss)이 최소화되도록 상기 콘볼루션 필터의 가중치를 학습시키는 방식을 의미한다.
이렇게, 이미지에서 객체가 무엇인지를 식별할 수 있는 기술은 객체의 식별을 통해 소정의 출입 감지를 수행해야 하는 보안 시스템이나 도로 상에 사람이 존재하는지 여부에 따라 안전 관리를 수행해야 하는 도로 교통 시스템 등에서 널리 활용될 수 있다.
따라서, 이미지로부터 객체를 식별하는 기술의 성능을 보다 향상시킬 수 있는 기법에 대한 연구가 수행될 필요가 있다.
본 발명은 기존의 합성곱신경망(Convolutional Neural Network: CNN) 방식이 단순히 입력 이미지에 콘볼루션 필터를 적용하여 객체 식별을 위한 학습 모델을 생성하는 알고리즘을 제시하고 있는 것에 반해, 입력 이미지의 특징맵을 기본 영역, 상단, 하단, 좌측, 우측 영역으로 각각 분할한 후 각 영역에서의 특징맵의 병합을 수행하여 객체 식별을 위한 학습 모델을 생성하는 알고리즘을 제시함으로써, 입력 이미지의 다양한 영역이 학습 모델 생성에 중복해서 반영될 수 있도록 하여 기존의 CNN 방식보다 높은 정확도의 학습 모델이 생성될 수 있도록 지원하고자 한다.
본 발명의 일실시예에 따른 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치는 입력 이미지에 대해 복수의 콘볼루션 필터들을 기초로 한 특징 추출을 연쇄적으로 수행하여 상기 입력 이미지에 대한 n(n은 3이상의 자연수)채널의 제1 특징맵을 생성하는 제1 특징맵 생성부, 상기 제1 특징맵에서 객체 식별을 위한 기설정된(predetermined) 크기를 갖는 관심 영역을 설정하고, 상기 제1 특징맵으로부터 상기 관심 영역에 대응하는 제1 부분 특징맵을 추출하는 부분 특징맵 추출부, 상기 제1 부분 특징맵을 기설정된 제1 분할 지점을 기초로 좌측 영역과 우측 영역으로 분할하여 상기 좌측 영역에 대응하는 좌측 영역 특징맵과 상기 우측 영역에 대응하는 우측 영역 특징맵을 생성하고, 상기 제1 부분 특징맵을 기설정된 제2 분할 지점을 기초로 상단 영역과 하단 영역으로 분할하여 상기 상단 영역에 대응하는 상단 영역 특징맵과 상기 하단 영역에 대응하는 하단 영역 특징맵을 생성하는 영역 분할부, 상기 좌측 영역 특징맵과 상기 우측 영역 특징맵을 병합하여 k(k는 n보다 작은 2이상의 자연수임)채널의 제1 병합 특징맵을 생성하고, 상기 상단 영역 특징맵과 상기 하단 영역 특징맵을 병합하여 k채널의 제2 병합 특징맵을 생성한 후 상기 제1 병합 특징맵과 상기 제2 병합 특징맵을 병합하여 k채널의 제3 병합 특징맵을 생성하는 병합 특징맵 생성부, 상기 제1 부분 특징맵에 대해 i(i는 n보다 큰 자연수임)개의 제1 콘볼루션 필터들을 적용하여 상기 제3 병합 특징맵과 동일한 크기를 갖는 i채널의 제1 대응 특징맵을 생성한 후 상기 제1 대응 특징맵과 상기 제3 병합 특징맵을 병합하여 i채널의 최종 병합 특징맵을 생성하는 최종 병합부 및 상기 최종 병합 특징맵을 기초로 객체 분류를 위한 기계학습을 수행함으로써, 상기 복수의 콘볼루션 필터들과 상기 제1 콘볼루션 필터들의 가중치를 결정하는 학습 수행부를 포함한다.
또한, 본 발명의 일실시예에 따른 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 동작 방법은 입력 이미지에 대해 복수의 콘볼루션 필터들을 기초로 한 특징 추출을 연쇄적으로 수행하여 상기 입력 이미지에 대한 n(n은 3이상의 자연수)채널의 제1 특징맵을 생성하는 단계, 상기 제1 특징맵에서 객체 식별을 위한 기설정된 크기를 갖는 관심 영역을 설정하고, 상기 제1 특징맵으로부터 상기 관심 영역에 대응하는 제1 부분 특징맵을 추출하는 단계, 상기 제1 부분 특징맵을 기설정된 제1 분할 지점을 기초로 좌측 영역과 우측 영역으로 분할하여 상기 좌측 영역에 대응하는 좌측 영역 특징맵과 상기 우측 영역에 대응하는 우측 영역 특징맵을 생성하고, 상기 제1 부분 특징맵을 기설정된 제2 분할 지점을 기초로 상단 영역과 하단 영역으로 분할하여 상기 상단 영역에 대응하는 상단 영역 특징맵과 상기 하단 영역에 대응하는 하단 영역 특징맵을 생성하는 단계, 상기 좌측 영역 특징맵과 상기 우측 영역 특징맵을 병합하여 k(k는 n보다 작은 2이상의 자연수임)채널의 제1 병합 특징맵을 생성하고, 상기 상단 영역 특징맵과 상기 하단 영역 특징맵을 병합하여 k채널의 제2 병합 특징맵을 생성한 후 상기 제1 병합 특징맵과 상기 제2 병합 특징맵을 병합하여 k채널의 제3 병합 특징맵을 생성하는 단계, 상기 제1 부분 특징맵에 대해 i(i는 n보다 큰 자연수임)개의 제1 콘볼루션 필터들을 적용하여 상기 제3 병합 특징맵과 동일한 크기를 갖는 i채널의 제1 대응 특징맵을 생성한 후 상기 제1 대응 특징맵과 상기 제3 병합 특징맵을 병합하여 i채널의 최종 병합 특징맵을 생성하는 단계 및 상기 최종 병합 특징맵을 기초로 객체 분류를 위한 기계학습을 수행함으로써, 상기 복수의 콘볼루션 필터들과 상기 제1 콘볼루션 필터들의 가중치를 결정하는 단계를 포함한다.
본 발명은 기존의 합성곱신경망(Convolutional Neural Network: CNN) 방식이 단순히 입력 이미지에 콘볼루션 필터를 적용하여 객체 식별을 위한 학습 모델을 생성하는 알고리즘을 제시하고 있는 것에 반해, 입력 이미지의 특징맵을 기본 영역, 상단, 하단, 좌측, 우측 영역으로 각각 분할한 후 각 영역에서의 특징맵의 병합을 수행하여 객체 식별을 위한 학습 모델을 생성하는 알고리즘을 제시함으로써, 입력 이미지의 다양한 영역이 학습 모델 생성에 중복해서 반영될 수 있도록 하여 기존의 CNN 방식보다 높은 정확도의 학습 모델이 생성될 수 있도록 지원할 수 있다.
도 1은 본 발명의 일실시예에 따른 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치를 설명하기 위한 프레임워크를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 동작 방법을 도시한 순서도이다.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.
도 1은 본 발명의 일실시예에 따른 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 구조를 도시한 도면이고, 도 2는 상기 전자 장치를 설명하기 위한 프레임워크를 도시한 도면이다.
도 1을 참조하면, 본 발명에 따른 전자 장치(110)는 제1 특징맵 생성부(111), 부분 특징맵 추출부(112), 영역 분할부(113), 병합 특징맵 생성부(114), 최종 병합부(115) 및 학습 수행부(116)를 포함한다.
제1 특징맵 생성부(111)는 입력 이미지(211)에 대해 도면부호 212에 도시된 그림과 같이, 복수의 콘볼루션 필터들을 기초로 한 특징 추출을 연쇄적으로 수행하여 상기 입력 이미지(211)에 대한 n(n은 3이상의 자연수)채널의 제1 특징맵을 생성한다.
여기서, 제1 특징맵 생성부(111)는 상기 입력 이미지(211)를 합성곱신경망(Convolutional Neural Network: CNN) 방식에 따라 복수의 콘볼루션 계층을 통과시킴으로써, 상기 제1 특징맵을 생성할 수 있다.
관련해서, 제1 특징맵 생성부(111)는 첫 번째 콘볼루션 계층에서 상기 입력 이미지(211)에 대해 소정 개수의 콘볼루션 필터들을 적용하고, ReLU(Rectified Linear Unit)와 같은 활성화 함수를 적용하여 상기 콘볼루션 필터들의 개수에 대응하는 채널을 갖는 특징맵을 생성한 후 해당 특징맵에서 max pooling을 적용함으로써, 상기 첫 번째 콘볼루션 계층을 통과한 출력 특징맵을 생성할 수 있다. 그러고 나서, 제1 특징맵 생성부(111)는 상기 출력 특징맵에 대해 두 번째, 세 번째, 네 번째 콘볼루션 계층을 연쇄적으로 통과시켜서 상기 제1 특징맵을 생성할 수 있다.
부분 특징맵 추출부(112)는 상기 제1 특징맵에서 객체 인식을 위한 기설정된(predetermined) 크기를 갖는 관심 영역을 설정하고, 상기 제1 특징맵으로부터 상기 관심 영역에 대응하는 제1 부분 특징맵을 추출한다.
관련해서, 부분 특징맵 추출부(112)는 제1 특징맵에 대응하는 이미지의 각 화소에 대응하는 색상 값을 기초로 객체가 존재하는 것으로 판단되는 영역을 확인한 후 상기 객체가 존재하는 것으로 판단되는 영역을 기준으로 상기 관심 영역을 설정한 후 상기 제1 특징맵으로부터 상기 관심 영역에 대응하는 제1 부분 특징맵을 추출할 수 있다.
이와 관련해서, 도면부호 213에서 'S=1'로 표시한 부분의 그림과 같이, 부분 특징맵 추출부(112)는 상기 제1 특징맵에서 상기 관심 영역에 대응하는 제1 부분 특징맵을 추출할 수 있다.
이때, 본 발명의 일실시예에 따르면, 부분 특징맵 추출부(112)는 도면부호 213에서 도시한 그림과 같이 상기 관심 영역의 크기를 변화시켜, 크기가 변환된 관심 영역에 대응하는 서로 다른 크기의 상기 제1 부분 특징맵을 추가적으로 추출할 수 있다.
관련해서, 상기 관심 영역을 도면부호 213에서 'S=1'로 표시한 영역이라고 하는 경우, 부분 특징맵 추출부(112)는 상기 제1 특징맵으로부터 상기 관심 영역(S=1)에 대응하는 제1 부분 특징맵을 추출함과 동시에, 상기 관심 영역의 크기를 'S=0.7'배만큼 감소시켜, 상기 제1 특징맵으로부터 감소된 관심 영역에 대응하는 제1 부분 특징맵을 추가로 추출할 수 있고, 상기 관심 영역의 크기를 'S=1.2'배만큼 증가시켜, 상기 제1 특징맵으로부터 증가된 관심 영역에 대응하는 제1 부분 특징맵을 추가로 추출할 수 있다.
이렇게, 상기 제1 부분 특징맵의 추출이 완료되면, 영역 분할부(113)는 도면부호 214에 도시된 그림과 같이, 상기 제1 부분 특징맵을 기설정된 제1 분할 지점을 기초로 좌측 영역과 우측 영역으로 분할하여 상기 좌측 영역에 대응하는 좌측 영역 특징맵(x1 left)과 상기 우측 영역에 대응하는 우측 영역 특징맵(x1 right)을 생성하고, 상기 제1 부분 특징맵을 기설정된 제2 분할 지점을 기초로 상단 영역과 하단 영역으로 분할하여 상기 상단 영역에 대응하는 상단 영역 특징맵(x1 upper)과 상기 하단 영역에 대응하는 하단 영역 특징맵(x1 bottom)을 생성한다.
이때, 본 발명의 일실시예에 따르면, 영역 분할부(113)는 제1 분할부(117) 및 제2 분할부(118)를 포함할 수 있다.
제1 분할부(117)는 상기 제1 부분 특징맵을 상기 기설정된 제1 분할 지점을 기초로 상기 좌측 영역과 상기 우측 영역으로 분할한 후 상기 제1 부분 특징맵의 상기 좌측 영역과 상기 우측 영역 각각에서 특징 값을 선택하기 위한 풀링(pooling)을 수행함으로써, 상기 기설정된 크기에 대비하여 제1 비율(상기 제1 비율은 1보다 작은 값임)의 크기를 갖는 상기 좌측 영역 특징맵(x1 left)과 상기 우측 영역 특징맵(x1 right)을 생성할 수 있다.
제2 분할부(118)는 상기 제1 부분 특징맵을 상기 기설정된 제2 분할 지점을 기초로 상기 상단 영역과 상기 하단 영역으로 분할한 후 상기 제1 부분 특징맵의 상기 상단 영역과 상기 하단 영역 각각에서 특징 값을 선택하기 위한 풀링을 수행함으로써, 상기 기설정된 크기에 대비하여 상기 제1 비율의 크기를 갖는 상기 상단 영역 특징맵(x1 upper)과 상기 하단 영역 특징맵(x1 bottom)을 생성한다.
예컨대, 상기 제1 부분 특징맵의 크기를 14x14라고 하고, 상기 제1 비율이 '0.5'라고 하는 경우, 제1 분할부(117)는 상기 제1 부분 특징맵의 좌측 영역과 우측 영역 각각에서 49개의 특징 값을 선택하는 풀링을 수행함으로써, 7x7크기를 갖는 상기 좌측 영역 특징맵(x1 left)과 상기 우측 영역 특징맵(x1 right)을 생성할 수 있다.
그리고, 제2 분할부(118)는 상기 제1 부분 특징맵의 상단 영역과 하단 영역 각각에서 49개의 특징 값을 선택하는 풀링을 수행함으로써, 7x7크기를 갖는 상기 상단 영역 특징맵(x1 upper)과 상기 하단 영역 특징맵(x1 bottom)을 생성할 수 있다.
병합 특징맵 생성부(114)는 도면부호 215에 도시된 그림과 같이, 상기 좌측 영역 특징맵(x1 left)과 상기 우측 영역 특징맵(x1 right)을 병합하여 k(k는 n보다 작은 2이상의 자연수임)채널의 제1 병합 특징맵(x2 l/r)을 생성하고, 도면부호 216에 도시된 그림과 같이, 상기 상단 영역 특징맵(x1 upper)과 상기 하단 영역 특징맵(x1 bottom)을 병합하여 k채널의 제2 병합 특징맵(x2 b/t)을 생성한 후 도면부호 217에 도시된 그림과 같이, 상기 제1 병합 특징맵(x2 l/r)과 상기 제2 병합 특징맵(x2 b/t)을 병합하여 k채널의 제3 병합 특징맵(x3 comb)을 생성한다.
이때, 본 발명의 일실시예에 따르면, 병합 특징맵 생성부(114)는 좌측 변환 특징맵 생성부(119), 우측 변환 특징맵 생성부(120), 제1 병합 특징맵 생성부(121)를 포함할 수 있다.
좌측 변환 특징맵 생성부(119)는 상기 좌측 영역 특징맵(x1 left)에 k개의 제1 병합용 콘볼루션 필터들을 적용하고, 상기 제1 병합용 콘볼루션 필터들에 따른 연산 값에 대해 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 좌측 변환 특징맵을 생성한다.
우측 변환 특징맵 생성부(120)는 상기 우측 영역 특징맵(x1 right)에 k개의 제2 병합용 콘볼루션 필터들을 적용하고, 상기 제2 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 우측 변환 특징맵을 생성한다.
제1 병합 특징맵 생성부(121)는 상기 좌측 변환 특징맵과 상기 우측 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 제1 병합 특징맵(x2 l/r)을 생성한다.
예컨대, k를 256이라고 하는 경우, 좌측 변환 특징맵 생성부(119)는 도면부호 220에 도시된 그림과 같이, 상기 좌측 영역 특징맵(x1 left)에 256개의 제1 병합용 콘볼루션 필터들을 적용하고, 상기 제1 병합용 콘볼루션 필터들에 따른 연산 값에 대해 ReLU와 같은 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, 256채널의 좌측 변환 특징맵을 생성할 수 있고, 우측 변환 특징맵 생성부(120)는 상기 우측 영역 특징맵(x1 right)에 256개의 제2 병합용 콘볼루션 필터들을 적용하고, 상기 제2 병합용 콘볼루션 필터들에 따른 연산 값에 대해 ReLU와 같은 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, 256채널의 우측 변환 특징맵을 생성할 수 있다.
그러고 나서, 제1 병합 특징맵 생성부(121)는 상기 좌측 변환 특징맵과 상기 우측 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값(Max)을 갖는 특징 값을 선택함으로써, 도면부호 215에 도시된 그림과 같이, 256채널의 상기 제1 병합 특징맵(x2 l/r)을 생성할 수 있다.
이때, 본 발명의 일실시예에 따르면, 병합 특징맵 생성부(114)는 상단 변환 특징맵 생성부(122), 하단 변환 특징맵 생성부(123) 및 제2 병합 특징맵 생성부(124)를 더 포함할 수 있다.
상단 변환 특징맵 생성부(122)는 상기 상단 영역 특징맵(x1 upper)에 k개의 제3 병합용 콘볼루션 필터들을 적용하고, 상기 제3 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 상단 변환 특징맵을 생성한다.
하단 변환 특징맵 생성부(123)는 상기 하단 영역 특징맵(x1 bottom)에 k개의 제4 병합용 콘볼루션 필터들을 적용하고, 상기 제4 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 하단 변환 특징맵을 생성한다.
제2 병합 특징맵 생성부(124)는 상기 상단 변환 특징맵과 상기 하단 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 제2 병합 특징맵(x2 b/t)을 생성한다.
예컨대, k를 256이라고 하는 경우, 상단 변환 특징맵 생성부(122)는 도면부호 220에 도시된 그림과 같이, 상기 상단 영역 특징맵(x1 upper)에 256개의 제3 병합용 콘볼루션 필터들을 적용하고, 상기 제3 병합용 콘볼루션 필터들에 따른 연산 값에 대해 ReLU와 같은 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, 256채널의 상단 변환 특징맵을 생성할 수 있고, 하단 변환 특징맵 생성부(123)는 상기 하단 영역 특징맵(x1 bottom)에 256개의 제4 병합용 콘볼루션 필터들을 적용하고, 상기 제4 병합용 콘볼루션 필터들에 따른 연산 값에 대해 ReLU와 같은 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, 256채널의 하단 변환 특징맵을 생성할 수 있다.
그러고 나서, 제2 병합 특징맵 생성부(124)는 상기 상단 변환 특징맵과 상기 하단 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값(Max)을 갖는 특징 값을 선택함으로써, 도면부호 216에 도시된 그림과 같이, 256채널의 상기 제2 병합 특징맵(x2 b/t)을 생성할 수 있다.
이때, 본 발명의 일실시예에 따르면, 병합 특징맵 생성부(114)는 제1 변환 특징맵 생성부(125), 제2 변환 특징맵 생성부(126) 및 제3 병합 특징맵 생성부(127)를 더 포함할 수 있다.
제1 변환 특징맵 생성부(125)는 상기 제1 병합 특징맵(x2 l/r)과 상기 제2 병합 특징맵(x2 b/t)이 생성되면, 상기 제1 병합 특징맵(x2 l/r)에 k개의 제5 병합용 콘볼루션 필터들을 적용하고, 상기 제5 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 제1 변환 특징맵을 생성한다.
제2 변환 특징맵 생성부(126)는 상기 제2 병합 특징맵(x2 b/t)에 k개의 제6 병합용 콘볼루션 필터들을 적용하고, 상기 제6 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 제2 변환 특징맵을 생성한다.
제3 병합 특징맵 생성부(127)는 상기 제1 변환 특징맵과 상기 제2 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 제3 병합 특징맵(x3 comb)을 생성한다.
예컨대, k를 256이라고 하는 경우, 제1 변환 특징맵 생성부(125)는 도면부호 220에 도시된 그림과 같이, 상기 제1 병합 특징맵(x2 l/r)에 256개의 제5 병합용 콘볼루션 필터들을 적용하고, 상기 제5 병합용 콘볼루션 필터들에 따른 연산 값에 대해 ReLU와 같은 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, 256채널의 제1 변환 특징맵을 생성할 수 있고, 제2 변환 특징맵 생성부(126)는 상기 제2 병합 특징맵(x2 b/t)에 256개의 제6 병합용 콘볼루션 필터들을 적용하고, 상기 제6 병합용 콘볼루션 필터들에 따른 연산 값에 대해 ReLU와 같은 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, 256채널의 제2 변환 특징맵을 생성할 수 있다.
그러고 나서, 제3 병합 특징맵 생성부(127)는 상기 제1 변환 특징맵과 상기 제2 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값(Max)을 갖는 특징 값을 선택함으로써, 도면부호 217에 도시된 그림과 같이, 256채널의 상기 제3 병합 특징맵(x3 comb)을 생성할 수 있다.
최종 병합부(115)는 도면부호 218에 도시된 그림과 같이, 상기 제1 부분 특징맵에 대해 i(i는 n보다 큰 자연수임)개의 제1 콘볼루션 필터들을 적용하여 상기 제3 병합 특징맵과 동일한 크기를 갖는 i채널의 제1 대응 특징맵(xwhole)을 생성한 후 도면부호 219에 도시된 그림과 같이, 상기 제1 대응 특징맵(xwhole)과 상기 제3 병합 특징맵(x3 comb)을 병합하여 i채널의 최종 병합 특징맵(x4 comb)을 생성한다.
이때, 본 발명의 일실시예에 따르면, 최종 병합부(115)는 제1 대응 특징맵 생성부(128), 제1 최종 변환 특징맵 생성부(129), 제2 최종 변환 특징맵 생성부(130) 및 최종 병합 특징맵 생성부(131)를 포함할 수 있다.
제1 대응 특징맵 생성부(128)는 상기 제1 부분 특징맵에 대해 도면부호 218에 도시된 그림과 같이, 상기 i개의 제1 콘볼루션 필터들을 적용하여 상기 제3 병합 특징맵(x3 comb)과 동일한 크기를 갖는 i채널의 상기 제1 대응 특징맵(xwhole)을 생성한다.
관련해서, i를 2048이라고 하고, 상기 제3 병합 특징맵(x3 comb)의 크기가 7x7이라고 하는 경우, 제1 대응 특징맵 생성부(128)는 상기 제1 부분 특징맵에 대해 2048개의 제1 콘볼루션 필터들을 적용하여 상기 제3 병합 특징맵(x3 comb)과 동일한 크기를 갖는 7x7크기를 갖는 2048채널의 상기 제1 대응 특징맵(xwhole)을 생성할 수 있다.
제1 최종 변환 특징맵 생성부(129)는 상기 제1 대응 특징맵(xwhole)에 i개의 제1 최종 병합용 콘볼루션 필터들을 적용하고, 상기 제1 최종 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, i채널의 제1 최종 변환 특징맵을 생성한다.
제2 최종 변환 특징맵 생성부(130)는 상기 제3 병합 특징맵(x3 comb)에 i개의 제2 최종 병합용 콘볼루션 필터들을 적용하고, 상기 제2 최종 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, i채널의 제2 최종 변환 특징맵을 생성한다.
최종 병합 특징맵 생성부(131)는 상기 제1 최종 변환 특징맵과 상기 제2 최종 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 최종 병합 특징맵(x4 comb)을 생성한다.
예컨대, 전술한 예시와 같이, i를 2048이라고 하는 경우, 제1 최종 변환 특징맵 생성부(129)는 도면부호 220에 도시된 그림과 같이, 상기 제1 대응 특징맵(xwhole)에 2048개의 제1 최종 병합용 콘볼루션 필터들을 적용하고, 상기 제1 최종 병합용 콘볼루션 필터들에 따른 연산 값에 대해 ReLU와 같은 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, 2048채널의 제1 최종 변환 변환 특징맵을 생성할 수 있고, 제2 최종 변환 특징맵 생성부(130)는 상기 제3 병합 특징맵(x3 comb)에 2048개의 제2 최종 병합용 콘볼루션 필터들을 적용하고, 상기 제2 최종 병합용 콘볼루션 필터들에 따른 연산 값에 대해 ReLU와 같은 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, 2048채널의 제2 최종 변환 특징맵을 생성할 수 있다.
그러고 나서, 최종 병합 특징맵 생성부(131)는 상기 제1 최종 변환 특징맵과 상기 제2 최종 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값(Max)을 갖는 특징 값을 선택함으로써, 도면부호 219에 도시된 그림과 같이, 2048채널의 상기 최종 병합 특징맵(x4 comb)을 생성할 수 있다.
학습 수행부(116)는 상기 최종 병합 특징맵(x4 comb)을 기초로 객체 분류를 위한 기계학습을 수행함으로써, 상기 복수의 콘볼루션 필터들과 상기 제1 콘볼루션 필터들의 가중치를 결정한다.
이때, 본 발명의 일실시예에 따르면, 학습 수행부(116)는 상기 최종 병합 특징맵(x4 comb)을 기초로 객체 분류를 위한 기계학습을 수행함으로써, 상기 복수의 콘볼루션 필터들과 상기 제1 콘볼루션 필터들의 가중치를 결정함과 동시에, 상기 제1, 제2, 제3, 제4, 제5, 제6 병합용 콘볼루션 필터들과 상기 제1, 제2 최종 병합용 콘볼루션 필터들의 가중치를 결정할 수 있다.
관련해서, 학습 수행부(116)는 상기 최종 병합 특징맵(x4 comb)을 기초로 전연결계층(fully connected layer)을 생성한 후 분류기를 통해 상기 입력 이미지의 객체가 무엇인지를 확률적으로 연산하여 그 연산 결과 값에 따른 손실(loss)이 최소화되도록 상기 복수의 콘볼루션 필터들, 상기 제1 콘볼루션 필터들, 상기 제1, 제2, 제3, 제4, 제5, 제6 병합용 콘볼루션 필터들과 상기 제1, 제2 최종 병합용 콘볼루션 필터들의 가중치를 학습시킬 수 있다.
이때, 학습 수행부(116)는 상기 소정의 손실함수를 기초로 손실 값을 연산하고, 상기 손실 값에 기초하여 역전파(backpropagation) 처리를 수행함으로써, 각 콘볼루션 필터들의 가중치를 결정하기 위한 기계학습을 수행할 수 있다.
본 발명의 일실시예에 따르면, 전자 장치(110)는 도면부호 213에 도시된 그림과 같이, 부분 특징맵 추출부(112)에 의해 관심 영역의 크기를 변경시키면서 상기 제1 특징맵으로부터 복수의 제1 부분 특징맵들이 추출된 경우, 상기 복수의 제1 부분 특징맵들 각각에 대해 본 발명에 따른 기계학습 과정을 반복 수행함으로써, 각 콘볼루션 필터들의 가중치를 결정할 수 있다.
결국, 본 발명에 따른 전자 장치(110)는 기존의 CNN 방식이 단순히 입력 이미지에 콘볼루션 필터를 적용하여 객체 식별을 위한 학습 모델을 생성하는 알고리즘을 제시하고 있는 것에 반해, 입력 이미지의 특징맵을 기본 영역, 상단, 하단, 좌측, 우측 영역으로 각각 분할한 후 각 영역에서의 특징맵의 병합을 수행하여 객체 식별을 위한 학습 모델을 생성하는 알고리즘을 제시함으로써, 입력 이미지의 다양한 영역이 학습 모델 생성에 중복해서 반영될 수 있도록 하여 기존의 CNN 방식보다 높은 정확도의 학습 모델이 생성될 수 있도록 지원할 수 있다.
도 3은 본 발명의 일실시예에 따른 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 동작 방법을 도시한 순서도이다.
단계(S310)에서는 입력 이미지에 대해 복수의 콘볼루션 필터들을 기초로 한 특징 추출을 연쇄적으로 수행하여 상기 입력 이미지에 대한 n(n은 3이상의 자연수)채널의 제1 특징맵을 생성한다.
단계(S320)에서는 상기 제1 특징맵에서 객체 인식을 위한 기설정된 크기를 갖는 관심 영역을 설정하고, 상기 제1 특징맵으로부터 상기 관심 영역에 대응하는 제1 부분 특징맵을 추출한다.
단계(S330)에서는 상기 제1 부분 특징맵을 기설정된 제1 분할 지점을 기초로 좌측 영역과 우측 영역으로 분할하여 상기 좌측 영역에 대응하는 좌측 영역 특징맵과 상기 우측 영역에 대응하는 우측 영역 특징맵을 생성하고, 상기 제1 부분 특징맵을 기설정된 제2 분할 지점을 기초로 상단 영역과 하단 영역으로 분할하여 상기 상단 영역에 대응하는 상단 영역 특징맵과 상기 하단 영역에 대응하는 하단 영역 특징맵을 생성한다.
단계(S340)에서는 상기 좌측 영역 특징맵과 상기 우측 영역 특징맵을 병합하여 k(k는 n보다 작은 2이상의 자연수임)채널의 제1 병합 특징맵을 생성하고, 상기 상단 영역 특징맵과 상기 하단 영역 특징맵을 병합하여 k채널의 제2 병합 특징맵을 생성한 후 상기 제1 병합 특징맵과 상기 제2 병합 특징맵을 병합하여 k채널의 제3 병합 특징맵을 생성한다.
단계(S350)에서는 상기 제1 부분 특징맵에 대해 i(i는 n보다 큰 자연수임)개의 제1 콘볼루션 필터들을 적용하여 상기 제3 병합 특징맵과 동일한 크기를 갖는 i채널의 제1 대응 특징맵을 생성한 후 상기 제1 대응 특징맵과 상기 제3 병합 특징맵을 병합하여 i채널의 최종 병합 특징맵을 생성한다.
단계(S360)에서는 상기 최종 병합 특징맵을 기초로 객체 분류를 위한 기계학습을 수행함으로써, 상기 복수의 콘볼루션 필터들과 상기 제1 콘볼루션 필터들의 가중치를 결정한다.
이때, 본 발명의 일실시예에 따르면, 단계(S330)에서는 상기 제1 부분 특징맵을 상기 기설정된 제1 분할 지점을 기초로 상기 좌측 영역과 상기 우측 영역으로 분할한 후 상기 제1 부분 특징맵의 상기 좌측 영역과 상기 우측 영역 각각에서 특징 값을 선택하기 위한 풀링(pooling)을 수행함으로써, 상기 기설정된 크기에 대비하여 제1 비율(상기 제1 비율은 1보다 작은 값임)의 크기를 갖는 상기 좌측 영역 특징맵과 상기 우측 영역 특징맵을 생성하는 단계 및 상기 제1 부분 특징맵을 상기 기설정된 제2 분할 지점을 기초로 상기 상단 영역과 상기 하단 영역으로 분할한 후 상기 제1 부분 특징맵의 상기 상단 영역과 상기 하단 영역 각각에서 특징 값을 선택하기 위한 풀링을 수행함으로써, 상기 기설정된 크기에 대비하여 상기 제1 비율의 크기를 갖는 상기 상단 영역 특징맵과 상기 하단 영역 특징맵을 생성하는 단계를 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S340)에서는 상기 좌측 영역 특징맵에 k개의 제1 병합용 콘볼루션 필터들을 적용하고, 상기 제1 병합용 콘볼루션 필터들에 따른 연산 값에 대해 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 좌측 변환 특징맵을 생성하는 단계, 상기 우측 영역 특징맵에 k개의 제2 병합용 콘볼루션 필터들을 적용하고, 상기 제2 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 우측 변환 특징맵을 생성하는 단계 및 상기 좌측 변환 특징맵과 상기 우측 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 제1 병합 특징맵을 생성하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 단계(S340)에서는 상기 상단 영역 특징맵에 k개의 제3 병합용 콘볼루션 필터들을 적용하고, 상기 제3 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 상단 변환 특징맵을 생성하는 단계, 상기 하단 영역 특징맵에 k개의 제4 병합용 콘볼루션 필터들을 적용하고, 상기 제4 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 하단 변환 특징맵을 생성하는 단계 및 상기 상단 변환 특징맵과 상기 하단 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 제2 병합 특징맵을 생성하는 단계를 더 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 단계(S340)에서는 상기 제1 병합 특징맵과 상기 제2 병합 특징맵이 생성되면, 상기 제1 병합 특징맵에 k개의 제5 병합용 콘볼루션 필터들을 적용하고, 상기 제5 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 제1 변환 특징맵을 생성하는 단계, 상기 제2 병합 특징맵에 k개의 제6 병합용 콘볼루션 필터들을 적용하고, 상기 제6 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 제2 변환 특징맵을 생성하는 단계 및 상기 제1 변환 특징맵과 상기 제2 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 제3 병합 특징맵을 생성하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S350)에서는 상기 제1 부분 특징맵에 대해 상기 i개의 제1 콘볼루션 필터들을 적용하여 상기 제3 병합 특징맵과 동일한 크기를 갖는 i채널의 상기 제1 대응 특징맵을 생성하는 단계, 상기 제1 대응 특징맵에 i개의 제1 최종 병합용 콘볼루션 필터들을 적용하고, 상기 제1 최종 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, i채널의 제1 최종 변환 특징맵을 생성하는 단계, 상기 제3 병합 특징맵에 i개의 제2 최종 병합용 콘볼루션 필터들을 적용하고, 상기 제2 최종 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, i채널의 제2 최종 변환 특징맵을 생성하는 단계 및 상기 제1 최종 변환 특징맵과 상기 제2 최종 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 최종 병합 특징맵을 생성하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 단계(S360)에서는 상기 최종 병합 특징맵을 기초로 객체 분류를 위한 기계학습을 수행함으로써, 상기 복수의 콘볼루션 필터들과 상기 제1 콘볼루션 필터들의 가중치를 결정함과 동시에, 상기 제1, 제2, 제3, 제4, 제5, 제6 병합용 콘볼루션 필터들과 상기 제1, 제2 최종 병합용 콘볼루션 필터들의 가중치를 결정할 수 있다.
이상, 도 3을 참조하여 본 발명의 일실시예에 따른 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 동작 방법은 도 1과 도 2를 이용하여 설명한 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명의 일실시예에 따른 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치
111: 제1 특징맵 생성부 112: 부분 특징맵 추출부
113: 영역 분할부 114: 병합 특징맵 생성부
115: 최종 병합부 116: 학습 수행부
117: 제1 분할부 118: 제2 분할부
119: 좌측 변환 특징맵 생성부 120: 우측 변환 특징맵 생성부
121: 제1 병합 특징맵 생성부 122: 상단 변환 특징맵 생성부
123: 하단 변환 특징맵 생성부 124: 제2 병합 특징맵 생성부
125: 제1 변환 특징맵 생성부 126: 제2 변환 특징맵 생성부
127: 제3 병합 특징맵 생성부 128: 제1 대응 특징맵 생성부
129: 제1 최종 변환 특징맵 생성부 130: 제2 최종 변환 특징맵 생성부
131: 최종 병합 특징맵 생성부

Claims (16)

  1. 입력 이미지에 대해 복수의 콘볼루션 필터들을 기초로 한 특징 추출을 연쇄적으로 수행하여 상기 입력 이미지에 대한 n(n은 3이상의 자연수)채널의 제1 특징맵을 생성하는 제1 특징맵 생성부;
    상기 제1 특징맵에서 객체 인식을 위한 기설정된(predetermined) 크기를 갖는 관심 영역을 설정하고, 상기 제1 특징맵으로부터 상기 관심 영역에 대응하는 제1 부분 특징맵을 추출하는 부분 특징맵 추출부;
    상기 제1 부분 특징맵을 기설정된 제1 분할 지점을 기초로 좌측 영역과 우측 영역으로 분할하여 상기 좌측 영역에 대응하는 좌측 영역 특징맵과 상기 우측 영역에 대응하는 우측 영역 특징맵을 생성하고, 상기 제1 부분 특징맵을 기설정된 제2 분할 지점을 기초로 상단 영역과 하단 영역으로 분할하여 상기 상단 영역에 대응하는 상단 영역 특징맵과 상기 하단 영역에 대응하는 하단 영역 특징맵을 생성하는 영역 분할부;
    상기 좌측 영역 특징맵과 상기 우측 영역 특징맵을 병합하여 k(k는 n보다 작은 2이상의 자연수임)채널의 제1 병합 특징맵을 생성하고, 상기 상단 영역 특징맵과 상기 하단 영역 특징맵을 병합하여 k채널의 제2 병합 특징맵을 생성한 후 상기 제1 병합 특징맵과 상기 제2 병합 특징맵을 병합하여 k채널의 제3 병합 특징맵을 생성하는 병합 특징맵 생성부;
    상기 제1 부분 특징맵에 대해 i(i는 n보다 큰 자연수임)개의 제1 콘볼루션 필터들을 적용하여 상기 제3 병합 특징맵과 동일한 크기를 갖는 i채널의 제1 대응 특징맵을 생성한 후 상기 제1 대응 특징맵과 상기 제3 병합 특징맵을 병합하여 i채널의 최종 병합 특징맵을 생성하는 최종 병합부; 및
    상기 최종 병합 특징맵을 기초로 객체 분류를 위한 기계학습을 수행함으로써, 상기 복수의 콘볼루션 필터들과 상기 제1 콘볼루션 필터들의 가중치를 결정하는 학습 수행부
    를 포함하는 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치.
  2. 제1항에 있어서,
    상기 영역 분할부는
    상기 제1 부분 특징맵을 상기 기설정된 제1 분할 지점을 기초로 상기 좌측 영역과 상기 우측 영역으로 분할한 후 상기 제1 부분 특징맵의 상기 좌측 영역과 상기 우측 영역 각각에서 특징 값을 선택하기 위한 풀링(pooling)을 수행함으로써, 상기 기설정된 크기에 대비하여 제1 비율 - 상기 제1 비율은 1보다 작은 값임 - 의 크기를 갖는 상기 좌측 영역 특징맵과 상기 우측 영역 특징맵을 생성하는 제1 분할부; 및
    상기 제1 부분 특징맵을 상기 기설정된 제2 분할 지점을 기초로 상기 상단 영역과 상기 하단 영역으로 분할한 후 상기 제1 부분 특징맵의 상기 상단 영역과 상기 하단 영역 각각에서 특징 값을 선택하기 위한 풀링을 수행함으로써, 상기 기설정된 크기에 대비하여 상기 제1 비율의 크기를 갖는 상기 상단 영역 특징맵과 상기 하단 영역 특징맵을 생성하는 제2 분할부
    를 포함하는 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치.
  3. 제1항에 있어서,
    상기 병합 특징맵 생성부는
    상기 좌측 영역 특징맵에 k개의 제1 병합용 콘볼루션 필터들을 적용하고, 상기 제1 병합용 콘볼루션 필터들에 따른 연산 값에 대해 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 좌측 변환 특징맵을 생성하는 좌측 변환 특징맵 생성부;
    상기 우측 영역 특징맵에 k개의 제2 병합용 콘볼루션 필터들을 적용하고, 상기 제2 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 우측 변환 특징맵을 생성하는 우측 변환 특징맵 생성부; 및
    상기 좌측 변환 특징맵과 상기 우측 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 제1 병합 특징맵을 생성하는 제1 병합 특징맵 생성부
    를 포함하는 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치.
  4. 제3항에 있어서,
    상기 병합 특징맵 생성부는
    상기 상단 영역 특징맵에 k개의 제3 병합용 콘볼루션 필터들을 적용하고, 상기 제3 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 상단 변환 특징맵을 생성하는 상단 변환 특징맵 생성부;
    상기 하단 영역 특징맵에 k개의 제4 병합용 콘볼루션 필터들을 적용하고, 상기 제4 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 하단 변환 특징맵을 생성하는 하단 변환 특징맵 생성부; 및
    상기 상단 변환 특징맵과 상기 하단 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 제2 병합 특징맵을 생성하는 제2 병합 특징맵 생성부
    를 더 포함하는 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치.
  5. 제4항에 있어서,
    상기 병합 특징맵 생성부는
    상기 제1 병합 특징맵과 상기 제2 병합 특징맵이 생성되면, 상기 제1 병합 특징맵에 k개의 제5 병합용 콘볼루션 필터들을 적용하고, 상기 제5 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 제1 변환 특징맵을 생성하는 제1 변환 특징맵 생성부;
    상기 제2 병합 특징맵에 k개의 제6 병합용 콘볼루션 필터들을 적용하고, 상기 제6 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 제2 변환 특징맵을 생성하는 제2 변환 특징맵 생성부; 및
    상기 제1 변환 특징맵과 상기 제2 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 제3 병합 특징맵을 생성하는 제3 병합 특징맵 생성부
    를 더 포함하는 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치.
  6. 제5항에 있어서,
    상기 최종 병합부는
    상기 제1 부분 특징맵에 대해 상기 i개의 제1 콘볼루션 필터들을 적용하여 상기 제3 병합 특징맵과 동일한 크기를 갖는 i채널의 상기 제1 대응 특징맵을 생성하는 제1 대응 특징맵 생성부;
    상기 제1 대응 특징맵에 i개의 제1 최종 병합용 콘볼루션 필터들을 적용하고, 상기 제1 최종 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, i채널의 제1 최종 변환 특징맵을 생성하는 제1 최종 변환 특징맵 생성부;
    상기 제3 병합 특징맵에 i개의 제2 최종 병합용 콘볼루션 필터들을 적용하고, 상기 제2 최종 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, i채널의 제2 최종 변환 특징맵을 생성하는 제2 최종 변환 특징맵 생성부; 및
    상기 제1 최종 변환 특징맵과 상기 제2 최종 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 최종 병합 특징맵을 생성하는 최종 병합 특징맵 생성부
    를 포함하는 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치.
  7. 제6항에 있어서,
    상기 학습 수행부는
    상기 최종 병합 특징맵을 기초로 객체 분류를 위한 기계학습을 수행함으로써, 상기 복수의 콘볼루션 필터들과 상기 제1 콘볼루션 필터들의 가중치를 결정함과 동시에, 상기 제1, 제2, 제3, 제4, 제5, 제6 병합용 콘볼루션 필터들과 상기 제1, 제2 최종 병합용 콘볼루션 필터들의 가중치를 결정하는 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치.
  8. 입력 이미지에 대해 복수의 콘볼루션 필터들을 기초로 한 특징 추출을 연쇄적으로 수행하여 상기 입력 이미지에 대한 n(n은 3이상의 자연수)채널의 제1 특징맵을 생성하는 단계;
    상기 제1 특징맵에서 객체 인식을 위한 기설정된(predetermined) 크기를 갖는 관심 영역을 설정하고, 상기 제1 특징맵으로부터 상기 관심 영역에 대응하는 제1 부분 특징맵을 추출하는 단계;
    상기 제1 부분 특징맵을 기설정된 제1 분할 지점을 기초로 좌측 영역과 우측 영역으로 분할하여 상기 좌측 영역에 대응하는 좌측 영역 특징맵과 상기 우측 영역에 대응하는 우측 영역 특징맵을 생성하고, 상기 제1 부분 특징맵을 기설정된 제2 분할 지점을 기초로 상단 영역과 하단 영역으로 분할하여 상기 상단 영역에 대응하는 상단 영역 특징맵과 상기 하단 영역에 대응하는 하단 영역 특징맵을 생성하는 단계;
    상기 좌측 영역 특징맵과 상기 우측 영역 특징맵을 병합하여 k(k는 n보다 작은 2이상의 자연수임)채널의 제1 병합 특징맵을 생성하고, 상기 상단 영역 특징맵과 상기 하단 영역 특징맵을 병합하여 k채널의 제2 병합 특징맵을 생성한 후 상기 제1 병합 특징맵과 상기 제2 병합 특징맵을 병합하여 k채널의 제3 병합 특징맵을 생성하는 단계;
    상기 제1 부분 특징맵에 대해 i(i는 n보다 큰 자연수임)개의 제1 콘볼루션 필터들을 적용하여 상기 제3 병합 특징맵과 동일한 크기를 갖는 i채널의 제1 대응 특징맵을 생성한 후 상기 제1 대응 특징맵과 상기 제3 병합 특징맵을 병합하여 i채널의 최종 병합 특징맵을 생성하는 단계; 및
    상기 최종 병합 특징맵을 기초로 객체 분류를 위한 기계학습을 수행함으로써, 상기 복수의 콘볼루션 필터들과 상기 제1 콘볼루션 필터들의 가중치를 결정하는 단계
    를 포함하는 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 동작 방법.
  9. 제8항에 있어서,
    상기 하단 영역 특징맵을 생성하는 단계는
    상기 제1 부분 특징맵을 상기 기설정된 제1 분할 지점을 기초로 상기 좌측 영역과 상기 우측 영역으로 분할한 후 상기 제1 부분 특징맵의 상기 좌측 영역과 상기 우측 영역 각각에서 특징 값을 선택하기 위한 풀링(pooling)을 수행함으로써, 상기 기설정된 크기에 대비하여 제1 비율 - 상기 제1 비율은 1보다 작은 값임 - 의 크기를 갖는 상기 좌측 영역 특징맵과 상기 우측 영역 특징맵을 생성하는 단계; 및
    상기 제1 부분 특징맵을 상기 기설정된 제2 분할 지점을 기초로 상기 상단 영역과 상기 하단 영역으로 분할한 후 상기 제1 부분 특징맵의 상기 상단 영역과 상기 하단 영역 각각에서 특징 값을 선택하기 위한 풀링을 수행함으로써, 상기 기설정된 크기에 대비하여 상기 제1 비율의 크기를 갖는 상기 상단 영역 특징맵과 상기 하단 영역 특징맵을 생성하는 단계
    를 포함하는 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 동작 방법.
  10. 제8항에 있어서,
    상기 제3 병합 특징맵을 생성하는 단계는
    상기 좌측 영역 특징맵에 k개의 제1 병합용 콘볼루션 필터들을 적용하고, 상기 제1 병합용 콘볼루션 필터들에 따른 연산 값에 대해 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 좌측 변환 특징맵을 생성하는 단계;
    상기 우측 영역 특징맵에 k개의 제2 병합용 콘볼루션 필터들을 적용하고, 상기 제2 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 우측 변환 특징맵을 생성하는 단계; 및
    상기 좌측 변환 특징맵과 상기 우측 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 제1 병합 특징맵을 생성하는 단계
    를 포함하는 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 동작 방법.
  11. 제10항에 있어서,
    상기 제3 병합 특징맵을 생성하는 단계는
    상기 상단 영역 특징맵에 k개의 제3 병합용 콘볼루션 필터들을 적용하고, 상기 제3 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 상단 변환 특징맵을 생성하는 단계;
    상기 하단 영역 특징맵에 k개의 제4 병합용 콘볼루션 필터들을 적용하고, 상기 제4 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 하단 변환 특징맵을 생성하는 단계; 및
    상기 상단 변환 특징맵과 상기 하단 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 제2 병합 특징맵을 생성하는 단계
    를 더 포함하는 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 동작 방법.
  12. 제11항에 있어서,
    상기 제3 병합 특징맵을 생성하는 단계는
    상기 제1 병합 특징맵과 상기 제2 병합 특징맵이 생성되면, 상기 제1 병합 특징맵에 k개의 제5 병합용 콘볼루션 필터들을 적용하고, 상기 제5 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 제1 변환 특징맵을 생성하는 단계;
    상기 제2 병합 특징맵에 k개의 제6 병합용 콘볼루션 필터들을 적용하고, 상기 제6 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, k채널의 제2 변환 특징맵을 생성하는 단계; 및
    상기 제1 변환 특징맵과 상기 제2 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 제3 병합 특징맵을 생성하는 단계
    를 더 포함하는 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 동작 방법.
  13. 제12항에 있어서,
    상기 최종 병합 특징맵을 생성하는 단계는
    상기 제1 부분 특징맵에 대해 상기 i개의 제1 콘볼루션 필터들을 적용하여 상기 제3 병합 특징맵과 동일한 크기를 갖는 i채널의 상기 제1 대응 특징맵을 생성하는 단계;
    상기 제1 대응 특징맵에 i개의 제1 최종 병합용 콘볼루션 필터들을 적용하고, 상기 제1 최종 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, i채널의 제1 최종 변환 특징맵을 생성하는 단계;
    상기 제3 병합 특징맵에 i개의 제2 최종 병합용 콘볼루션 필터들을 적용하고, 상기 제2 최종 병합용 콘볼루션 필터들에 따른 연산 값에 대해 상기 기설정된 활성화 함수를 기초로 한 특징 값 연산을 수행함으로써, i채널의 제2 최종 변환 특징맵을 생성하는 단계; 및
    상기 제1 최종 변환 특징맵과 상기 제2 최종 변환 특징맵에서 동일 위치에 존재하는 각 특징 값을 서로 비교하여 큰 값을 갖는 특징 값을 선택함으로써, 상기 최종 병합 특징맵을 생성하는 단계
    를 포함하는 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 동작 방법.
  14. 제13항에 있어서,
    상기 가중치를 결정하는 단계는
    상기 최종 병합 특징맵을 기초로 객체 분류를 위한 기계학습을 수행함으로써, 상기 복수의 콘볼루션 필터들과 상기 제1 콘볼루션 필터들의 가중치를 결정함과 동시에, 상기 제1, 제2, 제3, 제4, 제5, 제6 병합용 콘볼루션 필터들과 상기 제1, 제2 최종 병합용 콘볼루션 필터들의 가중치를 결정하는 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치의 동작 방법.
  15. 제8항 내지 제14항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  16. 제8항 내지 제14항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.
KR1020190059864A 2019-05-22 2019-05-22 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치 및 그 동작 방법 KR102026139B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190059864A KR102026139B1 (ko) 2019-05-22 2019-05-22 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190059864A KR102026139B1 (ko) 2019-05-22 2019-05-22 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR102026139B1 true KR102026139B1 (ko) 2019-09-27

Family

ID=68096938

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190059864A KR102026139B1 (ko) 2019-05-22 2019-05-22 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102026139B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233128A (zh) * 2020-10-15 2021-01-15 推想医疗科技股份有限公司 图像分割方法及模型的训练方法、装置、介质、电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101903437B1 (ko) * 2017-06-30 2018-10-04 동국대학교 산학협력단 딥 레지듀얼 러닝 기반 눈 개폐 분류 장치 및 방법
KR20190071079A (ko) * 2017-12-14 2019-06-24 삼성전자주식회사 영상 인식 방법 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101903437B1 (ko) * 2017-06-30 2018-10-04 동국대학교 산학협력단 딥 레지듀얼 러닝 기반 눈 개폐 분류 장치 및 방법
KR20190071079A (ko) * 2017-12-14 2019-06-24 삼성전자주식회사 영상 인식 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233128A (zh) * 2020-10-15 2021-01-15 推想医疗科技股份有限公司 图像分割方法及模型的训练方法、装置、介质、电子设备
CN112233128B (zh) * 2020-10-15 2021-11-02 推想医疗科技股份有限公司 图像分割方法及模型的训练方法、装置、介质、电子设备

Similar Documents

Publication Publication Date Title
EP3388978B1 (en) Image classification method, electronic device, and storage medium
CN109918969B (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
Dollár et al. Fast edge detection using structured forests
Thai et al. Image classification using support vector machine and artificial neural network
Calderero et al. Region merging techniques using information theory statistical measures
JP5275489B2 (ja) 画像処理装置および方法
US20080187213A1 (en) Fast Landmark Detection Using Regression Methods
KR102261894B1 (ko) 객체인식장치 및 객체인식방법
KR101175597B1 (ko) 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
JP7130905B2 (ja) フィードフォワード畳み込みニューラルネットワークを使用した高速且つ堅牢な皮膚紋理の印のマニューシャの抽出
US11853892B2 (en) Learning to segment via cut-and-paste
CN103279936A (zh) 基于画像的人脸伪照片自动合成及修正方法
KR102138809B1 (ko) 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법
Zeng et al. Reference-based defect detection network
KR20120066462A (ko) 얼굴 인식 방법 및 시스템, 얼굴 인식을 위한 학습용 특징 벡터 추출 장치 및 테스트용 특징 벡터 추출 장치
KR20150024719A (ko) 영상에서 객체를 분리하는 방법 및 장치.
Belagiannis et al. Holistic human pose estimation with regression forests
JP4567660B2 (ja) 電子画像内で物体のセグメントを求める方法
KR102225753B1 (ko) 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치
KR101981284B1 (ko) 이미지 처리 장치 및 방법
KR102166016B1 (ko) 이미지 대 이미지의 변환을 위한 도메인 인식 기반의 변환 기법
KR102026139B1 (ko) 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치 및 그 동작 방법
KR20220122455A (ko) 영상 데이터에 포함된 객체 분할 방법 및 이를 수행하는 장치
US11715197B2 (en) Image segmentation method and device
KR20110057595A (ko) 상호 정보 최대화 기반의 국부 이진 패턴 코드를 이용한 패턴 인식 방법, 장치 및 그 기록 매체

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant