KR20190071079A - 영상 인식 방법 및 그 장치 - Google Patents

영상 인식 방법 및 그 장치 Download PDF

Info

Publication number
KR20190071079A
KR20190071079A KR1020170171815A KR20170171815A KR20190071079A KR 20190071079 A KR20190071079 A KR 20190071079A KR 1020170171815 A KR1020170171815 A KR 1020170171815A KR 20170171815 A KR20170171815 A KR 20170171815A KR 20190071079 A KR20190071079 A KR 20190071079A
Authority
KR
South Korea
Prior art keywords
region
interest
aspect ratio
groups
image recognition
Prior art date
Application number
KR1020170171815A
Other languages
English (en)
Other versions
KR102585216B1 (ko
Inventor
최희민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170171815A priority Critical patent/KR102585216B1/ko
Priority to US16/155,979 priority patent/US10878295B2/en
Publication of KR20190071079A publication Critical patent/KR20190071079A/ko
Application granted granted Critical
Publication of KR102585216B1 publication Critical patent/KR102585216B1/ko

Links

Images

Classifications

    • G06K9/00718—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

영역기반 컨볼루션 뉴럴 네트워크는, 입력 영상으로부터 특징 맵(feature map)을 생성하는 단계, 상기 특징 맵에 관심 영역(Region of Interest; RoI)을 검출하는 단계, 미리 설정된 설정 정보에 따라 상기 관심 영역을 복수의 그룹으로 분류하는 단계, 상기 복수의 그룹으로 분류된 관심 영역을 상기 그룹 각각에 대해 독립적으로(independently) 풀링(pooling)하는 단계 및 상기 풀링 결과에 대해 리그레션(regression) 처리를 수행하고, 영상 분류기(image classifier)를 적용하는 단계를 포함한다.

Description

영상 인식 방법 및 그 장치{APPARATUS AND METHOD FOR RECOGNIZING IMAGE}
영상을 인식하는 방법 및 장치가 개시된다.
대부분의 영역기반 컨볼루션 뉴럴 네트워크는 관심 영역의 종횡비를 고려하지 않고 풀링을 수행한다. 이러한 방식은 관심 영역에 워핑(warping)이 발생하므로 관심 영역의 종횡비 정보가 손실된다. 따라서, 영상 내의 객체의 인식률이 저하될 수 있다.
또한, 현재 이용되고 있는 영역기반 컨볼루션 뉴럴 네트워크는 관심 영역을 미리 정해진 복수의 분할 비율 각각에 대해 디텍션 네트워크를 적용한다. 이러한 방식은 워핑에 의한 관심 영역의 종횡비 정보 손실을 줄일 수 있으나, 불필요한 연산이 증가함에 따라 과부하가 발생할 수 있다.
영역기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network; R-CNN)를 이용한 영상 인식 방법은 입력 영상으로부터 특징 맵(feature map)을 생성하는 단계, 상기 특징 맵에 관심 영역(Region of Interest; RoI)을 검출하는 단계, 미리 설정된 설정 정보에 따라 상기 관심 영역을 복수의 그룹으로 분류하는 단계, 상기 복수의 그룹으로 분류된 관심 영역을 상기 그룹 각각에 대해 독립적으로(independently) 풀링(pooling)하는 단계 및 상기 풀링 결과에 대해 리그레션(regression) 처리를 수행하고, 영상 분류기(image classifier)를 적용하는 단계를 포함한다.
상기 미리 설정된 설정 정보는 상기 관심 영역의 종횡비(aspect ratio)일 수 있다.
상기 분류하는 단계는, 상기 관심 영역을 상기 관심 영역의 종횡비와 가장 가까운 대표 종횡비를 가진 그룹으로 분류할 수 있다.
상기 풀링하는 단계는, 상기 복수의 그룹으로 분류된 관심 영역 각각에 대해 복수의 분할 영역을 설정하는 단계를 포함할 수 있고, 상기 분할 영역의 가로 개수 및 세로 개수의 비(ratio)는 상기 관심 영역이 속한 그룹의 대표 종횡비와 동일할 수 있다.
상기 풀링하는 단계는, 상기 복수의 그룹으로 분류된 관심 영역 각각에 대해 복수의 분할 영역을 설정하는 단계를 포함하고, 상기 설정된 분할 영역의 개수 차이는 임계값 미만일 수 있다.
영상 분류 장치는 제어 프로그램이 기록된 메모리 및 상기 제어 프로그램에 따라 동작하는 프로세서를 포함하고, 상기 제어 프로그램은, 입력 영상으로부터 특징 맵을 생성하는 단계, 상기 특징 맵에 관심 영역을 검출하는 단계, 미리 설정된 설정 정보에 따라 상기 관심 영역을 복수의 그룹으로 분류하는 단계, 상기 복수의 그룹으로 분류된 관심 영역을 상기 그룹 각각에 대해 독립적으로 풀링하는 단계 및 상기 풀링 결과에 대해 리그레션 처리를 수행하고, 영상 분류기를 적용하는 단계를 수행한다.
상기 설정된 설정 정보는 상기 관심 영역의 종횡비(aspect ratio)일 수 있다.
상기 분류하는 단계는, 상기 관심 영역을 상기 관심 영역의 종횡비와 가장 가까운 대표 종횡비를 가진 그룹으로 분류할 수 있다.
상기 풀링하는 단계는, 상기 복수의 그룹으로 분류된 관심 영역 각각에 대해 복수의 분할 영역을 설정하는 단계를 포함할 수 있고, 상기 분할 영역의 가로 개수 및 세로 개수의 비(ratio)는 상기 관심 영역이 속한 그룹의 대표 종횡비와 동일할 수 있다.
상기 풀링하는 단계는, 상기 복수의 그룹으로 분류된 관심 영역 각각에 대해 복수의 분할 영역을 설정하는 단계를 포함할 수 있고, 상기 설정된 분할 영역의 개수 차이는 임계값 미만일 수 있다.
도 1은 일실시예에 따른 영역기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network; R-CNN)를 이용한 영상 인식 방법의 순서도이다.
도 2는 일실시예에 따른 관심 영역을 복수의 그룹으로 분류하는 방법을 설명하는 도면이다.
도 3a은 기존의 영역기반 컨볼루션 뉴럴 네트워크를 이용한 분할 영역 설정 방법을 도시한다.
도 3b 내지 도 3d는 관심 영역이 속한 그룹의 대표 종횡비를 고려하여 상기 그룹에 포함된 관심 영역에 분할 영역을 설정하는 방법을 도시한다.
도 4는 일실시예에 따른 영상 분류 장치의 블록도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일실시예에 따른 영역기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network; R-CNN)를 이용한 영상 인식 방법의 순서도이다.
도 1을 참조하면, 영상 인식 장치(100)는 입력 영상으로부터 특징 맵(feature map)을 생성한다(S100).
관심 영역을 그룹으로 분류하여 풀링하는 영역기반 컨볼루션 뉴럴 네트워크를 설명하기에 앞서, 아래에서 종래기술에 대해 간단히 설명한다. 컨볼루션 뉴럴 네트워크(Convolutional Neural Network; CNN)는 영상처리를 위해 고안된 특수한 연결구조를 가진 멀티레이어 뉴럴 네트워크이다. 도시되지 않았으나, 컨볼루션 뉴럴 네트워크는 기본적으로 복수의 컨볼루션 레이어(convolution layer)와 서브샘플링 레이어(subsampling layer)를 포함할 수 있다. 컨볼루션 레이어는 입력 영상에 대해 다양한 컨볼루션 커널(kernel)을 적용하여 특징 맵(feature map)을 생성하고, 서브샘플링 레이어는 생성된 특징 맵에 대해 공간적 해상도를 감소시키는 레이어이다. 서브샘플링 레이어는 풀링(e.g. 맥스 풀링, 평균 풀링 등)을 통해 해상도를 감소시킬 수 있다.
영역기반 컨볼루션 뉴럴 네트워크는 영상 분류를 수행하는 컨볼루션 뉴럴 네트워크와 영상 내에서 물체가 존재하는 영역(즉, 관심 영역)을 제안하는 리전 프로포절(region proposal) 알고리즘을 결합하여 영상 내 객체(object)를 효율적으로 인식하기 위한 컨볼루션 네트워크를 의미한다.
기존의 영역기반 컨볼루션 뉴럴 네트워크는 입력 영상에 관심 영역(Region of Interest; RoI)을 검출하고, 컨볼루션 뉴럴 네트워크를 이용하여 검출된 관심 영역을 풀링(pooling)한다. 실시예에 따라, 관심 영역을 검출한 후, 검출된 관심 영역을 워핑(warping)한 후, 컨볼루션 뉴럴 네트워크를 이용하여 워핑된 관심 영역을 풀링할 수도 있다. 통상적으로 복수의 관심 영역은 서로 다른 종횡비(aspect ratio)를 가지는데, 통상의 영역기반 컨볼루션 뉴럴 네트워크는 이러한 종횡비를 무시하고 모든 관심 영역에 대해 동일한 개수의 분할 영역(e.g. 7*7)을 설정한다. 이렇게 모든 관심 영역에 동일한 개수의 분할 영역을 설정하여 풀링할 경우, 워핑에 의해 정보 손실이 발생할 수 있다.
또 다른 영역기반 컨볼루션 뉴럴 네트워크는 입력 영상에 관심 영역을 검출하고, 미리 정해진 여러 가지 비(ratio)에 따라 워핑된 관심 영역을 풀링한다. 이렇게 각각의 관심 영역에 대해 여러 가지 비(ratio)에 따른 풀링을 수행할 경우, 워핑에 따른 정보 손실을 줄일 수 있으나, 불필요한 연산으로 인해 과부하가 발생할 수 있다.
영상 인식 장치(100)는 영역기반 컨볼루션 뉴럴 네트워크에 포함된 레이어 중 입력 영상의 특징을 추출하는 컨볼루션 레이어(convolution layer)를 이용하여 입력 영상에 대한 특징 맵을 생성할 수 있다. 컨볼루션 레이어는 특징을 추출하는 필터(Filter) 및 상기 필터의 값을 비선형(non-linear) 값으로 변환하는 액티베이션 함수(activation function)를 포함할 수 있다.
컨볼루션 뉴럴 네트워크는 원본 데이터(raw data)에서 추출한 특징을 학습한다. 예를 들어, 컨볼루션 뉴럴 네트워크는 영상의 픽셀 값으로부터 특징적인 선이나 색의 분포 등으로부터 추출된 특징 맵(feature map)에 기초하여 영상 속의 객체가 무엇인지 판단할 수 있다. 특징 맵 생성은, 상기와 같이 특징적인 선이나 색의 분포를 추출하는 것을 의미할 수 있다.
도 2는 일실시예에 따른 관심 영역을 복수의 그룹으로 구분하는 방법을 설명하는 도면이다. 도 2를 함께 참조하면, 영상 인식 장치(100)는 버스, 사람, SUV 차량, 캐리어를 포함하는 입력 영상(10)으로부터 특징 맵을 생성할 수 있다.
다시 도 1을 참조하면, 영상 인식 장치(100)는 생성된 특징 맵에서 관심 영역(Region of Interest; RoI)을 검출한다(S110).
관심 영역은 영상 인식 장치(100)가 영상 내에서 작업(풀링이나 분류 등)을 수행하고자 하는 특정 영역을 의미할 수 있다. 영상 인식 장치(100)는 리전 프로포절(region proposal)을 이용하여 관심 영역을 검출할 수 있다. 영상 인식 장치(100)는 리전 프로포절을 수행하기 위해 리전 프로포절 네트워크(region proposal network), 셀렉티브 서치(selective search) 알고리즘, 엣지 박스(edge boxes) 알고리즘 등 다양한 알고리즘 중 하나를 이용할 수 있다. 검출된 관심 영역의 외곽에는 바운딩 박스(bounding box)가 부가될 수 있다.
도 2를 함께 참조하면, 4개의 관심 영역을 포함하는 입력 영상이 도시된다. 영상 인식 장치(100)는 도 2에 도시된 것과 같이 검출된 관심 영역(즉, 관심 영역 1 내지 관심 영역 4)에 바운딩 박스를 부가할 수 있다. 관심 영역에 부여된 수치(e.g. 관심영역 1의 10, 20)는 각각의 관심 영역의 가로 및 세로 길이를 의미할 수 있다. 예를 들어, 도 2에서 관심 영역 1의 가로 및 세로 길이는 (20, 10)이고, 관심 영역 2의 가로 및 세로 길이는 (10, 20)이고, 관심 영역 3의 가로 및 세로 길이는 (20, 20)이고, 관심 영역 4의 가로 및 세로 길이는 (10, 8)일 수 있다.
다시 도 1을 참조하면, 영상 인식 장치(100)는 미리 설정된 설정 정보에 따라 관심 영역을 복수의 그룹으로 분류한다(S120).
미리 설정된 설정 정보는 가로와 세로의 비율값인 종횡비(aspect ratio)를 포함할 수 있다. 상기 복수의 그룹은 관심 영역의 종횡비와 비교하여 관심 영역을 분류하기 위한 대표 종횡비를 가진다. 즉, 영상 인식 장치(100)는 관심 영역의 종횡비와 상기 복수의 그룹이 가진 각각의 대표 종횡비를 비교하고, 종횡비와 대응되는 대표 종횡비를 가진 그룹으로 상기 관심 영역을 분류할 수 있다. 영상 인식 장치(100)는 관심 영역을 분류하기 위한 복수의 그룹을 설정할 수 있고, 상기 각각의 그룹은 대표 종횡비를 가지며, 하나 또는 그 이상의 관심 영역을 포함할 수 있다.
일실시예에 있어서, 영상 인식 장치(100)는 관심 영역의 종횡비와 동일한 대표 종횡비를 가진 그룹으로 상기 관심 영역을 분류할 수 있다.
도 2는 일실시예에 따른 관심 영역을 복수의 그룹으로 구분하는 방법을 설명하는 도면이다. 도 2를 함께 참조하면, 영상 인식 장치(100)는 관심 영역에 포함된 객체를 인식하기 위해 대표 종횡비가 각각 1:1, 1:2 및 2:1인 3개의 그룹을 이용할 수 있다. 영상 인식 장치(100)는 입력 영상 내의 관심 영역을 각각의 그룹으로 분류하기 위해 관심 영역들의 종횡비를 상기 복수의 그룹의 대표 종횡비와 비교할 수 있다. 도 2를 참조하면, 관심 영역 1 내지 관심 영역 3의 가로와 세로 길이는 각각 (20, 10), (10, 20), (20, 20)이므로 관심 영역 1 내지 관심 영역 3의 종횡비는 각각 2:1, 1:2, 1:1이다.
관심 영역 1의 종횡비(2:1)는 그룹 3의 대표 종횡비(2:1)와 동일하므로 영상 인식 장치(100)는 관심 영역 1을 그룹 3으로 분류하고, 관심 영역 2의 종횡비(1:2)는 그룹 2의 대표 종횡비(1:2)와 동일하므로 영상 인식 장치(100)는 관심 영역 2를 그룹 2로 분류하며, 관심 영역 3의 종횡비(1:1)는 그룹 1의 대표 종횡비(1:1)과 동일하므로 영상 인식 장치(100)는 관심 영역 3을 관심 그룹 1로 분류할 수 있다. 관심 영역 4는 동일한 대표 종횡비를 갖는 그룹이 존재하지 않는다. 이 경우, 영상 인식 장치(100)는 관심 영역을 근사화(approximation)하여 이러한 이러한 관심 영역을 특정한 그룹으로 분류할 수 있다. 관심 영역의 근사화에 대해서는 실시예를 바꾸어 아래에서 후술한다.
다른 일실시예에 있어서, 영상 인식 장치(100)는 관심 영역의 종횡비와 가장 가까운 대표 종횡비를 가진 그룹으로 상기 관심 영역을 분류할 수 있다. 관심 영역의 종횡비와 동일한 대표 종횡비를 가진 그룹으로 상기 관심 영역을 분류할 경우, 관심 영역의 종횡비와 동일한 값의 대표 종횡비를 가진 그룹이 존재하지 않을 수 있다. 이 경우, 관심 영역을 그룹으로 분류하기 어려우나, 실제로는 관심 영역의 종횡비와 그룹의 대표 종횡비는 동일한 경우보다 다른 경우가 더 많다. 또한, 관심 영역의 종횡비가 그룹의 대표 종횡비와 다르다 하더라도, 상기 관심 영역을 분류할 필요가 있을 수 있다. 영상 인식 장치(100)는 관심 영역의 종횡비를 근사화함으로써 관심 영역을 대응되는 그룹으로 분류할 수 있다.
도 2를 함께 참조하면, 영상 인식 장치(100)는 관심 영역을 분류하기 위해 대표 종횡비가 각각 1:1, 1:2 및 2:1인 3개의 그룹을 이용할 수 있다. 그런데 가로와 세로 길이가 (10, 8)인 관심 영역 4의 종횡비는 1:0.8이다. 그룹 1 내지 그룹 3 중에는 대표 종횡비가 1:0.8인 그룹이 존재하지 않는다. 따라서, 영상 인식 장치(100)는 관심 영역 4를 먼저 근사화(approximation)한 후 대응되는 그룹으로 분류할 필요가 있다.
영상 인식 장치(100)는, 관심 영역의 종횡비와의 차이가 가장 작은 대표 종횡비로 상기 관심 영역의 종횡비를 근사화할 수 있다. 관심 영역의 종횡비와 각각의 그룹이 가진 대표 종횡비의 거리는 아래와 같이 계산될 수 있다. 근사화하려는 관심 영역의 가로 길이를 세로 길이로 나누고, 복수 그룹 각각에 대해서도 가로 길이를 세로 길이로 나눈다.
예를 들어, 관심 영역 4의 가로 길이 10을 세로 길이 8로 나누면 1.25가 된다. 대표 종횡비가 각각 1:1, 1:2 및 2:1인 3개의 그룹에 대해 가로 길이를 세로 길이로 나눈 값은 각각 1, 0.5, 2이다. 영상 인식 장치(100)는 근사화하려는 관심 영역에 대한 값인 1.25를 각각의 그룹에 대한 값인 1, 0.5, 2과의 거리를 계산한다. 그룹 1 내지 그룹 3 중 어느 하나에 대한 거리를 계산한 결과는 각각 0.25(|1.25-1|), 0.75(|1.25-0.5|), 0.75(|1.25-2|)이다. 즉, 그룹 1과의 거리가 0.25로 가장 작다. 따라서, 영상 인식 장치(100)는 거리가 가장 작은 그룹 1의 대표 종횡비인 1:1이 관심 영역 4의 종횡비와 가장 가까운 값이라고 판단하고, 관심 영역 4를 그룹 1로 분류할 수 있다.
관심 영역의 종횡비를 근사화(approximation)할 때, 관심 영역의 종횡비와 가장 가까운 대표 종횡비가 2개 존재할 수 있다. 예를 들어, 영상 인식 장치(100)가 관심 영역을 분류하기 위해 이용하는 복수의 그룹이 2개이고, 복수의 그룹 각각의 대표 종횡비가 1:1, 3:2이며, 근사화하려는 관심 영역의 종횡비가 1.25일 수 있다. 위에서 설명한 근사화 방법에 따르면, 상기 2개의 그룹에 대해 가로 길이를 세로 길이로 나눈 값은 각각 1, 1.5이다. 1과 1.5는 모두 종횡비 1.25와의 차이가 0.25로 동일하므로, 근사화하려는 관심 영역의 종횡비와 가장 가까운 대표 종횡비를 가진 그룹이 2개 존재하게 된다. 이 경우, 영상 인식 장치(100)는 근사화하려는 관심 영역이 가로와 세로 길이 중 어느 쪽이 더 긴 형태(또는 더 짧은 형태)인지 판단하고, 상기 관심 영역과 대응되는 가로 길이와 세로 길이의 비율을 가진 그룹으로 상기 관심 영역을 분류할 수 있다. 이러한 구성을 통해 관심 영역을 관심 영역의 종횡비와 더 가까운 대표 종횡비를 가진 그룹으로 분류할 수 있다.
예를 들어, 근사화하려는 관심 영역의 종횡비는 1.25이므로 영상 인식 장치(100)는 상기 관심 영역의 가로 길이가 세로 길이보다 더 길다고 판단할 수 있다. 또한, 위와 같이 대표 종횡비가 1:1, 3:2인 2개 그룹이 있을 경우, 영상 인식 장치(100)는 대표 종횡비가 1:1인 그룹은 가로와 세로 길이가 동일하고, 대표 종횡비가 3:2인 그룹은 가로 길이가 세로 길이보다 더 길다고 판단할 수 있다. 따라서, 영상 인식 장치(100)는 종횡비가 1.25인 관심 영역을 가로 길이가 세로 길이보다 더 긴 형태인 대표 종횡비가 3:2인 그룹으로 분류할 수 있다. 세로 길이가 가로 길이보다 더 긴 관심 영역도 위와 동일한 원리로 가장 가까운 대표 종횡비를 가진 그룹으로 분류할 수 있다. 관심 영역을 종횡비에 따라 각각의 그룹으로 분류하였으므로, 분류된 이후의 영상 처리 절차인 영상 분류기 적용 및 리그레션 처리는 모두 각각의 그룹에 대해 독립적으로 수행된다.
다시 도 1을 참조하면, 영상 인식 장치(100)는 복수의 그룹으로 분류된 관심 영역을 상기 그룹 각각에 대해 독립적으로 풀링한다(S130).
관심 영역을 분류하기 위해 그룹 1 내지 그룹 3을 이용할 경우, 영상 인식 장치(100)는 그룹 1, 그룹 2 및 그룹 3에 포함된 관심 영역들을 각각의 그룹에 대해 독립적으로 풀링할 수 있다. 도 2를 함께 참조하면, 영상 인식 장치(100)는 그룹 1에 포함된 관심 영역 3 및 관심 영역 4, 그룹 2에 포함된 관심 영역 2, 그룹 3에 포함된 관심 영역 3을 각각 소속된 그룹에 독립적으로(independently) 풀링할 수 있다.
풀링은 필터를 통해 입력 데이터를 최대값 또는 평균값으로 압축하는 과정을 의미한다. 이 중 입력 데이터를 최대값으로 압축하는 것을 맥스 풀링(max pooling)이라 하고, 평균값으로 압축하는 과정을 평균 풀링(average pooling)이라 한다. 풀링은 컨볼루션 뉴럴 네트워크에 포함된 풀링 레이어에 의해 수행될 수 있다.
일실시예에 있어서 영상 인식 장치(100)는 각각의 그룹으로 분류된 관심 영역들에 대해 풀링을 수행하기 관심 영역 각각에 대해 복수의 분할 영역을 설정할 수 있다. 이 때, 상기 분할 영역의 가로 개수 및 세로 개수의 비는 관심 영역이 속한 그룹의 대표 종횡비와 동일할 수 있다. 분할 영역의 가로 개수 및 세로 개수의 비를 대표 종횡비와 일치시킴으로써 관심 영역의 종횡비에 대한 손실을 방지할 수 있다.
도 3a은 기존의 영역기반 컨볼루션 뉴럴 네트워크를 이용한 분할 영역 설정 방법을 도시한다. 도 3a를 함께 참조하면, 기존의 영역기반 컨볼루션 뉴럴 네트워크를 이용한 영상 인식 방법은 관심 영역에 상기 관심 영역의 종횡비(2:1)와 무관한 가로 개수 3 및 세로 개수 3의 분할 영역을 설정하였다. 이와 같이 분할 영역의 가로 개수 및 세로 개수를 설정할 경우, 관심 영역의 종횡비는 2:1에서 1:1로 변형된다. 이와 같이 종횡비가 왜곡될 경우, 기존의 영상 인식 방법은 관심 영역의 종횡비 정보에 대한 손실이 발생할 수 있다.
도 3b 내지 도 3d는 관심 영역이 속한 그룹의 대표 종횡비를 고려하여 상기 그룹에 포함된 관심 영역에 분할 영역을 설정하는 방법을 도시한다.
도 3b를 도 2와 함께 참조하면, 관심 영역 1의 종횡비는 2:1이므로 대표 종횡비가 2:1인 그룹 3에 포함되어 있을 수 있다. 영상 인식 장치(100)는 관심 영역 1이 포함된 그룹 3의 대표 종횡비(2:1)에 기초하여, 관심 영역 1이 종횡비가 유지되는 개수의 분할 영역(e.g. 가로 4개*세로 2개)을 관심 영역 1에 설정할 수 있다. 도 3b를 참조하면, 관심 영역 1에 설정된 분할 영역의 가로 개수 4와 세로 개수 2는 관심 영역 1이 속한 그룹 3의 대표 종횡비(2:1)와 동일하다. 따라서, 그룹 3에 속한 관심 영역 1은 분할 영역이 설정되더라도 종횡비 정보를 보존할 수 있다.
도 3c를 도 2와 함께 참조하면, 관심 영역 2의 종횡비는 1:2이므로 대표 종횡비가 1:2인 그룹 2에 포함되어 있을 수 있다. 영상 인식 장치(100)는 관심 영역 2가 포함된 그룹 2의 대표 종횡비(1:2)에 기초하여, 관심 영역 2가 종횡비가 유지되는 개수의 분할 영역(e.g. 가로 2개*세로 4개)을 관심 영역 2에 설정할 수 있다. 도 3c를 참조하면, 관심 영역 2에 설정된 분할 영역의 가로 개수 2와 세로 개수 4는 관심 영역 2가 속한 그룹 2의 대표 종횡비(1:2)와 동일하다. 따라서, 그룹 2에 속한 관심 영역 2는 분할 영역이 설정되더라도 종횡비 정보를 보존할 수 있다.
도 3d를 도 2와 함께 참조하면, 관심 영역 3의 종횡비는 1:1이므로 대표 종횡비가 1:1인 그룹 1에 포함되어 있을 수 있다. 영상 인식 장치(100)는 관심 영역 3이 포함된 그룹 1의 대표 종횡비(1:1)에 기초하여, 관심 영역 3이 종횡비가 유지되는 개수의 분할 영역(e.g. 가로 3개*세로 3개)을 관심 영역 3에 설정할 수 있다. 도 3d를 참조하면, 관심 영역 3에 설정된 분할 영역의 가로 개수 3과 세로 개수 3은 관심 영역 3이 속한 그룹 1의 대표 종횡비(1:1)와 동일하다. 따라서, 그룹 1에 속한 관심 영역 3은 분할 영역이 설정되더라도 종횡비 정보를 보존할 수 있다.
다른 일실시예에 있어서, 영상 인식 장치(100)는 분할 영역의 개수 차이가 임계값 미만이 되도록 복수의 그룹 각각에 포함된 관심 영역에 분할 영역을 설정할 수 있다. 예를 들어, 영상 인식 장치(100)는 복수의 그룹 각각에 포함된 관심 영역에 설정되는 분할 영역 개수의 차이가 임계값(e.g. 2)을 넘지 않도록 분할 영역을 설정할 수 있다. 위와 같이 각각의 각각의 그룹에 포함된 관심 영역에 설정되는 분할 영역의 개수 차이를 임계값 등으로 제한하지 않을 경우, 그룹으로 분류된 이후 각각의 그룹에 대해 독립적으로 수행되는 풀링 결과의 품질 차이가 크게 발생할 수 있다. 상술한 실시예와 같이 복수 그룹에 설정된 분할 영역의 개수 차이를 임계값 미만이 되도록 할 경우, 각각의 그룹에 속한 관심 영역을 독립적으로 풀링하더라도 풀링 결과의 품질 차이를 줄일 수 있다.
도 3b 내지 도 3d를 함께 참조하면, 그룹 1 내지 그룹 3에 속한 관심 영역에 설정되는 분할 영역의 개수는 각각 8(4*2), 8(2*4), 9(3*3)이다. 그룹 1 및 그룹 2에 속한 관심 영역에 설정되는 분할 영역의 개수 차이는 0이고, 그룹 2 및 그룹 3에 속한 관심 영역에 설정되는 분할 영역의 개수 차이는 1이고, 그룹 1 및 그룹 3에 속한 관심 영역에 설정되는 분할 영역의 개수 차이는 1이다. 임계값이 2인 경우, 복수의 그룹 중 어떠한 2개의 그룹을 비교하더라도 분할 영역 개수의 차이가 2를 넘지 않는다. 따라서, 그룹 1 내지 그룹 3에 속한 관심 영역에 대한 풀링 결과의 품질을 고르게 유지할 수 있다.
다시 도 1을 참조하면, 영상 인식 장치(100)는 상기 풀링 결과에 대해 리그레션(regression) 처리를 수행하고 영상 분류기(image classifier)를 적용한다(S140).
리그레션 처리는 관찰된 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법의 하나로 1) 오차항(residuals)이 모든 독립변수 값에 대하여 동일한 분산을 갖고, 2) 오차항의 평균(expected value)이 0이며, 3) 수집된 데이터의 확률 분포는 정규분포를 이루고, 4) 독립변수 상호 간에는 상관관계를 이루지 않고, 5) 시간에 따라 수집한 데이터들은 노이즈의 영향을 받지 않는다는 조건을 필요로 한다. 리그레션은, 종속변수와 독립변수가 일대일(one to one) 관계인지, 일대다(one to many) 관계인지에 따라 각각 단순 리그레션(simple regression) 또는 다중 리그레션(multiple regression)이라고 분류될 수 있다.
영상 인식 장치(100)는 관심 영역의 위치를 보정(compensation)하기 위해 관심 영역을 리그레션 처리할 수 있다. 리전 프로포절 알고리즘에 따라 검출된 관심 영역은 그 위치가 정확하지 않을 수 있다. 이렇게 관심 영역이 정확히 검출되지 않을 경우 관심 영역이 검출된 영상 내에 포함된 객체(object)가 무엇인지 파악하기 어려울 수 있다. 따라서, 리그레션 처리를 통해 관심 영역의 위치가 보다 정확하도록 보정할 수 있다. 영상 인식 장치(100)는 리그레션 처리를 위해 선형(linear) 리그레션 알고리즘, 로지스틱(logistic) 리그레션 알고리즘, 폴리노미얼(polynomial) 리그레션 알고리즘, 단계적(stepwise) 리그레션 알고리즘, 릿지(ridge) 리그레션 알고리즘, 라쏘(lasso) 리그레션 알고리즘, 엘라스틱넷(elastic net) 리그레션 알고리즘 등 다양한 알고리즘 중 하나를 이용할 수 있다. 예를 들어, 도 3c를 참조하면 입력 영상 내의 사람 주변에 검출된 관심 영역 2는 상기 사람의 신체 일부가 포함되지 않고, 공백이 많이 포함되는 등 약간의 오차가 있을 수 있다. 도시되지 않았으나, 영상 인식 장치(100)는 도 3c의 풀링 결과에 대해 리그레션 처리를 함으로써 관심 영역 2의 위치를 보정할 수 있다.
영상 인식 장치(100)는 영상 분류기는 검출된 관심 영역에 포함된 객체가 무엇인지 인식할 수 있다. 일례에 있어서, 영상 인식 장치(100)는 컨볼루션 뉴럴 네트워크의 소프트맥스(softmax) 레이어를 이용하여 풀링 결과에 영상 분류기를 적용할 수 있다. 도 3b를 함께 참조하면, 영상 인식 장치(100)는 관심 영역 1에 대한 풀링 결과에 영상 분류기를 적용하여 관심 영역 1을 버스로 인식할 수 있다. 도 3c를 함께 참조하면, 영상 인식 장치(100)는 관심 영역 2에 대한 풀링 결과에 영상 분류기를 적용하여 관심 영역 2를 사람으로 인식할 수 있다. 도 3d를 함께 참조하면, 영상 인식 장치(100)는 관심 영역 3에 대한 풀링 결과에 영상 분류기를 적용하여 관심 영역 3이 승합차 또는 SUV 차량이라고 인식할 수 있다.
도 4는 일실시예에 따른 영상 인식 장치(100)의 블록도이다.
도 4를 참조하면, 영상 인식 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다. 메모리(110)에는 입력 영상으로부터 특징 맵을 생성하는 단계, 상기 특징 맵에 관심 영역을 검출하는 단계, 미리 설정된 설정 정보(예를 들면, 관심 영역의 종횡비)에 따라 상기 관심 영역을 복수의 그룹으로 분류하는 단계, 상기 복수의 그룹으로 분류된 관심 영역을 상기 그룹 각각에 대해 독립적으로 풀링하는 단계, 상기 풀링 결과에 대해 영상 분류기(image classifier)를 적용하는 단계 및 상기 영상 분류기 적용 결과에 대해 선형 회귀(linear regression) 모델을 적용하는 단계를 수행하는 제어 프로그램이 기록되어 있을 수 있다.
일실시예에 있어서, 프로세서(120)는 관심 영역을 상기 관심 영역의 종횡비와 가장 가까운 대표 종횡비를 가진 그룹으로 분류할 수 있다. 도 2를 함께 참조하면, 프로세서(120)는 관심 영역 1을 그룹 3으로 분류하고, 관심 영역 2를 그룹 2로 분류하고, 관심 영역 3, 4를 그룹 1로 분류할 수 있다.
다른 일실시예에 있어서, 프로세서(120)는 복수의 그룹에 포함된 관심 영역에 대해 풀링을 수행하기 전, 복수의 그룹으로 분류된 관심 영역 각각에 대해, 분할 영역의 가로 개수 및 세로 개수의 비가 관심 영역이 속한 그룹의 대표 종횡비와 동일하도록 분할 영역의 가로 개수 및 세로 개수를 설정할 수 있다. 도 3b를 함께 참조하면, 프로세서(120)는 관심 영역 1의 종횡비인 2:1이 유지되도록 가로 개수 4 및 세로 개수 2의 분할 영역을 관심 영역 1에 설정할 수 있다. 도 3c를 함께 참조하면, 프로세서(120)는 관심 영역 2의 종횡비인 1:2가 유지되도록 가로 개수 2 및 세로 개수 4의 분할 영역을 관심 영역 2에 설정할 수 있다. 도 3d를 함께 참조하면, 프로세서(120)는 관심 영역 3의 종횡비인 1:1이 유지되도록 가로 개수 3 및 세로 개수 3의 분할 영역을 관심 영역 3에 설정할 수 있다.
또 다른 일실시예에 있어서, 프로세서(120)는 복수의 그룹에 포함된 관심 영역에 대해 풀링을 수행하기 전, 복수의 그룹으로 분류된 관심 영역 각각에 대해 복수의 분할 영역을 설정할 수 있다. 이 때, 상기 복수 그룹에 설정된 분할 영역의 개수 차이는 임계값 미만일 수 있다. 도 3b 내지 도 3d를 함께 참조하면, 프로세서(120)는 그룹 1 내지 그룹 3에 속한 관심 영역에 설정되는 분할 영역의 개수를 각각 8, 8, 9가 되도록 설정할 수 있다. 이 때, 그룹 1 및 그룹 2에 속한 관심 영역에 설정되는 분할 영역의 개수 차이는 0이고, 그룹 2 및 그룹 3에 속한 관심 영역에 설정되는 분할 영역의 개수 차이는 1이고, 그룹 1 및 그룹 3에 속한 관심 영역에 설정되는 분할 영역의 개수 차이는 1이다. 임계값이 2인 경우, 복수의 그룹 중 어떠한 2개의 그룹을 비교하더라도 분할 영역 개수의 차이가 2를 넘지 않을 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (11)

  1. 입력 영상으로부터 특징 맵(feature map)을 생성하는 단계;
    상기 특징 맵에 관심 영역(Region of Interest; RoI)을 검출하는 단계;
    미리 설정된 설정 정보에 따라 상기 관심 영역을 복수의 그룹으로 분류하는 단계;
    상기 복수의 그룹으로 분류된 관심 영역을 상기 그룹 각각에 대해 독립적으로(independently) 풀링(pooling)하는 단계; 및
    상기 풀링 결과에 대해 리그레션(regression) 처리를 수행하고, 영상 분류기(image classifier)를 적용하는 단계
    를 포함하는,
    영역기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network; R-CNN)를 이용한 영상 인식 방법.
  2. 제1항에 있어서,
    상기 미리 설정된 설정 정보는 상기 관심 영역의 종횡비(aspect ratio)인,
    영역기반 컨볼루션 뉴럴 네트워크를 이용한 영상 인식 방법.
  3. 제2항에 있어서,
    상기 분류하는 단계는,
    상기 관심 영역을 상기 관심 영역의 종횡비와 가장 가까운 대표 종횡비를 가진 그룹으로 분류하는,
    영역기반 컨볼루션 뉴럴 네트워크를 이용한 영상 인식 방법.
  4. 제2항에 있어서,
    상기 풀링하는 단계는,
    상기 복수의 그룹으로 분류된 관심 영역 각각에 대해 복수의 분할 영역을 설정하는 단계
    를 포함하고,
    상기 분할 영역의 가로 개수 및 세로 개수의 비(ratio)는 상기 관심 영역이 속한 그룹의 대표 종횡비와 동일한,
    영역기반 컨볼루션 뉴럴 네트워크를 이용한 영상 인식 방법.
  5. 제2항에 있어서,
    상기 풀링하는 단계는,
    상기 복수의 그룹으로 분류된 관심 영역 각각에 대해 복수의 분할 영역을 설정하는 단계
    를 포함하고,
    상기 설정된 분할 영역의 개수 차이는 임계값 미만인,
    영역기반 컨볼루션 뉴럴 네트워크를 이용한 영상 인식 방법.
  6. 제어 프로그램이 기록된 메모리; 및
    상기 제어 프로그램에 따라 동작하는 프로세서
    를 포함하고,
    상기 제어 프로그램은,
    입력 영상으로부터 특징 맵을 생성하는 단계;
    상기 특징 맵에 관심 영역을 검출하는 단계;
    미리 설정된 설정 정보에 따라 상기 관심 영역을 복수의 그룹으로 분류하는 단계;
    상기 복수의 그룹으로 분류된 관심 영역을 상기 그룹 각각에 대해 독립적으로 풀링하는 단계; 및
    상기 풀링 결과에 대해 리그레션 처리를 수행하고, 영상 분류기를 적용하는 단계
    를 수행하는,
    영상 인식 장치.
  7. 제6항에 있어서,
    상기 설정된 설정 정보는 상기 관심 영역의 종횡비(aspect ratio)인,
    영상 인식 장치.
  8. 제7항에 있어서,
    상기 분류하는 단계는,
    상기 관심 영역을 상기 관심 영역의 종횡비와 가장 가까운 대표 종횡비를 가진 그룹으로 분류하는,
    영상 인식 장치.
  9. 제7항에 있어서,
    상기 풀링하는 단계는,
    상기 복수의 그룹으로 분류된 관심 영역 각각에 대해 복수의 분할 영역을 설정하는 단계
    를 포함하고,
    상기 분할 영역의 가로 개수 및 세로 개수의 비(ratio)는 상기 관심 영역이 속한 그룹의 대표 종횡비와 동일한,
    영상 인식 장치.
  10. 제7항에 있어서,
    상기 풀링하는 단계는,
    상기 복수의 그룹으로 분류된 관심 영역 각각에 대해 복수의 분할 영역을 설정하는 단계
    를 포함하고,
    상기 설정된 분할 영역의 개수 차이는 임계값 미만인,
    영상 인식 장치.
  11. 제1항의 방법을 수행하는 제어 프로그램이 기록된 컴퓨터가 판독 가능한 기록 매체.
KR1020170171815A 2017-12-14 2017-12-14 영상 인식 방법 및 그 장치 KR102585216B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170171815A KR102585216B1 (ko) 2017-12-14 2017-12-14 영상 인식 방법 및 그 장치
US16/155,979 US10878295B2 (en) 2017-12-14 2018-10-10 Method and apparatus for recognizing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170171815A KR102585216B1 (ko) 2017-12-14 2017-12-14 영상 인식 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20190071079A true KR20190071079A (ko) 2019-06-24
KR102585216B1 KR102585216B1 (ko) 2023-10-05

Family

ID=66814576

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170171815A KR102585216B1 (ko) 2017-12-14 2017-12-14 영상 인식 방법 및 그 장치

Country Status (2)

Country Link
US (1) US10878295B2 (ko)
KR (1) KR102585216B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102026139B1 (ko) * 2019-05-22 2019-09-27 인천대학교 산학협력단 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치 및 그 동작 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387740B2 (en) * 2016-10-10 2019-08-20 Gyrfalcon Technology Inc. Object detection and recognition apparatus based on CNN based integrated circuits
US11386291B2 (en) * 2018-01-10 2022-07-12 Siemens Healthcare Diagnostics Inc. Methods and apparatus for bio-fluid specimen characterization using neural network having reduced training
CN109036522B (zh) * 2018-06-28 2021-08-17 深圳视见医疗科技有限公司 图像处理方法、装置、设备及可读存储介质
US10410120B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
US10452980B1 (en) * 2019-01-25 2019-10-22 StradVision, Inc. Learning method and learning device for extracting feature from input image by using convolutional layers in multiple blocks in CNN, resulting in hardware optimization which allows key performance index to be satisfied, and testing method and testing device using the same
US10713815B1 (en) * 2019-01-31 2020-07-14 StradVision, Inc. Method and device for supporting administrators to processes of object detectors to provide logical driving
US10884710B1 (en) * 2019-08-13 2021-01-05 Accenture Global Solutions Limited System and method for generating unified experiences on digital platforms
CN112712077B (zh) * 2020-12-30 2023-04-07 中冶赛迪信息技术(重庆)有限公司 一种钢流轮廓确定方法、系统、终端及介质
CN115239551A (zh) * 2022-07-22 2022-10-25 三星电子（中国）研发中心 视频增强方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190024286A (ko) * 2017-08-31 2019-03-08 순천향대학교 산학협력단 스마트폰을 이용하여 ppg 신호를 얻기 위한 최적의 roi 결정 방법 및 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671297B2 (en) 2001-04-26 2003-12-30 Matsushita Electric Industrial Co., Ltd. Wavelength conversion device
JP4148462B2 (ja) 2003-01-20 2008-09-10 株式会社リコー 画像処理装置、電子カメラ装置及び画像処理方法
US7676087B2 (en) 2006-09-20 2010-03-09 Delphi Technologies, Inc. Method for identifying vehicles in electronic images
US8218830B2 (en) 2007-01-29 2012-07-10 Myspace Llc Image editing system and method
EP1959389B1 (en) 2007-02-16 2017-11-15 Axis AB Providing area zoom functionality for a camera
US8189945B2 (en) 2009-05-27 2012-05-29 Zeitera, Llc Digital video content fingerprinting based on scale invariant interest region detection with an array of anisotropic filters
US20100232504A1 (en) 2009-03-13 2010-09-16 The State of Oregon acting by and through the State Board of Higher Education on behalf of the Supporting region-of-interest cropping through constrained compression
US8532336B2 (en) * 2010-08-17 2013-09-10 International Business Machines Corporation Multi-mode video event indexing
US9514366B2 (en) 2014-02-03 2016-12-06 Xerox Corporation Vehicle detection method and system including irrelevant window elimination and/or window score degradation
US20170046613A1 (en) 2015-08-10 2017-02-16 Facebook, Inc. Systems and methods for content classification and detection using convolutional neural networks
US20170124409A1 (en) 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
US10002313B2 (en) 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
US11017556B2 (en) * 2017-10-04 2021-05-25 Nvidia Corporation Iterative spatio-temporal action detection in video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190024286A (ko) * 2017-08-31 2019-03-08 순천향대학교 산학협력단 스마트폰을 이용하여 ppg 신호를 얻기 위한 최적의 roi 결정 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
H. Lee et al., 'ME R-CNN: Multi-Expert R-CNN for Object Detection,' IEEE Transactions on Image Processing vol. 29 pp.1030-1044 (2019.09.09.) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102026139B1 (ko) * 2019-05-22 2019-09-27 인천대학교 산학협력단 특징맵에 대한 영역 분할과 병합을 통해 기계학습 기반의 객체 식별을 수행하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20190188525A1 (en) 2019-06-20
US10878295B2 (en) 2020-12-29
KR102585216B1 (ko) 2023-10-05

Similar Documents

Publication Publication Date Title
KR20190071079A (ko) 영상 인식 방법 및 그 장치
EP3471026B1 (en) Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
US10860837B2 (en) Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition
KR102175491B1 (ko) 상관 필터 기반 객체 추적 방법
US9947077B2 (en) Video object tracking in traffic monitoring
US20190057507A1 (en) System and method for semantic segmentation of images
CN106683073B (zh) 一种车牌的检测方法及摄像机和服务器
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN112651274B (zh) 路上障碍物检测装置、路上障碍物检测方法及记录介质
KR102476022B1 (ko) 얼굴검출 방법 및 그 장치
KR102234936B1 (ko) 차량 번호판을 실시간으로 인식하는 장치 및 방법
KR102578209B1 (ko) 영상 처리 방법과 장치
US20160189048A1 (en) Data analysis system and method
US20210374440A1 (en) On-road obstacle detection device, on-road obstacle detection method, and recording medium
JP6110174B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP7392488B2 (ja) 遺留物誤検出の認識方法、装置及び画像処理装置
JP6468328B2 (ja) ビジュアルオドメトリ方法及び装置
KR102173955B1 (ko) 객체 추적을 위한 특징점 검출 장치 및 그 방법
JP7165353B2 (ja) 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム
CN107316313B (zh) 场景分割方法及设备
KR101192163B1 (ko) 물체 단위의 배경 영상 분석을 통한 움직이는 물체의 검출 방법 및 장치
KR101437228B1 (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법
KR20190065813A (ko) 기여도에 기초하여 특징을 추출하는 방법 및 장치
CN112396627A (zh) 一种目标跟踪方法及装置、计算机可读存储介质
KR20200106111A (ko) 가우시안 특징점맵과 회귀 기법을 이용한 얼굴 특징점 검출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant