KR20190005045A - 객체 검출 장치 및 그 방법 - Google Patents
객체 검출 장치 및 그 방법 Download PDFInfo
- Publication number
- KR20190005045A KR20190005045A KR1020170085582A KR20170085582A KR20190005045A KR 20190005045 A KR20190005045 A KR 20190005045A KR 1020170085582 A KR1020170085582 A KR 1020170085582A KR 20170085582 A KR20170085582 A KR 20170085582A KR 20190005045 A KR20190005045 A KR 20190005045A
- Authority
- KR
- South Korea
- Prior art keywords
- candidate region
- neural network
- object detection
- unit
- detected
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 89
- 238000003062 neural network model Methods 0.000 claims abstract description 34
- 230000010354 integration Effects 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims description 83
- 238000004891 communication Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
객체 검출 장치 및 그 방법이 개시된다.
이 장치에서 후보 영역 검출부는 객체 검출 대상의 복수의 동일한 입력 영상 각각에 대해 복수의 제1 신경망 모델을 사용하여 각 입력 영상 별로 후보 영역을 검출한다. 통합부는 상기 후보 영역 검출부에 의해 검출되는 각 영상 별 후보 영역에 대응되는 후보 영역 데이터를 시계열 데이터 형태로 통합한다. 연산부는 제2 신경망 모델을 사용하여 상기 통합부에 의해 통합된 시계열 데이터 형태의 후보 영역 데이터에 대해 과적합(Overfitting)을 수행하여 검출된 객체에 대응되는 최종 영역을 도출한다. 그 후, 도출된 최종 영역은 입력 영상에 표시되어 객체 검출 결과 영상으로서 출력된다.
이 장치에서 후보 영역 검출부는 객체 검출 대상의 복수의 동일한 입력 영상 각각에 대해 복수의 제1 신경망 모델을 사용하여 각 입력 영상 별로 후보 영역을 검출한다. 통합부는 상기 후보 영역 검출부에 의해 검출되는 각 영상 별 후보 영역에 대응되는 후보 영역 데이터를 시계열 데이터 형태로 통합한다. 연산부는 제2 신경망 모델을 사용하여 상기 통합부에 의해 통합된 시계열 데이터 형태의 후보 영역 데이터에 대해 과적합(Overfitting)을 수행하여 검출된 객체에 대응되는 최종 영역을 도출한다. 그 후, 도출된 최종 영역은 입력 영상에 표시되어 객체 검출 결과 영상으로서 출력된다.
Description
본 발명은 객체 검출 장치 및 그 방법에 관한 것이다.
인공 지능(Artificial Intelligence, AI)이란 컴퓨터에서 인간과 같이 사고하고 생각하고 학습하고 판단하는 논리적인 방식을 사용하는 인간지능을 본 딴 고급 컴퓨터 프로그램을 말한다.
이러한 인공 지능이 여러 세대를 거쳐서 최근에는 4세대 인공 지능의 대표 기법이면서 머신 러닝(machine learning)의 한 분야인 딥러닝(deep learning)이 대두되고 있다.
이러한 딥러닝은 기존 신경망(Neural Network, NN) 분석의 발전된 형태로써, 다층구조 형태의 신경망을 기반으로 하며, 다량의 데이터로부터 높은 수준의 추상화 모델을 구축하고자 하는 기법이다
상기한 딥러닝 기법 중 하나인 RCNN(Region with Convolutional Neural Network)은 객체 검출 알고리즘으로 매우 우수한 성능을 가지고 있어서 다양한 분야, 특히 영상 보안 분야에서 많이 사용되고 있다.
그런데, 상기한 딥러닝 기법을 활용하기 위한 신경망을 구축하기 위해서는 복잡한 학습 과정을 거쳐야 하므로 개인이나 작은 기업이 구축하기가 어려워, 최근에는 구글사의 텐서플로우(TensorFlow), IBM사의 왓슨(Watson) 등과 같이 오픈 소프트웨어로서 신경망을 제공하고 있어서, 개인들은 물론 많은 기업들에서도 이러한 신경망을 활용하여 제품을 개발하거나 다양한 형태의 비즈니스를 제공할 수 있게 되었다.
한편, 단일의 신경망, 예를 들어 RCNN, Fast RCNN 등을 활용하여 영상 속의 객체를 검출하는 경우 한계점을 가지고 있고, 복수의 신경망을 활용하여도 공통적으로 검출하지 못하는 객체가 발생하고 있다.
예를 들어, 도 1을 참조하면, 단일 RCNN을 활용하여 복수의 후보 영역을 추출하고(a), 추출된 복수의 후보 영역에 대한 과적합(Overfitting)을 수행(b)한 후 최종적으로 객체를 검출하지만, (a)에서와 같이 후보 영역으로는 검출되었으나 신뢰도(Confidence) 값의 임계값 미달 등으로 인해 최종 객체로는 검출되지 않고 드롭(drop)되는 객체가 발생될 수 있다. 도 1을 참조하면, (b)에서 객체들의 신뢰도가 임계값(75%)에 미달되어 최종적으로 검출되지 않았음을 알 수 있다. 여기서, 임계값 75%는 하나의 예시로서, 이러한 임계값은 RCNN망의 상황에 따라 변경될 수 있다.
또한, 도 2를 참조하면, 동일한 신경망에서 서로 다른 알고리즘을 사용하는 두 개의 RCNN망이나 또는 서로 다른 신경망을 사용하여 다중 RCNN(RCNN1, RCNN2)을 활용하더라도 RCNN1과 RCNN2에 의해 각각 후보 영역으로는 검출(a)되었으나 각각의 과적합 수행(b)에 의해 최종 객체로 검출(c)(d)로 검출되지 않는 경우가 발생하여, 다중 신경망에 의해서도 상호 보완되지 않는 부분이 발생할 수 있다.
이와 같이, 활용하는 신경망의 개수가 많아지는 경우 객체 검출의 정확도가 증가하기는 하지만 그 한계가 존재하여 다중 신경망을 사용하더라도 여전히 검출되지 않는 객체들이 존재하게 된다.
따라서, 단일 신경망은 물론 다중 신경망을 사용하여 객체를 검출하는 경우 적어도 신뢰도 경계에 있는 객체들이 드롭되어 최종 객체로 검출되지 못하는 경우를 방지하여 객체 검출의 정확도 및 신뢰성을 향상시킬 수 있는 방안이 요구된다.
본 발명이 해결하고자 하는 과제는 기존의 객체 검출보다 더 정확한 객체 검출이 가능한 객체 검출 장치 및 그 방법을 제공하는 것이다.
본 발명의 하나의 특징에 따른 객체 검출 장치는,
객체 검출 대상의 복수의 동일한 입력 영상 각각에 대해 복수의 제1 신경망 모델을 사용하여 각 입력 영상 별로 후보 영역을 검출하는 후보 영역 검출부; 상기 후보 영역 검출부에 의해 검출되는 각 영상 별 후보 영역에 대응되는 후보 영역 데이터를 시계열 데이터 형태로 통합하는 통합부; 및 제2 신경망 모델을 사용하여 상기 통합부에 의해 통합된 시계열 데이터 형태의 후보 영역 데이터에 대해 과적합(Overfitting)을 수행하여 검출된 객체에 대응되는 최종 영역을 도출하는 연산부를 포함한다.
여기서, 상기 복수의 제1 신경망 모델은 복수의 RCNN(Region with Convolutional Neural Network)이고, 상기 복수의 RCNN은 동일한 신경망 내에 속하면서 서로 다른 RCNN 알고리즘을 사용하는 신경망이거나, 또는 서로 상이한 RCNN 신경망이며, 상기 복수의 제1 신경망 모델의 개수는 상기 동일한 입력 영상의 개수와 동일하다.
또한, 상기 제2 신경망 모델은 LSTM(Long Short Term Memory) 신경망이다.
또한, 상기 복수의 제1 신경망 모델 및 상기 제2 신경망 모델은 통신망을 통해 접속 가능한 외부의 신경망에 의해 각각 제공된다.
또한, 상기 후보 영역 데이터에는 검출된 후보 영역에 대한 신뢰도(Confidence)가 포함된다.
또한, 상기 후보 영역 검출부는 복수의 검출부를 포함하고, 상기 복수의 검출부는 각각 대응되는 상기 동일한 입력 영상에 대해 상기 제1 신경망을 각각 사용하여 후보 영역을 검출하며, 상기 복수의 검출부에 대응하는 복수의 추출부를 더 포함하고, 상기 복수의 추출부는 상기 복수의 검출부에 의해 각각 검출되는 후보 영역에 대응되는 각 후보 영역 데이터를 추출하여 상기 통합부로 전달한다.
또한, 상기 연산부에 의해 도출되는 최종 영역을 상기 입력 영상에 표시하여 객체 검출 결과 영상으로서 출력하는 출력부를 더 포함한다.
또한, 상기 통합부는 상기 후보 영역 데이터를 객체별로 통합하여 시계열 데이터 형태로 구성한다.
본 발명의 다른 특징에 따른 객체 검출 장치는,
복수의 RCNN(Region with Convolutional Neural Network)으로 객체 검출 대상의 복수의 동일한 입력 영상을 각각 입력하여 각 입력 영상에 대한 후보 영상을 검출하도록 하는 후보 영역 검출부; 상기 복수의 RCNN에 의해 후보 영역이 검출되는 경우, 상기 후보 영역에 대응되는 후보 영역 데이터를 추출하는 후보 영역 데이터 추출부; 상기 후보 영역 데이터 추출부에 의해 추출되는 후보 영역 데이터를 시계열 데이터 형태로 통합하는 통합부; 및 LSTM 신경망으로 상기 통합부에 의해 통합된 시계열 데이터 형태의 후보 영역 데이터를 입력하여 과적합을 수행시켜서 최종 영역을 도출하는 연산부를 포함한다.
여기서, 상기 후보 영역 데이터 추출부는 상기 복수의 RCNN에 대응하는 복수의 추출부를 포함하고, 상기 복수의 추출부는 상기 복수의 RCNN에 의해 각각 검출되는 후보 영역에 대응되는 각 후보 영역 데이터를 추출하여 상기 통합부로 전달한다.
또한, 상기 복수의 RCNN 및 상기 LSTM 신경망은 통신망을 통해 접속 가능한 외부의 신경망에 의해 각각 제공되고, 상기 후보 영역 데이터에는 검출된 후보 영역에 대한 신뢰도(Confidence)가 포함된다.
본 발명의 또 다른 특징에 따른 객체 검출 방법은,
객체 검출 장치가 입력 영상으로부터 객체를 검출하는 방법으로서, 복수의 제1 신경망 모델을 사용하여 상기 입력 영상과 동일한 복수의 입력 영상별로 후보 영역을 각각 검출하는 단계; 상기 후보 영역에 대응되는 후보 영역 데이터를 추출하는 단계; 상기 후보 영역 데이터를 시계열 데이터 형태로 통합하는 단계; 및 제2 신경망 모델을 사용하여 상기 시계열 데이터 형태의 후보 영역 데이터에 대해 과적합을 수행하여 최종 영역을 도출하는 단계를 포함한다.
여기서, 상기 복수의 제1 신경망 모델은 복수의 RCNN(Region with Convolutional Neural Network)이고, 상기 복수의 RCNN은 동일한 신경망 내에 속하면서 서로 다른 RCNN 알고리즘을 사용하는 신경망이거나, 또는 서로 상이한 RCNN 신경망이며, 상기 복수의 제1 신경망 모델의 개수는 상기 동일한 입력 영상의 개수와 동일하고, 상기 제2 신경망 모델은 LSTM(Long Short Term Memory) 신경망이다.
또한, 상기 복수의 RCNN 및 상기 LSTM 신경망은 통신망을 통해 접속 가능한 외부의 신경망에 의해 각각 제공된다.
또한, 상기 후보 영역 데이터를 시계열 데이터 형태로 통합하는 단계는, 상기 후보 영역 데이터를 객체별로 통합하여 상기 시계열 데이터 형태로 구성하는 단계를 포함한다.
본 발명의 또 다른 특징에 따른 객체 검출 장치는,
입력 영상에서 객체를 검출하는 장치로서, 통신기, 입력기, 메모리 및 프로세서를 포함하며, 상기 통신기는 통신망을 통해 외부의 신경망 서버와 신호를 송수신하고, 상기 입력기는 외부로부터 입력되는 입력 영상을 복수의 동일한 입력 영상으로 복제하며, 상기 메모리는 코드의 집합을 저장하도록 구성되고, 상기 코드는, 상기 통신기를 통해 접속되는 신경망에서 제공되는 복수의 제1 신경망 모델을 사용하여 상기 복수의 동일한 입력 영상 각각에 대해 후보 영역을 검출하는 동작; 검출되는 후보 영역에 대응되는 후보 영역 데이터를 시계열 데이터 형태로 통합하는 동작; 및 상기 통신기를 통해 접속되는 신경망에서 제공되는 제2 신경망 모델을 사용하여 상기 시계열 데이터 형태의 후보 영역 데이터에 대해 과적합을 수행하여 검출된 객체에 대응되는 최종 영역을 도출하는 동작을 실행하도록 상기 프로세서를 제어하는 데 사용된다.
여기서, 상기 복수의 제1 신경망 모델은 복수의 RCNN(Region with Convolutional Neural Network)이고, 상기 제2 신경망 모델은 LSTM(Long Short Term Memory) 신경망이다.
또한, 상기 프로세서는, 상기 복수의 RCNN에 의해 후보 영역이 검출되는 경우 상기 후보 영역에 대응되는 후보 영역 데이터인 원시 데이터를 추출하는 동작을 더 실행한다.
또한, 영상을 출력하는 출력기를 더 포함하고, 상기 프로세서는, 상기 출력기를 통해 상기 최종 영역을 상기 입력 영상에 표시하여 객체 검출 결과 영상으로 출력하는 동작을 더 실행한다.
본 발명의 실시예에 따르면, 기존의 검출 장치에서 드롭(drop)되던 후보 영역들을 통합하여 과적합을 수행함으로써 더 정확한 객체 검출이 가능하다.
또한, 기존의 방법보다 적은 리소스를 활용하여서 객체 검출이 가능하므로 신경망 학습에 소요되던 시간이 감소된다.
도 1은 종래 단일 RCNN을 사용하여 객체를 검출하는 예를 도시한 도면이다.
도 2는 종래 다중 RCNN을 사용하여 객체를 검출하는 예를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 객체 검출 장치의 개략적인 구성도이다.
도 4는 본 발명의 다른 실시예에 따른 객체 검출 장치의 개략적인 구성도이다.
도 5는 본 발명의 또 다른 실시예에 따른 객체 검출 장치의 개략적인 구성도이다.
도 6은 본 발명의 실시예에 따른 객체 검출 방법의 개략적인 흐름도이다.
도 7은 본 발명의 실시예에 따른 객체 검출 장치에서 두 개의 RCNN을 사용하여 객체를 검출하는 예를 도시한 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 객체 검출 장치의 개략적인 구성 블록도이다.
도 2는 종래 다중 RCNN을 사용하여 객체를 검출하는 예를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 객체 검출 장치의 개략적인 구성도이다.
도 4는 본 발명의 다른 실시예에 따른 객체 검출 장치의 개략적인 구성도이다.
도 5는 본 발명의 또 다른 실시예에 따른 객체 검출 장치의 개략적인 구성도이다.
도 6은 본 발명의 실시예에 따른 객체 검출 방법의 개략적인 흐름도이다.
도 7은 본 발명의 실시예에 따른 객체 검출 장치에서 두 개의 RCNN을 사용하여 객체를 검출하는 예를 도시한 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 객체 검출 장치의 개략적인 구성 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 도면을 참고하여 본 발명의 실시예에 따른 객체 검출 장치에 대해 설명한다.
도 3은 본 발명의 실시예에 따른 객체 검출 장치의 개략적인 구성도이다.
도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 객체 검출 장치(100)는 입력부(110), 후보 영역 검출부(120), 후보 영역 데이터 추출부(130), 통합부(140), 연산부(150) 및 출력부(160)를 포함한다.
입력부(110)는 객체 검출 대상의 영상을 입력받아서 복수의 동일한 영상을 출력한다. 구체적으로, 입력부(110)는 객체 검출 대상의 영상에 대응되는 영상 데이터를 입력받아서 복수의 동일한 영상에 해당하는 영상 데이터를 각각 출력한다
후보 영역 검출부(120)는 입력부(110)에서 출력되는 복수의 동일한 영상을 각각 입력받아서 각 영상으로부터 후보 영역을 각각 검출한다. 이를 위해, 후보 영역 검출부(120)는 복수의 검출부(120-1, 120-2, …, 120-n)(여기서 n은 2이상의 자연수임)를 포함하며, 복수의 검출부(120-1, 120-2, …, 120-n)의 개수는 입력부(110)에서 출력되는 복수의 동일한 영상의 개수와 동일한다. 즉, 입력부(110)에서 출력되는 복수의 동일한 영상 각각이 복수의 검출부(120-1, 120-2, …, 120-n)에 일대일 대응하도록 입력된다. 즉, 복수의 검출부(120-1, 120-2, …, 120-n)는 각각 동일한 영상을 입력받아서 입력되는 동일한 영상으로부터 각각 객체 대상의 후보 영역을 검출한다. 여기서, 복수의 검출부(120-1, 120-2, …, 120-n)는 각각이 신경망에 해당하며, 이러한 신경망으로는 RCNN을 예로 들 수 있다. 특히, 신경망이 RCNN인 경우 입력 영상으로부터 후보 영역을 검출하는 구성만이 대응된다. 이에 대해서는 추후 구체적으로 설명한다. 또한, 복수의 검출부(120-1, 120-2, …, 120-n)는 동일한 신경망에서 서로 다른 알고리즘을 사용하는 신경망이거나 또는 서로 상이한 신경망일 수 있다. 또한, 복수의 검출부(120-1, 120-2, …, 120-n)는 입력 영상으로부터 객체 대상의 후보 영역을 검출할 때 복수로 검출되는 후보 영역에 대한 신뢰도(Confidence)를 부여하는 신경망이다.
선택적으로 후보 영역 검출부(120)는 통신망을 통해 접속 가능한 외부의 신경망일 수 있다.
후보 영역 데이터 추출부(130)는 후보 영역 검출부(120)에서 검출되는 각 후보 영역에 대응되는 후보 영역 데이터를 추출한다. 이를 위해 후보 영역 데이터 추출부(130)는 복수의 추출부(130-1, 130-2, …, 130-n)를 포함하며, 복수의 추출부(130-1, 130-2, …, 130-n)의 개수는 복수의 검출부(120-1, 120-2, …, 120-n)의 개수와 동일하다. 즉, 복수의 추출부(130-1, 130-2, …, 130-n)는 각각 일대일로 대응되는 복수의 검출부(120-1, 120-2, …, 120-n)에서 각각 검출되는 후보 영역에 대응되는 후보 영역 데이터를 추출한다. 이 때, 예를 들어 검출부(120-1, 120-2, …, 120-n)가 신경망 중 하나인 RCNN인 경우, 후보 영역 데이터는 후보 영역(RECT)과 신뢰도(Confidence)를 포함할 수 있다.
통합부(140)는 후보 영역 데이터 추출부(130)에서 각각 추출되는 후보 영역 데이터를 시계열 데이터와 같이 취급하여 각각 통합한다. 예를 들어, 복수의 추출부(130-1, 130-2, …, 130-n)에서 추출부(130-1)에서 추출되는 후보 영역 데이터가 시간순으로 가장 빠른 데이터로 취급하고, 그 다음 시간 순서로서, 추출부(130-2)의 후보 영역 데이터를 취급한다. 결국, 시계열 데이터 중 마지막 순서의 후보 영역 데이터는 추출부(130-n)에서 추출되는 데이터이다.
선택적으로 통합부(140)는 후보 영역 데이터 통합시 동일한 객체별로 후보 영역 데이터를 통합하여 시계열 데이터를 구성할 수 있다.
연산부(150)는 통합부(140)에 의해 후보 영역별로 각각 통합된 데이터를 시계열 데이터 형태로 입력받아서 통합된 후보 영역 데이터들에 대해 과적합(Overfitting)을 수행하여 최종 영역을 도출한다. 이러한 연산부(150)도 신경망에 해당될 수 있으며, 이러한 신경망으로는 장기 의존성을 학습할 수 있는 특별한 종류의 순환 신경망인 LSTM(Long Short Term Memory)을 예로 들 수 있다. LSTM은 순환 신경망(Recurrent Neural Network, RNN)의 일종이므로 임의의 입력을 처리하기 위해 신경망 내부의 메모리를 활용할 수 있으며, 특히 입력 데이터들의 시계열적 상관 관계를 추출하는 데 사용되는 모델이다. 따라서, 연산부(150)는 통합부(140)에 의해 입력되는 후보 영역 데이터들을 시계열 데이터 형태로 입력받아서 연산 처리할 수 있다.
선택적으로 연산부(150)는 통신망을 통해 접속 가능한 외부의 신경망일 수 있다.
출력부(160)는 연산부(150)에 의해 도출되는 최종 영역을 객체 검출 영역으로서 입력부(110)에 입력된 영상에 표시하여 출력한다.
이와 같이, 본 발명의 실시예에 따른 객체 검출 장치(100)에서는 동일한 입력 영상에 대해 복수의 검출부(120-1, 120-2, …, 120-n)에 의해 각각 검출되는 후보 영역 중 신뢰도가 높은 후보 영역들에 대해서는 당연히 연산부(150)에 의해 최종 영역으로 도출되는 것은 물론, 복수의 검출부(120-1, 120-2, …, 120-n)에 의해 각각 검출되는 후보 영역 중 신뢰도가 낮은 후보 영역들에 대해서도 그 신뢰도가 임계값보다 낮으나 임계값 근처에 있는 후보 영역들의 경우 통합부(140)에 의해 통합되어 시계열 데이터 형태로 연산부(150)로 입력되어 연산 처리됨으로써 최종 영역으로 도출될 가능성이 높아져서, 결과적으로 복수의 검출부(120-1, 120-2, …, 120-n) 각각에 의해 검출된 후보 영역들 각각으로 과적합 수행된 후에 도출되는 최종 영역보다 더 정확하고 더 많은 객체 영역이 도출될 수 있다.
한편, 상기한 바와 같이, 후보 영역 검출부(120)의 복수의 검출부(120-1, 120-2, …, 120-n)가 RCNN의 구성 일부에 의해 구성될 수 있고, 연산부(150)가 LSTM으로 구성될 수 있는 것에 대해 설명하였으며, 이러한 형태로 구성되는 경우에 대해 도 4를 참조하여 설명한다.
도 4는 본 발명의 다른 실시예에 따른 객체 검출 장치의 개략적인 구성도이다.
도 4에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 객체 검출 장치(200)는 입력부(210), 후보 영역 검출부(220), 후보 영역 데이터 추출부(230), 통합부(240) 및 LSTM 신경망(250)을 포함한다.
입력부(210)는 도 3을 참조하여 설명한 입력부(110)와 동일하므로 구체적인 설명은 생략한다.
후보 영역 검출부(120)는 복수의 RCNN, 즉, RCNN1(220-1), RCNN2(220-2), …, RCNNn(220-n)으로 구성되며, 각 RCNN(220-1, 220-2, …, 220-n)은 동일한 신경망에서 서로 다른 RCNN 알고리즘을 사용하는 RCNN이거나, 또는 상이한 신경망의 RCNN일 수 있다.
복수의 RCNN(220-1, 220-2, …, 220-n)은 입력부(210)로부터 입력되는 각각 동일한 영상으로부터 각각 후보 영역을 검출한다. 물론 기존의 RCNN은 후보 영역을 검출한 후 RCNN 기법에 의한 과적합을 수행하지만, 본 발명의 실시예에서는 복수의 RCNN(220-1, 220-2, …, 220-n)에서 후보 영역 검출 후에 과적합을 수행하지 않고, 검출된 후보 영역에 대응되는 후보 영역 데이터, 즉 원시 데이터(raw data)를 후보 영역 데이터 추출부(230)로 전달한다.
후보 영역 데이터 추출부(230)는 후보 영역 검출부(120)의 복수의 RCNN(220-1, 220-2, …, 220-n)에 의해 각각 검출되는 후보 영역에 대응되는 후보 영역 데이터를 추출한다. 이 때의 후보 영역 데이터는 후보 영역(RECT)과 신뢰도(Confidence)를 포함한다.
통합부(240)는 도 3을 참조하여 설명한 통합부(140)와 동일하므로 여기에서는 구체적인 설명을 생략한다. 다만, 본 발명의 다른 실시예에 따른 객체 검출 장치(200)에서는 복수의 RCNN(220-1, 220-2, …, 220-n)을 사용하여 후보 영역을 검출하였으므로, 그 후보 영역 데이터가 후보 영역(RECT)과 신뢰도(Confidence)를 포함하며, 후보 영역(RECT)의 정보를 사용하여 동일한 객체별로 후보 영역 데이터(신뢰도를 포함함) 통합하여 시계열 데이터 형태로서 출력한다.
LSTM 신경망(250)은 통합부(240)에 의해 후보 영역별로 각각 통합된 데이터를 시계열 데이터 형태로 입력받아서 통합된 후보 영역 데이터들에 대해 LSTM 연산을 수행하여 최종 영역을 도출하여 입력된 영상에 각각 최종 영역을 표시하여 출력한다. 구체적으로, LSTM 신경망(250)은 통합부(240)로부터 입력되는 시계열 데이터에서 규칙적인 패턴을 인식하고, 추상화된 정보를 추출함으로써 최종 영역을 도출할 수 있다. 이러한 LSTM 신경망(250)에 의한 처리는 복수의 RCNN(220-1, 220-2, …, 220-n)에 의해 검출된 각 후보 영역에 대해 과적합(Overfitting)을 수행하는 것과 유사하지만, 복수의 RCNN(220-1, 220-2, …, 220-n)에 의해 검출된 각 후보 영역을 통합하여 과적합을 수행하는 형태이므로 복수의 RCNN(220-1, 220-2, …, 220-n) 각각에 의해 검출되는 후보 영역별로 각각 과적합을 수행하는 기존의 방식에 비해 객체 검출이 더욱 정확해질 수 있다.
한편, 상기한 복수의 RCNN(220-1, 220-2, …, 220-n)과 LSTM 신경망(250)은 통신망을 통해 접속 가능한 외부에서 제공되는 신경망일 수 있다.
이와 같이, 본 발명의 다른 실시예에 따르면, 동일한 영상에 대해 복수의 RCNN을 통해 각각 검출되는 후보 영역에 대한 각 원시 데이터를 통합하여 시계열 형태의 데이터로서 LSTM 신경망으로 입력하여 LSTM 신경망을 통한 과적합을 수행함으로써 복수의 RCNN을 통해 각각 후보 영역을 검출한 후 RCNN의 과적합을 수행하여 검출하는 객체보다 많은 객체가 검출될 수 있다. 즉, 본 발명의 다른 실시예에 따르면 적은 리소스에도 불구하고 높은 객체 검출 성능을 확보할 수 있다.
상기한 바와 같은 본 발명의 다른 실시예의 개념이 도 5에 간략하게 도시되어 있다.
도 5를 참조하면, 동일한 영상이 마치 시계열 영상과 같이 t0, t1, …, tn(300-1, 300-2, …, 300-n)과 같이 배열되어 복수의 RCNN, 즉, RCNN1, RCNN2, …, RCNNn(310-1, 310-2, …, 310-n)으로 각 순서에 맞게 각각 입력되고, 복수의 RCNN(310-1, 310-2, …, 310-n)에 의해 각 영상, 즉 t0, t1, …, tn(300-1, 300-2, …, 300-n)에 대한 후보 영역이 검출되어 후보 영역 데이터, 즉 후보 영역(RECT)과 신뢰도(Confidence)를 포함하는 원시 데이터가 LSTM 신경망(320)으로 시계열 데이터 형태로서 통합되어 입력되면, LSTM 신경망(320)에 의한 과적합이 수행되어 최종 영역이 도출되고 입력 영상, 예를 들어 t0(300-1)에 도출된 최종 영역이 표시되어 객체 검출 결과(330)로서 출력된다.
도 5에서 각 RCNN(310-1, 310-2, …, 310-n)으로 입력되는 영상, t0는 종래 기술을 설명할 때 도 2를 참조하여 설명한 후보 영역 추출 영상과 동일하지만, 그 때와 달리 최종 출력 영상에서 검출되는 객체는 종래 기술에서 검출된 객체의 개수보다 도 5를 참조하여 설명한 본 발명의 실시예에서 검출된 객체의 개수가 더 많다는 것을 알 수 있다.
이하 도면을 참조하여 본 발명의 실시예에 따른 객체 검출 방법에 대해 설명한다.
도 6은 본 발명의 실시예에 따른 객체 검출 방법의 개략적인 흐름도이다.
도 6을 참조하면, 먼저 객체 검출 대상인 복수의 동일한 영상에 대해 객체 검출 대상의 후보 영역을 각각 검출한다(S100). 이 과정은, 도 3을 참조하는 경우, 입력부(110)와 복수의 검출기(120-1, 120-2, …, 120-n)에 의해 수행될 수 있다.
그 후, 복수의 동일한 영상별로 검출된 후보 영역들에 대한 후보 영역 데이터를 추출한다(S110). 이 과정은, 후보 영역 데이터 추출부(130)에 의해 수행된다.
다음, 추출된 후보 영역 데이터를 객체별로 통합한 후(S120) 시계열 데이터 형태로 구성한다(S130). 이들 과정은 통합부(140)에 의해 수행될 수 있다.
계속해서, 구성된 시계열 데이터에 대해 과적합을 수행하여 최종 영역을 도출한다(S140). 이 과정은 연산부(150)에 의해 수행될 수 있다.
마지막으로, 도출된 최종 영역을 상기한 복수의 동일한 영상 내에 표시하여 최종 객체 검출 결과 영상을 출력한다(S150). 이 과정은 출력부(160)에 의해 수행될 수 있다.
한편, 도 2를 참조하여 설명한 종래 기술에서의 객체 검출 결과와의 비교를 위해, 본 발명의 실시예에 따른 객체 검출 장치(200)에서 두 개의 RCNN만을 사용하는 경우의 객체 검출 결과에 대해 설명한다.
도 7은 본 발명의 실시예에 따른 객체 검출 장치에서 두 개의 RCNN을 사용하여 객체를 검출하는 예를 도시한 도면이다.
도 7을 참조하면, 좌측의 두 개의 영상(410, 420)은 동일한 영상이고, 이 들 영상(410, 420)에 대해 두 개의 RCNN(RCNN1, RCNN2)이 각각 후보 영역을 검출한 후의 결과 영상이다. 예를 들어, 영상(410)에서 검출된 후보 영역이 총 4개로서 한 개의 객체에 두 개씩 검출되었다. 즉, 좌측 객체에서 두 개의 후보 영역 (R1, C1), (R2, C2)이 검출되고, 우측 객체에서 두 개의 후보 영역 (R1, C1), (R2, C2)가 검출되었다. 또한, 영상(420)에서 검출된 후보 영상이 총 4개로서, 좌측 객체에서 3개의 후보 영역 (R3, C3), (R4, C4), (R5, C5)이 검출되었고, 우측 객체에서 1개의 후보 영역 (R3, C3)이 검출되었다. 여기서, 두 개의 영상이 동일하므로 각 영상(410, 420)에서 좌측 객체가 서로 동일하고, 우측 객체가 서로 동일하다. 이 때, 해당 객체에 대해 검출되는 후보 영역들은 도 1을 참조하는 경우 신뢰도가 임계값보다 낮은 신뢰도를 가지는 후보 영역들임을 알 수 있다.
이와 같이 후보 영역이 검출되는 경우, RCNN1에 의해 검출되는 후보 영역과 RCNN2에 의해 검출되는 후보 영역들에 대해 후보 영역별로 통합하여 시계열 데이터 형태로 구성한 후 LSTM 신경망(430)을 통해 과적합이 수행된다. 도 7을 참조하면, LSTM 신경망(430)으로 입력된 시계열 데이터가 영상(410, 420)에서 동일한 객체, 즉 좌측의 객체에 대해 통합된 후보 영역 데이터, 즉 (R1, C1), (R2, C2), (R3, C3), (R5, C4), (R5, C5)와, 우측의 객체에 대해 통합된 후보 영역 데이터, 즉 (R1, C1), (R2, C2), (R3, C3)와 같이 각 객체별로 통합되고 시계열 데이터 형태로 구성되어 LSTM 신경망(430)으로 입력되어 적용됨을 알 수 있다.
그런데, 이 때, 각 객체별로 후보 영역이 통합되어 시계열 데이터 형태로 구성되어 LSTM 신경망(430)에 의해 과적합이 수행됨으로써, 각 객체별 후보 영역에 대한 신뢰도가 예를 들어 83%, 77%가 되어 임계값인 75%보다 높아져서 최종 영역으로 도출되게 되고, 최종 영역으로 도출되므로써 최종 영상(440)에서 해당 객체가 검출된 것으로 객체 검출 결과에 표시된다. 여기서, 임계값 75%는 하나의 예시로서, 이러한 임계값은 LSTM 신경망의 상황에 따라 변경될 수 있다.
이와 같이, 도 1 및 도 2를 참조하여 설명한 종래 기술에서는 신뢰도의 낮은 값으로 인해 최종 객체로서 검출되지 않은 객체가 본 발명의 실시예에 따른 객체 검출 장치 및 방법에 따라서는 신뢰도의 증가로 인해 최종 객체로 검출되는 것을 확인할 수 있다.
한편, 본 발명의 또 다른 실시예에 따른 객체 검출 장치에 대해 설명한다.
도 8은 본 발명의 또 다른 실시예에 따른 객체 검출 장치의 개략적인 구성 블록도이다.
도 8을 참조하면, 본 발명의 또 다른 실시예에 따른 객체 검출 장치(500)는 통신기(510), 입력기(520), 출력기(530), 메모리(540), 프로세서(550) 및 버스(560)를 포함한다.
통신기(510)는 외부의 신경망 서버와의 신호 전송을 수행한다.
입력기(520)는 객체 검출 대상의 영상을 입력받거나 또는 카메라을 통해 촬영되는 영상을 입력받는다.
또한, 입력기(520)는 사용자의 제어 명령 등을 입력받을 수 있다. 이러한 입력기(520)로는 키보드, 마우스, 터치패드 등이 포함된다.
출력기(530)는 외부로 영상을 출력한다. 이러한 영상을 객체 검출 결과를 표시한 영상일 수 있다.
또한, 출력기(530)는 객체 검출 장치(500)의 상태를 표시하기 위해 음성이나 문자 등을 출력할 수 있다. 이러한 출력기(520)로는 LED(Light Emitting Diode) 디스플레이, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode) 디스플레이, 스피커 등이 포함된다.
메모리(540)는 코드의 집합을 저장하도록 구성되고, 그 코드는 다음과 같은 동작을 실행하기 위해 프로세서(550)를 제어하는 데 사용된다. 이러한 동작은, 입력기(520)를 통해 영상을 입력받는 동작, 영상을 동일한 복수의 영상으로 복제하는 동작, 통신기를 통해 접속되는 외부의 신경망을 사용하여 동일한 복수의 영상 각각에 대해 후보 영역을 검출하는 동작, 검출되는 후보 영역에 대응되는 후보 영역 데이터를 추출하는 동작, 추출되는 후보 영역 데이터를 시계열 데이터 형태로 통합하는 동작, 통신기를 통해 접속되는 외부의 신경망을 사용하여 통합된 후보 영역 데이터에 대한 과적합을 수행하여 최종 영역을 도출하는 동작, 도출된 최종 영역을 입력된 영상에 표시하여 객체 검출 결과로서 출력하는 동작을 포함한다.
버스(560)는 객체 검출 장치(500)의 모든 구성요소들, 즉 통신기(510), 입력기(520), 출력기(530), 메모리(540) 및 프로세서(550)를 결합하도록 구성된다.
한편, 메모리(540)는 ROM(Read Only Memory)과 RAM(Random Access Memory), NVRAM(Non-Volatile Random Access Memory)을 포함할 수 있다. 또한, 프로세서(550)는 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있다. 또한, 프로세서(740)는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
Claims (19)
- 객체 검출 대상의 복수의 동일한 입력 영상 각각에 대해 복수의 제1 신경망 모델을 사용하여 각 입력 영상 별로 후보 영역을 검출하는 후보 영역 검출부;
상기 후보 영역 검출부에 의해 검출되는 각 영상 별 후보 영역에 대응되는 후보 영역 데이터를 시계열 데이터 형태로 통합하는 통합부; 및
제2 신경망 모델을 사용하여 상기 통합부에 의해 통합된 시계열 데이터 형태의 후보 영역 데이터에 대해 과적합(Overfitting)을 수행하여 검출된 객체에 대응되는 최종 영역을 도출하는 연산부
를 포함하는 객체 검출 장치. - 제1항에 있어서,
상기 복수의 제1 신경망 모델은 복수의 RCNN(Region with Convolutional Neural Network)이고,
상기 복수의 RCNN은 동일한 신경망 내에 속하면서 서로 다른 RCNN 알고리즘을 사용하는 신경망이거나, 또는 서로 상이한 RCNN 신경망이며,
상기 복수의 제1 신경망 모델의 개수는 상기 동일한 입력 영상의 개수와 동일한,
객체 검출 장치. - 제2항에 있어서,
상기 제2 신경망 모델은 LSTM(Long Short Term Memory) 신경망인,
객체 검출 장치. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 복수의 제1 신경망 모델 및 상기 제2 신경망 모델은 통신망을 통해 접속 가능한 외부의 신경망에 의해 각각 제공되는,
객체 검출 장치. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 후보 영역 데이터에는 검출된 후보 영역에 대한 신뢰도(Confidence)가 포함되는,
객체 검출 장치. - 제1항에 있어서,
상기 후보 영역 검출부는 복수의 검출부를 포함하고,
상기 복수의 검출부는 각각 대응되는 상기 동일한 입력 영상에 대해 상기 제1 신경망을 각각 사용하여 후보 영역을 검출하며,
상기 복수의 검출부에 대응하는 복수의 추출부를 더 포함하고,
상기 복수의 추출부는 상기 복수의 검출부에 의해 각각 검출되는 후보 영역에 대응되는 각 후보 영역 데이터를 추출하여 상기 통합부로 전달하는,
객체 검출 장치. - 제6항에 있어서,
상기 연산부에 의해 도출되는 최종 영역을 상기 입력 영상에 표시하여 객체 검출 결과 영상으로서 출력하는 출력부를 더 포함하는,
객체 검출 장치. - 제1항에 있어서,
상기 통합부는 상기 후보 영역 데이터를 객체별로 통합하여 시계열 데이터 형태로 구성하는,
객체 검출 장치. - 복수의 RCNN(Region with Convolutional Neural Network)으로 객체 검출 대상의 복수의 동일한 입력 영상을 각각 입력하여 각 입력 영상에 대한 후보 영상을 검출하도록 하는 후보 영역 검출부;
상기 복수의 RCNN에 의해 후보 영역이 검출되는 경우, 상기 후보 영역에 대응되는 후보 영역 데이터를 추출하는 후보 영역 데이터 추출부;
상기 후보 영역 데이터 추출부에 의해 추출되는 후보 영역 데이터를 시계열 데이터 형태로 통합하는 통합부; 및
LSTM 신경망으로 상기 통합부에 의해 통합된 시계열 데이터 형태의 후보 영역 데이터를 입력하여 과적합을 수행시켜서 최종 영역을 도출하는 연산부
를 포함하는 객체 검출 장치. - 제9항에 있어서,
상기 후보 영역 데이터 추출부는 상기 복수의 RCNN에 대응하는 복수의 추출부를 포함하고,
상기 복수의 추출부는 상기 복수의 RCNN에 의해 각각 검출되는 후보 영역에 대응되는 각 후보 영역 데이터를 추출하여 상기 통합부로 전달하는,
객체 검출 장치. - 제9항에 있어서,
상기 복수의 RCNN 및 상기 LSTM 신경망은 통신망을 통해 접속 가능한 외부의 신경망에 의해 각각 제공되고,
상기 후보 영역 데이터에는 검출된 후보 영역에 대한 신뢰도(Confidence)가 포함되는,
객체 검출 장치. - 객체 검출 장치가 입력 영상으로부터 객체를 검출하는 방법으로서,
복수의 제1 신경망 모델을 사용하여 상기 입력 영상과 동일한 복수의 입력 영상별로 후보 영역을 각각 검출하는 단계;
상기 후보 영역에 대응되는 후보 영역 데이터를 추출하는 단계;
상기 후보 영역 데이터를 시계열 데이터 형태로 통합하는 단계; 및
제2 신경망 모델을 사용하여 상기 시계열 데이터 형태의 후보 영역 데이터에 대해 과적합을 수행하여 최종 영역을 도출하는 단계
를 포함하는 객체 검출 방법. - 제12항에 있어서,
상기 복수의 제1 신경망 모델은 복수의 RCNN(Region with Convolutional Neural Network)이고,
상기 복수의 RCNN은 동일한 신경망 내에 속하면서 서로 다른 RCNN 알고리즘을 사용하는 신경망이거나, 또는 서로 상이한 RCNN 신경망이며,
상기 복수의 제1 신경망 모델의 개수는 상기 동일한 입력 영상의 개수와 동일하고,
상기 제2 신경망 모델은 LSTM(Long Short Term Memory) 신경망인,
객체 검출 방법. - 제13항에 있어서,
상기 복수의 RCNN 및 상기 LSTM 신경망은 통신망을 통해 접속 가능한 외부의 신경망에 의해 각각 제공되는,
객체 검출 방법. - 제12항에 있어서,
상기 후보 영역 데이터를 시계열 데이터 형태로 통합하는 단계는,
상기 후보 영역 데이터를 객체별로 통합하여 상기 시계열 데이터 형태로 구성하는 단계를 포함하는,
객체 검출 방법. - 입력 영상에서 객체를 검출하는 장치로서,
통신기, 입력기, 메모리 및 프로세서를 포함하며,
상기 통신기는 통신망을 통해 외부의 신경망 서버와 신호를 송수신하고,
상기 입력기는 외부로부터 입력되는 입력 영상을 복수의 동일한 입력 영상으로 복제하며,
상기 메모리는 코드의 집합을 저장하도록 구성되고,
상기 코드는,
상기 통신기를 통해 접속되는 신경망에서 제공되는 복수의 제1 신경망 모델을 사용하여 상기 복수의 동일한 입력 영상 각각에 대해 후보 영역을 검출하는 동작;
검출되는 후보 영역에 대응되는 후보 영역 데이터를 시계열 데이터 형태로 통합하는 동작; 및
상기 통신기를 통해 접속되는 신경망에서 제공되는 제2 신경망 모델을 사용하여 상기 시계열 데이터 형태의 후보 영역 데이터에 대해 과적합을 수행하여 검출된 객체에 대응되는 최종 영역을 도출하는 동작
을 실행하도록 상기 프로세서를 제어하는 데 사용되는,
객체 검출 장치. - 제16항에 있어서,
상기 복수의 제1 신경망 모델은 복수의 RCNN(Region with Convolutional Neural Network)이고,
상기 제2 신경망 모델은 LSTM(Long Short Term Memory) 신경망인,
객체 검출 장치. - 제17항에 있어서,
상기 프로세서는,
상기 복수의 RCNN에 의해 후보 영역이 검출되는 경우 상기 후보 영역에 대응되는 후보 영역 데이터인 원시 데이터를 추출하는 동작을 더 실행하는,
객체 검출 장치. - 제16항에 있어서,
영상을 출력하는 출력기를 더 포함하고,
상기 프로세서는,
상기 출력기를 통해 상기 최종 영역을 상기 입력 영상에 표시하여 객체 검출 결과 영상으로 출력하는 동작을 더 실행하는,
객체 검출 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170085582A KR102002528B1 (ko) | 2017-07-05 | 2017-07-05 | 객체 검출 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170085582A KR102002528B1 (ko) | 2017-07-05 | 2017-07-05 | 객체 검출 장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190005045A true KR20190005045A (ko) | 2019-01-15 |
| KR102002528B1 KR102002528B1 (ko) | 2019-07-22 |
Family
ID=65030459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170085582A KR102002528B1 (ko) | 2017-07-05 | 2017-07-05 | 객체 검출 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102002528B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200119372A (ko) * | 2019-03-22 | 2020-10-20 | 주식회사 핀텔 | 인공신경망 기반 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램 |
| KR20220069336A (ko) | 2020-11-20 | 2022-05-27 | 재단법인대구경북과학기술원 | 객체 검출 방법 및 장치 |
| US11347308B2 (en) | 2019-07-26 | 2022-05-31 | Samsung Electronics Co., Ltd. | Method and apparatus with gaze tracking |
| KR102511967B1 (ko) * | 2021-11-19 | 2023-03-20 | (주)해양정보기술 | 영상 기반 해수위 관측 방법 및 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990086856A (ko) * | 1998-05-30 | 1999-12-15 | 윤종용 | 계층적 신경망을 이용한 물체 감지 장치 및방법 |
| JP2010044101A (ja) * | 2008-08-08 | 2010-02-25 | Toshiba Corp | パターン予測方法、プログラム及び装置 |
| KR20140089810A (ko) * | 2013-01-07 | 2014-07-16 | 한남대학교 산학협력단 | Cctv 환경에서의 얼굴 인식 기반 보안 관리 시스템 및 방법 |
| KR20170050029A (ko) * | 2015-10-29 | 2017-05-11 | 삼성에스디에스 주식회사 | 음성 인식 시스템 및 방법 |
-
2017
- 2017-07-05 KR KR1020170085582A patent/KR102002528B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990086856A (ko) * | 1998-05-30 | 1999-12-15 | 윤종용 | 계층적 신경망을 이용한 물체 감지 장치 및방법 |
| JP2010044101A (ja) * | 2008-08-08 | 2010-02-25 | Toshiba Corp | パターン予測方法、プログラム及び装置 |
| KR20140089810A (ko) * | 2013-01-07 | 2014-07-16 | 한남대학교 산학협력단 | Cctv 환경에서의 얼굴 인식 기반 보안 관리 시스템 및 방법 |
| KR20170050029A (ko) * | 2015-10-29 | 2017-05-11 | 삼성에스디에스 주식회사 | 음성 인식 시스템 및 방법 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200119372A (ko) * | 2019-03-22 | 2020-10-20 | 주식회사 핀텔 | 인공신경망 기반 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램 |
| US11347308B2 (en) | 2019-07-26 | 2022-05-31 | Samsung Electronics Co., Ltd. | Method and apparatus with gaze tracking |
| KR20220069336A (ko) | 2020-11-20 | 2022-05-27 | 재단법인대구경북과학기술원 | 객체 검출 방법 및 장치 |
| KR102511967B1 (ko) * | 2021-11-19 | 2023-03-20 | (주)해양정보기술 | 영상 기반 해수위 관측 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102002528B1 (ko) | 2019-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102002528B1 (ko) | 객체 검출 장치 및 그 방법 | |
| Liang et al. | Interpretable structure-evolving LSTM | |
| Singh et al. | Image classification: a survey | |
| Torralba et al. | Contextual models for object detection using boosted random fields | |
| Gee et al. | Solving multiobjective optimization problems in unknown dynamic environments: An inverse modeling approach | |
| US10778988B2 (en) | Method, an apparatus and a computer program product for object detection | |
| Frías-Blanco et al. | Fast adaptive stacking of ensembles | |
| KR20220107302A (ko) | 순환 신경망에서의 거리 메트릭 및 클러스터링 | |
| Rokni et al. | Plug-n-learn: automatic learning of computational algorithms in human-centered internet-of-things applications | |
| CN106971401A (zh) | 多目标跟踪装置和方法 | |
| US20230316720A1 (en) | Anomaly detection apparatus, anomaly detection method, and program | |
| CN116247824B (zh) | 电力设备的控制方法及其系统 | |
| CN116665086A (zh) | 一种基于学习行为智能分析的教学方法及系统 | |
| Belkhouja et al. | Analyzing deep learning for time-series data through adversarial lens in mobile and IoT applications | |
| KR20190056873A (ko) | 다중 신경망을 활용한 객체 검출 장치 및 그 방법과, 객체 검출 학습 방법 | |
| CN117435999A (zh) | 一种风险评估方法、装置、设备以及介质 | |
| CN113570512A (zh) | 一种图像数据处理方法、计算机及可读存储介质 | |
| US20220121953A1 (en) | Multi-task learning via gradient split for rich human analysis | |
| CN117396900A (zh) | 具有自训练分类的无监督异常检测 | |
| JP2020052935A (ja) | 学習済みモデルを生成する方法、データを分類する方法、コンピュータおよびプログラム | |
| CN112651467B (zh) | 卷积神经网络的训练方法和系统以及预测方法和系统 | |
| Faust et al. | Design of a fault-tolerant decision-making system for biomedical applications | |
| Alharbi et al. | Demographic group prediction based on smart device user recognition gestures | |
| US20210312323A1 (en) | Generating performance predictions with uncertainty intervals | |
| Aljobouri et al. | Performance evaluation of prototype‐based clustering algorithms combined MDL index |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |