KR20220138620A - 모델 앙상블을 이용한 객체 탐지 방법 및 장치 - Google Patents

모델 앙상블을 이용한 객체 탐지 방법 및 장치 Download PDF

Info

Publication number
KR20220138620A
KR20220138620A KR1020210044505A KR20210044505A KR20220138620A KR 20220138620 A KR20220138620 A KR 20220138620A KR 1020210044505 A KR1020210044505 A KR 1020210044505A KR 20210044505 A KR20210044505 A KR 20210044505A KR 20220138620 A KR20220138620 A KR 20220138620A
Authority
KR
South Korea
Prior art keywords
model
detection
boxes
box
image
Prior art date
Application number
KR1020210044505A
Other languages
English (en)
Other versions
KR102581154B1 (ko
Inventor
정용화
박대희
손승욱
유승현
안한세
Original Assignee
고려대학교 세종산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 세종산학협력단 filed Critical 고려대학교 세종산학협력단
Priority to KR1020210044505A priority Critical patent/KR102581154B1/ko
Publication of KR20220138620A publication Critical patent/KR20220138620A/ko
Application granted granted Critical
Publication of KR102581154B1 publication Critical patent/KR102581154B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

모델 앙상블을 이용한 객체 탐지 방법 및 장치가 제시된다. 본 발명에서 제안하는 모델 앙상블을 이용한 객체 탐지 방법은 카메라를 통해 복수의 객체를 촬영하여 영상을 획득하고, 모델링부가 영상으로부터 제1 모델 및 제2 모델을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득하는 단계, 획득된 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 탐지 박스 비교부를 통해 영상 내 객체의 수와 비교하는 단계 및 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교한 결과에 따라 탐지 박스 조정부를 통해 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대한 IOU(intersection Over Union) 값을 이용하여 매칭 박스를 결정하고, 최종 탐지 박스를 선정하는 단계를 포함한다.

Description

모델 앙상블을 이용한 객체 탐지 방법 및 장치{Method and Apparatus for Object Detection Using Model Ensemble}
본 발명은 영상 처리 응용의 정확도 개선을 위해 복수의 모델을 이용하는 객체 탐지 방법 및 장치에 관한 것이다.
딥러닝 모델의 탐지 상자들 간의 관계를 파악하기 위해 IOU(Intercetion of Union)를 사용할 수 있다. IOU는 두 상자의 겹쳐진 부분의 너비를 두 상자를 합쳤을 때의 너비로 나눈 것으로, 이를 통해 두 상자가 얼마나 유사한지를 0~1 사이로 표현할 수가 있다. 이보다 한 단계 발전한 것이 DIOU(Distance-IOU)[2] 이다. DIOU는 두 상자의 중심점 좌표 거리를 두 상자를 감싸는 큰 상자의 대각선 길이로 나눈 것으로, IOU가 표현하지 못했던 중심점 간의 거리를 포함하여 0~1 사이로 표현해준다. 이를 통해 탐지한 상자들 간의 상관관계를 0~1 사이로 정규화시킨 값으로 확인할 수 있다. PP-YOLO 기법[1]은 탐지한 상자들에 대하여 IOU-예측 값을 알 수 있다. IOU-예측은 현재 탐지한 상자가 실제 레이블과의 IOU가 얼마나 될 것인가를 예측하는 값으로, 탐지한 상자들의 클래스 별 예측값에 영향을 줄 수 있다.
하지만, 이러한 종래기술들은 객체들이 근접한 경우, 같은 클래스를 탐지한 상자들이 어떤 객체를 탐지한 것인지에 대한 구분이 어려워, 서로 다른 객체를 탐지했더라도 동일한 객체를 탐지한 것으로 판단해 상자를 제거하여, 결과적으로 탐지 정확도가 떨어지는 현상이 발생한다.
돈사 내 작업자의 부족(국내의 경우 작업자 1명이 평균 2,000 마리의 돼지를 관리)과 돼지의 높은 폐사율(국내의 경우 연간 약 500만 마리의 돼지가 폐사)을 고려할 때, 개별 돼지에 대한 세밀한 관리를 위하여 정보기술(Information Technology)을 적용한 돈사 모니터링의 필요성이 증가하고 있다. 그러나 지속적으로 발전하는 합성 곱 신경망 기반 객체 탐지 기술을 적용하여도 돼지들 간의 겹침(occlusion) 등의 이유로 혼잡한 돈사 내 돼지들을 정확히 탐지하는데 한계가 있다.
합성곱 신경망(Convolutional Neural Network) 기술 발전으로 객체 탐지를 통한 돈사에서의 돼지 모니터링이 가능하다. 종래기술에 따른 돈사에서의 돼지 모니터링을 위한 객체 탐지 방법으로는 카메라로부터 획득된 영상으로부터 탐지된 객체에 대응하는 바운딩 박스(bounding box)들을 획득하는 YOLOv4 객체 탐지 방법이 있다. 시간과 정확도가 적절하게 어울리는 가성비가 좋은 객체 탐지기인 YOLOv4에서는 Soft-nms를 거친 후 나오는 객체의 정보에서 현재 탐지한 박스 정보가 클래스와 객체 크기를 얼마나 정확하게 잡았는지를 나타내는 신뢰도 값을 이용한다. 또한, 신뢰도 값을 재조정하는 방법에서 사용되는 객체 분리를 위해서 적응 임계(adaptiveThreshold) 기법을 이용해서 영상 내 객체를 분리하고 영상을 회전시킨다. YOLOv4는 대표적인 객체 탐지 공개 DB인 MS COCO로 처리속도 대비 가장 높은 정확도를 달성한다. 또한 상호 보안적인 데이터를 구하기 위해 영상의 대비를 증가 시키는 CLAHE 알고리즘을 사용하여 추가 학습 데이터를 확보한다.
합성곱 신경망 기반 딥러닝 기술의 지속적인 발전으로 YOLOv4는 대부분의 객체들을 정확히 탐지(박스의 신뢰도 값이 80% 이상)하지만, 복수의 객체들로 인한 복잡하고 혼잡한 구조 내 객체들의 겹침으로 가짜 객체 박스가 진짜 객체 박스 보다 높은 신뢰도 값을 갖는 경우가 발생한다.
따라서, 이러한 문제를 해결하기 위해 복수의 모델을 이용하여 영상 처리 응용의 정확도 개선시키기 위한 방법을 필요로 한다.
[1] X. Long, et al. "PP-YOLO: An Effective and Efficient Implementation of Object Detector." arXiv preprint arXiv:2007.12099, 2020. [2] D. Yuan, et. al. "Accurate Bounding-box Regression with Distance-IoU Loss for Visual Tracking." arXiv preprint arXiv:2007.01864, 2020.
객체 탐지의 정확도를 높이기 위한 CNN 기반의 연구가 진행되고 있지만, 종래기술에서는 단일 모델에 대한 학습 및 테스트에 초점을 맞추고 있다. 이러한 종래기술에 따른 정확도는 YOLOv4 또는 EfficientDet의 COCO 데이터셋의 정확도는 대략 43% 및 45%로 측정되어 절반도 안 되는 정확도임을 확인할 수 있다.
본 발명이 이루고자 하는 기술적 과제는 이러한 단일 모델에서의 정확도 개선을 하기 위해 단일 모델이 아닌 복수의 모델을 사용하여 객체 탐지 박스를 조정함으로써 객체 탐지 정확도를 향상시키기 위한 방법 및 장치를 제공하는데 있다.
일 측면에 있어서, 본 발명에서 제안하는 모델 앙상블을 이용한 객체 탐지 방법은 카메라를 통해 복수의 객체를 촬영하여 영상을 획득하고, 모델링부가 영상으로부터 제1 모델 및 제2 모델을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득하는 단계, 획득된 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 탐지 박스 비교부를 통해 영상 내 객체의 수와 비교하는 단계 및 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교한 결과에 따라 탐지 박스 조정부를 통해 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대한 IOU(intersection Over Union) 값을 이용하여 매칭 박스를 결정하고, 최종 탐지 박스를 선정하는 단계를 포함한다.
제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교한 결과에 따라 탐지 박스 조정부를 통해 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대한 IOU 값을 이용하여 매칭 박스를 결정하고, 최종 탐지 박스를 선정하는 단계는 제1 모델의 탐지 박스의 수 또는 제2 모델의 탐지 박스의 수 중 어느 하나의 모델의 탐지 박스의 수가 영상 내 객체의 수와 같을 경우, 해당 모델을 객체 탐지를 위한 모델로 선택하고, 해당 모델의 탐지 박스를 이용하여 영상 내 객체를 탐지한다.
제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교한 결과에 따라 탐지 박스 조정부를 통해 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대한 IOU 값을 이용하여 매칭 박스를 결정하고, 최종 탐지 박스를 선정하는 단계는 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수가 모두 영상 내 객체의 수와 비교하여 같지 않은 경우, 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대하여 신뢰도 값의 내림차순으로 정렬하고, 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대해 IOU(intersection Over Union) 값을 이용하여 비교한다.
제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대해 비교한 IOU 값이 미리 정해진 기준 이상인 탐지 박스를 동일한 객체를 탐지한 탐지 박스로 판단하여 매칭 박스로 결정하고, 해당 매칭 박스를 영상 내 객체를 탐지하기 위한 최종 탐지 박스로 선정한다.
매칭 박스를 결정하고 남은 나머지 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들에 대하여 신뢰도 값이 높은 순으로 영상 내 객체의 수와 같아질 때까지 영상 내 객체를 탐지하기 위한 최종 탐지 박스로 추가한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 모델 앙상블을 이용한 객체 탐지 장치는 카메라를 통해 복수의 객체를 촬영한 영상으로부터 제1 모델 및 제2 모델을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득하는 모델링부, 획득된 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교하는 탐지 박스 비교부 및 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교한 결과에 따라 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대한 IOU(intersection Over Union) 값을 이용하여 매칭 박스를 결정하고, 최종 탐지 박스를 선정하는 탐지 박스 조정부를 포함한다.
본 발명의 실시예들에 따르면 상호 보안적인 데이터로 학습된 복수의 모델을 사용하여 객체 탐지 박스를 조정함으로써 객체 탐지 정확도를 향상시킬 수 있다. 또한, 많은 시간을 소모하지 않는 알고리즘을 이용하기 때문에 최적의 모델의 조합을 찾으면서 정확도는 개선하고, 하나의 영상에서 많은 객체들을 정확하게 탐지 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 모델 앙상블을 이용한 객체 탐지 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 모델 앙상블을 이용한 객체 탐지 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 모델 앙상블을 이용한 객체 탐지 장치의 구성을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상획득을 위해 설치된 카메라를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 모델링부를 통해 획득된 탐지 박스를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 제1 모델 및 제2 모델을 이용하여 각각 획득된 탐지 박스를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대해 IOU 값을 비교하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 최종 탐지 박스를 선정하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 탐지 박스의 신뢰도 값 조절 알고리즘을 나타내는 도면이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 모델 앙상블을 이용한 객체 탐지 방법을 설명하기 위한 흐름도이다.
제안하는 모델 앙상블을 이용한 객체 탐지 방법은 카메라를 통해 복수의 객체를 촬영하여 영상을 획득하고, 모델링부가 영상으로부터 제1 모델 및 제2 모델을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득하는 단계(110), 획득된 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 탐지 박스 비교부를 통해 영상 내 객체의 수와 비교하는 단계(120) 및 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교한 결과에 따라 탐지 박스 조정부를 통해 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대한 IOU(intersection Over Union) 값을 이용하여 매칭 박스를 결정하고, 최종 탐지 박스를 선정하는 단계(130)를 포함한다.
단계(110)에서, 카메라를 통해 복수의 객체를 촬영하여 영상을 획득하고, 모델링부가 영상으로부터 제1 모델 및 제2 모델을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득한다. 예를 들어, 카메라를 통해 복수의 객체를 촬영하기 위해 위에서 아래를 촬영하는 탑-뷰(top-view) 카메라를 통해 촬영할 수 있다. 설치된 카메라로부터 획득한 영상에 대해 모델링부를 통해 탐지 박스들을 획득할 수 있다.
이때, 모델링부는 복수의 탐지 모델을 이용하여 탐지 박스들을 획득할 수 있다. 예를 들어, 제1 모델 및 제2 모델을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득할 수 있다. 본 발명의 실시예에 따른 모델 앙상블을 위한 복수의 탐지 모델은 제1 모델 및 제2 모델을 포함하지만, 이에 한정되지 않고, 더 많을 수의 탐지 모델을 이용하여 앙상블을 통해 객체 탐지 박스를 조정함으로써 객체 탐지 정확도를 향상시킬 수 있다.
단계(120)에서, 획득된 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 탐지 박스 비교부를 통해 영상 내 객체의 수와 비교한다.
단계(130)에서, 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교한 결과에 따라 탐지 박스 조정부를 통해 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대한 IOU(intersection Over Union) 값을 이용하여 매칭 박스를 결정하고, 최종 탐지 박스를 선정한다.
제1 모델의 탐지 박스의 수 또는 제2 모델의 탐지 박스의 수 중 어느 하나의 모델의 탐지 박스의 수가 영상 내 객체의 수와 같을 경우, 해당 모델을 객체 탐지를 위한 모델로 선택하고, 해당 모델의 탐지 박스를 이용하여 영상 내 객체를 탐지한다.
반면에, 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수가 모두 영상 내 객체의 수와 비교하여 같지 않은 경우, 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대하여 신뢰도 값의 내림차순으로 정렬하고, 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대해 IOU(intersection Over Union) 값을 이용하여 비교한다.
제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대해 비교한 IOU 값이 미리 정해진 기준 이상인 탐지 박스를 동일한 객체를 탐지한 탐지 박스로 판단하여 매칭 박스로 결정하고, 해당 매칭 박스를 영상 내 객체를 탐지하기 위한 최종 탐지 박스로 선정한다.
매칭 박스를 결정하고 남은 나머지 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들에 대하여 신뢰도 값이 높은 순으로 영상 내 객체의 수와 같아질 때까지 영상 내 객체를 탐지하기 위한 최종 탐지 박스로 추가한다. 도 2를 참조하여 모델 앙상블을 이용한 객체 탐지 과정을 더욱 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 모델 앙상블을 이용한 객체 탐지 과정을 설명하기 위한 도면이다.
본 발명의 실시예에 따르면, 먼저 카메라를 통해 복수의 객체를 촬영하여 영상을 획득한다. 제안하는 모델 앙상블을 이용한 객체 탐지 장치의 모델링부가 영상으로부터 제1 모델(Model A) 및 제2 모델(Model B)을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득한다(210). 다시 말해, 제1 모델(Model A)을 이용하여 탐지 박스(A_box)를 획득하고, 제2 모델(Model B)을 이용하여 탐지 박스(B_box)를 획득한다.
이후, 획득된 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 탐지 박스 비교부를 통해 영상 내 객체의 수와 비교한다.
더욱 상세하게는, 제1 모델(Model A)을 이용하여 획득한 탐지 박스(A_box)의 사이즈(다시 말해, 탐지 박스의 수)를 영상 내 객체의 수(no_object)와 비교한다(211). 제1 모델(Model A)의 탐지 박스(A_box)의 수가 영상 내 객체의 수(no_object)와 같을 경우, 제1 모델(Model A)을 객체 탐지를 위한 모델로 선택하고, 제1 모델의 탐지 박스(A_box)를 반환하여 영상 내 객체를 탐지한다(212).
제1 모델(Model A)의 탐지 박스(A_box)의 수가 영상 내 객체의 수(no_object)와 같지 않을 경우, 제2 모델(Model B)을 이용하여 획득한 탐지 박스(B_box)의 사이즈(다시 말해, 탐지 박스의 수)를 영상 내 객체의 수(no_object)와 비교한다(213). 제2 모델(Model B)의 탐지 박스(B_box)의 수가 영상 내 객체의 수(no_object)와 같을 경우, 제2 모델(Model B)을 객체 탐지를 위한 모델로 선택하고, 제2 모델의 탐지 박스(B_box)를 반환하여 영상 내 객체를 탐지한다(214).
제1 모델(Model A)의 탐지 박스(A_box) 및 제2 모델(Model B)의 탐지 박스(B_box) 모두 영상 내 객체의 수(no_object)와 같지 않을 경우, 제1 모델(Model A)의 탐지 박스(A_box) 및 제2 모델(Model B)의 탐지 박스(B_box) 각각에 대하여 신뢰도 값의 내림차순으로 정렬한다(121).
이후, 제1 모델의 탐지 박스들(A_box) 및 제2 모델의 탐지 박스들(B_box) 각각에 대해 IOU(intersection Over Union) 값을 이용하여 비교하는 과정을 반복 수행하기 위한 파라미터를 초기 설정한다(122).
제1 모델(Model A) 및 제2 모델(Model B)의 탐지 박스들 중 동일한 객체를 탐지한 탐지 박스로 판단되는 매칭 박스의 수(matched_boxes)를 0으로 설정하고, IOU 값 비교 반복 횟수(i)를 1로 설정한다. IOU 값 비교 반복 횟수(i)를 제1 모델의 탐지 박스(A_box)의 수와 비교하고(231), 작을 경우 j를 1로 설정한다(241). 여기서 j는 IOU 값 비교 반복 횟수(i)가 제1 모델의 탐지 박스(A_box)의 수보다 작을 때의 IOU 값 비교 반복 횟수(j)를 나타낸다. 이후, j 값을 제2 모델의 탐지 박스(B_box)의 수와 비교하고(242), 클 경우 j 값을 ++1 한다(247).
반면에 작을 경우 제1 모델의 탐지 박스들(A_box) 및 제2 모델의 탐지 박스들(B_box)의 IOU 값을 비교하여 가장 큰 값을 갖는 해당 탐지 박스의 IOU 값을 max_iou 값으로 설정한다(243). max_iou 값을 미리 설정된 iou_thresh 값과 비교한다(244). 여기서, iou_thresh 값은 해당 제1 모델의 탐지 박스(A_box)와 제2 모델의 탐지 박스(B_box)가 동일한 객체를 탐지했는지 판별하기 위한 임계값이다. max_iou 값이 미리 정해진 iou_thresh 값 보다 클 경우, 매칭 박스의 수(matched_boxes)를 ++1하고, 해당 박스를 매칭 박스로 결정하고, 해당 매칭 박스를 영상 내 객체를 탐지하기 위한 최종 탐지 박스(c_box)로 선정한다(245). 이후, j 값을 ++1 하고, 단계(242)부터 반복한다.
다시 단계(231)를 참조하면, IOU 값 비교 반복 횟수(i)를 제1 모델의 탐지 박스(A_box)의 수와 비교하여 클 경우, 매칭 박스의 수(matched_boxes)를 영상 내 객체의 수(no_object)와 비교한다(232).
매칭 박스의 수(matched_boxes)가 영상 내 객체의 수(no_object) 보다 작을 경우, 매칭 박스를 결정하고 남은 나머지 제1 모델의 탐지 박스들(A_box) 및 제2 모델의 탐지 박스들(B_box)에 대하여 신뢰도 값이 높은 순으로 최종 탐지 박스(c_box)에 추가하고, 매칭 박스의 수(matched_boxes)를 ++1한다(233).
매칭 박스를 결정하고 남은 나머지 제1 모델의 탐지 박스들(A_box) 및 제2 모델의 탐지 박스들(B_box)의 수가 0인지 판단하고(234), 0일 경우 최종 탐지 박스(c_box)를 반환하여 최종 탐지 박스(c_box)를 이용한 영상 내 객체 탐지를 수행한다(235). 반면에, 매칭 박스를 결정하고 남은 나머지 제1 모델의 탐지 박스들(A_box) 및 제2 모델의 탐지 박스들(B_box)의 수가 0이 아닐 경우, 단계(232)부터 반복 수행한다.
도 3은 본 발명의 일 실시예에 따른 모델 앙상블을 이용한 객체 탐지 장치의 구성을 나타내는 도면이다.
제안하는 모델 앙상블을 이용한 객체 탐지 장치(300)는 모델링부(310), 탐지 박스 비교부(320) 및 탐지 박스 조정부(330)를 포함한다.
모델링부(310)는 카메라를 통해 복수의 객체를 촬영한 영상으로부터 제1 모델 및 제2 모델을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득한다. 예를 들어, 카메라를 통해 복수의 객체를 촬영하기 위해 위에서 아래를 촬영하는 탑-뷰(top-view) 카메라를 통해 촬영할 수 있다. 설치된 카메라로부터 획득한 영상에 대해 모델링부를 통해 탐지 박스들을 획득할 수 있다.
이때, 모델링부(310)는 복수의 탐지 모델을 이용하여 탐지 박스들을 획득할 수 있다. 예를 들어, 제1 모델 및 제2 모델을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득할 수 있다. 본 발명의 실시예에 따른 모델 앙상블을 위한 복수의 탐지 모델은 제1 모델 및 제2 모델을 포함하지만, 이에 한정되지 않고, 더 많을 수의 탐지 모델을 이용하여 앙상블을 통해 객체 탐지 박스를 조정함으로써 객체 탐지 정확도를 향상시킬 수 있다.
탐지 박스 비교부(320)는 획득된 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교한다.
탐지 박스 조정부(330)는 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교한 결과에 따라 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대한 IOU(intersection Over Union) 값을 이용하여 매칭 박스를 결정하고, 최종 탐지 박스를 선정한다.
탐지 박스 조정부(330)는 제1 모델의 탐지 박스의 수 또는 제2 모델의 탐지 박스의 수 중 어느 하나의 모델의 탐지 박스의 수가 영상 내 객체의 수와 같을 경우, 해당 모델을 객체 탐지를 위한 모델로 선택하고, 해당 모델의 탐지 박스를 이용하여 영상 내 객체를 탐지한다.
반면에, 탐지 박스 조정부(330)는 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수가 모두 영상 내 객체의 수와 비교하여 같지 않은 경우, 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대하여 신뢰도 값의 내림차순으로 정렬하고, 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대해 IOU(intersection Over Union) 값을 이용하여 비교한다.
탐지 박스 조정부(330)는 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대해 비교한 IOU 값이 미리 정해진 기준 이상인 탐지 박스를 동일한 객체를 탐지한 탐지 박스로 판단하여 매칭 박스로 결정하고, 해당 매칭 박스를 영상 내 객체를 탐지하기 위한 최종 탐지 박스로 선정한다.
탐지 박스 조정부(330)는 매칭 박스를 결정하고 남은 나머지 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들에 대하여 신뢰도 값이 높은 순으로 영상 내 객체의 수와 같아질 때까지 영상 내 객체를 탐지하기 위한 최종 탐지 박스로 추가한다.
이하, 도 4 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 모델 앙상블을 이용한 객체 탐지 과정에 대해 더욱 상세히 설명한다. 본 발명에서 제안하는 객체 탐지 방법 및 장치에 대한 상세한 설명을 위해 돈사 내에서의 객체(다시 말해, 돼지) 탐지에 적용하여 예시로서 설명한다. 돈사 내에서의 객체 탐지는 일 실시예일뿐 이에 한정되지 않으며, 본 발명에서 제안하는 객체 탐지 방법 및 장치는 다양한 분야에서의 객체 탐지에 적용될 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상획득을 위해 설치된 카메라를 나타내는 도면이다.
본 발명의 일 실시예에 따른 카메라는 돈사 내 돼지의 영상을 촬영하기 위해 위에서 아래를 촬영하는 탑-뷰(top-view) 카메라로 설치될 수 있다. 돈사 내에 설치된 카메라로 획득된 영상으로부터 본 발명의 일 실시예에 따른 모델링부를 통해 영상으로부터 제1 모델 및 제2 모델을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득한다.
본 발명의 실시예에 따르면 YOLOv4를 사용하여 영상으로부터 탐지 박스들을 획득할 수 있다. YOLOv4는 대표적인 객체 탐지 공개 DB인 MS COCO로 처리속도 대비 높은 정확도를 달성할 수 있다. 즉, 합성곱 신경망 기반 딥러닝 기술의 지속적인 발전으로 YOLOv4는 대부분의 돼지들을 정확히 탐지하지만, 돈방의 복잡한 구조 등의 이유로 배경(background)에 해당하는 가짜 돼지를 탐지한 박스들이 포함되는 문제(False Positive, FP)가 남아있다. 만약 이러한 가짜 돼지들을 제거하기 위하여 단순히 박스의 신뢰도(confidence) 값이 적은 것을 제거한다면, 겹친 돼지(occluded pig)와 같이 신뢰도 값이 낮은 다른 박스도 함께 제거된다는 또 다른 문제(False Negative, FN)가 발생한다.
이러한 문제들을 해결하기 위하여 본 발명에서는 상호 보안적인 데이터로 학습된 복수의 모델을 사용하여 객체 탐지 박스를 조정함으로써 객체 탐지 정확도를 향상시킬 수 있다.
도 5는 본 발명의 일 실시예에 따른 모델링부를 통해 획득된 탐지 박스를 나타내는 도면이다.
카메라를 통해 복수의 객체를 촬영하여 영상을 획득하고, 모델링부가 영상으로부터 제1 모델 및 제2 모델을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득한다. 모델링부는 복수의 탐지 모델을 이용하여 탐지 박스들을 획득할 수 있다. 예를 들어, 제1 모델 및 제2 모델을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득할 수 있다.
도 5를 참조하면, 영상 내 객체의 수는 9이고, 탐지 박스의 수도 동일한 9임을 알 수 있다. 제1 모델의 탐지 박스의 수 또는 제2 모델의 탐지 박스의 수 중 어느 하나의 모델의 탐지 박스의 수가 영상 내 객체의 수와 같을 경우, 해당 모델을 객체 탐지를 위한 모델로 선택하고, 해당 모델의 탐지 박스를 이용하여 영상 내 객체를 탐지할 수 있다.
도 6은 본 발명의 일 실시예에 따른 제1 모델 및 제2 모델을 이용하여 각각 획득된 탐지 박스를 나타내는 도면이다.
도 5와는 달리, 도 6asms 영상 내 객체의 수는 9이지만, 탐지 박스의 수는 8개 이다. 도 6b는 제1 모델을 이용하여 획득한 탐지 박스들을 나타내는 도면이고, 도 6c는 제2 모델을 이용하여 획득한 탐지 박스들을 나타낸다.
도 6b의 탐지 박스(611)와 도 6c의 탐지 박스(612)는 두 객체의 겹침으로 인해 발생하는 오류일 수 있다.
이와 같이, 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수가 모두 영상 내 객체의 수와 비교하여 같지 않은 경우, 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대하여 신뢰도 값의 내림차순으로 정렬하고, 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대해 IOU(intersection Over Union) 값을 이용하여 비교할 수 있다.
제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대해 비교한 IOU 값이 미리 정해진 기준(iou_thresh) 이상인 탐지 박스를 동일한 객체를 탐지한 탐지 박스로 판단하여 매칭 박스로 결정하고, 해당 매칭 박스를 영상 내 객체를 탐지하기 위한 최종 탐지 박스로 선정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대해 IOU 값을 비교하는 과정을 설명하기 위한 도면이다.
도 7a는 제1 모델을 이용하여 획득한 탐지 박스들을 나타내는 도면이고, 도 7b는 제2 모델을 이용하여 획득한 탐지 박스들을 나타낸다.
도 7a의 탐지 박스(711)와 도 7b의 탐지 박스(712)의 IOU 값은 0.99이다. 이 IOU 값 0.99를 미리 정해진 기준(iou_thresh)과 비교한다. 미리 정해진 기준(iou_thresh) 값은 해당 제1 모델의 탐지 박스(A_box)와 제2 모델의 탐지 박스(B_box)가 동일한 객체를 탐지했는지 판별하기 위한 임계값이다. 본 발명의 실시예에 따른 미리 정해진 기준(iou_thresh) 값은 0.9로 설정하였다. 도 7a의 탐지 박스(711)와 도 7b의 탐지 박스(712)는 IOU 값은 0.99 이므로 각각의 탐지 박스는 동일한 객체를 탐지한 것으로 판단할 수 있다. 따라서, 해당 탐지 박스를 매칭 박스로 결정하고, 해당 매칭 박스를 영상 내 객체를 탐지하기 위한 최종 탐지 박스로 선정할 수 있다.
나머지 탐지 박스들에 대해서도 IOU 값을 비교하고, 비교한 IOU 값이 미리 정해진 기준 이상인 탐지 박스를 동일한 객체를 탐지한 탐지 박스로 판단하여 매칭 박스로 결정하고, 해당 매칭 박스를 영상 내 객체를 탐지하기 위한 최종 탐지 박스로 선정한다.
반면에, 도 7b의 탐지 박스(721)와 도 7b의 탐지 박스(722)는 IOU 값은 미리 정해진 기준(iou_thresh) 보다 작다. 이러한 경우, 매칭 박스를 결정하고 남은 나머지 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들에 대하여 신뢰도 값이 높은 순으로 영상 내 객체의 수와 같아질 때까지 영상 내 객체를 탐지하기 위한 최종 탐지 박스로 추가한다.
도 8은 본 발명의 일 실시예에 따른 최종 탐지 박스를 선정하는 과정을 설명하기 위한 도면이다.
도 8을 참조하면, 매칭 박스를 결정하고 남은 나머지 제1 모델의 탐지 박스(811) 및 제2 모델의 탐지 박스(812)에 대하여 신뢰도 값이 높은 순으로 영상 내 객체의 수와 같아질 때까지 영상 내 객체를 탐지하기 위한 최종 탐지 박스(821, 822)로 추가한 결과를 나타내는 도면이다.
이와 같이, 탐지 박스의 오류를 보완 하기 위하여 상호 보완적인 데이터로 학습된 두 개의 모델의 탐지 박스 결과를 결합하여 객체 탐지 정확도를 향상시킬 수 있다.
도 9는 본 발명의 일 실시예에 따른 탐지 박스의 신뢰도 값 조절 알고리즘을 나타내는 도면이다.
본 발명의 실시예에 따르면, 먼저 카메라를 통해 복수의 객체를 촬영하여 영상을 획득한다. 제안하는 모델 앙상블을 이용한 객체 탐지 장치의 모델링부가 영상으로부터 제1 모델(Model A) 및 제2 모델(Model B)을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득한다. 다시 말해, 제1 모델(Model A)을 이용하여 탐지 박스(A_box)를 획득하고, 제2 모델(Model B)을 이용하여 탐지 박스(B_box)를 획득한다.
이후, 획득된 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 탐지 박스 비교부를 통해 영상 내 객체의 수와 비교한다.
더욱 상세하게는, 제1 모델(Model A)을 이용하여 획득한 탐지 박스(A_box)의 사이즈(다시 말해, 탐지 박스의 수)를 영상 내 객체의 수(no_object)와 비교한다. 제1 모델(Model A)의 탐지 박스(A_box)의 수가 영상 내 객체의 수(no_object)와 같을 경우, 제1 모델(Model A)을 객체 탐지를 위한 모델로 선택하고, 제1 모델의 탐지 박스(A_box)를 반환하여 영상 내 객체를 탐지한다.
제1 모델(Model A)의 탐지 박스(A_box)의 수가 영상 내 객체의 수(no_object)와 같지 않을 경우, 제2 모델(Model B)을 이용하여 획득한 탐지 박스(B_box)의 사이즈(다시 말해, 탐지 박스의 수)를 영상 내 객체의 수(no_object)와 비교한다. 제2 모델(Model B)의 탐지 박스(B_box)의 수가 영상 내 객체의 수(no_object)와 같을 경우, 제2 모델(Model B)을 객체 탐지를 위한 모델로 선택하고, 제2 모델의 탐지 박스(B_box)를 반환하여 영상 내 객체를 탐지한다.
제1 모델(Model A)의 탐지 박스(A_box) 및 제2 모델(Model B)의 탐지 박스(B_box) 모두 영상 내 객체의 수(no_object)와 같지 않을 경우, 제1 모델(Model A)의 탐지 박스(A_box) 및 제2 모델(Model B)의 탐지 박스(B_box) 각각에 대하여 신뢰도 값의 내림차순으로 정렬한다(121).
이후, 제1 모델의 탐지 박스들(A_box) 및 제2 모델의 탐지 박스들(B_box) 각각에 대해 IOU(intersection Over Union) 값을 이용하여 비교하는 과정을 반복 수행하기 위한 파라미터를 초기 설정한다(122).
제1 모델(Model A) 및 제2 모델(Model B)의 탐지 박스들 중 동일한 객체를 탐지한 탐지 박스로 판단되는 매칭 박스의 수(matched_boxes)를 0으로 설정하고, IOU 값 비교 반복 횟수(i)를 1로 설정한다. IOU 값 비교 반복 횟수(i)를 제1 모델의 탐지 박스(A_box)의 수와 비교하고, 작을 경우 j를 1로 설정한다. 여기서 j는 IOU 값 비교 반복 횟수(i)가 제1 모델의 탐지 박스(A_box)의 수보다 작을 때의 IOU 값 비교 반복 횟수(j)를 나타낸다. 이후, j 값을 제2 모델의 탐지 박스(B_box)의 수와 비교하고, 클 경우 j 값을 ++1 한다.
반면에 작을 경우 제1 모델의 탐지 박스들(A_box) 및 제2 모델의 탐지 박스들(B_box)의 IOU 값을 비교하여 가장 큰 값을 갖는 해당 탐지 박스의 IOU 값을 max_iou 값으로 설정한다. max_iou 값을 미리 설정된 iou_thresh 값과 비교한다. 여기서, iou_thresh 값은 해당 제1 모델의 탐지 박스(A_box)와 제2 모델의 탐지 박스(B_box)가 동일한 객체를 탐지했는지 판별하기 위한 임계값이다. max_iou 값이 미리 정해진 iou_thresh 값 보다 클 경우, 매칭 박스의 수(matched_boxes)를 ++1하고, 해당 박스를 매칭 박스로 결정하고, 해당 매칭 박스를 영상 내 객체를 탐지하기 위한 최종 탐지 박스(c_box)로 선정한다. 이후, j 값을 ++1 하고, 단계부터 반복한다.
다시 단계를 참조하면, IOU 값 비교 반복 횟수(i)를 제1 모델의 탐지 박스(A_box)의 수와 비교하여 클 경우, 매칭 박스의 수(matched_boxes)를 영상 내 객체의 수(no_object)와 비교한다.
매칭 박스의 수(matched_boxes)가 영상 내 객체의 수(no_object) 보다 작을 경우, 매칭 박스를 결정하고 남은 나머지 제1 모델의 탐지 박스들(A_box) 및 제2 모델의 탐지 박스들(B_box)에 대하여 신뢰도 값이 높은 순으로 최종 탐지 박스(c_box)에 추가하고, 매칭 박스의 수(matched_boxes)를 ++1한다.
매칭 박스를 결정하고 남은 나머지 제1 모델의 탐지 박스들(A_box) 및 제2 모델의 탐지 박스들(B_box)의 수가 0인지 판단하고, 0일 경우 최종 탐지 박스(c_box)를 반환하여 최종 탐지 박스(c_box)를 이용한 영상 내 객체 탐지를 수행한다. 반면에, 매칭 박스를 결정하고 남은 나머지 제1 모델의 탐지 박스들(A_box) 및 제2 모델의 탐지 박스들(B_box)의 수가 0이 아닐 경우, 단계부터 반복 수행한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 카메라를 통해 복수의 객체를 촬영하여 영상을 획득하고, 모델링부가 영상으로부터 제1 모델 및 제2 모델을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득하는 단계;
    획득된 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 탐지 박스 비교부를 통해 영상 내 객체의 수와 비교하는 단계; 및
    제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교한 결과에 따라 탐지 박스 조정부를 통해 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대한 IOU(intersection Over Union) 값을 이용하여 매칭 박스를 결정하고, 최종 탐지 박스를 선정하는 단계
    를 포함하는 객체 탐지 방법.
  2. 제1항에 있어서,
    제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교한 결과에 따라 탐지 박스 조정부를 통해 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대한 IOU 값을 이용하여 매칭 박스를 결정하고, 최종 탐지 박스를 선정하는 단계는,
    제1 모델의 탐지 박스의 수 또는 제2 모델의 탐지 박스의 수 중 어느 하나의 모델의 탐지 박스의 수가 영상 내 객체의 수와 같을 경우,
    해당 모델을 객체 탐지를 위한 모델로 선택하고, 해당 모델의 탐지 박스를 이용하여 영상 내 객체를 탐지하는
    객체 탐지 방법.
  3. 제1항에 있어서,
    제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교한 결과에 따라 탐지 박스 조정부를 통해 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대한 IOU 값을 이용하여 매칭 박스를 결정하고, 최종 탐지 박스를 선정하는 단계는,
    제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수가 모두 영상 내 객체의 수와 비교하여 같지 않은 경우,
    제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대하여 신뢰도 값의 내림차순으로 정렬하고, 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대해 IOU(intersection Over Union) 값을 이용하여 비교하는
    객체 탐지 방법.
  4. 제3항에 있어서,
    제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대해 비교한 IOU 값이 미리 정해진 기준 이상인 탐지 박스를 동일한 객체를 탐지한 탐지 박스로 판단하여 매칭 박스로 결정하고, 해당 매칭 박스를 영상 내 객체를 탐지하기 위한 최종 탐지 박스로 선정하는
    객체 탐지 방법.
  5. 제4항에 있어서,
    매칭 박스를 결정하고 남은 나머지 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들에 대하여 신뢰도 값이 높은 순으로 영상 내 객체의 수와 같아질 때까지 영상 내 객체를 탐지하기 위한 최종 탐지 박스로 추가하는
    객체 탐지 방법.
  6. 카메라를 통해 복수의 객체를 촬영한 영상으로부터 제1 모델 및 제2 모델을 이용하여 각각의 모델 별로 영상 내 객체들을 탐지하기 위한 탐지 박스들을 획득하는 모델링부;
    획득된 제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교하는 탐지 박스 비교부; 및
    제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수 각각을 영상 내 객체의 수와 비교한 결과에 따라 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대한 IOU(intersection Over Union) 값을 이용하여 매칭 박스를 결정하고, 최종 탐지 박스를 선정하는 탐지 박스 조정부
    를 포함하는 객체 탐지 장치.
  7. 제6항에 있어서,
    탐지 박스 조정부는,
    제1 모델의 탐지 박스의 수 또는 제2 모델의 탐지 박스의 수 중 어느 하나의 모델의 탐지 박스의 수가 영상 내 객체의 수와 같을 경우,
    해당 모델을 객체 탐지를 위한 모델로 선택하고, 해당 모델의 탐지 박스를 이용하여 영상 내 객체를 탐지하는
    객체 탐지 장치.
  8. 제6항에 있어서,
    탐지 박스 조정부는,
    제1 모델의 탐지 박스의 수 및 제2 모델의 탐지 박스의 수가 모두 영상 내 객체의 수와 비교하여 같지 않은 경우,
    제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대하여 신뢰도 값의 내림차순으로 정렬하고, 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대해 IOU(intersection Over Union) 값을 이용하여 비교하는
    객체 탐지 장치.
  9. 제8항에 있어서,
    탐지 박스 조정부는,
    제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들 각각에 대해 비교한 IOU 값이 미리 정해진 기준 이상인 탐지 박스를 동일한 객체를 탐지한 탐지 박스로 판단하여 매칭 박스로 결정하고, 해당 매칭 박스를 영상 내 객체를 탐지하기 위한 최종 탐지 박스로 선정하는
    객체 탐지 장치.
  10. 제9항에 있어서,
    탐지 박스 조정부는,
    매칭 박스를 결정하고 남은 나머지 제1 모델의 탐지 박스들 및 제2 모델의 탐지 박스들에 대하여 신뢰도 값이 높은 순으로 영상 내 객체의 수와 같아질 때까지 영상 내 객체를 탐지하기 위한 최종 탐지 박스로 추가하는
    객체 탐지 장치.
KR1020210044505A 2021-04-06 2021-04-06 모델 앙상블을 이용한 객체 탐지 방법 및 장치 KR102581154B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210044505A KR102581154B1 (ko) 2021-04-06 2021-04-06 모델 앙상블을 이용한 객체 탐지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210044505A KR102581154B1 (ko) 2021-04-06 2021-04-06 모델 앙상블을 이용한 객체 탐지 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220138620A true KR20220138620A (ko) 2022-10-13
KR102581154B1 KR102581154B1 (ko) 2023-09-21

Family

ID=83599278

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210044505A KR102581154B1 (ko) 2021-04-06 2021-04-06 모델 앙상블을 이용한 객체 탐지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102581154B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726991A (zh) * 2024-02-07 2024-03-19 金钱猫科技股份有限公司 一种高空吊篮安全带检测方法及终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135479B1 (ko) * 2020-05-09 2020-07-17 주식회사 디퍼아이 인공 지능형 동전 계수 장치 및 그 방법
KR20210112293A (ko) * 2019-01-23 2021-09-14 모셔널 에이디 엘엘씨 주석 달기를 위한 데이터 샘플의 자동 선택

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210112293A (ko) * 2019-01-23 2021-09-14 모셔널 에이디 엘엘씨 주석 달기를 위한 데이터 샘플의 자동 선택
KR102135479B1 (ko) * 2020-05-09 2020-07-17 주식회사 디퍼아이 인공 지능형 동전 계수 장치 및 그 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
[1] X. Long, et al. "PP-YOLO: An Effective and Efficient Implementation of Object Detector." arXiv preprint arXiv:2007.12099, 2020.
[2] D. Yuan, et. al. "Accurate Bounding-box Regression with Distance-IoU Loss for Visual Tracking." arXiv preprint arXiv:2007.01864, 2020.
Angela Casado-Garcia et al. "Ensemble Methods for Object Detection" ECAI 2020, 2020 - ebooks.iospress.nl. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726991A (zh) * 2024-02-07 2024-03-19 金钱猫科技股份有限公司 一种高空吊篮安全带检测方法及终端
CN117726991B (zh) * 2024-02-07 2024-05-24 金钱猫科技股份有限公司 一种高空吊篮安全带检测方法及终端

Also Published As

Publication number Publication date
KR102581154B1 (ko) 2023-09-21

Similar Documents

Publication Publication Date Title
US10192107B2 (en) Object detection method and object detection apparatus
US7835541B2 (en) Apparatus, method, and medium for detecting face in image using boost algorithm
CN108875465B (zh) 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质
US20180278635A1 (en) Apparatus, method, and computer program for detecting malware in software defined network
KR102585216B1 (ko) 영상 인식 방법 및 그 장치
US10353954B2 (en) Information processing apparatus, method of controlling the same, and storage medium
US10600190B2 (en) Object detection and tracking method and system for a video
CN108230352B (zh) 目标对象的检测方法、装置和电子设备
US20150104067A1 (en) Method and apparatus for tracking object, and method for selecting tracking feature
US10762133B2 (en) Information processing apparatus, method of controlling the same, and storage medium
KR102303779B1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
JP6981555B2 (ja) 群集推定手法の性能モデリング方法、システム、及びプログラム
US8655016B2 (en) Example-based object retrieval for video surveillance
KR102581154B1 (ko) 모델 앙상블을 이용한 객체 탐지 방법 및 장치
KR102127855B1 (ko) 검출 반복성을 최대화 하는 특징점 선별방법
KR101628602B1 (ko) 프로그램의 유사도를 판단하기 위한 유사도 판단 방법 및 유사도 판단 장치
Shalini et al. Comparative analysis on Deep Convolution Neural Network models using Pytorch and OpenCV DNN frameworks for identifying optimum fruit detection solution on RISC-V architecture
Yazdi et al. Shot boundary detection with effective prediction of transitions' positions and spans by use of classifiers and adaptive thresholds
CN111027434A (zh) 一种行人识别模型的训练方法、装置及电子设备
US11314968B2 (en) Information processing apparatus, control method, and program
KR102399673B1 (ko) 어휘 트리에 기반하여 객체를 인식하는 방법 및 장치
KR102602401B1 (ko) Pp-yolo 기법의 iou-예측 값과 탐지 상자의 크기 및 비율을 사용한 비최대값 억제 방법 및 장치
KR20160125778A (ko) 객체 식별 장치 및 방법
KR20140123399A (ko) 사용자 영상의 신체 부위를 검출하는 장치 및 방법
KR101823792B1 (ko) 컨텍스트 기반 다중 객체 검출 방법 및 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant