KR20210094751A - Yolo 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치 - Google Patents

Yolo 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치 Download PDF

Info

Publication number
KR20210094751A
KR20210094751A KR1020200008350A KR20200008350A KR20210094751A KR 20210094751 A KR20210094751 A KR 20210094751A KR 1020200008350 A KR1020200008350 A KR 1020200008350A KR 20200008350 A KR20200008350 A KR 20200008350A KR 20210094751 A KR20210094751 A KR 20210094751A
Authority
KR
South Korea
Prior art keywords
image
network
filter
animal
channel
Prior art date
Application number
KR1020200008350A
Other languages
English (en)
Other versions
KR102338995B1 (ko
Inventor
정용화
박대희
이성주
이한해솔
안한세
서지현
최원석
Original Assignee
고려대학교 세종산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 세종산학협력단 filed Critical 고려대학교 세종산학협력단
Priority to KR1020200008350A priority Critical patent/KR102338995B1/ko
Priority to PCT/KR2020/001505 priority patent/WO2021149857A1/ko
Publication of KR20210094751A publication Critical patent/KR20210094751A/ko
Application granted granted Critical
Publication of KR102338995B1 publication Critical patent/KR102338995B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06T5/002
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

YOLO 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치가 제시된다. 일 실시예에 따른 동물 탐지 방법은, 특정공간 내 동물의 1채널의 적외선 영상으로부터 영상 전처리 과정을 통해 에지 검출 영상 및 전배경 분리 영상을 획득하는 단계; 상기 적외선 영상, 상기 에지 검출 영상 및 상기 전배경 분리 영상을 3채널의 합성 영상으로 합성하는 단계; 상기 3채널의 합성 영상을 이용하여 적어도 하나 이상의 크기의 영상을 생성하여 이미지 피라미드를 통한 네트워크를 학습하는 단계; YOLO 알고리즘을 기반하여 임베디드 보드에서 작동 가능하도록 필터 클러스터링을 통해 상기 네트워크를 경량화하는 단계; 스케줄링을 적용하고자 하는 상기 임베디드 보드에서 스케줄링을 적용하고자 하는 네트워크의 속도를 측정한 후, 상기 네트워크의 압축 또는 복원 여부를 결정하는 단계; 상기 결정에 따라 상기 네트워크를 압축 또는 복원하는 단계; 및 상기 네트워크의 압축 또는 복원에 따라 상기 임베디드 보드에서 실시간 필요요건을 만족하는 개별 동물 탐지를 수행하는 단계를 포함하여 이루어질 수 있다.

Description

YOLO 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치{METHOD AND APPARATUS FOR ACCURATELY DETECTING ANIMAL THROUGH LIGHT-WEIGHT BOUNDING BOX DETECTION AND IMAGE PROCESSING BASED ON YOLO}
아래의 실시예들은 YOLO(You Only Look Once) 기반 경량(Light-Weight) 경계 상자(Bounding Box) 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치에 관한 것으로, 더욱 상세하게는 임베디드 보드(embedded board)에서 개별 동물을 정확하게 탐지하는 YOLO 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치에 관한 것이다.
양돈 업계에서 돼지의 중량 측정은 돼지의 건강 상태를 확인할 수 있으며, 급여량을 조절함으로써 출하 시기를 결정할 수 있으므로 매우 중요하다. 일반적으로 돼지의 중량을 측정하는 방법은 돼지를 저울 위에 올려서 중량을 측정한다. 그러나 이와 같은 방법은 국내 돈사의 경우 돼지의 수에 비해 돼지를 관리하는 관리인의 수가 부족하기 때문에 모든 돼지에 적용하는 것은 어렵다. 최근 카메라를 통하여 얻은 이미지를 바탕으로 영상 처리를 사용함으로써 돼지의 중량을 추정하고, 돼지의 감시 및 관리를 수행하는 방법이 연구되고 있다.
한국등록특허 10-1002966호는 이러한 네트워크 클러스터링 장치를 기반으로 하는 농축산물 생육 감시관리 방법에 관한 것으로, 네트워크 클러스터링 장치를 기반으로 관리자로부터 피감시체가 위치한 장소의 멀고 가까움에 관계없이 항시 피감시체의 징후를 영상, 음성, 센서를 이용하여 감시하고 감시한 정보를 분석하여 현 상황에 처해 있는 피감시체의 상황을 인지하여 가장 적절한 대책을 제공할 수 있는 농축산물 생육 감시관리 방법에 관한 기술을 기재하고 있다.
한국등록특허 10-1002966호
실시예들은 YOLO 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치에 관하여 기술하며, 보다 구체적으로 영상정보를 이용하여 특정공간 내 동물을 추적하고자 할 때, 개별 동물을 정확하게 탐지하여 추적하는 기술을 제공한다.
실시예들은 영상 내 개별 동물을 빠르고 정확하게 탐지함으로써, 특정공간 내 모든 동물들을 탐지하여 추적이 가능하고, 특정공간 내 동물을 실시간으로 추적함으로써 동물을 효율적으로 사육 및 관리할 수 있는, YOLO 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치를 제공하는데 있다.
실시예들은 학습을 통해 획득한 필터에서 특징 추출에 유효한 필터를 클러스터링하여 해당 필터를 제외한 필터를 제거함으로써, 딥러닝을 경량화하는 필터 가지치기 방법을 제공하는, YOLO 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치를 제공하는데 있다.
일 실시예에 따른 동물 탐지 방법은, 특정공간 내 동물의 1채널의 적외선 영상으로부터 영상 전처리 과정을 통해 에지 검출 영상 및 전배경 분리 영상을 획득하는 단계; 상기 적외선 영상, 상기 에지 검출 영상 및 상기 전배경 분리 영상을 3채널의 합성 영상으로 합성하는 단계; 상기 3채널의 합성 영상을 이용하여 적어도 하나 이상의 크기의 영상을 생성하여 이미지 피라미드를 통한 네트워크를 학습하는 단계; YOLO 알고리즘을 기반하여 임베디드 보드에서 작동 가능하도록 필터 클러스터링을 통해 상기 네트워크를 경량화하는 단계; 스케줄링을 적용하고자 하는 상기 임베디드 보드에서 스케줄링을 적용하고자 하는 네트워크의 속도를 측정한 후, 상기 네트워크의 압축 또는 복원 여부를 결정하는 단계; 상기 결정에 따라 상기 네트워크를 압축 또는 복원하는 단계; 및 상기 네트워크의 압축 또는 복원에 따라 상기 임베디드 보드에서 실시간 필요요건을 만족하는 개별 동물 탐지를 수행하는 단계를 포함하여 이루어질 수 있다.
특정공간에 설치된 카메라를 통해 상기 특정공간 내 동물의 1채널의 적외선 영상을 획득하는 단계를 더 포함할 수 있다.
상기 특정공간에 설치된 카메라를 통해 상기 특정공간 내 동물의 1채널의 적외선 영상을 획득하는 단계는, 상기 특정공간의 천장 중앙에 설치된 상기 카메라를 통해 특정공간 내 상기 동물의 영상을 녹화하고 1채널의 상기 적외선 영상을 획득할 수 있다.
상기 3채널의 합성 영상을 이용하여 적어도 하나 이상의 크기의 영상을 생성하여 이미지 피라미드를 통한 네트워크를 학습하는 단계는, 상기 3채널의 합성 영상을 원본, 1/2 크기로 줄인 영상, 1/4 크기로 줄인 영상 및 1/8 크기로 줄인 영상으로 구성하여 복수개의 3채널의 합성 영상들을 생성할 수 있다.
상기 3채널의 합성 영상을 이용하여 적어도 하나 이상의 크기의 영상을 생성하여 이미지 피라미드를 통한 네트워크를 학습하는 단계는, 상기 YOLO 알고리즘의 각 레이어마다 생성된 상기 3채널의 합성 영상을 넣어, 학습 후 최종 단계의 특징 맵을 획득하는 단계; 및 상기 특징 맵을 연결한 영상을 상기 YOLO 알고리즘의 입력으로 사용하여 학습된 중량(weight) 파일을 획득하는 단계를 포함할 수 있다.
상기 YOLO 알고리즘에 기반하여 임베디드 보드에서 작동 가능하도록 필터 클러스터링을 통해 상기 네트워크를 경량화하는 단계는, 상기 YOLO 알고리즘의 필터 값을 근사화하기 위해 필터에서 가운데 값을 기준 값으로 하여 0과 1로 만들 수 있는 클러스터를 생성하는 단계; 및 생성된 상기 클러스터를 이용하여 각 레이어의 값을 패턴화하는 단계를 포함할 수 있다.
상기 YOLO 알고리즘의 필터 값을 근사화하기 위해 필터에서 가운데 값을 기준 값으로 하여 0과 1로 만들 수 있는 클러스터를 생성하는 단계는, 상기 YOLO 알고리즘의 필터 값을 근사화하기 위해 3x3 필터에서 가운데 값을 기준 값으로 하여 0과 1로 만들 수 있는 256개의 클러스터를 생성할 수 있다.
상기 네트워크를 압축 또는 복원하는 단계는, 상기 네트워크 내 필터의 L2-Norm 값과 필터의 계산량을 구하여 필터들의 중요도 값들을 계산하는 단계; 상기 레이어를 압축하려는 경우, 상기 필터들의 중요도 값을 기준으로 필터들을 내림차순으로 정렬한 후 가장 낮은 값을 가진 필터를 제거하는 단계; 및 상기 레이어를 복원하려는 경우, 상기 필터들의 중요도 값을 기준으로 상기 필터들을 오름차순으로 정렬한 후 가장 높은 값을 가진 필터를 복원하는 단계를 포함할 수 있다.
상기 네트워크를 압축 또는 복원하는 단계는, 상기 필터의 제거 및 복원 후 원하는 속도가 나오지 않았을 경우, 상기 네트워크 내 필터의 L2-Norm 값과 필터의 계산량을 구하여 필터들의 중요도 값들을 계산하는 과정을 반복할 수 있다.
상기 네트워크의 압축 또는 복원에 따라 상기 임베디드 보드에서 실시간 필요요건을 만족하는 개별 동물 탐지를 수행하는 단계는, 상기 필터의 제거 및 복원 후 원하는 속도를 충족하였을 경우, 전이학습을 통한 파인튜닝(fine-tuning)을 수행하는 단계를 더 포함할 수 있다.
상기 특정공간 내 동물의 1채널의 적외선 영상으로부터 영상 전처리 과정을 통해 에지 검출 영상 및 전배경 분리 영상을 획득하는 단계는, 개별 돼지 탐지를 수행하기 위해, 돈방 내 돼지의 1채널의 적외선 영상으로부터 영상 전처리 과정을 통해 에지 검출 영상 및 전배경 분리 영상을 획득할 수 있다.
다른 실시예에 따른 동물 탐지 장치는, 특정공간 내 동물의 1채널의 적외선 영상으로부터 영상 전처리 과정을 통해 에지 검출 영상 및 전배경 분리 영상을 획득하는 영상 전처리부; 상기 적외선 영상, 상기 에지 검출 영상 및 상기 전배경 분리 영상을 3채널의 합성 영상으로 합성하는 3채널의 합성 영상 합성부; 상기 3채널의 합성 영상을 이용하여 적어도 하나 이상의 크기의 영상을 생성하여 이미지 피라미드를 통한 네트워크를 학습하는 이미지 피라미드부; YOLO 알고리즘을 기반하여 임베디드 보드에서 작동 가능하도록 필터 클러스터링을 통해 상기 네트워크를 경량화하는 필터 클러스터링부; 스케줄링을 적용하고자 하는 상기 임베디드 보드에서 스케줄링을 적용하고자 하는 네트워크의 속도를 측정한 후, 상기 네트워크의 압축 또는 복원 여부를 결정하는 압축 및 복원 판단부; 상기 결정에 따라 상기 네트워크를 압축 또는 복원하는 압축 및 복원부; 및 상기 네트워크의 압축 또는 복원에 따라 상기 임베디드 보드에서 실시간 필요요건을 만족하는 개별 동물 탐지를 수행하는 개별 동물 탐지부를 포함하여 이루어질 수 있다.
특정공간에 설치된 카메라를 통해 상기 특정공간 내 동물의 1채널의 적외선 영상을 획득하는 적외선 영상 획득부를 더 포함할 수 있다.
상기 압축 및 복원부는, 상기 네트워크 내 필터의 L2-Norm 값과 필터의 계산량을 구하여 필터들의 중요도 값들을 계산하고, 상기 레이어를 압축하려는 경우, 상기 필터들의 중요도 값을 기준으로 필터들을 내림차순으로 정렬한 후 가장 낮은 값을 가진 필터를 제거하며, 상기 레이어를 복원하려는 경우, 상기 필터들의 중요도 값을 기준으로 상기 필터들을 오름차순으로 정렬한 후 가장 높은 값을 가진 필터를 복원할 수 있다.
상기 영상 전처리부는, 개별 돼지 탐지를 수행하기 위해, 돈방 내 돼지의 1채널의 적외선 영상으로부터 영상 전처리 과정을 통해 에지 검출 영상 및 전배경 분리 영상을 획득할 수 있다.
실시예들에 따르면 영상 내 개별 동물을 빠르고 정확하게 탐지함으로써, 특정공간 내 모든 동물들을 탐지하여 추적이 가능하고, 특정공간 내 동물을 실시간으로 추적함으로써 동물을 효율적으로 사육 및 관리할 수 있는, YOLO 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치를 제공할 수 있다.
실시예들에 따르면 학습을 통해 획득한 필터에서 특징 추출에 유효한 필터를 클러스터링하여 해당 필터를 제외한 필터를 제거함으로써, 딥러닝을 경량화하는 필터 가지치기 방법을 제공하는, YOLO 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치를 제공할 수 있다.
도 1은 일 실시예에 따른 특정공간 내 설치된 카메라를 설명하기 위한 도면이다.
도 2a는 일 실시예에 따른 1채널의 적외선 영상, 에지 검출 영상 및 전배경 분리 영상을 설명하기 위한 도면이다.
도 2b는 일 실시예에 따른 3채널의 합성 영상을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 이미지 피라미드 알고리즘을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 필터 클러스터링을 통한 경량화를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 필터 클러스터링 알고리즘을 설명하기 위한 도면이다.
도 6a은 일 실시예에 따른 필터 제거 방법을 설명하기 위한 도면이다.
도 6b은 일 실시예에 따른 필터 복원 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 동물 탐지 방법을 설명하기 위한 흐름도이다.
도 8은 일 실시예에 따른 동물 탐지 장치를 설명하기 위한 블록도이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
아래의 실시예들은 YOLO 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치에 관한 것으로, 임베디드 보드(embedded board)에서도 개별 동물을 정확하게 탐지함에 따라 동물을 관리 및 감시할 수 있는 기술을 제공한다.
이러한 실시예들은 YOLO 알고리즘에 기반하여 임베디드 장치에서도 작동할 수 있도록 필터 가지치기와 클러스터링을 통해 경량화 과정을 거친다. 일반적으로 네트워크의 경량화를 진행하면 정확도가 감소한다는 문제점이 존재하지만, 1채널의 적외선 영상, 에지 검출 영상 및 전배경 분리 영상을 3채널로 합성하는 영상 처리 기법 및 개별 동물을 다양한 크기의 이미지로 생성하는 이미지 피라미딩 기법을 통해 정확도 감소 문제를 해결할 수 있다. 또한, 스케줄링 기법을 통해 GPU에서 동작하는 YOLO(You Only Look Once) 네트워크와 CPU(Graphics Processing Unit)에서 동작하는 영상 처리 기법을 적절히 배치하여 실시간으로 탐지할 수 있다.
도 1은 일 실시예에 따른 특정공간 내 설치된 카메라를 설명하기 위한 도면이다.
도 1을 참조하면, 특정공간(110)에 설치된 카메라(120)를 통해 특정공간(110) 내 동물의 1채널의 적외선 영상을 획득할 수 있다. 보다 구체적으로, 특정공간(110)의 천장 중앙에 설치된 카메라(120)를 이용하여 특정공간(110) 내부의 바닥에 있는 동물의 영상을 녹화하고 1채널의 적외선 영상을 획득할 수 있다.
예를 들어, 돈방(110) 내 3mx3m 크기의 돈방(110)의 바닥으로부터 약4.8m 높이에 설치된 카메라(120)를 이용하여 돈방(110) 내 돼지 영상을 녹화 및 적외선 영상을 획득할 수 있다.
도 2a는 일 실시예에 따른 1채널의 적외선 영상, 에지 검출 영상 및 전배경 분리 영상을 설명하기 위한 도면이다.
동물 탐지 정확도를 향상시키기 위해 영상 처리 기술, 채널 합성 기술 및 이미지 피라미드 기술을 이용할 수 있다. 도 2a를 참조하면, 영상 처리 기술은 적외선 영상(210)을 변형하기 위한 과정으로, 적외선 영상(210)을 에지 검출 영상(220)으로 변형하기 위해 2차 미분 연산을 통해 객체(201)의 폐곡선 윤곽선을 찾아내는 라플라시안(Laplacian) 알고리즘을 사용할 수 있다. 또한, 적외선 영상(210)을 전배경 분리 영상(230)으로 변형하기 위해 특정 임계 값 이하의 값을 0으로, 이상의 값을 255로 이진화하는 Otsu 알고리즘을 사용할 수 있다. 여기서, 객체(201)는 동물이 될 수 있으며, 예컨대 돈방 내 돼지가 될 수 있다.
이와 같이, 적외선 영상(210)에 영상 전처리를 사용하여 에지 검출 영상(220) 및 전배경 분리 영상(230)을 획득할 수 있다.
도 2b는 일 실시예에 따른 3채널의 합성 영상을 설명하기 위한 도면이다.
도 2b를 참조하면, 1채널 영상인 적외선 영상(210)과 에지 검출 영상(220) 및 전배경 분리 영상(230)을 획득한 후, 채널 합성을 진행하여 획득한 적외선 영상(210), 에지 검출 영상(220) 및 전배경 분리 영상(230)을 3채널의 합성 영상으로 합성할 수 있다.
도 3은 일 실시예에 따른 이미지 피라미드 알고리즘을 설명하기 위한 도면이다.
도 3을 참조하면, 이미지 피라미드 기법을 이용하여 YOLO 기반 경량화 네트워크의 입력으로 들어갈 다양한 크기의 3채널의 합성 영상들(311, 212, 313, 314)을 생성할 수 있다. 예를 들어, 3채널의 합성 영상(310)을 원본(311), 1/2 크기로 줄인 영상(312), 1/4 크기로 줄인 영상(313) 및 1/8 크기로 줄인 영상(314)으로 총 4장의 3채널의 합성 영상들(311, 212, 313, 314)을 생성할 수 있다.
다양한 크기의 3채널의 합성 영상들(311, 212, 313, 314)은 YOLO 기반 경량화 네트워크의 특징 맵들(320)을 생성하는데, 생성된 특징 맵들(320)을 이어 붙여 YOLO 기반 경량화 네트워크를 수행하여 최종 탐지 결과를 도출할 수 있다.
다시 말하면, YOLO 알고리즘의 각 레이어마다 생성된 4장의 3채널의 합성 영상 이미지들을 넣어, 학습 후 최종 단계의 특징 맵(320)을 획득할 수 있고, 특징 맵(320)을 연결(concatenation)한 영상을 YOLO 알고리즘의 입력으로 사용하여 학습된 중량(weight) 파일을 획득할 수 있다.
한편, 기계학습 분야(혹은 딥러닝 분야)에서 사용되는 YOLO 알고리즘은 실시간으로 이미지 내 특징을 추출하여 객체를 검출하는 기술이다. 이러한 YOLO 알고리즘은 성능 및 정확도가 높아 자율주행 자동차, 사람 얼굴 탐지 등 실시간 사물 탐지 분야 등에 사용된다. 최근 객체 검출 분야의 경량 딥러닝 기술은 딥러닝의 알고리즘 자체를 적은 연산과 효율적인 구조로 설계하여 기존 네트워크 모델 대비 효율을 극대화하기 위한 경량 딥러닝 알고리즘 연구와 이미 설계된 네트워크 모델의 파라미터들을 줄이는 모델 압축 기법이 적용된 알고리즘 경량화로 나눌 수 있다.
본 실시예에서 주로 다루고 있는 알고리즘 경량화 분야는 파라미터가 나타내는 표현력을 최대한 유지하면서 불필요한 가중치를 없애기 위한 방법이다. 일반적인 딥러닝 모델은 과파라미터(Over-parameterization)화 되어있기 때문에 네트워크 모델이 나타내는 가중치의 값이 아주 작을 경우, 모델의 정확도에 큰 영향을 미치지 못하므로(이를 모델이 작은 가중치에 대한 내성을 가진다고 표현함), 이 값을 모두 0으로 설정하여 마치 가지치기(Pruning)를 수행하는 것과 같은 효과를 내는 가중치 가지치기(Weight Pruning)가 대표적이다. 다음으로, 일반적인 모델의 가중치는 부동 소수점 값을 가지지만, 이를 특정 비트 수로 줄이는 양자화(Quantization)를 통해 기존 딥러닝의 표현력을 유지하면서 실제 모델의 저장 크기는 줄이는 방법이 있다. 마지막으로, 0과 1로 표현하여 표현력을 많이 줄이지만, 정확도의 손실은 어느 정도 유지하면서 모델 저장 크기를 확연히 줄이는 이진화(Binarization) 기법 등이 있다.
본 실시예에서는 알고리즘 경량화의 한 방법으로써 학습을 통해 획득한 필터(Filter)에서 특징 추출에 유효한 필터를 클러스터링(Clustering)하여 해당 필터를 제외한 필터를 제거함으로써, 딥러닝을 경량화하는 필터 가지치기(Filter Pruning) 방법을 사용할 수 있다.
도 4는 일 실시예에 따른 필터 클러스터링을 통한 경량화를 설명하기 위한 도면이다.
도 4를 참조하면, YOLO의 필터 값을 근사화하기 위해 3x3 필터에서 가운데 값을 기준 값으로 하여 0과 1로 만들 수 있는 256개의 클러스터(cluster)를 생성할 수 있다. 예를 들어, 3x3 필터에서 기준 값 이상인 경우 1로 표기하고, 기준 값 미만인 경우 0으로 표시할 수 있다.
도 5는 일 실시예에 따른 필터 클러스터링 알고리즘을 설명하기 위한 도면이다.
도 5를 참조하면, 생성한 클러스터를 이용하여 각 레이어의 값을 패턴화할 수 있다.
마지막으로, 스케줄링 기법을 통해 초기 목표 신뢰도에 부합하면서 임베디드 보드(embedded board)에서도 실시간 필요조건을 만족하는 객체 탐지를 진행할 수 있다.
도 6a은 일 실시예에 따른 필터 제거 방법을 설명하기 위한 도면이다.
도 6a를 참조하면, 스케줄링을 적용하고자 하는 임베디드 보드에서 스케줄링을 적용하고자 하는 네트워크의 속도를 측정한 후 압축된 네트워크의 압축 및 복원 여부를 결정할 수 있다. 네트워크 내 필터의 L2-Norm 값과 필터의 계산량을 구하여 필터들의 중요도 값들을 계산할 수 있다. 레이어를 압축하려는 경우, 필터들의 중요도 값을 기준으로 필터들을 내림차순으로 정렬한 후 가장 낮은 값을 가진 필터를 제거할 수 있다.
도 6b은 일 실시예에 따른 필터 복원 방법을 설명하기 위한 도면이다.
도 6b를 참조하면, 복원하려는 경우에는 필터들을 오름차순으로 정렬한 후 가장 높은 값을 가진 필터를 복원할 수 있다.
필터 제거 및 복원 후, 원하는 속도가 나오지 않았을 경우, 네트워크 내 필터의 L2-Norm 값과 필터의 계산량을 구하여 필터들의 중요도 값들을 계산하는 과정을 반복할 수 있다. 그리고 원하는 속도를 충족하였을 경우, 전이학습을 통한 파인튜닝(fine-tuning)을 수행할 수 있다.
도 7은 일 실시예에 따른 동물 탐지 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 일 실시예에 따른 동물 탐지 방법은, 특정공간 내 동물의 1채널의 적외선 영상으로부터 영상 전처리 과정을 통해 에지 검출 영상 및 전배경 분리 영상을 획득하는 단계(710), 적외선 영상, 에지 검출 영상 및 전배경 분리 영상을 3채널의 합성 영상으로 합성하는 단계(720), 3채널의 합성 영상을 이용하여 적어도 하나 이상의 크기의 영상을 생성하여 이미지 피라미드를 통한 네트워크를 학습하는 단계(730), YOLO 알고리즘을 기반하여 임베디드 보드에서 작동 가능하도록 필터 클러스터링을 통해 네트워크를 경량화하는 단계(740), 스케줄링을 적용하고자 하는 임베디드 보드에서 스케줄링을 적용하고자 하는 네트워크의 속도를 측정한 후, 네트워크의 압축 또는 복원 여부를 결정하는 단계(750), 결정에 따라 네트워크를 압축 또는 복원하는 단계(760, 770), 및 네트워크의 압축 또는 복원에 따라 임베디드 보드에서 실시간 필요요건을 만족하는 개별 동물 탐지를 수행하는 단계(780)를 포함하여 이루어질 수 있다.
또한, 특정공간에 설치된 카메라를 통해 특정공간 내 동물의 1채널의 적외선 영상을 획득하는 단계(701)를 더 포함할 수 있다.
아래에서 일 실시예에 따른 동물 탐지 방법의 각 단계를 설명한다.
일 실시예에 따른 동물 탐지 방법은 일 실시예에 따른 동물 탐지 장치를 통해 보다 구체적으로 설명할 수 있다.
도 8은 일 실시예에 따른 동물 탐지 장치를 설명하기 위한 블록도이다.
도 8을 참조하면, 일 실시예에 따른 동물 탐지 장치(800)는 영상 전처리부(810), 3채널 영상 합성부(820), 이미지 피라미드부(830), 필터 클러스터링부(840), 압축 및 복원 판단부(850), 압축 및 복원부(860) 및 개별 동물 탐지부(870)를 포함하여 이루어질 수 있다. 또한, 실시예에 따라 동물 탐지 장치는 적외선 영상 획득부(801)를 더 포함할 수 있다.
먼저, 단계(701)에서, 적외선 영상 획득부(801)는 특정공간에 설치된 카메라를 통해 특정공간 내 동물의 1채널의 적외선 영상을 획득할 수 있다. 보다 구체적으로, 적외선 영상 획득부(801)는 특정공간의 천장 중앙에 설치된 카메라를 통해 특정공간 내 동물의 영상을 녹화하고 1채널의 적외선 영상을 획득할 수 있다.
단계(710)에서, 영상 전처리부(810)는 특정공간 내 동물의 1채널의 적외선 영상으로부터 영상 전처리 과정을 통해 에지 검출 영상 및 전배경 분리 영상을 획득할 수 있다.
여기서, 영상 전처리부(810)는 개별 돼지 탐지를 수행하기 위해, 돈방 내 돼지의 1채널의 적외선 영상으로부터 영상 전처리 과정을 통해 에지 검출 영상 및 전배경 분리 영상을 획득할 수 있다.
단계(720)에서, 3채널 영상 합성부(820)는 적외선 영상, 에지 검출 영상 및 전배경 분리 영상을 3채널의 합성 영상으로 합성할 수 있다.
단계(730)에서, 이미지 피라미드부(830)는 채널의 합성 영상을 이용하여 적어도 하나 이상의 크기의 영상을 생성하여 이미지 피라미드를 통한 네트워크를 학습할 수 있다.
예를 들어, 이미지 피라미드부(830)는 채널의 합성 영상을 원본, 1/2 크기로 줄인 영상, 1/4 크기로 줄인 영상 및 1/8 크기로 줄인 영상으로 구성하여 복수개의 3채널의 합성 영상들을 생성할 수 있다.
이러한 이미지 피라미드부(830)는 YOLO 알고리즘의 각 레이어마다 생성된 3채널의 합성 영상을 넣어, 학습 후 최종 단계의 특징 맵을 획득한 다음, 특징 맵을 연결한 영상을 YOLO 알고리즘의 입력으로 사용하여 학습된 중량(weight) 파일을 획득할 수 있다.
단계(740)에서, 필터 클러스터링부(840)는 YOLO 알고리즘을 기반하여 임베디드 보드에서 작동 가능하도록 필터 클러스터링을 통해 네트워크를 경량화 할 수 있다.
필터 클러스터링부(840)는 YOLO 알고리즘의 필터 값을 근사화하기 위해 필터에서 가운데 값을 기준 값으로 하여 0과 1로 만들 수 있는 클러스터를 생성한 다음, 생성된 클러스터를 이용하여 각 레이어의 값을 패턴화할 수 있다. 여기서, 필터 클러스터링부(840)는 YOLO 알고리즘의 필터 값을 근사화하기 위해 3x3 필터에서 가운데 값을 기준 값으로 하여 0과 1로 만들 수 있는 256개의 클러스터를 생성할 수 있다.
단계(750)에서, 압축 및 복원 판단부(850)는 스케줄링을 적용하고자 하는 임베디드 보드에서 스케줄링을 적용하고자 하는 네트워크의 속도를 측정한 후, 네트워크의 압축 또는 복원 여부를 결정할 수 있다.
단계(760)에서, 압축 및 복원부(860)는 결정에 따라 네트워크를 압축할 수 있다.
단계(770)에서, 압축 및 복원부(860)는 결정에 따라 네트워크를 복원할 수 있다.
보다 구체적으로, 압축 및 복원부(860)는 네트워크 내 필터의 L2-Norm 값과 필터의 계산량을 구하여 필터들의 중요도 값들을 계산하고, 레이어를 압축하려는 경우, 필터들의 중요도 값을 기준으로 필터들을 내림차순으로 정렬한 후 가장 낮은 값을 가진 필터를 제거하며, 레이어를 복원하려는 경우, 필터들의 중요도 값을 기준으로 필터들을 오름차순으로 정렬한 후 가장 높은 값을 가진 필터를 복원할 수 있다. 여기서, 압축 및 복원부(860)는 필터의 제거 및 복원 후 원하는 속도가 나오지 않았을 경우, 네트워크 내 필터의 L2-Norm 값과 필터의 계산량을 구하여 필터들의 중요도 값들을 계산하는 과정을 반복할 수 있다.
단계(780)에서, 개별 동물 탐지부(870)는 네트워크의 압축 또는 복원에 따라 임베디드 보드에서 실시간 필요요건을 만족하는 개별 동물 탐지를 수행할 수 있다. 즉, 개별 동물 탐지부(870)는 필터의 제거 및 복원 후 원하는 속도를 충족하였을 경우, 전이학습을 통한 파인튜닝(fine-tuning)을 수행할 수 있다.
실시예들에 따르면 영상 내 개별 동물을 빠르고 정확하게 탐지할 수 있다.
특히, 영상 내 개별 돼지가 빠르고 정확하게 탐지될 수 있으므로, 이를 확장하면 돈방 내 모든 돼지들을 탐지하여 돼지의 추적이 가능해질 수 있다. 이를 적용하여 돈방 내 돼지의 24시간 실시간 맞춰 개별 돼지를 추적함으로써 돈방 내 돼지를 효율적으로 관리할 수 있다.
아래에서는 동물 탐지 방법의 예시로써, 돈사 내 돼지를 탐지하는 방법을 예를 들어 설명한다.
영상 정보를 이용하여 돈방 내 돼지를 추적하고자 할 때, 개별 돼지를 정확히 추적하기 위해서는 정확한 탐지 과정이 선행되어야 할 필요가 있다. 종래 기술은 Faster RCNN 알고리즘을 이용하여 높은 정확도로 돼지 탐지를 수행할 수 있지만, 연산량이 많고 수행시간이 많이 소요되어 임베디드 보드(embedded board)에서 동작하지 않는다는 문제가 있기 때문에, 본 실시예들을 통해 소형 임베디드 보드에서도 개별 돼지를 정확하게 탐지하는 방법을 개발하고자 한다.
먼저, 돈방 내 3mx3m 크기의 돈방의 바닥으로부터 약4.8m 높이에 설치된 카메라를 이용하여 돈방 내 돼지 영상을 녹화 및 적외선 영상을 획득할 수 있다. 획득한 적외선 영상에 영상 전처리를 사용하여 에지 검출 영상 및 전배경 분리 영상을 획득할 수 있고, 이전 단계에서 획득한 적외선 영상, 에지 검출 영상 및 전배경 분리 영상을 3채널의 합성 영상으로 합성할 수 있다. 3채널의 합성 영상 이미지를 원본, 1/2 크기로 줄인 영상, 1/4 크기로 줄인 영상 및 1/8 크기로 줄인 영상으로 총 4장의 3채널의 합성 영상 이미지들을 생성할 수 있다.
그리고, YOLO 알고리즘의 각 레이어마다 생성된 4장의 3채널의 합성 영상 이미지들을 넣어, 학습 후 최종 단계의 특징 맵을 획득할 수 있다. 특징 맵을 연결(concatenation)한 영상을 YOLO 알고리즘의 입력으로 사용하여 학습된 중량(weight) 파일을 획득할 수 있다.
YOLO의 필터 값을 근사화하기 위해 3x3 필터에서 가운데 값을 기준 값으로 하여 0과 1로 만들 수 있는 256개의 클러스터(cluster)를 생성할 수 있다. 예를 들어, 3x3 필터에서 기준 값 이상인 경우 1로 표기하고, 기준 값 미만인 경우 0으로 표시할 수 있다. 생성한 클러스터를 이용하여 각 레이어의 값을 패턴화할 수 있다.
그리고, 스케줄링을 적용하고자 하는 임베디드 보드에서 스케줄링을 적용하고자 하는 네트워크의 속도를 측정한 후 압축된 네트워크의 압축 및 복원 여부를 결정할 수 있다. 네트워크 내 필터의 L2-Norm 값과 필터의 계산량을 구하여 필터들의 중요도 값들을 계산할 수 있다. 레이어를 압축하려는 경우, 필터들의 중요도 값을 기준으로 필터들을 내림차순으로 정렬한 후 가장 낮은 값을 가진 필터를 제거하며, 복원하려는 경우에는 필터들을 오름차순으로 정렬한 후 가장 높은 값을 가진 필터를 복원할 수 있다. 필터 제거 및 복원 후, 원하는 속도가 나오지 않았을 경우, 네트워크 내 필터의 L2-Norm 값과 필터의 계산량을 구하여 필터들의 중요도 값들을 계산하는 과정을 반복할 수 있다. 그리고 원하는 속도를 충족하였을 경우, 전이학습을 통한 파인튜닝(fine-tuning)을 수행할 수 있다.
이와 같이, 돈방 내 개별 돼지에 대해 영상 처리 기법, 이미지 피라미드와 필터 가지치기 및 클러스터링을 적용한 YOLO 알고리즘, 그리고 스케줄링 기법을 이용하여 임베디드 보드에서도 개별 돼지를 정확하게 탐지할 수 있다.
이상과 같이, 실시예들에 따르면 실시간으로 개별 돼지를 탐지하여 추적이 가능하고, 이는 돼지들의 중량을 추정하는데 사용될 수 있으므로 돈사 내의 모든 돼지의 모니터링이 가능해지고 따라서 질병이 있는 돼지의 탐지나 저성장 돈 탐지가 가능하다. 특히 관리 인력의 부족으로 기존에는 육안으로 판단(약 110Kg)하던 돼지의 출하시기를 자동화할 수 있게 되어 더욱 정확한 시기에 출하할 수 있게 되고 개별 돼지의 모니터링 데이터를 바탕으로 돼지의 성장량을 비교하여 급여량을 조절, 출하시기를 앞당기거나 미룰 수 있게 됨으로써 돈방 내 돼지들을 효율적으로 관리할 수 있다.
이 기술을 영상 정보 기반의 돼지 무게 추정 기술에 접목시켜 사용한다면, 기존의 제품과는 달리 실시간으로 작동하는 신뢰성 있는 돼지 무게 모니터링이 가능해지고 나아가 현재 1세대에 머물러있는 스마트 축사 수준(온, 습도 등 시설의 환경적인 정보만을 제어)을 2세대 지능형 스마트 축사 수준으로 끌어올려 양돈 산업을 활성화시킬 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 특정공간 내 동물의 1채널의 적외선 영상으로부터 영상 전처리 과정을 통해 에지 검출 영상 및 전배경 분리 영상을 획득하는 단계;
    상기 적외선 영상, 상기 에지 검출 영상 및 상기 전배경 분리 영상을 3채널의 합성 영상으로 합성하는 단계;
    상기 3채널의 합성 영상을 이용하여 적어도 하나 이상의 크기의 영상을 생성하여 이미지 피라미드를 통한 네트워크를 학습하는 단계;
    YOLO 알고리즘을 기반하여 임베디드 보드에서 작동 가능하도록 필터 클러스터링을 통해 상기 네트워크를 경량화하는 단계;
    스케줄링을 적용하고자 하는 상기 임베디드 보드에서 스케줄링을 적용하고자 하는 네트워크의 속도를 측정한 후, 상기 네트워크의 압축 또는 복원 여부를 결정하는 단계;
    상기 결정에 따라 상기 네트워크를 압축 또는 복원하는 단계; 및
    상기 네트워크의 압축 또는 복원에 따라 상기 임베디드 보드에서 실시간 필요요건을 만족하는 개별 동물 탐지를 수행하는 단계
    를 포함하는, 동물 탐지 방법.
  2. 제1항에 있어서,
    특정공간에 설치된 카메라를 통해 상기 특정공간 내 동물의 1채널의 적외선 영상을 획득하는 단계
    를 더 포함하는, 동물 탐지 방법.
  3. 제2항에 있어서,
    상기 특정공간에 설치된 카메라를 통해 상기 특정공간 내 동물의 1채널의 적외선 영상을 획득하는 단계는,
    상기 특정공간의 천장 중앙에 설치된 상기 카메라를 통해 특정공간 내 상기 동물의 영상을 녹화하고 1채널의 상기 적외선 영상을 획득하는 것
    을 특징으로 하는, 동물 탐지 방법.
  4. 제1항에 있어서,
    상기 3채널의 합성 영상을 이용하여 적어도 하나 이상의 크기의 영상을 생성하여 이미지 피라미드를 통한 네트워크를 학습하는 단계는,
    상기 3채널의 합성 영상을 원본, 1/2 크기로 줄인 영상, 1/4 크기로 줄인 영상 및 1/8 크기로 줄인 영상으로 구성하여 복수개의 3채널의 합성 영상들을 생성하는 것
    을 특징으로 하는, 동물 탐지 방법.
  5. 제1항에 있어서,
    상기 3채널의 합성 영상을 이용하여 적어도 하나 이상의 크기의 영상을 생성하여 이미지 피라미드를 통한 네트워크를 학습하는 단계는,
    상기 YOLO 알고리즘의 각 레이어마다 생성된 상기 3채널의 합성 영상을 넣어, 학습 후 최종 단계의 특징 맵을 획득하는 단계; 및
    상기 특징 맵을 연결한 영상을 상기 YOLO 알고리즘의 입력으로 사용하여 학습된 중량(weight) 파일을 획득하는 단계
    를 포함하는, 동물 탐지 방법.
  6. 제1항에 있어서,
    상기 YOLO 알고리즘에 기반하여 임베디드 보드에서 작동 가능하도록 필터 클러스터링을 통해 상기 네트워크를 경량화하는 단계는,
    상기 YOLO 알고리즘의 필터 값을 근사화하기 위해 필터에서 가운데 값을 기준 값으로 하여 0과 1로 만들 수 있는 클러스터를 생성하는 단계; 및
    생성된 상기 클러스터를 이용하여 각 레이어의 값을 패턴화하는 단계
    를 포함하는, 동물 탐지 방법.
  7. 제6항에 있어서,
    상기 YOLO 알고리즘의 필터 값을 근사화하기 위해 필터에서 가운데 값을 기준 값으로 하여 0과 1로 만들 수 있는 클러스터를 생성하는 단계는,
    상기 YOLO 알고리즘의 필터 값을 근사화하기 위해 3x3 필터에서 가운데 값을 기준 값으로 하여 0과 1로 만들 수 있는 256개의 클러스터를 생성하는 것
    을 특징으로 하는, 동물 탐지 방법.
  8. 제1항에 있어서,
    상기 네트워크를 압축 또는 복원하는 단계는,
    상기 네트워크 내 필터의 L2-Norm 값과 필터의 계산량을 구하여 필터들의 중요도 값들을 계산하는 단계;
    상기 레이어를 압축하려는 경우, 상기 필터들의 중요도 값을 기준으로 필터들을 내림차순으로 정렬한 후 가장 낮은 값을 가진 필터를 제거하는 단계; 및
    상기 레이어를 복원하려는 경우, 상기 필터들의 중요도 값을 기준으로 상기 필터들을 오름차순으로 정렬한 후 가장 높은 값을 가진 필터를 복원하는 단계
    를 포함하는, 동물 탐지 방법.
  9. 제8항에 있어서,
    상기 네트워크를 압축 또는 복원하는 단계는,
    상기 필터의 제거 및 복원 후 원하는 속도가 나오지 않았을 경우, 상기 네트워크 내 필터의 L2-Norm 값과 필터의 계산량을 구하여 필터들의 중요도 값들을 계산하는 과정을 반복하는 것
    을 특징으로 하는, 동물 탐지 방법.
  10. 제8항에 있어서,
    상기 상기 네트워크의 압축 또는 복원에 따라 상기 임베디드 보드에서 실시간 필요요건을 만족하는 개별 동물 탐지를 수행하는 단계는,
    상기 필터의 제거 및 복원 후 원하는 속도를 충족하였을 경우, 전이학습을 통한 파인튜닝(fine-tuning)을 수행하는 단계
    를 더 포함하는, 동물 탐지 방법.
  11. 제1항에 있어서,
    상기 특정공간 내 동물의 1채널의 적외선 영상으로부터 영상 전처리 과정을 통해 에지 검출 영상 및 전배경 분리 영상을 획득하는 단계는,
    개별 돼지 탐지를 수행하기 위해, 돈방 내 돼지의 1채널의 적외선 영상으로부터 영상 전처리 과정을 통해 에지 검출 영상 및 전배경 분리 영상을 획득하는 것
    을 특징으로 하는, 동물 탐지 방법.
  12. 특정공간 내 동물의 1채널의 적외선 영상으로부터 영상 전처리 과정을 통해 에지 검출 영상 및 전배경 분리 영상을 획득하는 영상 전처리부;
    상기 적외선 영상, 상기 에지 검출 영상 및 상기 전배경 분리 영상을 3채널의 합성 영상으로 합성하는 3채널의 합성 영상 합성부;
    상기 3채널의 합성 영상을 이용하여 적어도 하나 이상의 크기의 영상을 생성하여 이미지 피라미드를 통한 네트워크를 학습하는 이미지 피라미드부;
    YOLO 알고리즘을 기반하여 임베디드 보드에서 작동 가능하도록 필터 클러스터링을 통해 상기 네트워크를 경량화하는 필터 클러스터링부;
    스케줄링을 적용하고자 하는 상기 임베디드 보드에서 스케줄링을 적용하고자 하는 네트워크의 속도를 측정한 후, 상기 네트워크의 압축 또는 복원 여부를 결정하는 압축 및 복원 판단부;
    상기 결정에 따라 상기 네트워크를 압축 또는 복원하는 압축 및 복원부; 및
    상기 네트워크의 압축 또는 복원에 따라 상기 임베디드 보드에서 실시간 필요요건을 만족하는 개별 동물 탐지를 수행하는 개별 동물 탐지부
    를 포함하는, 동물 탐지 장치.
  13. 제12항에 있어서,
    특정공간에 설치된 카메라를 통해 상기 특정공간 내 동물의 1채널의 적외선 영상을 획득하는 적외선 영상 획득부
    를 더 포함하는, 동물 탐지 장치.
  14. 제12항에 있어서,
    상기 압축 및 복원부는,
    상기 네트워크 내 필터의 L2-Norm 값과 필터의 계산량을 구하여 필터들의 중요도 값들을 계산하고, 상기 레이어를 압축하려는 경우, 상기 필터들의 중요도 값을 기준으로 필터들을 내림차순으로 정렬한 후 가장 낮은 값을 가진 필터를 제거하며, 상기 레이어를 복원하려는 경우, 상기 필터들의 중요도 값을 기준으로 상기 필터들을 오름차순으로 정렬한 후 가장 높은 값을 가진 필터를 복원하는 것
    을 특징으로 하는, 동물 탐지 장치.
  15. 제12항에 있어서,
    상기 영상 전처리부는,
    개별 돼지 탐지를 수행하기 위해, 돈방 내 돼지의 1채널의 적외선 영상으로부터 영상 전처리 과정을 통해 에지 검출 영상 및 전배경 분리 영상을 획득하는 것
    을 특징으로 하는, 동물 탐지 장치.
KR1020200008350A 2020-01-22 2020-01-22 Yolo 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치 KR102338995B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200008350A KR102338995B1 (ko) 2020-01-22 2020-01-22 Yolo 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치
PCT/KR2020/001505 WO2021149857A1 (ko) 2020-01-22 2020-01-31 Yolo 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200008350A KR102338995B1 (ko) 2020-01-22 2020-01-22 Yolo 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210094751A true KR20210094751A (ko) 2021-07-30
KR102338995B1 KR102338995B1 (ko) 2021-12-14

Family

ID=76992856

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200008350A KR102338995B1 (ko) 2020-01-22 2020-01-22 Yolo 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102338995B1 (ko)
WO (1) WO2021149857A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920325A (zh) * 2021-12-13 2022-01-11 广州微林软件有限公司 一种基于红外图像特征点减少物体识别图像量的方法
KR102457576B1 (ko) * 2022-01-27 2022-10-21 국방과학연구소 다채널 적외선 영상 기반의 물체 검출 방법 및 그 장치
KR102522258B1 (ko) 2021-10-21 2023-04-17 인하대학교 산학협력단 Yolo 실시간 무인기 검출을 위한 오토인코더 기반 전처리 방법 및 그 오토인코더

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842363B (zh) * 2022-07-04 2022-10-18 南方电网科学研究院有限责任公司 一种数字孪生台区关键电力设备的识别方法及系统
CN115588024B (zh) * 2022-11-25 2023-06-20 东莞市兆丰精密仪器有限公司 一种基于人工智能的复杂工业影像边缘提取方法及装置
KR102528507B1 (ko) 2022-12-08 2023-05-08 주식회사 인터엑스 Yolo모델과 객체 추적 기법을 융합한 하이브리드형 열화상 이미지 기반 객체 탐지 방법
CN116188502B (zh) * 2023-04-27 2023-07-21 尚特杰电力科技有限公司 光伏板红外图像分割方法、存储介质以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002966B1 (ko) 2008-01-02 2010-12-21 (주)노매딕텍스 네트워크 클러스터링 장치를 기반으로 하는 농축산물 생육 감시관리 방법
US20190251441A1 (en) * 2018-02-13 2019-08-15 Adobe Systems Incorporated Reducing architectural complexity of convolutional neural networks via channel pruning
KR20190139539A (ko) * 2018-06-08 2019-12-18 광운대학교 산학협력단 저사양 임베디드 환경에서의 합성곱 신경망 연산을 위한 역 잔여 블록의 채널 확장 매개변수 설정 시스템 및 방법
JP2020009048A (ja) * 2018-07-05 2020-01-16 株式会社日立製作所 ニューラルネットワークの学習装置および学習方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100387106B1 (ko) * 2001-04-06 2003-06-12 티오엠테크놀로지 주식회사 적외선 영상에서의 관심 대상 분할 방법
US20180053091A1 (en) * 2016-08-17 2018-02-22 Hawxeye, Inc. System and method for model compression of neural networks for use in embedded platforms
KR101872015B1 (ko) * 2017-11-30 2018-08-02 엘아이지넥스원 주식회사 적외선 영상 생성장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002966B1 (ko) 2008-01-02 2010-12-21 (주)노매딕텍스 네트워크 클러스터링 장치를 기반으로 하는 농축산물 생육 감시관리 방법
US20190251441A1 (en) * 2018-02-13 2019-08-15 Adobe Systems Incorporated Reducing architectural complexity of convolutional neural networks via channel pruning
KR20190139539A (ko) * 2018-06-08 2019-12-18 광운대학교 산학협력단 저사양 임베디드 환경에서의 합성곱 신경망 연산을 위한 역 잔여 블록의 채널 확장 매개변수 설정 시스템 및 방법
JP2020009048A (ja) * 2018-07-05 2020-01-16 株式会社日立製作所 ニューラルネットワークの学習装置および学習方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Caiwen Ding et al, REQ-YOLO:A Resource-Aware, Efficient Quantization Framework for Object Detection on FPGAs, arXiv:1909.13396v1(2019.09.29.) *
The detection of the individual case pig using the kinect depth information and convolution neural network including the Lee Jun Hyi etc." and the Korea contents learned society treatise(2018. 02.) *
The mobile / embedded object and scene recognition trend of technology" the electronic communication tendency analysis including this accommodation etc(2019. 12.) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102522258B1 (ko) 2021-10-21 2023-04-17 인하대학교 산학협력단 Yolo 실시간 무인기 검출을 위한 오토인코더 기반 전처리 방법 및 그 오토인코더
CN113920325A (zh) * 2021-12-13 2022-01-11 广州微林软件有限公司 一种基于红外图像特征点减少物体识别图像量的方法
KR102457576B1 (ko) * 2022-01-27 2022-10-21 국방과학연구소 다채널 적외선 영상 기반의 물체 검출 방법 및 그 장치

Also Published As

Publication number Publication date
KR102338995B1 (ko) 2021-12-14
WO2021149857A1 (ko) 2021-07-29

Similar Documents

Publication Publication Date Title
KR102338995B1 (ko) Yolo 기반 경량 경계 상자 검출과 영상 처리를 통한 정확한 동물 탐지 방법 및 장치
EP3570220B1 (en) Information processing method, information processing device, and computer-readable storage medium
CN108090470B (zh) 一种人脸对齐方法及装置
JP6798614B2 (ja) 画像認識装置、画像認識方法および画像認識プログラム
KR101891778B1 (ko) 음원의 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램
CN110287936B (zh) 图像检测方法、装置、设备及存储介质
CN112101547B (zh) 一种对网络模型的剪枝方法、装置、电子设备及存储介质
KR102185979B1 (ko) 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치
CN112560881B (zh) 对象识别方法和装置、数据处理方法
KR20220122456A (ko) 영상 데이터에 포함된 개인식별정보 비식별화 방법 및 이를 수행하는 장치
CN112906464A (zh) 行人检测识别方法、装置、设备及存储介质
KR102554149B1 (ko) 오브젝트 인식 방법 및 장치, 인식 모델 학습 방법 및 장치
CN114677330A (zh) 一种图像处理方法、电子设备及存储介质
Kumar et al. Bird species classification from images using deep learning
US10169874B2 (en) Surface-based object identification
CN116664839B (zh) 一种弱监督半监督缺陷感知分割方法、装置及电子设备
KR20190125569A (ko) 영상 특징의 미분 및 지도 학습을 이용하여 비디오의 장면 상황 정보를 생성하는 방법 및 장치
KR102283452B1 (ko) 작물 이미지의 병해충 검출 방법 및 장치
CN111951260A (zh) 基于部分特征融合卷积神经网络实时目标计数系统及方法
KR20200057835A (ko) 군장비 수리부속 품목 수요예측을 위한 수요패턴 별 클러스터링 시스템 및 방법
KR102399673B1 (ko) 어휘 트리에 기반하여 객체를 인식하는 방법 및 장치
KR102127855B1 (ko) 검출 반복성을 최대화 하는 특징점 선별방법
KR102289396B1 (ko) 군장비 수리부속 품목 수요예측의 고도화를 위한 강화학습 적용
CN113033422A (zh) 基于边缘计算的人脸检测方法、系统、设备和存储介质
JP2023166779A (ja) 解析方法、統計学習システム及び解析プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant