KR20200139616A - 이상 개체 검출 장치 및 방법 - Google Patents

이상 개체 검출 장치 및 방법 Download PDF

Info

Publication number
KR20200139616A
KR20200139616A KR1020197016267A KR20197016267A KR20200139616A KR 20200139616 A KR20200139616 A KR 20200139616A KR 1020197016267 A KR1020197016267 A KR 1020197016267A KR 20197016267 A KR20197016267 A KR 20197016267A KR 20200139616 A KR20200139616 A KR 20200139616A
Authority
KR
South Korea
Prior art keywords
abnormal
image
information
data
entity
Prior art date
Application number
KR1020197016267A
Other languages
English (en)
Inventor
김민규
류승훈
신제용
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Publication of KR20200139616A publication Critical patent/KR20200139616A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예에 따른 이상 개체 검출 장치는 학습용 서버와 통신하는 통신 프로세서; 및 촬영 영상을 입력받고, 상기 촬영 영상의 개체 중 움직임이 검출되지 않은 픽셀 영역이 마스킹된 영상을 출력하는 제어부를 포함하고, 상기 통신 프로세서는 상기 촬영 영상 및 상기 촬영 영상의 개체 밀도에 대한 비트맵을 상기 학습용 서버로 전송한다.

Description

이상 개체 검출 장치 및 방법
본 발명의 실시예는 이상 개체 검출 장치 및 방법에 관한 것이다.
좁은 사육장 내에서 집단으로 사육되는 가축은 전염성 질병의 확산에 매우 취약하다. 예를 들어, 구제역이나 조류독감과 같은 법정 전염병은 공기를 통해 전염되므로, 한번 발병될 경우 그 방역 및 전염 차단에 드는 사회적인 소요 비용이 매우 크고, 먹거리에 대한 전 사회적인 불안감도 빠르게 확산될 수 밖에 없다. 사육장 내 이상징후가 포착된 경우, 질병의 확산을 방지하기 위하여 빠른 시간 내에 병든 가축을 격리시키는 것이 중요하다.
학습에 기반하여 사육장 내 이상 징후를 검출하는 방법이 시도되고 있다. 이를 위하여, 로컬 머신은 사육장 내를 촬영한 영상 데이터를 수집하며, 수집한 영상 데이터를 학습용 서버에 전송한다. 학습용 서버는 로컬 머신들로부터 수신한 영상 데이터를 학습하여 이상 징후 검출 알고리즘에 적용할 파라미터를 추출할 수 있다.
일반적으로, 로컬 머신은 카메라를 포함하며, 카메라에 의하여 촬영된 영상 데이터는 모두 학습용 서버로 전송된다. 이때, 로컬 머신이 학습용 서버로 데이터를 전송하는데 과도한 통신 트래픽이 발생하게 되며, 학습용 서버에서는 이들을 모두 학습하기 위하여 과도한 양의 연산이 수행될 수 있다.
본 발명이 이루고자 하는 기술적 과제는 사육장 내부를 촬영한 영상 데이터 내에서 질병에 걸린 가능성이 높은 개체를 검출할 수 있는 이상 개체 검출 장치 및 방법을 제공하는데 있다.
본 발명의 실시예에 따른 이상 개체 검출 장치는 학습용 서버와 통신하는 통신 프로세서; 및 촬영 영상을 입력받고, 상기 촬영 영상의 개체 중 움직임이 검출되지 않은 픽셀 영역이 마스킹된 영상을 출력하는 제어부를 포함하고, 상기 통신 프로세서는 상기 촬영 영상 및 상기 촬영 영상의 개체 밀도에 대한 비트맵을 상기 학습용 서버로 전송한다.
상기 비트맵은 상기 촬영 영상의 개체 밀도가 수정된 정보를 포함할 수 있다.
상기 통신 프로세서는 관리자 단말과 통신하며, 상기 수정된 정보는 상기 관리자 단말에 의하여 수정될 수 있다.
본 발명의 실시예에 따른 이상 개체 검출 장치는 복수의 개체가 함께 촬영된 촬영 영상으로부터 이상 개체 정보를 추출하는 제어부, 상기 이상 개체 정보를 관리자 단말에게 전송하며, 상기 관리자 단말로부터 상기 이상 개체 정보에 대한 피드백 정보를 수신하는 통신부, 그리고 상기 피드백 정보에 기초하여 학습용 데이터를 생성하는 학습 전처리부를 포함하고, 상기 학습용 데이터는 상기 피드백 정보에 기초하여 추출된 영상 데이터를 포함하며, 상기 통신부에 의하여 학습용 서버로 전송되고, 상기 제어부는 상기 학습용 서버에 의하여 학습된 학습용 데이터의 업데이트 정보를 이용하여 상기 이상 개체 정보를 추출한다.
상기 피드백 정보는 상기 이상 개체 정보에 오류가 있음을 알릴 수 있다.
상기 피드백 정보는 상기 이상 개체 정보 중 오류가 있는 시간 영역에 관한 정보 및 공간 영역에 관한 정보를 포함할 수 있다.
상기 피드백 정보에 기초하여 상기 영상 데이터는 상기 촬영 영상 중 상기 피드백 정보에 따라 추출된 시간 영역 및 공간 영역 내의 영상 데이터일 수 있다.
상기 제어부는 상기 촬영 영상 내 상기 복수의 개체의 위치 분포를 추출하는 제1 특징 추출 유닛, 상기 촬영 영상 내 상기 복수의 개체의 움직임을 추출하는 제2 특징 추출 유닛, 그리고 상기 제1 특징 추출 유닛에 의하여 추출된 위치 분포 및 상기 제2 특징 추출 유닛에 의하여 추출된 움직임에 기초하여 이상 개체 데이터를 생성하는 이상 개체 정보 생성 유닛을 포함할 수 있다.
상기 업데이트 정보는 상기 제1 특징 추출 유닛에 적용되는 제1 업데이트 정보, 상기 제2 특징 추출 유닛에 적용되는 제2 업데이트 정보 및 상기 이상 개체 정보 생성 유닛에 적용되는 제3 업데이트 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 한 실시예에 따른 이상 개체 검출 방법은 n번째 영상을 수신하는 단계; n번째 영상 내 개체의 제1 밀도 맵을 출력하는 단계; n번째 영상 내 동작 맵을 출력하는 단계; 상기 제1 밀도 맵, 상기 동작 맵, 그리고 미리 저장된 n-1번째 이상 개체 밀도 맵을 이용하여 n번째 이상 개체 밀도 맵을 출력하는 단계; 그리고 상기 n번째 이상 개체 밀도 맵을 이용하여 상기 n번째 영상 내 이상 개체가 위치한 영역을 마스킹하는 단계를 포함하고, 상기 n번째 영상 및 제2 밀도 맵이 학습용 서버로 전송되고, 상기 제2 밀도맵은 상기 n번째 영상 내 개체의 밀도가 수정된 정보이다.
상기 제2 밀도맵은 관리자 단말에 의해 수정될 수 있다.
상기 학습용 서버로부터 상기 n번째 영상 및 상기 제2 밀도 맵을 이용한 재학습에 의하여 얻어진 업데이트 정보를 수신하는 단계, 그리고 상기 업데이트 정보를 이용하여 상기 n번째 영상 이후의 소정 영상에 대한 이상개체 밀도 맵을 출력하는 단계를 더 포함할 수 있다.
상기 수정된 정보는 상기 n번째 이상 개체 밀도 맵 중 오류가 있는 시간 영역 정보 및 공간 영역 정보 중 적어도 하나를 포함하고, 상기 제2 밀도 맵은 상기 시간 영역 정보 및 상기 공간 영역 정보 중 적어도 하나를 이용하여 추출될 수 있다.
상기 소정 영상에 대한 이상 개체 밀도 맵을 출력하는 단계는, 상기 소정 영상 및 상기 학습용 서버로부터 수신한 제1 업데이트 정보를 이용하여 상기 소정 영상 내 상기 복수의 개체의 위치 분포를 추출하는 단계, 상기 소정 영상 및 상기 학습용 서버로부터 수신한 제2 업데이트 정보를 이용하여 상기 소정 영상 내 상기 복수의 개체의 움직임을 추출하는 단계, 그리고 상기 위치 분포, 상기 움직임, 및 상기 학습용 서버로부터 수신한 제3 업데이트 정보를 이용하여 상기 소정 영상에 대한 이상 개체 밀도 맵을 생성하는 단계를 포함할 수 있다.
본 발명의 한 실시예에 따른 이상 개체 검출 시스템은 학습용 서버 및 상기 학습용 서버통신하는 이상 개체 검출 장치를 포함하고, 상기 이상 개체 검출 장치는, 상기 학습용 서버와 통신하는 통신 프로세서; 및 촬영 영상을 입력받고, 상기 촬영 영상의 개체 중 움직임이 검출되지 않은 픽셀 영역이 마스킹된 영상을 출력하는 제어부를 포함하고, 상기 통신 프로세서는 상기 촬영 영상 및 상기 촬영 영상의 개체 밀도에 대한 비트맵을 상기 학습용 서버로 전송한다.
본 발명의 한 실시예에 따른 이상 개체 검출 장치 및 방법은 사육장 내부를 촬영한 영상 데이터 상에서 질병에 걸린 가능성이 높은 이상 개체를 검출할 수 있다.
또한, 본 발명의 한 실시예에 따르면, 학습용 서버로 전송되는 데이터 양을 줄일 수 있으므로, 과도한 통신 트래픽의 발생을 방지할 수 있고, 학습용 서버 내의 연산량을 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 이상 개체 검출 시스템의 블록도이다.
도 2는 본 발명의 실시예에 따른 이상 개체 검출용 학습 시스템의 블록도이다.
도 3은 본 발명의 실시예에 따른 이상 개체 검출 장치의 개념도이다.
도 4는 본 발명의 실시예에 따른 이상 개체 검출 장치의 블록도이다.
도 5는 본 발명의 실시예에 따른 이상 개체 검출 장치의 이상 개체 검출 방법의 흐름도이다.
도 6은 객체 밀도 예측 네트워크의 원리를 설명하기 위한 도면이다.
도 7은 관리자 단말에 이상 개체 정보가 표시되는 예를 설명하기 도면이다.
도 8은 관리자 단말에 이상 개체 정보가 블록 별로 표시되는 예를 설명하기 도면이다.
도 9는 본 발명의 실시예에 따른 이상 개체 검출 장치에 포함되는 제어부의 블록도이다.
도 10은 본 발명의 실시예에 따른 이상 개체 검출 장치의 이상 개체 검출 알고리즘을 설명하는 도면이다.
도 11은 학습용 서버에 의하여 재학습된 결과를 이용하여 본 발명의 실시예에 따른 이상 개체 검출 장치가 이상 개체를 검출하는 방법을 설명하는 도면이다.
도 12는 본 발명의 실시예에 따른 이상 개체 검출 장치의 성능을 테스트한 결과이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 이상 개체 검출 시스템의 블록도이고, 도 2는 본 발명의 실시예에 따른 이상 개체 검출용 학습 시스템의 블록도이며, 도 3은 본 발명의 실시예에 따른 이상 개체 검출 장치의 개념도이다.
도 1 내지 3을 참조하면, 본 발명의 실시예에 따른 이상 개체 검출 시스템(1000)은 이상 개체 검출 장치(100), 관리자 단말(200), 공조 장치(300) 및 학습용 서버(400)를 포함한다.
본 발명의 실시예에 따른 이상 개체 검출용 학습 시스템(2000)은 복수의 이상 개체 검출 장치(100) 및 학습용 서버(400)를 포함한다. 여기서, 복수의 이상 개체 검출 장치(100)는 하나의 사육장에 설치된 복수의 이상 개체 검출 장치일 수도 있고, 복수의 사육장에 설치된 복수의 이상 개체 검출 장치일 수도 있다.
이상 개체 검출 장치(100)는 사육장(10) 내의 환경을 검출하고, 이를 관리자 단말(200) 및 공조 장치(300) 중 적어도 하나에 전송할 수 있다. 여기서, 사육장(10)은 가축을 사육하는 축사를 의미한다. 가축은 닭, 오리 등의 가금류뿐만 아니라, 소, 돼지 등 축사 내에서 집단으로 사육되는 다양한 종류의 동물일 수 있다.
이상 개체 검출 장치(100)는 사육장(10) 내 이상 개체 정보를 추출한다. 여기서, 이상 개체 정보는 이상 개체의 유무 정보, 이상 개체가 존재하는 공간 영역에 관한 정보, 및 이상 개체가 존재하는 시간 영역에 관한 정보 중 적어도 하나를 포함할 수 있다. 이때, 이상 개체는 질병, 임신 등으로 인해 정상 상태가 아닌 개체를 의미할 수 있다.
이를 위하여, 이상 개체 검출 장치(100)는 촬영부를 포함하며, 촬영부를 이용하여 복수의 개체가 함께 촬영된 영상에 대한 영상 데이터를 획득할 수 있다. 여기서, 촬영부는 카메라와 혼용될 수 있다. 그리고, 이상 개체 검출 장치(100)는 미리 저장된 알고리즘을 구동하여 영상 데이터에 대한 이상 개체 정보를 추출할 수 있다. 여기서, 미리 저장된 알고리즘은 학습된 모델을 포함할 수 있다. 학습된 모델은 컴퓨터로 읽을 수 있는 프로그램일 수 있으며, 컴퓨터에 의하여 실행될 수 있는 기록매체 또는 저장 장치에 저장될 수 있다. 컴퓨터 내의 프로세서는 기록매체 또는 저장 장치에 저장된 프로그램을 읽어 들이며, 프로그램, 즉 학습된 모델을 실행하여 입력 정보를 연산하고, 연산 결과를 출력할 수 있다. 이때, 입력 정보는 영상 데이터일 수 있으며, 연산 결과는 이상 개체 정보일 수 있다.
도 3(a)에 도시된 바와 같이, 이상 개체 검출 장치(100)는 사육장(10) 별로 배치될 수 있다. 이상 개체 검출 장치(100)는 복수의 촬영부(111)를 포함할 수 있으며, 복수의 촬영부(111)는 사육장(10) 내 여러 장소에 배치될 수 있다. 예를 들어, 복수의 촬영부(111)는 사육장(10) 상부 및 측부에 배치될 수 있다. 이상 개체 검출 장치(100)는 복수의 촬영부(111)에 의하여 획득된 복수의 영상 데이터를 취합하여 이상 개체 정보를 추출할 수 있다.
또는, 도 3(b)에 도시된 바와 같이, 하나의 사육장(10) 내에 복수의 이상 개체 검출 장치(100)가 배치될 수도 있다. 복수의 이상 개체 검출 장치(100)는 사육장(10) 내 여러 장소에 배치될 수 있으며, 각 이상 개체 검출 장치(100)는 각 촬영부(111)에 의하여 획득된 각 영상 데이터를 이용하여 이상 개체 정보를 추출할 수도 있다.
본 발명의 실시예에 따르면, 이상 개체 검출 장치(100)는 관리자 단말(200) 및 공조 장치(300)와 유선 또는 무선으로 통신할 수 있다. 여기서, 이상 개체 검출 장치(100)가 관리자 단말(200) 및 공조 장치(300)와 각각 통신하는 것으로 도시되어 있으나, 이로 제한되지 않으며, 이상 개체 검출 장치(100)가 관리자 단말(200)과 통신하고, 관리자 단말(200)이 공조 장치(300)와 통신할 수도 있다.
관리자 단말(200)은 퍼스널 컴퓨터(personal computer, PC), 태블릿 PC, 휴대단말 등일 수 있으며, 관리 서버와 혼용될 수도 있다. 이상 개체 검출 장치(100)가 관리자 단말(200)에게 사육장(10) 내의 환경 및 이상 개체 정보 중 적어도 하나를 전송하는 경우, 관리자는 관리자 단말(200)에 출력된 화면 등을 통하여 사육장(10) 내의 환경 및 이상 개체 정보 중 적어도 하나를 인지할 수 있다. 예를 들어, 이상 개체 검출 장치(100)가 사육장(10) 내의 이상상황을 포착하여 이를 관리자 단말(200)에게 전송한 경우, 관리자는 관리자 단말(200)에 출력된 화면을 통하여 사육장(10) 내에 이상상황이 발생하였음을 인지할 수 있으며, 이상상황에 대하여 초기에 대응할 수 있다. 여기서, 이상상황은, 예를 들어 질병에 걸린 가축의 발생, 가축의 임신, 가축의 생장 기간, 사육장(10) 내 습도, 온도, 특정 분자의 농도 이상 등일 수 있다.
공조 장치(300)는 사육장(10)의 온도를 조절하는 장치이다. 이상 개체 검출 장치(100)가 사육장(10) 내 온도이상을 포착하여 관리자 단말(200)에게 전송한 경우, 관리자는 관리자 단말(200)에 출력된 화면을 통하여 사육장(10) 내 온도이상이 발생하였음을 인지할 수 있으며, 공조 장치(300)를 제어하여 사육장(10) 내 온도를 정상화할 수 있다. 또는, 이상 개체 검출 장치(100)가 사육장(10) 내 온도이상을 검출하여 공조 장치(300)에게 직접 전달한 경우, 공조 장치(300)가 직접 사육장(10) 내 온도를 정상화할 수도 있다. 예를 들어, 사육장(10) 내의 온도가 가축이 생활하기에 적절한 온도보다 낮거나, 높은 경우, 가축들의 움직임이 둔화되는 경향이 있다. 이에 따라, 이상 개체 검출 장치(100), 관리자 단말(200), 또는 공조 장치(300)는 사육장(10) 내 온도이상을 검출하여 사육장(10) 내 온도를 정상화할 수 있다.
공조 장치(300)는 사육장(10)의 습도를 조절할 수 있다. 사육장(10) 내의 습도 이상이 발생한 경우, 공조 장치(300)를 제어하여 사육장(10) 내 습도를 정상화할 수 있다.
본 발명의 실시예에 따르면, 이상 개체 검출 장치(100)는 미리 저장된 알고리즘을 구동하여 이상 개체 정보를 추출한다. 이를 위하여, 이상 개체 검출 장치(100)는 원격의 학습용 서버(400)에게 학습용 데이터를 전송하며, 학습용 서버(400)로부터 수신한 파라미터를 이상 개체 검출용 알고리즘에 적용하여 이상 개체 정보를 추출할 수 있다.
본 발명의 실시예에 따르면, 학습용 서버(400)는 복수의 이상 개체 검출 장치(100)로부터 학습용 데이터를 수신 받으며, 이들 학습용 데이터를 재학습(re-training)하여 파라미터를 추출한다. 학습용 서버(400)는, 예를 들어 딥러닝 기법을 이용하여 학습용 데이터를 학습할 수 있으나, 이로 제한되는 것은 아니며, 다양한 기법을 이용하여 학습용 데이터를 학습하고, 파라미터를 추출할 수 있다.
여기서, 이상 개체 검출 장치(100)는 로컬 머신과 혼용될 수 있으며, 학습용 서버(400)는 복수의 사육장에 설치된 복수의 이상 개체 검출 장치로부터 학습용 데이터를 수집할 수 있다.
본 발명의 실시예에 따른 이상 개체 검출 장치(100)는 영상 데이터를 전처리하여 학습용 데이터를 선별하며, 선별한 학습용 데이터만을 학습용 서버(400)에게 전송한다. 이에 따라, 이상 개체 검출 장치(100)와 학습용 서버(400) 간의 통신 트래픽을 줄일 수 있으며, 학습용 서버(400)의 연산량을 줄일 수 있다.
도 4는 본 발명의 실시예에 따른 이상 개체 검출 장치의 블록도이고, 도 5는 본 발명의 실시예에 따른 이상 개체 검출 장치의 이상 개체 검출 방법의 흐름도이다.
도 4를 참조하면, 이상 개체 검출 장치(100)는 촬영부(111), 제어부(112), 통신부(113), 표시부(114), 유저 인터페이스부(115), 인코딩부(116), 데이터 베이스(117), 광원부(118), 팬틸트부(119), 학습 전처리부(120)를 포함한다. 다만, 본 발명의 실시예에 따르면, 표시부(114), 유저 인터페이스부(115), 광원부(118) 및 팬틸트부(119) 중 적어도 하나는 생략될 수도 있다. 여기서, 촬영부(111)는 렌즈 및 이미지 센서를 포함하도록 구현될 수 있고, 제어부(112), 인코딩부(116), 학습 전처리부(120) 중 적어도 하나는 컴퓨터 프로세서 또는 칩에 의하여 구현될 수 있으며, 데이터베이스(117)는 메모리와 혼용될 수 있고, 통신부(113)는 안테나 또는 통신 프로세서 등과 혼용될 수 있다.
촬영부(111)는 하나 또는 복수의 촬영 유닛을 포함할 수 있다. 예를 들어, 촬영부(111)는 사육장(10)의 상부에 배치된 적어도 하나의 상부 촬영 유닛 및 사육장(10)의 측부에 배치된 적어도 하나의 측부 촬영 유닛을 포함할 수 있다. 상부 촬영 유닛 및 측부 촬영 유닛 각각은 유선 또는 무선으로 통신이 가능하여 실시간 영상의 송출이 가능한 IP 카메라일 수 있다.
촬영부(111)는 복수의 개체를 포함하는 이미지를 촬영하여 영상 데이터를 생성할 수 있다. 본 발명의 실시예에서 복수의 개체는 사육장 내에서 사육되는 가금류를 의미할 수 있다. 본 명세서에서, 촬영부(111)에 의하여 촬영된 영상 데이터는 원본 데이터, 원본 영상, 촬영 영상 등과 혼용될 수 있다.
촬영부(111)는 순차적으로 촬영되는 복수 개의 이미지를 이용하여 복수 개의 영상 데이터를 생성할 수 있다. 예를 들면, 촬영부(111)는 복수의 개체를 포함하는 제1이미지를 촬영하여 제1영상 데이터를 생성할 수 있으며, 복수의 개체를 포함하는 제2이미지를 촬영하여 제2영상 데이터를 생성할 수 있다. 제1이미지 및 제2이미지는 각각 시간상으로 연속적으로 촬영된 이미지일 수 있으며, 하나의 영상 데이터는 단일 프레임을 의미할 수 있다. 촬영부(111)는 순차적으로 촬영되는 제1이미지 및 제2이미지를 이용하여 제1영상 데이터 및 제2영상 데이터를 생성할 수 있다.
촬영부(111)는 CMOS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 피사체를 촬영하는 이미지 센서일 수 있다. 이때, 입력되는 영상 프레임은 렌즈를 통해 촬영부(111) 내의 CMOS 모듈 또는 CCD 모듈로 제공되고, CMOS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(영상 데이터)로 변환하여 출력한다.
촬영부(111)는 시야각이 넓은 어안렌즈 또는 광각렌즈를 포함할 수 있다. 이에 따라, 하나의 촬영부(111)가 사육장(10) 내부의 전체 공간을 촬영하는 것도 가능하다.
또한, 촬영부(111)는 깊이 카메라일 수 있다. 촬영부(111)는 다양한 깊이 인식 방식 중 어느 하나의 방식으로 구동될 수 있으며, 촬영부(111)를 통하여 촬영된 영상에는 깊이 정보가 포함될 수 있다. 촬영부(111)는 예를 들어, 키넥트 센서일 수 있다. 키넥트 센서는 구조광 투영 방식의 깊이 카메라로서, 프로젝터나 레이저를 이용하여 정의된 패턴 영상을 투영시키고 카메라를 통하여 패턴이 투영된 영상을 획득함으로써 장면의 삼차원 정보를 획득할 수 있다. 이러한 키넥트 센서는 적외선 레이저를 이용해 패턴을 조사하는 적외선 방사체, 및 적외선 영상을 촬영하는 적외선 카메라를 포함하며, 일반적인 웹캠과 같은 기능을 하는 RGB 카메라가 적외선 방사체와 적외선 카메라 사이에 배치되어 있다. 이 외에도, 키넥트 센서에는 마이크 배열과 카메라의 각도를 조절하는 팬틸트부(119)가 더 구성될 수 있다.
키넥트 센서의 기본적인 원리는, 적외선 방사체에서 조사된 레이저 패턴이 물체에 투영되어 반사되면, 반사 지점에서의 패턴의 위치 및 크기를 이용해 물체 표면까지의 거리를 구하게 된다. 이러한 원리에 따라, 촬영부(111)는 사육장 내 공간으로 레이저 패턴을 조사하고, 개체에서 반사된 레이저 패턴을 센싱하여 개체 별 깊이 정보를 포함하는 영상 데이터를 생성할 수 있다.
제어부(112)는 이상 개체 검출 장치(100)를 전반적으로 제어한다. 특히, 본 발명의 실시예에 따르면, 제어부(112)는 촬영부(111)에 의하여 복수의 개체가 함께 촬영된 영상에 대한 영상 데이터로부터 이상 개체 정보를 추출한다. 이상 개체 정보는, 영상 데이터 내 이상 개체의 유무에 관한 정보, 영상 데이터 내 이상 개체가 존재하는 공간 영역에 관한 정보 및 영상 데이터 내 이상 개체가 존재하는 시간 영역에 관한 정보 중 적어도 하나를 포함할 수 있다. 여기서, 영상 데이터 내 이상 개체가 존재하는 공간 영역에 관한 정보는 이상 개체가 존재하는 영역의 좌표 정보 또는 이상 개체의 좌표 정보일 수 있다. 이때, 이상 개체 정보는 영역 별, 블록 별, 또는 픽셀 별로 나타내어질 수 있으며, 이상 개체 정보는 영역 별, 블록 별, 또는 픽셀 별 이상 개체가 있을 확률을 더 포함할 수 있다. 본 명세서에서, 이상 개체 정보는 이상 개체 데이터와 혼용될 수 있다. 또는, 이상 개체 정보는 이상 개체 데이터로부터 얻어지는 정보일 수도 있다. 또는, 이상 개체 정보는 이상 개체 데이터를 포함할 수도 있다. 이때, 제어부(112)는 데이터베이스(117)에 미리 저장된 알고리즘을 구동하는 방법으로 이상 개체 정보를 추출할 수 있으며, 미리 저장된 알고리즘 및 이 알고리즘에 적용되는 파라미터는 학습용 서버(400)에 의하여 학습된 결과 추출된 알고리즘 및 파라미터일 수 있다. 제어부(112)가 이상 개체 정보를 추출하는 방법에 대한 자세한 내용은 후술한다.
제어부(112)는 예를 들면, 유저 인터페이스부(115) 또는 데이터 베이스(117)에 저장된 명령을 수행하여 이상 개체 검출 장치(100)의 동작을 수행할 수도 있다.
또는 제어부(112)는 관리자 단말(200)로부터 수신한 명령을 이용하여 이상 개체 검출 장치(100)의 각종 동작을 제어할 수도 있다.
제어부(112)는 촬영부(111)를 제어하여 이상 개체가 있는 특정 영역을 추적 촬영할 수도 있다. 추적 촬영 대상은 유저 인터페이스부(115)를 통하여 설정되거나 또는 관리자 단말(200)의 제어 명령을 통하여 설정될 수도 있다. 제어부(112)는 촬영부(111)를 제어하여 이상개체가 있는 특정 영역을 추적 촬영하여 영상 데이터를 생성하게 함으로써 지속적인 모니터링을 수행할 수 있게 한다.
이때, 제어부(112)는 이상 개체 검출 장치(100)의 팬틸트부(119)를 제어하여 추적 촬영을 수행할 수 있다. 팬틸트부(119)는 팬(Pan, 수평방향) 및 틸트(Tilt, 수직 방향) 2개의 모터를 구동하여 촬영부(111)의 촬영 영역을 제어할 수 있다. 팬틸트부(119)는 제어부(112)의 제어에 따라 특정 영역을 촬영하기 위하여 촬영부(111)의 지향 방향을 조절할 수 있다. 또한, 팬틸트부(119)는 제어부(112)의 제어에 따라 특정 개체를 트래킹하기 위하여 촬영부(111)의 지향 방향을 조절할 수 있다.
본 발명의 실시예에서, 제어부(112)는 촬영부(111)에 의하여 촬영된 영상을 입력 받고, 입력 받은 영상 내 개체 중 기 설정된 시간 동안 움직임이 검출되지 않은 영역, 예를 들어 움직임이 검출되지 않은 픽셀이 마스킹된 영상을 생성하여 출력할 수 있다. 본 명세서에서, 움직임이 검출되지 않은 픽셀이 마스킹된 영상은, 움직임이 검출되지 않은 픽셀이 주변 픽셀과 구별되도록 표시된 영상 또는 주변 픽셀과 구별되도록 표시되지 않은 영상을 의미할 수 있다. 즉, 본 명세서에서, 마스킹은 주변 픽셀과 구별되도록 하는 총체적인 방법을 의미할 수 있으며, 이미지 프로세싱 분야에서 일반적으로 적용되는 마스킹 처리뿐만 아니라, 모자이크 처리, 투명 픽셀 처리 등을 모두 포함하는 것으로 해석될 수 있다.
통신부(113)는 타 이상 개체 검출 장치, 관리자 단말(200) 또는 학습용 서버(400)중 적어도 하나와 데이터 통신을 수행할 수 있다. 예를 들면, 통신부(113)는 무선랜(Wireless LAN: WLAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등의 원거리 통신 기술을 사용하여 데이터 통신을 수행할 수 있다.
또는 통신부(113)는 블루투스, RFID(RadioFrequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비, 인접 자장 통신(NFC) 등이 포함될 수 있다. 또한, 유선 통신 기술로는, USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등의 근거리 통신 기술을 사용하여 데이터 통신을 수행할 수 있다.
예를 들면, 통신부(113)는 근거리 통신 기술을 사용하여 타 이상 개체 검출 장치와 데이터 통신을 수행하고, 원거리 통신 기술을 사용하여 관리자 단말(200) 또는 학습용 서버(400)와 데이터 통신을 수행할 수 있다, 그러나 이에 한정되는 것은 아니고, 사육장(10)의 제반 사항 등을 고려하여 다양한 통신 기술이 사용될 수 있다.
통신부(113)는 촬영부(111)에서 촬영한 영상 데이터를 관리자 단말(200)에게 전송하거나, 제어부(112)에 의하여 추출된 이상 개체 정보를 관리자 단말(200)에게 전송하거나, 영상 데이터와 이상 개체 정보를 정합한 결과를 관리자 단말(200)에게 전송할 수 있다. 그리고, 통신부(113)는 촬영부(111)에서 촬영한 영상 및 영상 내 개체의 밀도에 대한 비트맵을 학습용 서버(400)에게 전송할 수도 있다. 여기서, 학습용 서버(400)로 전송되는 비트맵은 관리자 단말(200)에 의하여 수정된 비트맵일 수 있다.
통신부(113)를 통하여 전송되는 데이터는 인코딩부(116)를 통하여 인코딩된 압축 데이터일 수 있다.
표시부(114)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
표시부(114)는 제어부(112)를 통하여 픽셀값이 조절된 영상 데이터 및 분포 데이터 중 적어도 하나를 디스플레이할 수 있다.
또한, 표시부(114)는 촬영부(111)에서 촬영한 영상 데이터를 화면에 출력하거나, 영상 데이터와 이상 개체 정보가 검출된 결과를 화면에 출력할 수도 있다.
또한, 표시부(114)는 다양한 사용자 인터페이스 또는 그래픽 사용자 인터페이스를 화면에 출력할 수 있다.
유저 인터페이스부(115)는 이상 개체 검출 장치(100)의 동작 제어를 위한 입력 데이터를 발생시킨다. 유저 인터페이스부(115)는 키 패드, 돔 스위치, 터치 패드, 조그 휠, 조그 스위치 등으로 구성될 수 있다. 표시부(114)와 터치패드가 상호 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 표시부(114)는 출력 장치 이외에 입력 장치로도 사용될 수 있다.
유저 인터페이스부(115)는 이상 개체 검출 장치의 동작을 위한 다양한 명령을 입력받을 수 있다.
인코딩부(116)는 촬영부(111)에서 촬영한 영상 데이터 또는 제어부(112)를 통하여 가공된 가공 영상 데이터를 디지털 신호로 부호화한다. 예를 들면, 인코딩부(116)는 H.264, H.265, MPEG(Moving Picture Experts Group), M-JPEG(Motion Joint Photographic Experts Group) 표준에 따라 영상 데이터를 인코딩할 수 있다.
데이터베이스(117)는, 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 이상 개체 검출 장치(100)는 인터넷(internet) 상에서 데이터베이스(117)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 웹 스토리지와 관련되어 동작할 수도 있다.
데이터베이스(117)는 촬영부(111)에서 촬영한 영상 데이터를 저장할 수 있으며, 과거 일정 기간 동안의 영상 데이터를 저장할 수 있다.
또한, 데이터베이스(117)는, 이상 개체 검출 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있으며, 제어부(112)가 이상 개체 정보를 추출하기 위해 필요한 알고리즘 및 이에 적용되는 파라미터를 저장할 수 있다.
또한, 데이터베이스(117)는, 다양한 사용자 인터페이스(User Interface: UI) 또는 그래픽 사용자 인터페이스(Graphic User Interface: GUI)를 저장할 수 있다.
광원부(118)는 제어부(112)의 제어에 따라 지향하는 방향으로 광을 조사할 수 있다. 예를 들면, 광원부(118)는 적어도 하나의 레이저 다이오드(LD), 발광 다이오드(LED)를 포함할 수 있다. 광원부는 제어부의 제어에 따라 다양한 파장대의 광을 조사할 수 있다.
예를 들면, 광원부(118)는 야간 촬영을 위하여 적외선 파장대의 광을 조사할 수 있다. 또는, 광원부(118)는 사육장 내 가축의 광화학 치료(photochemotherapy)를 위하여 자외선 파장대의 광을 조사할 수도 있다.
학습 전처리부(120)는 촬영부(111)에 의하여 획득된 영상 데이터 중 학습용 서버(400)가 학습에 사용할 학습용 데이터를 추출한다. 학습 전처리부(120)가 학습 데이터를 추출하는 자세한 방법은 이하에서 설명한다.
도 5를 참조하면, 이상 개체 검출 장치(100)는 촬영부(111)를 이용하여 복수의 개체가 함께 촬영된 영상에 대한 영상 데이터를 획득하며(S500), 제어부(112)는 획득한 영상 데이터로부터 이상 개체 정보를 추출한다(S502). 여기서, 하나의 영상 데이터는 단일 프레임을 의미할 수 있으며, 촬영부(111)는 순차적으로 촬영되는 영상을 이용하여 복수 개의 영상 데이터를 생성할 수 있다. 이때, 제어부(112)는 미리 저장된 알고리즘 및 이에 적용되는 파라미터를 이용하여 이상 개체 정보를 추출할 수 있다. 여기서, 미리 저장된 알고리즘은 영상 데이터 내에서 객체가 위치한다고 판단되는 영역을 표시하도록 학습된 제1 알고리즘 및 옵티컬 플로우(optical flow)를 활용하여 모션을 검출하도록 학습된 제2 알고리즘을 이용하여 객체 중 움직임이 없는 객체를 표시하는 알고리즘을 의미할 수 있다. 여기서, 제1 알고리즘은 객체가 존재하는 영역을 표시하는 알고리즘을 활용한 실시간 객체 검출 방법을 이용할 수 있다, 또는, 제1 알고리즘은 객체의 분포 정보, 즉 객체가 위치하는 영역의 밀도 정보를 나타내는 방법을 이용할 수도 있다. 여기서, 제1 알고리즘은 본 명세서 내에서의 학습된 모델의 전부 또는 일부일 수 있다. 여기서, 학습된 모델은 컴퓨터로 읽을 수 있는 프로그램일 수 있으며, 컴퓨터에 의하여 실행될 수 있는 기록매체 또는 저장 장치에 저장될 수 있다. 컴퓨터 내의 프로세서는 기록매체 또는 저장 장치에 저장된 프로그램을 읽어 들이며, 프로그램, 즉 학습된 모델을 실행하여 입력 정보를 연산하고, 연산 결과를 출력할 수 있다. 이때, 학습된 모델의 입력은 하나 또는 복수의 개체를 촬영한 영상 데이터일 수 있으며, 학습된 모델은 출력은 영상 데이터 내에 있는 개체에 대한 밀도 맵일 수 있다. 여기서, 밀도 맵은 위치 분포 데이터, 밀도 정보, 밀도 영상 등과 혼용될 수 있다. 도 6은 본 발명의 실시예에 따른 제1 알고리즘의 한 예인 객체 밀도 예측 네트워크를 설명하기 위한 도면이다. 여기서, 객체 밀도 예측 네트워크는 객체가 위치하는 영역의 밀도 정보를 표시하도록 설계된 딥러닝 알고리즘의 한 예이다. 객체 밀도 예측 네트워크는 컨볼루션 네트워크(convolution network) 기반 학습 머신에 원본 영상을 입력한 후, 그레이 스케일의 확률 맵으로 나타낸 밀도 영상을 출력하는 알고리즘일 수 있다. 여기서, 컨볼루션 네트워크는 뉴럴 네트워크일 수 있다. 이때, 하나 또는 복수의 개체를 촬영한 영상 데이터는 뉴럴 네트워크의 입력층이 되고, 뉴럴 네트워크는 학습된 중량 계수에 기초하여 하나 또는 복수의 개체를 촬영한 영상 데이터에 대하여 연산을 수행할 수 있다. 그리고, 뉴럴 네트워크의 출력층은 개체에 대한 밀도 맵일 수 있다. 이에 따르면, 닭장과 같이 유사한 모양을 가진 객체가 높은 밀도로 수용된 사육장 환경에서도 이상 객체 정보를 용이하게 추출할 수 있다.
객체 밀도 예측 네트워크는 원본 영상과 밀도 영상을 이용하여 학습될 수 있으며, 후술하는 도 11의 학습용 서버(Training server)에 의해 학습될 수 있다.
도 6에서 도시된 바와 같이, 객체 밀도 예측 네트워크는 적어도 하나의 컨볼루션 네트워크(convolution network(layer))를 포함할 수 있다.
컨볼루션 네트워크는 적어도 하나의 피쳐 맵(feature map(W))을 이용하여 영상의 특징점을 분류할수 있다.
컨볼루션 네트워크는 적어도 하나의 풀러(pooler) 및/또는 액티베이터(activator)를 통해 객체 밀도 예측 네트워크의 성능을 개선할 수 있다.
객체 밀도 예측 네트워크는 concatenator를 더 포함하며, concatenator는 적어도 하나의 컨볼루션 네트워크의 출력 결과를 연결하고(concatenate), 재배열하여 원본 영상의 특징점을 이용하여 객체의 밀도(분포) 정보를 출력할 수 있다.
도 11을 이용하여 후술할 학습용 서버(Training server)에서 적어도 하나의 피쳐 맵(feature map(W))은 객체의 밀도 정보를 출력할 수 있도록 훈련(trained(tuned))될 수 있다.
본 발명의 실시예에서, 학습용 서버에 포함되는 객체 밀도 예측 네트워크의 입력 교사 데이터는 원본 영상 및 학습 레이블(lable)이고, 출력은 밀도 영상일 수 있다. 여기서, 원본 영상은 촬영부에 의하여 하나 또는 복수의 개체가 촬영된 영상일 수 있고 학습 레이블은 유사 밀도(pseudo density) 8비트 그레이 이미지 또는 확률 맵으로 나타내어지는 개체 밀도 추정 이미지일 수 있다. 밀도 영상은 원본 영상과 같거나 유사한 크기(Width x Highet)를 가지도록 객체 밀도 예측 네트워크가 구성되며, 각각의 픽셀(또는 블록)의 위치는 서로 대응되고, 밀도 영상의 픽셀의 값은 원본 영상의 대응 픽셀에 객체(예를들어 가금류)가 존재할 수 있는 확률을 나타낼 수 있다. 예를 들어, 원본 영상의 픽셀에 객체가 존재할 확률이 높을수록, 밀도 영상의 해당 픽셀의 값은 높은 값을 가질 수 있다. 여기서, 밀도 영상은 8비트 그레이 이미지 또는 확률맵일 수 있다. 예를 들어, 각 개체를 검출하기 위하여 레이블링한 사각형 박스의 중간에 흰색 점을 찍고, 그 점을 블러링하여 번지게 하는 방법을 이용하여 밀도 영상을 생성할 수 있다.
이상 개체 검출 장치(100)의 통신부(113)는 제어부(112)가 획득한 이상 개체 정보를 관리자 단말(200)에게 전송하며(S504), 관리자 단말(200)은 이상 개체 정보를 출력한다(S506). 이에 따라, 관리자는 관리자 단말(200)에 출력된 이상 개체 정보를 인지할 수 있다. 여기서, 이상 개체 정보는 이상 개체 데이터와 혼용될 수 있다.
도 7은 관리자 단말에 이상 개체 정보가 표시되는 예를 설명하기 도면이다. 관리자 단말(200)에는 도 7(c)와 같은 영상이 표시될 수 있다. 즉, 관리자 단말(200)에는 도 7(a)와 같이 촬영부(111)에 의하여 촬영된 원본 이미지와 도 7(b)와 같이 제어부(112)에 의하여 추출된 이상 개체 데이터를 정합한 영상이 표시될 수 있다. 여기서, 이상 개체 데이터는 닭 밀도 추정 이미지일 수 있으며, 유사밀도 8비트 그레이 이미지, 확률맵 또는 비트맵으로 표시될 수 있다. 이때, 이상 개체 데이터는 개체 별로 이상 확률을 표시한 데이터가 아니라, 영상 데이터 내 구분된 영역 별, 블록 별, 또는 픽셀 별로 해당되는 영역, 블록 또는 픽셀에서 개체, 몸통 또는 머리의 이상 확률을 나타내는 데이터이다.
만약, 관리자 단말(200)에 노출된 이상 개체 정보에 오류가 있는 경우, 관리자는 관리자 단말(200)을 통하여 이상 개체 검출 장치(100)에게 피드백 정보를 전송할 수 있다(S508). 예를 들어, 이상 개체가 아님에도 불구하고 이상 개체 검출 장치(100)가 이상 개체인 것으로 판단하거나, 이상 개체임에도 불구하고 이상 개체 검출 장치(100)가 정상 개체인 것으로 판단한 경우, 관리자 단말(200)은 이상 개체 정보에 오류가 있음을 알리는 피드백 정보를 이상 개체 검출 장치(100)에게 전송할 수 있다. 여기서, 피드백 정보는 이상 개체 정보 중 오류가 있는 시간 영역 및 공간 영역 중 적어도 하나를 포함할 수 있다. 오류가 있는 시간 영역 및 공간 영역은 관리자에 의하여 선택되거나 지정될 수 있으며, 관리자 단말(200)의 유저 인터페이스부를 통하여 입력될 수 있다. 예를 들어, 도 8(c)에서 예시한 바와 같이, 관리자 단말(200)이 화면(800) 내 4개의 영역에 대한 이상 개체 정보(802, 804, 806, 808)를 표시하며, 관리자가 4개 중 1개의 이상 개체 정보(예를 들어, 806)는 오류인 것으로 판단한 경우, 관리자가 유저 인터페이스를 통하여 오류인 이상 개체 정보(806)를 선택하여 피드백할 수 있다. 또는, 관리자 단말(200)이 출력한 화면 내에 이상 개체가 있음에도 불구하고 이상 개체 정보가 표시되지 않은 경우, 관리자는 이상 개체인 것으로 보이는 시간 영역 및 공간 영역을 지정하여 피드백할 수도 있다.
이상 개체 검출 장치(100)의 학습 전처리부(120)는 관리자 단말(200)로부터 수신한 피드백 정보를 이용하여 학습용 데이터를 추출하며(S510), 추출한 학습용 데이터를 학습용 서버(400)에게 전송한다(S512).
여기서, 학습용 데이터는 단계 S500에서 획득한 영상 데이터의 일부일 수 있다. 이상 개체 검출 장치(100)의 학습 전처리부(120)는 단계 S500에서 획득한 영상 데이터 중 관리자 단말(200)로부터 수신한 피드백 정보에 포함된 시간 영역 및 공간 영역에 따라 영상 데이터를 추출할 수 있다. 예를 들어, 관리자 단말(200)이 n번째 프레임의 일부 영역(예, 도 8(c)의 806))에 오류가 있는 것으로 판단한 경우, 학습용 데이터는 n번째 프레임 중 일부 영역(예, 도 8(c)의 806)일 수 있다. 또는, 관리자 단말(200)이 전체 프레임 중 n번째 프레임에서 n+3번째 프레임의 이상 개체 데이터에 오류가 있는 것으로 판단한 경우, 학습용 데이터는 전체 프레임 중 n번째 프레임에서 n+3번째 프레임일 수 있다. 이에 따라, 이상 개체 검출 장치(100)는 촬영부(111)가 획득한 전체 영상 데이터 중 이상 개체 검출에 오류가 있는 영상 데이터만을 추출하여 학습용 서버(400)에게 전송할 수 있다. 이에 따라, 이상 개체 검출 장치(100)와 학습용 서버(400) 간 통신 트래픽이 현저히 줄어들 수 있다. 여기서, 학습용 데이터는, 추출된 영상 데이터뿐만 아니라, 오류 정보 및 정정 정보 중 적어도 하나를 더 포함할 수도 있다. 오류 정보는 제어부에 의한 판단이 잘못되었음을 알리는 정보이고, 정정 정보는 정정되어야 할 방향을 알리는 정보일 수 있다. 또는, 학습용 데이터는, 추출된 원본의 영상 데이터 및 오류가 정정된 후의 이상 개체 데이터를 포함할 수도 있다. 예를 들어, n번째 프레임 내지 n+3번째 프레임 내 일부 영역(예, 도 8(c)의 806)에 오류가 있는 것으로 판단된 경우, 학습용 데이터는 n번째 프레임 내지 n+3번째 프레임에 대한 원본의 영상 데이터 및 n번째 프레임 내지 n+3번째 프레임에 대한 이상 개체 데이터를 포함할 수 있으며, n번째 프레임 내지 n+3번째 프레임에 대한 이상 개체 데이터는 오류가 있는 것으로 판단된 일부 영역(예, 도 8(c)의 806)의 오류가 정정된 후의 그레이 이미지일 수 있다. 학습용 서버(400)는 이상 개체 검출 장치(100)로부터 수신한 학습용 데이터를 이용하여 재학습(retraining)한다(S514). 즉, 학습용 서버(400)는 n번째 프레임 내지 n+3번째 프레임에 대한 원본의 영상 데이터 및 n번째 프레임 내지 n+3번째 프레임에 대한 이상 개체 데이터에서 오류가 있는 것으로 판단된 일부 영역의 오류가 정정된 후의 그레이 이미지 간의 관계를 학습할 수 있다. 이에 따라, 학습용 서버(400)는 이상 개체 검출을 위한 업데이트 정보를 이상 개체 검출 장치(100)에게 전송한다(S516). 여기서, 업데이트 정보는 이상 개체 검출을 위한 알고리즘에 적용되는 파라미터일 수 있으며, 이는 조정 가능한 매트릭스(adjustable matrix) 형태일 수 있다.
이후, 이상 개체 검출 장치(100)는 단계 S500와 같이, 복수의 개체가 함께 촬영된 영상에 대한 영상 데이터를 획득하며(S518), 제어부(112)는 미리 저장된 알고리즘 및 업데이트 정보를 이용하여 획득한 영상 데이터로부터 이상 개체 정보를 추출한다(S520).
이에 따라, 이상 개체 검출 장치(100)는 관리자 단말(200)의 피드백 정보를 반영하여 이상 개체를 검출할 수 있으며, 이상 개체 검출 장치(100)와 학습용 서버(400) 간의 통신 트래픽을 줄일 수 있다.
도 2에 도시된 바와 같이, 학습용 서버(400)가 복수의 이상 개체 검출 장치(100)와 통신하는 경우, 학습용 서버(400)는 복수의 이상 개체 검출 장치(100)에게 동일한 업데이트 정보를 전송할 수 있다. 이에 따르면, 하나의 이상 개체 검출 장치(100)로부터 얻은 오류 정보에 의하여 재학습된 결과를 다른 이상 개체 검출 장치(100)에 반영시킬 수 있으며, 결과적으로 복수의 이상 개체 검출 장치(100)에 대하여 전체적으로 검출 정밀도를 높일 수 있다. 또는, 이상 개체 검출 장치(100) 마다 상이한 환경에 처해 있을 수 있으므로, 업데이트 정보는 이상 개체 검출 장치(100) 마다 특이적일 수도 있다.
본 발명의 실시예에 따르면, 이상 개체 검출 장치(100)의 객체 밀도 예측 네트워크와 같은 알고리즘을 학습용 서버(400)도 저장하며, 학습용 서버(400)는 이를 이용하여 오류 데이터와 대응되는 원본 영상으로 재학습시키는 것이 바람직하다.
이하, 본 발명의 실시예에 따른 이상 개체 검출 장치(100)가 이상 개체를 검출하는 방법을 설명한다.
도 9는 본 발명의 실시예에 따른 이상 개체 검출 장치에 포함되는 제어부의 블록도이고, 도 10은 본 발명의 실시예에 따른 이상 개체 검출 장치의 이상 개체 검출 알고리즘을 설명하는 도면이고, 도 11은 학습용 서버에 의하여 재학습된 결과를 이용하여 본 발명의 실시예에 따른 이상 개체 검출 장치가 이상 개체를 검출하는 방법을 설명하는 도면이다.
도 9를 참조하면, 제어부(112)는 제1 특징 추출 유닛(600), 제2 특징 추출 유닛(602) 및 이상 개체 정보 생성 유닛(604)을 포함한다.
제1 특징 추출 유닛(600)은 촬영부(111)에 의하여 촬영된 영상에 대한 영상 데이터 내 복수의 개체의 위치 분포를 추출하고, 제2 특징 추출 유닛(602)은 영상 데이터 내 복수의 개체의 움직임을 추출한다. 그리고, 이상 개체 정보 생성 유닛(604)은 제1 특징 추출 유닛(600)에 의하여 추출된 위치 분포 및 제2 특징 추출 유닛(602)에 의하여 추출된 움직임에 기초하여 이상 개체 정보, 예를 들어 픽셀 별 이상 개체 확률을 추정한다.
구체적으로, 제1 특징 추출 유닛(600)은 영상 데이터를 이용하여 복수의 개체의 위치 분포를 나타내는 위치 분포 데이터를 생성할 수 있다. 여기서, 복수의 개체의 위치 분포는 위치 별 객체의 밀도 분포를 의미할 수 있으며, 위치 분포 데이터는 밀도 맵과 혼용될 수 있다. 전술한 바와 같이, 제1 특징 추출 유닛(600)은 영상 데이터 내에서 객체가 위치한다고 판단되는 영역을 제안하도록 학습된 제1 알고리즘, 즉 영역 제안 알고리즘을 활용한 실시간 객체 검출 방법을 이용할 수 있다. 제1 특징 추출 유닛(600)은 예를 들면, 복수의 개체를 포함하여 생성된 제1영상 데이터를 이용하여 복수의 개체의 위치 분포를 나타내는 제1위치 분포 데이터를 생성하고, 복수의 개체를 포함하여 생성된 제2영상 데이터를 이용하여 복수의 개체의 위치 분포를 나타내는 제2위치 분포 데이터를 생성할 수 있다. 여기서, 제1 위치 분포 데이터 및 제2 위치 분포 데이터는 시계열적으로 생성된 영상 데이터에 대한 위치 분포 데이터일 수 있다.
본 발명의 실시예에서 위치 분포 데이터란, 개별 개체 위치를 표시하는 것이 아니라, 영상 데이터의 구분된 영역 또는 블록 별로 해당되는 영역 또는 블록에 개체, 몸통 또는 머리가 존재할 수 있는 확률을 나타내는 데이터이다. 위치 분포 데이터는 각 픽셀에 개체가 존재할 확률을 다른 색으로 표현하는 히트맵일 수 있다.
또한, 제1 특징 추출 유닛(600)은 개체 검출 분류기를 이용하여 영상 데이터에서 동물 개체를 검출할 수 있다. 이때, 개체 검출 분류기는 동물 개체의 자세나 외부 환경을 달리하여 기촬영한 동물 개체의 영상들로부터 훈련 DB 를 구축하여 학습된 것으로서, 이러한 개체 검출 분류기는 SVM(Support Vector Machine), 신경망, AdaBoost 알고리즘 등을 포함하는 다양한 학습 알고리즘을 통해 동물 개체의 DB 를 생성한다. 구체적으로, 제1 특징 추출 유닛(600)은 기 촬영된 사육장 내 배경의 영상 데이터에서 전경에 해당하는 개체의 에지를 검출하고, 영상 데이터에서 검출된 전경 개체의 에지를 적용하고, 전경 개체의 에지가 적용된 영상 데이터의 영역에 개체 검출 분류기를 적용하여 동물 개체를 검출할 수 있다.
제2 특징 추출 유닛(602)은 영상 데이터를 이용하여 복수의 개체 중 동작 개체의 움직임을 나타내는 동작 데이터를 생성할 수 있다. 여기서, 동작 데이터는 개별 개체의 움직임을 표시하는 것이 아니라, 영상 데이터의 구분된 영역 또는 블록 별로 해당되는 영역 또는 블록에 움직임이 존재했는지 여부를 나타내는 데이터이고, 동작 데이터는 동작 맵과 혼용될 수 있다. 동작 데이터는 픽셀 별로 해당되는 픽셀에 움직임이 존재했는지 여부를 나타내는 데이터일 수도 있다. 전술한 바와 같이, 제2 특징 추출 유닛(602)은 옵티컬 플로우(optical flow)를 활용하여 모션을 검출하도록 학습된 제2 알고리즘을 이용할 수 있다. 제2 특징 추출 유닛(602)은 단일 영상 데이터 또는 복수개의 연속된 영상 데이터를 이용하여 분포도 상의 특정 지점, 특정 개체 또는 특정 픽셀에서의 움직임을 검출할 수 있다.
제2 특징 추출 유닛(602)은 예를 들면, 제1영상 데이터를 이용하여 복수의 개체 중 동작 개체의 움직임을 나타내는 제1동작 데이터를 생성하고, 제2 영상 데이터를 이용하여 복수의 개체 중 동작 개체의 움직임을 나타내는 제2 동작 데이터를 생성할 수 있다. 여기서, 제1 동작 데이터 및 제2 동작 데이터는 시계열적으로 생성된 복수 개의 영상 데이터에 대한 동작 데이터일 수 있다.
제2 특징 추출 유닛(602)은 Dense Optical Flow방식을 이용하여 동작 개체의 움직임을 검출할 수 있다. 제2 특징 추출 유닛(602)은 영상 데이터 상의 모든 픽셀에 대해서 모션 벡터(Motion Vector)를 연산하여 각 픽셀에 대한 움직임을 검출할 수 있다. Dense Optical Flow방식의 경우 모든 픽셀에 대하여 모션 벡터를 연산하기 때문에 검출 정확도는 향상되지만 상대적으로 연산량은 증가하게 된다. 따라서, Dense Optical Flow방식은 이상상황이 발생된 것으로 의심되는 사육장이나 개체 숫자가 매우 많은 사육장 등 검출 정확도가 매우 높게 요구되는 특정 영역에 적용될 수 있다.
또는 제2 특징 추출 유닛(602)은 Sparse Optical Flow방식을 이용하여 동작 개체의 움직임을 검출할 수 있다. 제2 특징 추출 유닛(602)은 영상 내 에지와 같은 움직임 추적이 쉬운 특징적인 일부 픽셀에 대해서만 모션 벡터를 연산하여 움직임을 검출할 수 있다. Sparse Optical Flow방식은 연산량이 감소하지만 한정적인 픽셀에 대한 결과만 얻을 수 있다. 따라서, Sparse Optical Flow방식은 개체 숫자가 적은 사육장 또는 개체가 중복되어 나타나지 않는 특정 영역에 적용될 수 있다.
또는 제2 특징 추출 유닛(602)은 Block Matching을 이용하여 동작 개체의 움직임을 검출할 수 있다. 제2 특징 추출 유닛(602)은 영상을 균등하게 또는 비균등하게 분할하여 분할 영역에 대해 모션 벡터를 연산하여 움직임을 검출할 수 있다. Block Matching은 분할 영역별로 모션 벡터를 연산하기 때문에 연산량이 감소하지만 영역별 모션 벡터에 대한 결과를 산출하기 때문에 검출 정확도가 상대적으로 낮을 수 있다. 따라서, Block Matching방식은 개체 숫자가 적은 사육장 또는 개체가 중복되어 나타나지 않는 특정 영역에 적용될 수 있다.
또는 제2 특징 추출 유닛(602)은 Continuous Frame Difference 방식을 이용하여 동작 개체의 움직임을 검출할 수 있다. 제2 특징 추출 유닛(602)은 연속하는 영상 프레임을 픽셀 별로 비교하고, 그 차이만큼의 값을 연산하여 움직임을 검출할 수 있다. Continuous Frame Difference 방식은 프레임간 차이값을 이용하여 움직임을 검출하기 때문에, 전체적인 연산량은 감소하지만 부피가 큰 개체 또는 중복되어 나타나는 개체에 대한 검출 정확도가 상대적으로 낮을 수 있다. 또한, Continuous Frame Difference 방식은 배경 영상과 움직이지 않는 개체를 구분할 수 없어 정확도가 상대적으로 낮을 수 있다. 따라서, Continuous Frame Difference 방식은 개체 숫자가 적은 사육장 또는 개체가 중복되어 나타나지 않는 특정 영역에 적용될 수 있다.
또는 제2 특징 추출 유닛(602)은 Background Subtraction 방식을 이용하여 동작 개체의 움직임을 검출할 수 있다. 제2 특징 추출 유닛(602)은 배경 영상을 초기에 학습한 상태에서 연속하는 영상 프레임을 픽셀 별로 비교하고, 그 차이만큼의 값을 연산하여 움직임을 검출할 수 있다. Background Subtraction 방식은 배경 영상을 미리 학습하고 있기 때문에 배경 영상과 움직이지 않는 개체를 구분할 수 있다. 따라서, 배경 영상을 필터링하는 별도의 과정이 필요하여 연산량은 증가하지만 정확도는 향상된다. 따라서, Background Subtraction 방식은 이상상황이 발생된 것으로 의심되는 사육장이나 개체 숫자가 매우 많은 사육장 등 검출 정확도가 매우 높게 요구되는 특정 영역에 적용될 수 있다. Background Subtraction 방식에서 배경 영상은 지속적으로 업데이트 될 수 있다.
제2 특징 추출 유닛(602)은 사육장 내의 환경과 외부의 설정에 따라 적절한 방식을 이용하여 분포도 상에서 움직임을 검출한다. 위의 움직임 검출 방식은 예시일 뿐, 프레임 내 움직임이 발생한 영역(예를들어 픽셀/블록)을 표시할 수 있는 방법들이 사용될 수 있다.
제1 특징 추출 유닛(600)이 위치 분포 데이터를 생성하는 과정과 제2 특징 추출 유닛(602)이 동작 데이터를 생성하는 과정은 동시에 이루어지거나, 병렬적으로 이루어지거나, 순차적으로 이루어질 수 있다. 즉, 제1 특징 추출 유닛(600)이 위치 분포 데이터를 생성하는 과정과 제2 특징 추출 유닛(602)이 동작 데이터를 생성하는 과정은 서로 독립적으로 처리됨을 의미할 수 있다.
이상 개체 정보 생성 유닛(604)은 영상 데이터의 위치 분포 데이터 및 동작 데이터를 영역 별, 블록 별 또는 픽셀 별로 비교하여 이상 개체를 나타내는 이상 개체 데이터를 영역 별, 블록 별 또는 픽셀 별로 생성할 수 있다. 이상 개체 정보 생성 유닛(604)은 예를 들면, 제1위치 분포 데이터 및 제1동작 데이터를 비교하여 이상 개체를 나타내는 제1이상 개체 데이터를 생성할 수 있다. 이상 개체 정보 생성 유닛(604)은 제1위치 분포 데이터와 제1동작 데이터를 비교하여, 제1위치 분포 데이터 상에서 움직임이 검출되지 않은 개체에 대한 정보를 나타내는 제1이상 개체 데이터를 생성할 수 있다. 즉, 이상 개체 정보 생성 유닛(604)은 개체의 위치를 나타내는 제1위치 분포 데이터 상에서 움직임이 검출되지 않은 개체를 질병에 걸린 것으로 추정하고, 이에 대한 제1이상 개체 데이터를 생성할 수 있다. 즉, 제1이상 개체 데이터는 단일 영상 데이터에 대한 개체의 위치 분포와 움직임 검출 정보를 이용하여 개체의 질병 여부를 판단한 결과 데이터를 의미할 수 있다. 또는 이상 개체 정보 생성 유닛(604)은 복수 개의 영상 데이터에 대한 위치 분포 데이터 및 동작 데이터를 비교하여 복수의 개체의 움직임 검출 누적 횟수와 움직임 비검출 누적 횟수를 연산하고, 상기 움직임 검출 누적 횟수와 상기 움직임 비검출 누적 횟수에 따라 이상 개체 데이터를 생성할 수 있다. 이상 개체 정보 생성 유닛(604)은 예를 들면, 제1이상 개체 데이터, 제2위치 분포 데이터 및 제2 동작 데이터를 비교하여 제2 이상 개체 데이터를 생성할 수 있다. 이상 개체 정보 생성 유닛(604)은 제1이상 개체 데이터를 제2위치 분포 데이터 및 제2동작 데이터와 비교하여 복수 개체의 움직임 검출 누적 횟수와 복수 개체의 움직임 비검출 누적 횟수를 연산하고, 움직임 검출 누적 횟수와 움직임 비검출 누적 횟수에 따라 제2이상 개체 데이터를 생성할 수 있다. 즉, 제2이상 개체 데이터는 복수 개의 영상 데이터에 대하여 누적된 개체의 위치 정보와 움직임 검출 정보를 이용하여 개체의 질병 여부를 판단한 결과 데이터를 의미할 수 있다.
이상 개체 정보 생성 유닛(604)은 이상 개체 데이터의 움직임 검출 누적 횟수와 움직임 비검출 누적 횟수에 따라 영상 데이터 상에서 복수개의 개체에 대한 픽셀 표시를 제어할 수도 있다. 이상 개체 정보 생성 유닛(604)은 예를 들면, 제2이상 개체 데이터에 따라 영상 데이터 상에서 상기 복수개의 개체에 대한 픽셀 표시를 제어할 수 있다. 여기서, 픽셀의 표시란 픽셀의 채도, 픽셀의 명암, 픽셀의 색상, 픽셀의 윤곽선, 마크 표시 등 임의의 지점에 대응되는 픽셀을 다른 픽셀과 구분하여 표시하기 위한 모든 개념을 포함할 수 있다. 본 발명의 실시예에서는 픽셀값의 조절을 통하여 픽셀의 표시를 제어할 수 있다. 픽셀값은 단계적으로 조절될 수 있으며, 픽셀값이 높은 픽셀의 경우, 픽셀값이 낮은 픽셀 보다 시각적으로 강조되어 표시될 수 있다. 그러나 이에 한정되는 것은 아니고, 픽셀값이 낮은 픽셀이 픽셀값이 높은 픽셀보다 강조되어 표시되는 것으로 설정할 수 있다. 여기서, 픽셀값은 픽셀 별 이상 개체 확률을 의미할 수 있다.
이하에서는 움직임이 검출된 픽셀과 개체를 동일시하여 설명하기 위하여 하나의 픽셀은 하나의 개체를 표현하는 것으로 한다. 이는 설명의 편의를 위한 것이며 실제로는 복수개의 픽셀이 하나의 개체를 표현하게 된다. 즉, 가금류의 일부 신체 영역의 움직임만을 검출하여 이상상황을 판단하기 위하여서는 픽셀별로 움직임을 검출하여 픽셀의 표시를 제어하는 방식이 사용될 것이다.
이상 개체 정보 생성 유닛(604)은 특정 개체의 움직임이 검출되지 않을수록 이상개체로 분류하고, 움직임이 검출될수록 정상개체로 분류하여 픽셀값을 다르게 표시할 수 있다.
여기서, 제1 특징 추출 유닛(600), 제2 특징 추출 유닛(602) 및 이상 개체 정보 생성 유닛(604) 중 적어도 하나는 학습용 서버(400)로부터 수신한 업데이트 정보를 적용할 수 있다. 여기서, 업데이트 정보는 제1 특징 추출 유닛(600)에 적용되는 제1 업데이트 정보, 제2 특징 추출 유닛(602)에 적용되는 제2 업데이트 정보 및 이상 개체 정보 생성 유닛(604)에 적용되는 제3 업데이트 정보 중 적어도 하나를 포함할 수 있다. 제1 업데이트 정보, 제2 업데이트 정보 및 제3 업데이트 정보 중 적어도 하나는 이상 개체 검출 장치(100)에 의하여 전송된 학습용 데이터를 학습한 결과, 학습용 서버(400)가 추출한 업데이트 정보일 수 있다. 여기서, 학습용 데이터는 이상 개체 검출 장치(100)가 획득한 영상 데이터의 일부 및 오류가 정정된 이상 개체 데이터의 일부를 포함할 수 있으며, 이는 이상 개체 검출 장치(100)가 이상 개체 검출용 알고리즘을 구동하여 얻은 이상 개체 정보에 대한 관리자 단말(200)의 피드백 정보를 이용하여 얻어질 수 있다. 여기서, 제1 업데이트 정보, 제2 업데이트 정보 및 제3 업데이트 정보 중 적어도 하나는 조정 가능한 매트릭스(adjustable matrix)를 포함할 수 있다.
도10을 참조하면, 먼저 n번째 영상 데이터를 획득한다. 여기서, 영상 데이터는, 예를 들어 W X H크기의 RGB데이터일 수 있다(S1101). 여기서, n번째 영상 데이터는 n번째 원본 데이터, n번째 원본 영상, n 번째 원본 영상 데이터 등과 혼용될 수 있다.
이상 개체 검출 장치(100)의 제어부(112), 예를 들어 제1 특징 추출 유닛(600)은 n번째 영상 데이터에서 개체를 검출하여 n번째 영상 데이터에 대한 개체의 위치 분포 데이터를 생성한다(S1102). 여기서, 위치 분포 데이터는 영역 별, 블록 별, 또는 픽셀 별로 생성될 수 있으며, 제어부(112)는 영상 데이터 내에서 객체가 위치한다고 판단되는 영역을 제안하도록 학습된 제1 알고리즘을 이용할 수 있다. 여기서, 제1 알고리즘은, 전술한 바와 같이 객체가 존재하는 영역을 표시하는 알고리즘을 활용한 실시간 객체 검출 방법을 이용할 수 있다, 또는, 제1 알고리즘은 객체의 분포 정보, 즉 객체가 위치하는 영역의 밀도 정보를 나타내는 방법을 이용할 수도 있다. 여기서, 위치 분포 데이터는 제1 밀도 맵일 수 있다.
이하 설명에서는 영상 데이터의 픽셀 별 연산을 이용하여 이상 개체 데이터를 연산 또는 표시하는 방법을 설명한다.
위치 분포 데이터에는 업데이트 파라미터 μ값이 적용된다. 또는 업데이트 파라미터 μ값과 오프셋 파라미터 ε값이 동시에 적용될 수도 있다. μ는 아주 작은 값으로 예를 들어 0.001일 수 있다. 즉, 위치 분포 데이터가 오랫 동안 누적이 되어야만 서서히 픽셀에 표시되도록 제어하는 것이다. offset parameter ε는 위치 분포 데이터의 누적을 조정하는 parameter로서 μ대비 1/10~1/100의 값을 가질 수 있다(S1103).
이상 개체 검출 장치(100)의 제어부(112), 예를 들어 제2 특징 추출 유닛(602)은 n-1번째 영상 데이터와 n번째 영상 데이터를 비교하여 n번째 영상 데이터에 대한 개체의 움직임을 검출한다. 이 때, n-1번째 영상 데이터는 래치회로 또는 버퍼회로에 저장되어 있을 수 있다. 이상 개체 검출 장치(100)의 제어부(112), 예를 들어 제2 특징 추출 유닛(602)는 검출한 움직임에 따라 동작 데이터를 생성한다(S1104). 여기서, 동작 데이터는 동작 맵일 수 있다. 여기서, 동작 데이터는 영역 별, 블록 별 또는 픽셀 별로 생성될 수 있으며, 제어부(112)는 옵티컬 플로우(optical flow)를 활용하여 모션을 검출하도록 학습된 제2 알고리즘(motion detector)을 이용할 수 있다. 동작 데이터에는 업데이트 파라미터 κ가 적용될 수 있다. κ는 동작 데이터의 누적을 조정하는 파라미터이다(S1105).
이상 개체 검출 장치(100)의 제어부(112), 예를 들어 이상 개체 정보 생성 유닛(604)은 n번째 영상 데이터의 위치 분포 데이터에 n-1번째 이상 개체 데이터를 합하고(S1106), n번째 영상 데이터의 동작 데이터를 감하여 n번째 영상 데이터에 대한 이상 개체 데이터를 생성한다(S1107). 여기서, n번째 영상 데이터에 대한 이상 개체 데이터는 n번째 이상 개체 밀도 맵일 수 있다.
본 발명의 실시예에 따른 이상 개체 검출 장치(100)는 S1101 내지 S1107과정을 반복하여 움직임이 검출된 개체의 색상은 연하게 또는 원본 색상에 가깝게 표시하고, 움직임이 누적하여 검출되지 않은 개체의 색상은 진하게 또는 빨간 색상에 가깝게 표시하도록 제어할 수 있다.
이후, n번째 이상 개체 데이터는 n번째 영상 데이터, 즉 n번째 원본 데이터 상에 정합될 수 있으며, n번째 원본 데이터 상에 n번째 이상 개체 데이터가 정합된 영상이 관리자 단말(200)에 표시될 수 있다. 즉, n번째 영상 내 이상 개체가 위치한 영역은 n번째 이상 개체 밀도 맵을 이용하여 마스킹될 수 있으며, 마스킹된 영상이 관리자 단말(200)에 표시될 수 있다.
본 발명의 실시예에 따른 이상 개체 검출 장치(100)의 동작은 아래와 같은 수학식 1을 적용할 수 있다.
[수학식1]
Pixelt = Pixelt-1(1-μ) + μWt - Ft
수학식 1에서 μ는 업데이트 파라미터로 설정에 따라 변경될 수 있다.
수학식 1에서 Pixelt, Pixelt-1은 이상 개체 데이터로서, 이상 개체의 존재 여부를 픽셀에 표시하기 위한 값으로서 픽셀의 농도를 의미할 수 있다. 이상 개체가 존재할 확률이 높은 픽셀일수록 더 진한 색으로 표시할 수 있도록 하는 것이다. 예를 들어, 이상 개체가 존재할 확률이 없으면 원색(하얀색)으로 표시되고, 이상 개체가 존재할 확률이 높을수록 빨강색에 가깝게 표현하고, 이상 개체가 존재할 확률이 아주 높다고 판단되면 가장 진한 빨강색으로 표시되게 하는 것이다. 따라서, Pixelt, Pixelt-1은 0에서 1 사이의 값을 가지도록 설정할 수 있으며, 0에 가까울수록 원색(하얀색)에 가깝게 표시되고, 1에 가까울수록 빨강색으로 표시된다.
수학식 1에서 Pixelt-1는 위치 분포 데이터 및 동작 데이터가 누적된 직전 프레임의 이상 개체 데이터이다. 수학식 1에서 Pixelt는 현재 프레임의 위치분포 데이터와 동작 데이터를 적용하여 업데이트된 이상 개체 데이터이다.
수학식 1에서 Wt는 현재 프레임의 위치 분포 데이터일 수 있다. 위치 분포 데이터는 해당 픽셀에 개체가 존재하는지 확률로서 0에서 1 사이의 값을 가질 수 있다. 위치 분포 데이터에는 update parameter μ가 적용될 수 있다. μ는 아주 작은 값으로 예를 들어 0.001일 수 있다. 즉, 위치 분포 데이터가 오랫 동안 누적이 되어야만 서서히 픽셀에 표시되도록 제어하는 것이다.
수학식 1에서 Ft 는 현재 프레임의 동작 데이터일 수 있다. 동작 데이터는 모션 벡터의 절대값을 산출한 것으로서 0 이상의 값을 가질 수 있다. 모션 벡터의 크기는 개체의 속도에 대응되므로 1이상의 값을 가질 수 있다. 동작 데이터에는 별도의 파라미터를 반영하지 않아 해당 픽셀에서 동작이 검출된 경우에는 해당 픽셀의 표시는 초기화가 되도록 제어한다.
또는 실시예에 따른 이상 개체 검출 장치의 동작은 아래와 같은 수학식 2를 적용할 수 있다.
[수학식2]
Pixelt = Pixelt-1(1-μ+ ε) + μWt - Ft
※: update parameter, ε: offset parameter
수힉식2는 수학식1에서 offset parameter ε가 추가된 것으로 수학식1과 동일한 설명은 생략한다. offset parameter ε는 위치 분포 데이터의 누적을 조정하는 parameter로서 μ대비 1/10~1/100의 값을 가질 수 있다.
또는 실시예에 따른 이상 개체 검출 장치의 동작은 아래와 같은 수학식 3또는 수학식 4를 적용할 수 있다.
[수학식3]
Pixelt = Pixelt-1(1-μ) + μWt - κFt
[수학식4]
Pixelt = Pixelt-1(1-μ+ ε) + μWt - κFt
※: update parameter, ε: offset parameter, κ: update parameter
수학식3 또는 수학식4는 동작 데이터 Ft에 update parameter κ를 곱한 것으로서 수학식1 및 수학식2와 동일한 내용은 생략한다. constant κ는 동작 데이터의 누적을 조정하는 parameter이다.
또는 실시예에 따른 이상 개체 검출 장치의 동작은 아래와 같은 수학식 5를 적용할 수 있다.
[수학식5]
max(수학식 1,2,3 또는4, 0)
수학식5는 수학식1,2,3 또는 4의 값이 0 이하로 떨어지는 것을 방지하기 위한 수식이다. 예를들어 동작 데이터(Ft)의 크기가 다른 파라미터 값의 합보다 크게 되어, 수학식1,2,3 또는 4의 값이 0보다 작은 음수가 될 경우 이를 보정하여 0으로 표시될 수 있도록 보정하는 제어 방법이다.
여기서, S1101 내지 S1107과정 동안 학습용 서버(400)로부터 수신한 제1 업데이트 정보, 제2 업데이트 정보 및 제3 업데이트 정보가 적용될 수 있다. 예를 들어, 제1 업데이트 정보는, 전술한 바와 같은 업데이트 파라미터 μ값 및 오프셋 파라미터 ε값 중 적어도 하나로 표현될 수 있다. 제1 업데이트 정보, 제2 업데이트 정보 및 제3 업데이트 정보 중 적어도 하나를 얻기 위하여, 본 발명의 실시예에 따른 이상 개체 검출 장치(100)는 학습용 데이터를 추출하여 학습용 서버(400)에 전송할 수 있다. 이때, 학습용 데이터는 이상 개체 검출 장치(100)가 획득한 영상 데이터의 일부를 포함할 수 있으며, 이는 이상 개체 검출 장치(100)가 이상 개체 검출을 위한 알고리즘을 구동하여 추출한 이상 개체 정보에 대한 피드백 정보를 이용하여 얻어질 수 있다. 여기서, 피드백 정보는 관리자 단말(200)에 의하여 수정된 정보를 포함할 수 있다.
더욱 구체적으로, 도 11(a)를 참조하면, 본 발명의 실시예에 따른 이상 개체 검출 장치(100)는 학습용 데이터를 추출하여 학습용 서버(400)에 전송할 수 있으며, 학습용 서버(400)는 이상 개체 검출 장치(100)로부터 수신한 학습용 데이터를 이용하여 객체 밀도 예측 네트워크를 재학습(retraining), 즉 업데이트할 수 있다. 여기서, 학습용 데이터는 오류가 있는 것으로 지시된 영상 데이터 및 오류가 정정된 이상 개체 데이터를 포함할 수 있다. 예를 들어, n 번째 프레임 내 일부 영역(806)에 이상 개체가 존재하지 않음에도 불구하고 이상 개체가 존재하는 것으로 검출된 경우, 학습용 데이터는 n번째 프레임의 영상 데이터 및 n번째 프레임의 이상 개체 데이터 중 일부 영역(806)의 오류가 정정된 이상 개체 데이터를 포함할 수 있다. 여기서, 오류가 정정된 이상 개체 데이터는 관리자 단말(200)에 의하여 개체의 밀도가 수정된 정보일 수 있으며, 이상 개체 검출 장치(100)가 추출한 영역 별, 블록 별 또는 픽셀 별 개체의 밀도 분포를 제1 밀도 맵이라 하는 경우, 관리자 단말(200)에 의하여 수정된 영역 별, 블록 별 또는 픽셀 별 개체의 밀도 분포는 제2 밀도 맵이라 지칭할 수 있다. 학습용 서버(400)는 학습용 서버(400) 내 객체 밀도 예측 네트워크의 출력 영상과 학습용 데이터에 포함된 오류가 정정된 영상, 즉 정답 영상을 비교하여 손실(loss)을 구하고, 해당 손실을 최소화 하도록 학습기(trainer)에서 객체 밀도 예측 network의 변수들(예를 들어, feature map 등)을 학습(보정)할 수 있다.
이후, 도 11(b)를 참조하면, 이상 개체 검출 장치(100)의 제어부(112)는 위치 분포 데이터를 생성하는 단계, 즉 S1102에서, 학습용 서버(400)에 의하여 재학습된 객체 밀도 네트워크를 이용할 수 있다. 즉, 이상 개체 검출 장치(100)의 제어부(112)는 학습용 서버(400)로부터 학습용 데이터, 예를 들어 n번째 영상 및 제2 밀도 맵을 이용한 객체 밀도 네트워크의 재학습에 의하여 얻어진 업데이트 정보를 이용하여 n번째 영상 이후의 소정 영상에 대한 이상 개체 밀도 맵을 출력할 수 있다.
도 12는 본 발명의 실시예에 따른 이상 개체 검출 장치의 성능을 테스트한 결과이다.
도 12(a)는 입력 영상을 나타낸다. 도 12(a)에 도시된 바와 같이, 입력 영상에는 다수의 개체가 군집을 이루며 분포하는 경우 개체를 각각 검출하는 방법으로는 오류가 많았다. 따라서 이상 개체에 대한 검출 또한 큰 오류가 발생하게 된다.
도 12(b)는 도 12(a)의 입력 영상을 본 발명의 실시예에 따른 제1 알고리즘으로 처리한 결과이다. 예를들면, 제1 알고리즘에 따르면, 각 개체를 검출하기 위하여 레이블링한 사각형 박스의 중간에 흰색 점을 찍고, 그 점을 블러링하여 번지게 하는 방법으로 확률맵을 작성하여 학습시킨 학습모델을 사용할 수 있다.이에 따라 학습된 모델은 입력된 영상에서 개채의 존재 가능성에 따라 확률맵(예를들어 개체의 위치 분포를 나타내는 8비트 그레이 이미지)을 출력할 수 있다. 이에 따라 군집된 개체라 하더라도 개채가 존재하는 위치를 더 정확히 표시하여 다수의 개체를 검출하는 것이 가능해짐을 알 수 있다.
상기 학습모델을 이용하여 개체의 밀도가 고려된 개체 검출이 가능할 수 있고, 각 개체 별로 이상 유무를 판단할 수도 있다.
또 다른 실시예로, 군집된 개체들은 개체수가 많기 때문에 개체별 이상유무를 판단할 시(개체 별 추적방법) 많은 오버헤드가 따른다. 따라서 하기 제2 알고리즘을 이용하여 군집된 개체에 대한 이상유무를 더욱 간결하고 정확하게 판단할 수 있다.
도 12(c)는 도 12(a)의 입력 영상을 본 발명의 실시예에 따른 제2 알고리즘으로 처리한 결과이다. 예를들어 제2 알고리즘에 따르면, 입력 영상에 대하여 Dense Optical Flow방식을 이용하여 Optical Flow를 뽑아내어 Moving Pixel을 찾을 수 있다. 그리고, 도 12(b)의 8비트 그레이 이미지에서 Moving Pixel을 제거하여 도 12(c)와 같은 움직임이 없는 픽셀을 표시하는 이미지를 얻을 수 있었다.
도 12(d)는 도 12(a)의 입력 영상에 도 12(b)의 이미지 및 도 12(c)의 이미지를 정합한 영상이다. 도 12(d)를 참조하면, 입력 영상 내 다수의 개체가 군집을 이루며 분포하는 영역 내에서 움직임이 없는 영역을 표시한 영상을 얻을 수 있다. 이에 따르면, 입력 영상에 대하여 움직임이 검출된 픽셀이 추출될 수 있으며, 이로부터 군집을 이루어 움직이는 다수의 개체 또는 군집을 이루어 움직이지 않는 다수의 개체를 검출하는 것이 가능해짐을 알 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 개체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (14)

  1. 학습용 서버와 통신하는 통신 프로세서; 및
    촬영 영상을 입력받고, 상기 촬영 영상의 개체 중 움직임이 검출되지 않은 픽셀 영역이 마스킹된 영상을 출력하는 제어부를 포함하고,
    상기 통신 프로세서는 상기 촬영 영상 및 상기 촬영 영상의 개체 밀도에 대한 비트맵을 상기 학습용 서버로 전송하는 이상 개체 검출 장치.
  2. 제1항에 있어서,
    상기 비트맵은 상기 촬영 영상의 개체 밀도가 수정된 정보를 포함하는 이상 개체 검출 장치.
  3. 복수의 개체가 함께 촬영된 촬영 영상으로부터 이상 개체 정보를 추출하는 제어부,
    상기 이상 개체 정보를 관리자 단말에게 전송하며, 상기 관리자 단말로부터 상기 이상 개체 정보에 대한 피드백 정보를 수신하는 통신부, 그리고
    상기 피드백 정보에 기초하여 학습용 데이터를 생성하는 학습 전처리부를 포함하고,
    상기 학습용 데이터는 상기 피드백 정보에 기초하여 추출된 영상 데이터를 포함하며, 상기 통신부에 의하여 학습용 서버로 전송되고,
    상기 제어부는 상기 학습용 서버에 의하여 학습된 학습용 데이터의 업데이트 정보를 이용하여 상기 이상 개체 정보를 추출하는 이상 개체 검출 장치.
  4. 제3항에 있어서,
    상기 피드백 정보는 상기 이상 개체 정보 중 오류가 있는 시간 영역에 관한 정보 및 공간 영역에 관한 정보를 포함하는 이상 개체 검출 장치.
  5. 제3항에 있어서,
    상기 피드백 정보에 기초하여 상기 영상 데이터는 상기 촬영 영상 중 상기 피드백 정보에 따라 추출된 시간 영역 및 공간 영역 내의 영상 데이터인 이상 개체 검출 장치.
  6. 제3항에 있어서,
    상기 제어부는
    상기 촬영 영상 내 상기 복수의 개체의 위치 분포를 추출하는 제1 특징 추출 유닛,
    상기 촬영 영상 내 상기 복수의 개체의 움직임을 추출하는 제2 특징 추출 유닛, 그리고
    상기 제1 특징 추출 유닛에 의하여 추출된 위치 분포 및 상기 제2 특징 추출 유닛에 의하여 추출된 움직임에 기초하여 이상 개체 데이터를 생성하는 이상 개체 정보 생성 유닛을 포함하는 이상 개체 검출 장치.
  7. n번째 영상을 수신하는 단계;
    n번째 영상 내 개체의 제1 밀도 맵을 출력하는 단계;
    n번째 영상 내 동작 맵을 출력하는 단계;
    상기 제1 밀도 맵, 상기 동작 맵, 그리고 미리 저장된 n-1번째 이상 개체 밀도 맵을 이용하여 n번째 이상 개체 밀도 맵을 출력하는 단계; 그리고
    상기 n번째 이상 개체 밀도 맵을 이용하여 상기 n번째 영상 내 이상 개체가 위치한 영역을 마스킹하는 단계를 포함하고,
    상기 n번째 영상 및 제2 밀도 맵이 학습용 서버로 전송되고,
    상기 제2 밀도맵은 상기 n번째 영상 내 개체의 밀도가 수정된 정보인 이상 개체 검출 방법.
  8. 제7항에 있어서,
    상기 학습용 서버로부터 상기 n번째 영상 및 상기 제2 밀도 맵을 이용한 재학습에 의하여 얻어진 업데이트 정보를 수신하는 단계, 그리고
    상기 업데이트 정보를 이용하여 상기 n번째 영상 이후의 소정 영상에 대한 이상개체 밀도 맵을 출력하는 단계를 더 포함하는 이상 개체 검출 방법.
  9. 제7항에 있어서,
    상기 수정된 정보는 상기 n번째 이상 개체 밀도 맵 중 오류가 있는 시간 영역 정보 및 공간 영역 정보 중 적어도 하나를 포함하고,
    상기 제2 밀도 맵은 상기 시간 영역 정보 및 상기 공간 영역 정보 중 적어도 하나를 이용하여 추출되는 이상 개체 검출 방법.
  10. 제8항에 있어서,
    상기 업데이트 정보는 상기 소정 영상 내 상기 복수의 개체의 위치 분포를 추출하기 위한 업데이트 정보를 포함하는 이상 개체 검출 방법.
  11. 학습용 서버, 및
    상기 학습용 서버와 통신하는 이상 개체 검출 장치를 포함하고,
    상기 이상 개체 검출 장치는,
    상기 학습용 서버와 통신하는 통신 프로세서; 및
    촬영 영상을 입력받고, 상기 촬영 영상의 개체 중 움직임이 검출되지 않은 픽셀 영역이 마스킹된 영상을 출력하는 제어부를 포함하고,
    상기 통신 프로세서는 상기 촬영 영상 및 상기 촬영 영상의 개체 밀도에 대한 비트맵을 상기 학습용 서버로 전송하는 이상 개체 검출 시스템.
  12. 하나 또는 복수의 개체를 촬영한 영상 데이터에 기초하여, 상기 개체에 대한 밀도 맵을 출력하도록 컴퓨터를 실행시키는 학습된 모델.
  13. 제12항에 있어서,
    상기 하나 또는 복수의 개체를 촬영한 영상 데이터는 뉴럴 네트워크의 입력층이 되고, 상기 뉴럴 네트워크는 학습된 중량 계수에 기초하여 상기 하나 또는 복수의 개체를 촬영한 영상 데이터에 대하여 연산을 수행하며, 상기 개체에 대한 밀도 맵이 상기 뉴럴 네트워크의 출력층이 되도록 컴퓨터를 실행시키는 학습된 모델.
  14. 영상 데이터 및 이상 개체 데이터를 수신하는 수신부, 그리고
    상기 영상 데이터 및 상기 이상 개체 데이터 간의 관계를 학습하는 학습부를 포함하고,
    상기 수신부는 오류가 있는 것으로 지시된 영상 데이터 및 오류가 정정된 이상 개체 데이터를 수신하고,
    상기 학습부는 상기 오류가 있는 것으로 지시된 영상 데이터 및 상기 오류가 정정된 이상 개체 데이터 간의 관계를 재학습하는 학습용 서버.
KR1020197016267A 2018-05-03 2019-04-30 이상 개체 검출 장치 및 방법 KR20200139616A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20180051258 2018-05-03
KR1020180051258 2018-05-03
PCT/KR2019/005226 WO2019212237A1 (ko) 2018-05-03 2019-04-30 이상 개체 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20200139616A true KR20200139616A (ko) 2020-12-14

Family

ID=68386335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197016267A KR20200139616A (ko) 2018-05-03 2019-04-30 이상 개체 검출 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20200139616A (ko)
WO (1) WO2019212237A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102347811B1 (ko) * 2021-05-31 2022-01-06 한국교통대학교산학협력단 이상 행동 객체 탐지 장치 및 방법
KR102372508B1 (ko) * 2021-05-26 2022-03-08 한국교통대학교산학협력단 이상객체탐지장치 및 그 동작 방법
KR20220132841A (ko) * 2021-03-24 2022-10-04 주식회사 에어플 도로 정보 제공 시스템 및 도로 정보 제공 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9779307B2 (en) * 2014-07-07 2017-10-03 Google Inc. Method and system for non-causal zone search in video monitoring
US9710716B2 (en) * 2014-12-16 2017-07-18 Sighthound, Inc. Computer vision pipeline and methods for detection of specified moving objects
KR102464781B1 (ko) * 2015-06-25 2022-11-07 에스케이 텔레콤주식회사 영상의 차이를 이용하여 이동 개체를 검출하는 방법 및 장치
KR101944374B1 (ko) * 2018-02-12 2019-01-31 엘지이노텍 주식회사 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220132841A (ko) * 2021-03-24 2022-10-04 주식회사 에어플 도로 정보 제공 시스템 및 도로 정보 제공 방법
KR102372508B1 (ko) * 2021-05-26 2022-03-08 한국교통대학교산학협력단 이상객체탐지장치 및 그 동작 방법
KR102347811B1 (ko) * 2021-05-31 2022-01-06 한국교통대학교산학협력단 이상 행동 객체 탐지 장치 및 방법

Also Published As

Publication number Publication date
WO2019212237A1 (ko) 2019-11-07

Similar Documents

Publication Publication Date Title
US20220026905A1 (en) Object modeling with adversarial learning
US20210227126A1 (en) Deep learning inference systems and methods for imaging systems
US11350610B2 (en) Rearing place management device and method
KR102615986B1 (ko) 이상 개체 판단 장치 및 방법
US10853698B2 (en) System and method of using multi-frame image features for object detection
US10872434B2 (en) Image processing apparatus and method
KR20200139616A (ko) 이상 개체 검출 장치 및 방법
KR101944374B1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
US20220067377A1 (en) Device for managing environment of breeding farm
IL305330A (en) Systems and methods for training machine models with enhanced data
JP2018077807A (ja) 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法
KR20200002315A (ko) 사육장 환경 관리 시스템, 단말 및 그 방법
KR20200002314A (ko) 사육장 환경 관리 시스템, 단말 및 그 방법
KR20190015656A (ko) Ｉｏｔ 기반 과수 모니터링 시스템 및 방법
KR20200009530A (ko) 이상 개체 검출 시스템 및 방법
KR20190103510A (ko) 촬상 장치, 이를 포함하는 가금류 관리 시스템 및 방법
KR102505691B1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
KR102606062B1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
JP2021149687A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
KR102424098B1 (ko) 딥러닝을 이용한 드론 검출 장치 및 방법
KR102307609B1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
KR20190113360A (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
KR102619829B1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
KR20190114529A (ko) 이상 개체 검출 시스템 및 방법
KR20190113361A (ko) 이상 개체 검출 장치, 시스템 및 방법, 그리고 이를 포함하는 촬상 장치

Legal Events

Date Code Title Description
A201 Request for examination