KR102406804B1

KR102406804B1 - 딥러닝 기반 영상 내 객체 자동 검출 방법 및 시스템

Info

Publication number: KR102406804B1
Application number: KR1020190157184A
Authority: KR
Inventors: 방예은; 최우석; 이강; 성원용
Original assignee: 한동대학교 산학협력단; (주)테크노니아
Priority date: 2019-11-29
Filing date: 2019-11-29
Publication date: 2022-06-10
Also published as: KR20210067498A

Abstract

본 발명은 딥러닝 기반의 영상 내 객체를 검출하는 방법 및 시스템에 관한 것이다. 딥러닝 기반의 영상에서 객체를 검출하는 방법은, 영상입력부가 영상을 입력받는 단계와, 영역설정부가 입력받은 영상에서 제외영역을 설정하는 단계와, 객체검출부가 영상에서 객체를 검출하여 검출된 객체들의 특징점을 추출하는 단계와, 제어부가 객체의 특징점들이 상기 제외영역내에 존재하는지 판단하되, 상기 제외영역내에 특징점들이 전부 존재하면, 후처리부가 상기 영상에서 객체를 제거하는 단계를 포함한다.

Description

딥러닝 기반 영상 내 객체 자동 검출 방법 및 시스템{Method and system for automatically detecting objects in image based on deep learning}

본 발명은 딥러닝 기반의 영상 내 객체 검출 방법 및 시스템에 관한 것으로, 특히 영상 내에 제외영역을 설정하고, 제외영역 내에서 검출되는 객체를 후처리함으로써 영상 내 객체 검출 효율이 향상된 딥러닝 기반 영상 내 객체 자동 검출 방법 및 시스템에 관한 것이다.

딥러닝이 가장 활발하게 적용되고 있는 분야 중 하나가 컴퓨터 비전(computer vision) 분야이다. 컴퓨터 비전 기술은 컴퓨터에서 카메라, 스캐너 등의 시각 매체를 통해 입력 받은 영상에서 주변 물체와 환경 속성에 대한 이미지를 분석하여 유용한 정보를 생성하는 기술로서, 화상 처리와 배경 분석을 거쳐 각종 임무 수행에 필요한 정보 형태로 생성해 낸다. 특히, 입력된 주어진 이미지에서 특정 객체의 위치를 표시하고 라벨링하는 객체 분류 및 검출 알고리즘은 그 중에서도 독보적으로 빠르게 발전하고 있다.

관련 선행기술로는 대한민국 등록특허 10-1850286호 "딥러닝 기반 CCTV용 영상 인식 방법"이 있다.

본 발명이 해결하고자 하는 과제는 입력된 영상 내에 제외영역을 설정하여 제외영역 내에 검출되는 객체를 후처리함으로써 객체 검출 효율이 향상된 딥러닝 기반 영상 내 객체 검출 방법 및 시스템을 구현하는데 있다.

본 발명의 일 실시예에 따른 딥러닝 기반의 영상 내 객체를 검출하는 방법은 영상입력부가 영상을 입력받는 단계와, 영역설정부가 입력받은 영상에서 제외영역을 설정하는 단계와, 객체검출부가 영상에서 객체를 검출하여 검출된 객체들의 특징점을 추출하는 단계와, 제어부가 객체의 특징점들이 상기 제외영역내에 존재하는지 판단하되, 상기 제외영역내에 특징점들이 전부 존재하면, 후처리부가 상기 영상에서 객체를 제거하는 단계를 포함한다.

본 발명의 일 실시예에 따른 딥러닝 기반의 영상 내 객체를 검출하는 시스템은, 영상을 입력받는 영상입력부와, 입력받은 영상에서 제외영역을 설정하는 영역설정부와, 영상에서 객체를 검출하여 검출된 객체들의 특징점을 추출하는 객체검출부와, 검출된 객체의 특징점들이 상기 제외영역내에 존재하는지 판단하는 제어부와, 상기 제외영역내에 특징점들이 모두 존재하면, 입력영상에서 상기 객체를 제거하고, 상기 제외영역내에 특징점들이 존재하지 않거나 일부만 존재하면 입력영상에서 상기 객체를 유지하는 후처리부를 포함한다.

본 발명에 의하면, 영상을 통해 실내에 있는 사람을 검출하는 경우, 투명한 유리 밖의 외부인원 또는 반사되는 사람을 배제할 수 있어 보다 정확하게 실내에 있는 사람을 자동으로 검출할 수 있다. 또한, 빠르고 정확하게 실내 혼잡도를 계산할 수 있다.

도 1은 본 발명의 실시예에 따른 딥러닝 기반 영상 내 객체 검출 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 딥러닝 기반 영상 내 객체 검출 방법의 순서도이다.
도 3 내지 도 5는 본 발명의 실시예에 따른 딥러닝 기반 영상 내 객체 검출 방법을 설명하는 예시도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 딥러닝 기반 영상 내 객체 검출 시스템의 구성도이다.

도 1을 참조하면, 객체 검출 시스템(100)은 영상입력부(110), 영역설정부(120), 객체검출부(130), 제어부(140), 후처리부(150), 혼잡도계산부(160), 통신부(170)로 구성된다.

영상입력부(110)는 영상을 입력받을 수 있다. 상기 영상은 건물 실내에 설치된 CCTV에서 촬영된 영상일 수 있으나 이에 대해 한정하는 것은 아니며, 모바일 기기에서 촬영된 영상일 수 있다.

영역설정부(120)는 입력받은 영상에서 제외영역을 설정할 수 있다. 영역설정부(120)는 입력받은 영상에서 창문 또는 유리문과 같이 실내와 실외를 구분하기 어려운 영역을 설정할 수 있다. 즉, 영역설정부(120)는 창문 또는 문을 인식하여 자동으로 제외영역을 설정할 수 있다. 또한, 영역설정부(120)는 사용자로부터 제외영역의 꼭지점 좌표를 입력받아 다각형의 형상으로 설정할 수 있으며, 사용자가 직접 선을 연결하여 설정할 수 있다.

객체검출부(130)는 영상에서 객체를 검출하여 검출된 객체들의 특징점을 추출할 수 있다. 검출된 객체가 사각형으로 지정되어 출력될 수 있고, 상기 사각형의 각 꼭지점을 특징점으로 추출할 수 있다.

제어부(140)는 검출된 객체의 특징점들이 상기 제외영역내에 존재하는지 판단한다. 즉, 제어부(140)는 설정된 제외영역내에 검출된 객체의 특징점이 모두 존재하면, 후처리부(150)에서 입력영상에서 검출된 객체를 제거하도록 제어할 수 있다. 제어부(140)는 설정된 제외영역내에 검출된 객체의 특징점 중 전부 존재하지 않거나, 일부만 존재하면 후처리부(150)에서 입력영상에서 검출된 객체를 유지하도록 제어할 수 있다. 제어부(140)는 영상에서 검출된 객체 전체에 대해 후처리가 완료되었는지 판단할 수 있다.

후처리부(150)는 상기 제외영역내에 특징점들이 모두 존재하면, 입력영상에서 상기 객체를 제거하고, 상기 제외영역내에 특징점들이 존재하지 않거나 일부만 존재하면 입력영상에서 상기 객체를 유지할 수 있다.

혼잡도계산부(160)는 객체검출부로부터 추출된 객체의 수와 객체의 크기에 기초하여 실내 공간에서의 혼잡도를 계산할 수 있다. 즉, 실내와 실외에 있는 사람을 구분하여 실내에 있는 사람의 수와 크기를 이용하여 실내 혼잡도를 계산할 수 있다.

즉, 본 발명은 영상을 통해 실내에 있는 사람의 수를 셀 경우, 투명한 유리 밖의 외부인원 또는 반사되는 사람을 배제할 수 있어 보다 정확하게 실내에 있는 사람을 검출할 수 있다.

통신부(170)는 별도로 설치된 영상촬영장치와 네트워크 통신을 통해 영상을 주고 받을 수 있다.

도 2는 본 발명의 실시예에 따른 딥러닝 기반 영상 내 객체 검출 방법의 순서도이다.

도 2를 참조하면, 딥러닝 기반의 영상에서 객체를 검출하는 방법은 영상입력부가 영상을 입력받고, 영역설정부가 입력받은 영상에서 제외영역을 설정한다(S210).

객체검출부가 영상에서 객체를 검출하여(S220), 검출된 객체들의 특징점을 추출한다(S230). 이때, 객체검출부는 컨볼루션 신경망 기반의 객체 검출 알고리즘인 YOLO(You Only Look Once)에 의해 객체를 검출할 수 있다.

제어부가 객체의 특징점들이 상기 제외영역내에 존재하는지 판단한다(S240).

상기 제외영역내에 특징점들이 전부 존재하면, 후처리부가 상기 영상에서 객체를 제거한다(S250). 상기 제외영역내에 특징점들이 존재하지 않거나 일부 존재하면, 후처리부가 상기 영상에서 객체를 유지한다(S250).

제어부가 영상에서 검출된 객체 전체에 대해 후처리가 완료되었는지 판단한다(S270).

후처리가 완료되면, 혼잡도 계산부가 실내 혼잡도를 계산한다(S280). 후처리가 완료되지 않았으면, S240 단계로 이동하여 제어부가 객체의 특징점들이 상기 제외영역내에 존재하는지 판단한다. 입력받은 영상에서 유지되고 있는 객체의 수를 계산하여 실내의 혼잡도를 계산할 수 있다. 즉, 혼잡도계산부는 객체검출부로부터 추출된 객체의 수와 객체의 크기에 기초하여 실내 공간에서의 혼잡도를 계산할 수 있다.

도 3 내지 도 5는 본 발명의 실시예에 따른 딥러닝 기반 영상 내 객체 검출 방법을 설명하는 예시도이다.

도 3 내지 도 5를 참조하면, 영역설정부는 CCTV 등으로부터 수신된 영상에서 창문 또는 문과 같이 실내와 실외를 구분하기 어려운 영역을 설정할 수 있다. 영역설정부는 창문 또는 문을 인식하여 자동으로 제외영역을 설정할 수 있다. 또한, 실시예에 따라 사용자가 제외영역의 꼭지점 좌표를 입력하여 설정하거나 사용자가 직접 선을 연결하여 설정할 수 있다.

영역설정부는 제1제외영역(310)과 제2제외영역(320)을 설정할 수 있다. 제1제외영역(310)은 특징점(P11, P12, P13, P14)을 포함하고, 제2제외영역(320)은 특징점(P21, P22, P23, P24)를 포함할 수 있다.

객체검출부는 영상에서 객체를 사각형 형태로 지정하여 검출할 수 있다. 객체검출부는 다수개의 객체를 검출하고, 제1객체(410)와 같이 사각형의 모든 꼭지점 좌표가 제1제외영역(310)에 존재하므로 후처리부는 영상에서 제1객체(410)를 제거할 수 있다.

제2객체(420)는 4개의 꼭지점 중 제1제외영역(310)에 존재하는 꼭지점(빨강색)과 제1제외영역(310)에 존재하지 않는 꼭지점(흰색)이 있으므로 후처리부는 영상에서 제2객체(420)를 제거하지 않는다. 또한, 후처리부는 제3객체(430), 제4객체(440)의 경우 꼭지점 전부가 제1제외영역(310)과 제2제외영역(320)에 존재하지 않으므로 제거하지 않는다. 다른 실시예에서, 제3제외영역(510)내에 모든 꼭지점이 존재하는 제5객체(520)는 제거되나, 일부 꼭지점만 존재하는 제6객체(530)는 제거되지 않는다.

즉, 제외영역내에 존재하는 객체만을 제거함으로써, 투명한 유리 밖의 외부인원 또는 반사되는 사람을 배제할 수 있어 보다 정확하게 실내에 있는 사람을 검출할 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100; 객체 검출 시스템 110; 영상입력부
120; 영역설정부 130; 객체검출부
140; 제어부 150; 후처리부
160; 혼잡도계산부 170; 통신부

Claims

영상에서 객체를 자동으로 검출하는 방법에 있어서,
영상입력부가 영상을 입력받는 단계;
영역설정부가 입력받은 영상에서 제외영역을 설정하는 단계;
객체검출부가 영상에서 객체를 검출하여 검출된 객체들의 특징점을 추출하는 단계;
제어부가 객체의 특징점들이 상기 제외영역내에 존재하는지 판단하되, 상기 제외영역내에 특징점들이 전부 존재하면, 후처리부가 상기 영상에서 객체를 제거하는 단계;
제어부가 객체의 특징점들이 상기 제외영역내에 존재하는지 판단하되, 상기 제외영역내에 특징점들이 존재하지 않거나 일부 존재하면, 후처리부가 상기 영상에서 객체를 유지하는 단계;
제어부가 영상에서 검출된 객체 전체에 대해 후처리가 완료되었는지 판단하는 단계;
후처리가 완료되면, 혼잡도 계산부가 실내 혼잡도를 계산하고, 후처리가 완료되지 않았으면 제어부가 객체의 특징점들이 상기 제외영역내에 존재하는지 판단하는 단계;
입력받은 영상에서 유지되고 있는 객체의 수를 계산하여 실내의 혼잡도를 계산하는 단계를 포함하고,
상기 영역설정부는 CCTV로부터 수신된 영상에서 창문 또는 문과 같이 실내와 실외를 구분하기 어려운 영역을 설정하고,
상기 객체검출부는 영상에서 객체를 사각형 형태로 지정하여 검출하고, 상기 객체검출부는 다수개의 객체를 검출하고, 제1객체와 같이 사각형의 모든 꼭지점 좌표가 제1제외영역에 존재하면 후처리부는 영상에서 제1객체를 제거하고, 제2객체는 4개의 꼭지점 중 제1제외영역에 존재하는 꼭지점(빨강색)과 제1제외영역에 존재하지 않는 꼭지점(흰색)이 있으므로 상기 후처리부는 영상에서 제2객체를 제거하지 않는 것을 특징으로 하는 영상에서 객체 자동 검출 방법.
삭제
삭제
제1항에 있어서,
상기 객체검출부는 컨볼루션 신경망 기반의 객체 검출 알고리즘인 YOLO(You Only Look Once)에 의해 객체를 검출하는 영상에서 객체 자동 검출 방법.
영상에서 객체를 자동으로 검출하는 시스템에 있어서,
영상을 입력받는 영상입력부;
입력받은 영상에서 제외영역을 설정하는 영역설정부;
영상에서 객체를 검출하여 검출된 객체들의 특징점을 추출하는 객체검출부;
검출된 객체의 특징점들이 상기 제외영역내에 존재하는지 판단하는 제어부; 및
상기 제외영역내에 특징점들이 모두 존재하면, 입력영상에서 상기 객체를 제거하고, 상기 제외영역내에 특징점들이 존재하지 않거나 일부만 존재하면 입력영상에서 상기 객체를 유지하는 후처리부를 포함하고,
상기 영역설정부는 CCTV로부터 수신된 영상에서 창문 또는 문과 같이 실내와 실외를 구분하기 어려운 영역을 설정하고,
상기 객체검출부는 영상에서 객체를 사각형 형태로 지정하여 검출하고, 상기 객체검출부는 다수개의 객체를 검출하고, 제1객체와 같이 사각형의 모든 꼭지점 좌표가 제1제외영역에 존재하면 후처리부는 영상에서 제1객체를 제거하고, 제2객체는 4개의 꼭지점 중 제1제외영역에 존재하는 꼭지점(빨강색)과 제1제외영역에 존재하지 않는 꼭지점(흰색)이 있으므로 상기 후처리부는 영상에서 제2객체를 제거하지 않는 것을 특징으로 하는 영상에서 객체 자동 검출 시스템.