KR102299250B1 - 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법 - Google Patents

복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법 Download PDF

Info

Publication number
KR102299250B1
KR102299250B1 KR1020210004713A KR20210004713A KR102299250B1 KR 102299250 B1 KR102299250 B1 KR 102299250B1 KR 1020210004713 A KR1020210004713 A KR 1020210004713A KR 20210004713 A KR20210004713 A KR 20210004713A KR 102299250 B1 KR102299250 B1 KR 102299250B1
Authority
KR
South Korea
Prior art keywords
image data
input
count value
person
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020210004713A
Other languages
English (en)
Inventor
조윤호
이주식
한재호
김광수
강병욱
Original Assignee
한전케이디엔주식회사
휴먼릭스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한전케이디엔주식회사, 휴먼릭스 주식회사 filed Critical 한전케이디엔주식회사
Priority to KR1020210004713A priority Critical patent/KR102299250B1/ko
Application granted granted Critical
Publication of KR102299250B1 publication Critical patent/KR102299250B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06N3/0472—
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N7/005—
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

실시예에 따르면, 작업 현장의 이미지를 촬영하여 제1영상 데이터를 생성하는 이미지 센서; 상기 작업 현장의 열화상 영상을 촬영하여 제2영상 데이터를 생성하는 적외선 센서; 상기 제1영상 데이터를 입력으로 하여, 상기 제1영상 데이터상에서 인원을 계수한 제1인원 계수 값과, 상기 제1인원 계수 값에 대한 제1판별 확률을 출력하도록 학습된 제1학습 모델부; 상기 제2영상 데이터를 입력으로 하여, 상기 제2영상 데이터상에서 인원을 계수한 제2인원 계수 값과, 상기 제2인원 계수 값에 대한 제2판별 확률을 출력하도록 학습된 제2학습 모델부; 및 상기 제1판별 확률 및 상기 제2판별 확률을 비교하여 상기 제1인원 계수 값, 상기 제2인원 계수 값 또는 상기 제1인원 계수 값 및 상기 제2인원 계수 값의 조합 결과 값을 이용하여 상기 작업 현장의 입출력 인원을 산출하는 계수 처리부를 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 장치를 제공한다.

Description

복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법{Counting device and method using composite image data}
본 발명의 일실시예는 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법에 관한 것으로, 보다 구체적으로는 발전소, 변전소, 전력구 등의 전력산업 작업장에 적용 가능한 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법에 관한 것이다.
출입구를 통과하는　인원에 대한　계수를 위해 다양한 방법들이 사용되고 있다. 가장 일반적인 방법으로 적외선을 이용하는　인원　계수기가 사용된다. 적외선　인원　계수기는 2개의 적외선 라인을 이용해 먼저 들어오는 방향과 후에 나가는 방향을 기반으로 목표물이 움직임 방향을 파악하고 이를　계수한다. 하지만 이와 같은 적외선　인원　계수기는 동시에 지나가는 여러 사람을 적절히　계수할 수 없는 문제가 있다.
카메라를 이용해　인원　계수를 하는 방법도 존재하는데, 카메라를 이용하여　계수　작업을 수행할 경우 동시에 지나가는 다수 사람에 대한 대처는 가능하다. 하지만　인원　계수를 위해 상대적으로 고가의 고해상도 카메라 및 비교적 고성능의 연산 장치가 필요할뿐더러 정확도에 방해가 되는 요소가 다수 존재한다. 예를 들어 여러 사람이 동시에 지나갈 때에 앞사람이 뒷사람의 시야를 심하게 가리는 경우 정확도가 떨어질 수 있으며, 카메라가 쓰이는 현장에서의 조명에 따라 성능 편차가 존재 할 수 있고 어두운 환경에서 동작이 불가하다. 또한 사생활 침해 문제로부터 자유롭지 못하다는 단점이 있다.
본 발명이 이루고자 하는 기술적 과제는 전력산업 작업장에 출입하는 작업 인원수를 정확히 계수하고 모니터링 할 수 있는 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법을 제공하는데 있다.
실시예에 따르면, 작업 현장의 이미지를 촬영하여 제1영상 데이터를 생성하는 이미지 센서; 상기 작업 현장의 열화상 영상을 촬영하여 제2영상 데이터를 생성하는 적외선 센서; 상기 제1영상 데이터를 입력으로 하여, 상기 제1영상 데이터상에서 인원을 계수한 제1인원 계수 값과, 상기 제1인원 계수 값에 대한 제1판별 확률을 출력하도록 학습된 제1학습 모델부; 상기 제2영상 데이터를 입력으로 하여, 상기 제2영상 데이터상에서 인원을 계수한 제2인원 계수 값과, 상기 제2인원 계수 값에 대한 제2판별 확률을 출력하도록 학습된 제2학습 모델부; 및 상기 제1판별 확률 및 상기 제2판별 확률을 비교하여 상기 제1인원 계수 값, 상기 제2인원 계수 값 또는 상기 제1인원 계수 값 및 상기 제2인원 계수 값의 조합 결과 값을 이용하여 상기 작업 현장의 입출력 인원을 산출하는 계수 처리부를 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 장치를 제공한다.
상기 제1영상 데이터의 노이즈 처리, 밝기 처리, 왜곡 처리 및 데이터 증강 처리 중 적어도 하나를 수행하는 제1전처리부를 더 포함할 수 있다.
상기 제2영상 데이터의 배경 처리, 정규화 처리 및 데이터 증강 처리 중 적어도 하나를 수행하는 제2전처리부를 더 포함할 수 있다.
상기 제1학습 모델부는 Faster-RCNN네트워크 및 YOLO네트워크를 포함할 수 있다.
상기 제2학습 모델부는 Faster-RCNN네트워크 및 YOLO네트워크를 포함할 수 있다.
상기 계수 처리부는 상기 제1판별 확률 및 상기 제2판별 확률 중 높은 확률에 따른 인원 계수 값을 이용하여 상기 작업 현장의 입출력 인원을 산출할 수 있다.
상기 계수 처리부는 상기 제1판별 확률 및 상기 제2판별 확률에 따라 상기 제1인원 계수 값 및 상기 제2인원 계수 값에 각각 가중치를 부여한 후 평균값을 연산하여 상기 작업 현장의 입출력 인원을 산출하는 계수 처리부를 포함할 수 있다.
실시예에 따르면, 이미지 센서가 작업 현장의 이미지를 촬영하여 제1영상 데이터를 생성하는 단계; 적외선 센서가 상기 작업 현장의 열화상 영상을 촬영하여 제2영상 데이터를 생성하는 단계; 제1학습 모델부가 상기 제1영상 데이터를 입력으로 하여, 상기 제1영상 데이터상에서 인원을 계수한 제1인원 계수 값과, 상기 제1인원 계수 값에 대한 제1판별 확률을 출력하는 단계; 제2학습 모델부가 상기 제2영상 데이터를 입력으로 하여, 상기 제2영상 데이터상에서 인원을 계수한 제2인원 계수 값과, 상기 제2인원 계수 값에 대한 제2판별 확률을 출력하는 단계; 및 계수 처리부가 상기 제1판별 확률 및 상기 제2판별 확률을 비교하여 상기 제1인원 계수 값, 상기 제2인원 계수 값 또는 상기 제1인원 계수 값 및 상기 제2인원 계수 값의 조합 결과 값을 이용하여 상기 작업 현장의 입출력 인원을 산출하는 단계를 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 방법을 제공한다.
상기 제1영상 데이터를 생성하는 단계 이후에, 제1전처리부가 상기 제1영상 데이터의 노이즈 처리, 밝기 처리, 왜곡 처리 및 데이터 증강 처리 중 적어도 하나를 수행하는 단계를 더 포함할 수 있다.
상기 제2영상 데이터를 생성하는 단계 이후에, 제2전처리부가 상기 제2영상 데이터의 배경 처리, 정규화 처리 및 데이터 증강 처리 중 적어도 하나를 수행하는 단계를 더 포함할 수 있다.
상기 제1학습 모델부는 Faster-RCNN네트워크 및 YOLO네트워크를 포함할 수 있다.
상기 제2학습 모델부는 Faster-RCNN네트워크 및 YOLO네트워크를 포함할 수 있다.
상기 작업 현장의 입출력 인원을 산출하는 단계는, 상기 계수 처리부가 상기 제1판별 확률 및 상기 제2판별 확률 중 높은 확률에 따른 인원 계수 값을 이용하여 상기 작업 현장의 입출력 인원을 산출하는 단계를 포함할 수 있다.
상기 작업 현장의 입출력 인원을 산출하는 단계는, 상기 계수 처리부가 상기 제1판별 확률 및 상기 제2판별 확률에 따라 상기 제1인원 계수 값 및 상기 제2인원 계수 값에 각각 가중치를 부여한 후 평균값을 연산하는 단계; 및 상기 평균값에 따라 상기 작업 현장의 입출력 인원을 산출하는 단계를 포함할 수 있다.
실시예에 따르면, 전술한 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한　기록매체를 제공한다.
본 발명인 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법은 전력산업 작업장에 출입하는 작업 인원수를 정확히 계수하고 모니터링 할 수 있다.
도1은 실시예에 따른 복합 영상 데이터를 이용한 입출력 인원 계수 장치의 개념도이다.
도2는 실시예에 따른 복합 영상 데이터를 이용한 입출력 인원 계수 장치의 구성 블록도이다.
도3은 실시예에 따른 복합 영상 데이터를 이용한 입출력 인원 계수 방법의 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도1은 실시예에 따른 복합 영상 데이터를 이용한 입출력 인원 계수 장치의 개념도이고, 도2는 실시예에 따른 복합 영상 데이터를 이용한 입출력 인원 계수 장치의 구성 블록도이다.
도1 및 도2를 참조하면, 실시예에 따른 복합 영상 데이터를 이용한 입출력 인원 계수 장치는 발전소, 변전소, 전력구 등의 전력산업 작업장등을 포함하는 산업 현장의 출입구 또는 특정 경계에 배치되어 설치된 위치를 기점으로 출입하는 인원을 계수할 수 있다.
실싱예에 따른 복합 영상 데이터를 이용한 입출력 인원 계수 장치(1)는 이미지 센서(11), 적외선 센서(12), 제1전처리부(13), 제2전처리부(14), 제1학습 모델부(15), 제2학습 모델부(16), 계수 처리부(17), 통신부(18), 표시부(19) 및 데이터 베이스(20)를 포함할 수 있다.
이미지 센서(11)는 작업 현장의 이미지를 촬영하여 제1영상 데이터를 생성할 수 있다.
이미지 센서(11)는 작업 현장 내부의 영상을 촬영할 수 있다. 이미지 센서(11)는 CMOS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 피사체를 촬영하는 이미지 센서(11)를 포함할 수 있다. 이때, 입력되는 영상 프레임은 렌즈를 통해 이미지 센서(11) 내의 CMOS 모듈 또는 CCD 모듈로 제공되고, CMOS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(영상 데이터)로 변환하여 출력한다.
이미지 센서(11)는 복수의 개체를 포함하는 이미지를 촬영하여 영상 데이터를 생성할 수 있다. 본 발명의 실시예에서 복수의 개체는 사람을 의미할 수 있다. 본 발명의 실시예에서, 이미지 센서(11)에 의하여 촬영된 영상 데이터는 원본 데이터, 원본 영상, 촬영 영상 등과 혼용될 수 있다.
이미지 센서(11)는 시야각이 넓은 어안렌즈 또는 광각렌즈를 포함할 수 있다. 이에 따라, 하나의 이미지 센서(11)가 작업 현장내부의 전체 공간을 촬영하는 것도 가능하다.
또한, 이미지 센서(11)는 깊이 카메라일 수 있다. 이미지 센서(11)는 다양한 깊이 인식 방식 중 어느 하나의 방식으로 구동될 수 있으며, 이미지 센서(11)를 통하여 촬영된 영상에는 깊이 정보가 포함될 수 있다. 이미지 센서(11)는 예를 들어, 키넥트 센서일 수 있다. 키넥트 센서는 구조광 투영 방식의 깊이 카메라로서, 프로젝터나 레이저를 이용하여 정의된 패턴 영상을 투영시키고 카메라를 통하여 패턴이 투영된 영상을 획득함으로써 장면의 삼차원 정보를 획득할 수 있다. 이러한 키넥트 센서는 적외선 레이저를 이용해 패턴을 조사하는 적외선 방사체, 및 적외선 영상을 촬영하는 적외선 카메라를 포함하며, 일반적인 웹캠과 같은 기능을 하는 RGB 카메라가 적외선 방사체와 적외선 카메라 사이에 배치되어 있다. 이 외에도, 키넥트 센서에는 마이크 배열과 카메라의 각도를 조절하는 팬틸트가 더 구성될 수 있다.
키넥트 센서의 기본적인 원리는, 적외선 방사체에서 조사된 레이저 패턴이 물체에 투영되어 반사되면, 반사 지점에서의 패턴의 위치 및 크기를 이용해 물체 표면까지의 거리를 구하게 된다. 이러한 원리에 따라, 이미지 센서(11)는 작업 현장내 공간으로 레이저 패턴을 조사하고, 개체에서 반사된 레이저 패턴을 센싱하여 개체 별 깊이 정보를 포함하는 영상 데이터를 생성할 수 있다.
실시예에서 RGB영상은 N X M의 픽셀로 구성되는 영상 데이터일 수 있다. 실시예에서 이미지 센서(11)는 작업 현장상부 또는 측면에서 개체를 포함하는 작업 현장내부 영상을 촬영할 수 있다.
적외선 센서(12)는 작업 현장의 열화상 영상을 촬영하여 제2영상 데이터를 생성할 수 있다. 적외선 센서(12)는 개체의 복사열을 측정하는 복수개의 적외선 센서(12) 어레이를 포함할 수 있다. 적외선 센서(12)는 개체의 복사열을 측정함으로써 열화상 영상인 제2영상 데이터를 생성할 수 있다.
이미지 센서(11) 및 적외선 센서(12)는 동일한 영역을 촬영하여, 각각 동일한 구역에 대한 제1 영상 데이터 및 제2영상 데이터를 생성할 수 있다.
제1전처리부(13)는 제1영상 데이터의 배경 처리, 노이즈 처리, 밝기 처리, 공간 왜곡 처리 및 데이터 증강 처리 중 적어도 하나를 수행할 수 있다.
제1영상 데이터인 RGB 영상의 배경 처리를 통하여 영상 데이터에서 배경을 제거하고 개체를 검출할 수 있다. 이는 제1영상 데이터의 유동 개체 부분만을 추출하여, 불필요한 배경을 제거하는 과정을 의미할 수 있다. 실시예에서, 유동 개체는 사람을 의미할 수 있다.
예를 들면, 제1전처리부(13)는 영상 데이터에서 개체의 외곽선을 검출하고, 검출된 외곽선과 데이터 베이스(20)에 미리 저장된 개체의 외형을 비교하여 미리 저장된 개체의 외형과 매칭되는 외곽선을 가진 개체를 유동 개체로서 검출할 수 있다. 이때, 데이터 베이스(20)에 저장된 개체의 외형은 적어도 하나 이상의 사람의 외형일 수 있으며, 제1전처리부(13)는 상술한 바와 같이 매칭되는 외곽선을 가진 개체를 유동 개체로서 검출할 수 있다.
또한, 예를 들면, 제1전처리부(13)는 이미지 데이터 내의 개체의 특징점을 추출하고, 추출된 특징점이 데이터 베이스(20)에 미리 저장된 유동 개체의 특징점에 임계치 이상의 근접도로 매칭되면, 해당 이미지 데이터 내의 개체를 유동 개체로서 검출할 수 있다. 이때, 제1전처리부(13)는 비교 대상이 되는 두 개체의 이미지에서 특징점을 추출하고, 추출된 두 개체의 특징점 기술자(descriptor)를 매칭하는 SIFT(Scale Invariant Feature Transform) 또는SURF(Speeded Up Robust Features) 알고리즘을 사용할 수 있다.
또한, 예를 들면, 제1전처리부(13)는 이미지 데이터에서 개체들의 윤곽을 기초로 유동 개체를 검출할 수 있다. 보다 구체적으로, 제1전처리부(13)는 이미지 데이터에서 개체들의 윤곽을 검출하여 에지 영상을 생성하고, 데이터 베이스(20)에 미리 저장된 작업 현장의 배경 영상인 전경 영상 데이터로부터 윤곽을 검출하여 배경 에지 영상을 생성하며, 에지 영상에서 배경 에지 영상을 뺀 차 영상(different image)에서 유동 개체를 검출할 수 있다. 이때, 제1전처리부(13)는 이미지 데이터 프레임의 그래디언트(gradient) 정보를 이용하여 프레임 내에 나타나는 개체의 윤곽을 에지로 검출하여 에지 영상을 생성한다. 여기서, 그래디언트 정보는 프레임에서 소정의 화소들 중 인접하는 화소들 간의 차이값으로부터 생성된 값으로서 차이의 절대값의 합을 의미하고, 에지는 그래디언트 정보를 이용한 개체 간의 경계선을 의미한다.
또한, 제1전처리부(13)는 기 촬영된 작업 현장 내 전경의 영상 데이터에서 배경에 해당하는 개체의 에지를 검출하여 배경 에지 영상을 생성할 수 있다. 이때의 배경 에지 이미지는 기설정된 영역의 개체들의 윤곽을 배경에지로 검출한 영상일 수 있으나, 기 촬영된 작업 현장 내 전경의 복수개의 영상 데이터 프레임을 비교하여 소정의 횟수이상 반복하여 동일하게 나타나는 개체의 윤곽을 배경에지로 검출한 영상일 수도 있다.
또한, 제1전처리부(13)는 개체 검출 분류기를 이용하여 이미지 데이터에서 유동 개체를 검출할 수 있다. 이때, 개체 검출 분류기는 유동 개체의 자세나 외부 환경을 달리하여 기 촬영한 유동 개체의 영상들로부터 훈련 DB 를 구축하여 학습된 것으로서, 이러한 개체 검출 분류기는 SVM(Support Vector Machine), 신경망, AdaBoost 알고리즘 등을 포함하는 다양한 학습 알고리즘을 통해 유동 개체의 DB 를 생성한다. 구체적으로, 제1전처리부(13)는 기 촬영된 작업 현장 내 배경의 영상 데이터에서 전경에 해당하는 개체의 에지를 검출하고, 영상 데이터에서 검출된 전경 개체의 에지를 적용하고, 전경 개체의 에지가 적용된 영상 데이터의 영역에 개체 검출 분류기를 적용하여 유동 개체를 검출할 수 있다.
제1전처리부(13)는 입력받은 영상 데이터의 노이즈를 저감시키기 위하여, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 메트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 이미지 신호 처리를 수행할 수 있다. 또한, 제1전처리부(13)(12)는 색채 처리, 블러처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 수행할 수 있다.
또한, 제1전처리부(13)는 밝기 처리(intensity normalization)를 통해 주위 환경의 변화에 따른 밝기 변화에 둔감한 영상을 생성해 낼 수 있다. 제1전처리부(13)는 영상 히스토그램 상에서, 데이터 강도의 피크와 폭을 일치시키는 표준화 작업을 통해 밝기에 상관없이 유사한 영상을 획들할 수 있다.
또한, 제1전처리부(13)는 공간 왜곡 처리(multi-scale division)를 통해서 획득한 영상을 여러 스케일(scale)로 분할하여 측정 거리 및 높이 차에 따른 측정 대상의 크기 변화에 따른 왜곡을 보정할 수 있다.
또한, 인공지능 학습에 있어서 정확도를 높이기 위해서는 발생 가능한 여러 상황에 대한 많은 양의 데이터가 필요하게 되는데, 제1전처리부(13)는 제1영상 데이터에 대한 증강 처리(augmentation)를 통해 데이터의 양을 증가시킬 수 있다. 제1전처리부(13)는horizontal/vertical flip, random crop/scale, color jittering, translation, rotaion 등의 방식으로 제1영상 데이터에 변경을 가하여 다양한 증강 영상 데이터를 보충할 수 있다.
제2전처리부(14)는 제2영상 데이터의 배경 처리, 공간 왜곡 처리, 시간 왜곡 처리 및 데이터 증강 처리 중 적어도 하나를 수행할 수 있다.
제2전처리부(14)는 제2영상 데이터의 유동 개체 부분만을 추출하여, 불필요한 배경을 제거하는 과정을 수행할 수 있다. 열화상 영상의 경우 배경 제거(background subtraction)를 통해 사람에 대한 온도 값을 부각시켜 주위의 다른 물체에 의한 온도 영향을 감소시킬 수 있다.
또한, 제2전처리부(14)는 제2영상 데이터를 표준화된 사각형 영역으로 구분하는 space normalization을 통해 시간에 따른 온도 변화의 영향을 감소시킬 수 있다.
또한, 제2전처리부(14)는 온도의 변화와 같은 인원 카운트에 불필요한 주변 환경 변화요소 제거시킬 수 있다. 불필요한 주변 환경 요소는 사람의 움직임이 아닌 주위 환경에서 측정되는 온도값을 의미할 수 있다. 제2전처리부(14)는 열화상 영상이 시간에 따라 순차적으로 획득되면, 각 시간마다 획득되는 영상간의 차를 연산할 수 있다. 이후 제2전처리부(14)는 사람의 움직임에 의해 온도 차가 발생한 부분은 강조하여 intensity 값을 증가시키고, 정적으로 있는 부분의 intensity 값은 감소시키는 과정을 수행할 수 있다. 이를 통하여 움직임이 발생한 부분은 강조시키고 움직임이 없어 정적인 부분의 intensity값은 감소시켜 열화상 영상 내에서 움직임이 있는 영역을 강조시킬 수 있다.
또한, 인공지능 학습에 있어서 정확도를 높이기 위해서는 발생 가능한 여러 상황에 대한 많은 양의 데이터가 필요하게 되는데, 제2전처리부(14)는 제2영상 데이터에 대한 증강 처리(augmentation)를 통해 데이터의 양을 증가시킬 수 있다. 제2전처리부(14)는horizontal/vertical flip, random crop/scale, color jittering, translation, rotaion 등의 방식으로 제2영상 데이터에 변경을 가하여 다양한 증강 영상 데이터를 보충할 수 있다.
제1학습 모델부(15)는 제1영상 데이터를 입력으로 하여, 제1영상 데이터상에서 인원을 계수한 제1인원 계수 값과, 제1인원 계수 값에 대한 제1판별 확률을 출력하도록 학습될 수 있다. 실시예에서, 제1인원 계수 값은 제1영상 데이터에 포함된 사람(유동 인원, 유동 개체)의 숫자를 의미할 수 있다. 또한, 제1판별 확률은 제1영상 데이터상에서 판별한 사람이 일치할 확률을 통하여, 제1인원 계수 값의 정확도를 수치로 표현한 값을 의미할 수 있다.
제1학습 모델부(15)는 제1전처리부(13)를 통하여 전처리 과정을 거친, 제1영상 데이터를 학습하고, 입력된 제1영상 데이터로부터 제1인원 계수 값과 제1판별 확률을 출력할 수 있다. 제1학습 모델부(15)는 제1영상 데이터를 학습하고, 입력된 제1영상 데이터에서 유동 인원과 유동 인원의 일치 확률을 판단할 수 있다.
제1학습 모델부(15)는 제1영상 데이터를 입력층으로 하여, 제1영상 데이터와 유동 인원, 유동 인원의 판별 확률간의 상관관계를 학습하고, 입력된 제1 영상 데이터에 대한 제1인원 계수 값과 제1판별 확률이 출력층이 되도록 학습될 수 있다.
제1딥러닝 모델은 Faster-RCNN네트워크 또는 YOLO네트워크일 수 있다. 해당 네트워크는 구분하고자 하는 클래스(인원 계수 알고리즘의 경우 사람의 얼굴) 별로 예측된 경계 박스(anchor box)를 생성하여 실제 레이블 된 박스와의 오류를 계산할 수 있다. 영상의 스케일 별로 이러한 경계 박스를 생성하여 이를 병합하거나 분할하는 과정을 반복하여 가장 오류가 적은 경계 박스를 생성하도록 인공지능이 학습될 수 있다.
제1학습 모델부(15)는 합성곱 신경망의 n차원 변환 필터(n은 2이상의 자연수)를 통해 제1 영상 데이터로부터 특징맵을 추출할 수 있다. 예를 들어, 제1학습 모델부(15)는 하나의 90×90(pixel) 이미지 데이터를 학습시킬 때, 복수개의 3×3 컨볼루션 필터를 적용하여 다양한 종류의 30×30의 특징맵 이미지를 생성할 수 있다. 예를 들어, nХn의 이미지 데이터의 경우 3Х3의 필터를 사용하여 3Х3 행렬을 만들고(=convolution) 행렬 중 가장 큰 값을 대푯값으로 뽑아내면(=max pool) 차원이 축소가 되며, 여러개의 필터를 사용하여 적용할 경우 영상 데이터의 특징을 추출하여 특징맵을 생성할 수 있다. 제1학습 모델부(15)는 생성된 특징맵을 이용하여 학습을 수행할 수 있다.
제1학습 모델부(15)는 특징맵을 합성곱 신경망 모델에 학습시켜 제1딥러닝 모델을 생성할 수 있다. 합성곱 신경망 모델은 이미지 데이터의 딥러닝 모델을 만드는데 주로 사용될 수 있다. 제1학습 모델부(15)는 인원 계수 값과 판별 확률 값이 포함된 RGB영상 데이터를 학습데이터로 학습시키고, 이미지 분석을 통해 영상 데이터 상에서 사람과 판별 확률을 판단할 수 있는 제1딥러닝 모델을 생성할 수 있다.
제1학습 모델부(15)는 컴퓨터로 읽을 수 있는 프로그램을 포함할 수 있다. 해당 프로그램은 컴퓨터에 의하여 실행될 수 있는 기록매체 또는 저장 장치에 저장될 수 있다. 컴퓨터 내의 프로세서는 기록매체 또는 저장 장치에 저장된 프로그램을 읽어 들이며, 프로그램, 즉 학습된 모델을 실행하여 입력 정보를 연산하고, 연산 결과를 출력할 수 있다.
제2학습 모델부(16)는 제2영상 데이터를 입력으로 하여, 제2영상 데이터상에서 인원을 계수한 제2인원 계수 값과, 제2인원 계수 값에 대한 제2판별 확률을 출력하도록 학습될 수 있다. 실시예에서, 제2인원 계수 값은 제2영상 데이터에 포함된 사람(유동 인원, 유동 개체)의 숫자를 의미할 수 있다. 또한, 제2판별 확률은 제2영상 데이터상에서 판별한 사람이 일치할 확률을 통하여, 제2인원 계수 값의 정확도를 수치로 표현한 값을 의미할 수 있다.
제2학습 모델부(16)는 제2전처리부(14)를 통하여 전처리 과정을 거친, 제2영상 데이터를 학습하고, 입력된 제2영상 데이터로부터 제2인원 계수 값과 제2판별 확률을 출력할 수 있다. 제2학습 모델부(16)는 제2영상 데이터를 학습하고, 입력된 제2영상 데이터에서 유동 인원과 유동 인원의 일치 확률을 판단할 수 있다.
제2학습 모델부(16)는 제2영상 데이터를 입력층으로 하여, 제2영상 데이터와 유동 인원, 유동 인원의 판별 확률간의 상관관계를 학습하고, 입력된 제2 영상 데이터에 대한 제2인원 계수 값과 제2판별 확률이 출력층이 되도록 학습될 수 있다.
제2딥러닝 모델은 Faster-RCNN네트워크 또는 YOLO네트워크일 수 있다. 해당 네트워크는 구분하고자 하는 클래스(인원 계수 알고리즘의 경우 사람의 얼굴) 별로 예측된 경계 박스(anchor box)를 생성하여 실제 레이블 된 박스와의 오류를 계산할 수 있다. 영상의 스케일 별로 이러한 경계 박스를 생성하여 이를 병합하거나 분할하는 과정을 반복하여 가장 오류가 적은 경계 박스를 생성하도록 인공지능이 학습될 수 있다.
제2학습 모델부(16)는 합성곱 신경망의 n차원 변환 필터(n은 2이상의 자연수)를 통해 제2 영상 데이터로부터 특징맵을 추출할 수 있다. 예를 들어, 제2학습 모델부(16)는 하나의 90×90(pixel) 이미지 데이터를 학습시킬 때, 복수개의 3×3 컨볼루션 필터를 적용하여 다양한 종류의 30×30의 특징맵 이미지를 생성할 수 있다. 예를 들어, nХn의 이미지 데이터의 경우 3Х3의 필터를 사용하여 3Х3 행렬을 만들고(=convolution) 행렬 중 가장 큰 값을 대푯값으로 뽑아내면(=max pool) 차원이 축소가 되며, 여러개의 필터를 사용하여 적용할 경우 영상 데이터의 특징을 추출하여 특징맵을 생성할 수 있다. 제2학습 모델부(16)는 생성된 특징맵을 이용하여 학습을 수행할 수 있다.
제2학습 모델부(16)는 특징맵을 합성곱 신경망 모델에 학습시켜 제2딥러닝 모델을 생성할 수 있다. 합성곱 신경망 모델은 이미지 데이터의 딥러닝 모델을 만드는데 주로 사용될 수 있다. 제2학습 모델부(16)는 인원 계수 값과 판별 확률 값이 포함된 열화상 데이터를 학습데이터로 학습시키고, 이미지 분석을 통해 영상 데이터 상에서 사람과 판별 확률을 판단할 수 있는 제2딥러닝 모델을 생성할 수 있다.
제2학습 모델부(16)는 컴퓨터로 읽을 수 있는 프로그램을 포함할 수 있다. 해당 프로그램은 컴퓨터에 의하여 실행될 수 있는 기록매체 또는 저장 장치에 저장될 수 있다. 컴퓨터 내의 프로세서는 기록매체 또는 저장 장치에 저장된 프로그램을 읽어 들이며, 프로그램, 즉 학습된 모델을 실행하여 입력 정보를 연산하고, 연산 결과를 출력할 수 있다.
계수 처리부(17)는 제1판별 확률 및 제2판별 확률을 비교하여 제1인원 계수 값, 제2인원 계수 값 또는 제1인원 계수 값 및 제2인원 계수 값의 조합 결과 값을 이용하여 작업 현장의 입출력 인원을 산출할 수 있다.
예를 들면, 계수 처리부(17)는 제1판별 확률 및 제2판별 확률 중 높은 확률에 따른 인원 계수 값을 이용하여 작업 현장의 입출력 인원을 산출할 수 있다. 계수 처리부(17)는 판별 확률이 높게 산출된 학습 모델부의 인원 계수 값을 작업 현장의 입출력 인원으로 산출할 수 있다. 이를 통하여, 시간, 밝기 등 다양한 주변 환경에 영향을 받지 않고 더 높은 정확도의 인원 계수 결과를 출력할 수 있다.
또는, 계수 처리부(17)는 제1판별 확률 및 제2판별 확률에 따라 제1인원 계수 값 및 제2인원 계수 값에 각각 가중치를 부여한 후 평균값을 연산하여 작업 현장의 입출력 인원을 산출할 수 있다. 계수 처리부(17)는 판별 확률이 높을수록 높은 가중치를 인원 계수 값에 비례하여 부여할 수 있다. 즉, 높은 판별 확률의 인원 계수 값에 좀 더 높은 가중치를 부여함으로써 제1영상 데이터와 제2영상 데이터를 통하여 산출된 인원 계수 결과를 상호 보완할 수 있다.
야외에서 사람을 구분하는 네트워크를 구성하고 유동 개체를 검출 하여 정확히 비교하기는 힘들지만, 실시예에서는 실내에서의 유동 개체 계수를 위한 것이며 그에 따라 실내 환경에서 데이터의 특성은 달라지고 그 데이터에 맞는 네트워크를 학습시킬 수 있다. 또한, 적외선 센서(12)와 이미지 센서(11)를 동시에 사용하여 하나의 센서만을 사용했을 경우 발생하는 한계점을 보완할 수 있다. 예를 들면, 적외선 센서(12)의 경우 주위에 발열점이 심하게 생겨 영상이 손상되는 경우, 사람이 옷을 두껍게 입어서 온도 검출이 안되는 경우 이미지 센서(11)에서 촬영되는 영상 데이터를 이용하여 이를 보완할 수 있다.
또한, 이미지 센서(11)의 경우 주위 환경이 너무 어두워서 사람이 안보이는 경우, 빛을 내는 광원이 존재하여 영상이 포화(saturation) 되는 경우 적외선 센서(12)에서 촬영되는 영상 데이터를 이용하여 이를 보완할 수 있다.
또한, 실시예에서는 실내에서 획득된 영상 데이터를 학습 데이터로 최적화시키기 위하여, 제1영상 데이터와 제2영상 데이터에 각각 상이한 방식의 전처리 과정을 적용시킨다. 이를 통하여 유동 인원을 더 정확하게 검출할 수 있다.
통신부(18)는 타 복합 영상 데이터를 이용한 입출력 인원 계수 장치, 관리자 단말기와 데이터 통신을 수행할 수 있다. 예를 들면, 통신부(18)는 무선랜(Wireless LAN: WLAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등의 원거리 통신 기술을 사용하여 데이터 통신을 수행할 수 있다.
또는, 통신부(18)는 블루투스, RFID(RadioFrequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비, 인접 자장 통신(NFC) 등이 포함될 수 있다. 또한, 유선 통신 기술로는, USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등의 근거리 통신 기술을 사용하여 데이터 통신을 수행할 수 있다.
통신부(18)는 관리자 단말기로부터 학습 데이터 등을 수신할 수 있다. 또한, 통신부(18)는 인원 계수에 대한 판단 결과를 관리자 단말기로 전송할 수 있다.
표시부(19)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
표시부(19)는 관리자 단말기로부터 수신한 학습 데이터 등을 표시할 수 있다. 또한, 표시부(19)는 인원 계수에 대한 판단 결과를 표시할 수 있다.
또한, 표시부(19)는 다양한 사용자 인터페이스 또는 그래픽 사용자 인터페이스를 화면에 출력할 수 있다.
데이터 베이스(20)는, 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 복합 영상 데이터를 이용한 입출력 인원 계수 장치는 인터넷(internet)상에서 데이터 베이스(20)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 웹 스토리지와 관련되어 동작할 수도 있다.
데이터 베이스(20)는 관리자 단말기로부터 수신한 학습 데이터 등을 저장할 수 있으며, 과거 일정 기간 동안의 데이터를 저장할 수 있다.
또한, 데이터 베이스(20)는 복합 영상 데이터를 이용한 입출력 인원 계수 장치 가 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있다.
또한, 데이터 베이스(20)는, 다양한 사용자 인터페이스(User Interface: UI) 또는 그래픽 사용자 인터페이스(Graphic User Interface: GUI)를 저장할 수 있다.
도3은 실시예에 따른 복합 영상 데이터를 이용한 입출력 인원 계수 방법의 순서도이다.
도3을 참조하면, 먼저 이미지 센서는 작업 현장의 이미지를 촬영하여 제1영상 데이터를 생성할 수 있다(S301).
다음으로, 제1전처리부는 제1영상 데이터의 배경 처리, 노이즈 처리, 밝기 처리, 공간 왜곡 처리 및 데이터 증강 처리 중 적어도 하나를 수행할 수 있다(S302).
다음으로, 제1학습 모델부는 제1영상 데이터를 입력으로 하여, 제1영상 데이터상에서 인원을 계수한 제1인원 계수 값과, 제1인원 계수 값에 대한 제1판별 확률을 출력할 수 있다(S303).
한편, 적외선 센서는 작업 현장의 열화상 영상을 촬영하여 제2영상 데이터를 생성할 수 있다(S304).
다음으로, 제2전처리부는 제2영상 데이터의 배경 처리, 공간 왜곡 처리, 시간 왜곡 처리 및 데이터 증강 처리 중 적어도 하나를 수행할 수 있다(S305).
다음으로, 제2학습 모델부는 제2영상 데이터를 입력으로 하여, 제2영상 데이터상에서 인원을 계수한 제2인원 계수 값과, 제2인원 계수 값에 대한 제2판별 확률을 출력할 수 있다(S306).
다음으로, 계수 처리부는 제1판별 확률 및 제2판별 확률을 비교하여 제1인원 계수 값, 제2인원 계수 값 또는 제1인원 계수 값 및 제2인원 계수 값의 조합 결과 값을 이용하여 작업 현장의 입출력 인원을 산출할 수 있다(S307).
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는　기록매체　내지 저장매체도 들 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1: 입출력 인원 계수 장치
11: 이미지 센서
12: 적외선 센서
13: 제1전처리부
14: 제2전처리부
15: 제1학습 모델부
16: 제2학습 모델부
17: 계수 처리부
18: 통신부
19: 표시부
20: 데이터 베이스

Claims (15)

  1. 작업 현장의 이미지를 촬영하여 제1영상 데이터를 생성하는 이미지 센서;
    상기 작업 현장의 열화상 영상을 촬영하여 제2영상 데이터를 생성하는 적외선 센서;
    상기 제1영상 데이터를 입력으로 하여, 상기 제1영상 데이터상에서 인원을 계수한 제1인원 계수 값과, 상기 제1인원 계수 값에 대한 제1판별 확률을 출력하도록 학습된 제1학습 모델부;
    상기 제2영상 데이터를 입력으로 하여, 상기 제2영상 데이터상에서 인원을 계수한 제2인원 계수 값과, 상기 제2인원 계수 값에 대한 제2판별 확률을 출력하도록 학습된 제2학습 모델부; 및
    상기 제1판별 확률 및 상기 제2판별 확률을 비교하여 상기 제1인원 계수 값, 상기 제2인원 계수 값 또는 상기 제1인원 계수 값 및 상기 제2인원 계수 값의 조합 결과 값을 이용하여 상기 작업 현장의 입출력 인원을 산출하는 계수 처리부를 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 장치.
  2. 제1항에 있어서,
    상기 제1영상 데이터의 배경 처리, 노이즈 처리, 밝기 처리, 공간 왜곡 처리 및 데이터 증강 처리 중 적어도 하나를 수행하는 제1전처리부를 더 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 장치.
  3. 제1항에 있어서,
    상기 제2영상 데이터의 배경 처리, 공간 왜곡 처리, 시간 왜곡 처리 및 데이터 증강 처리 중 적어도 하나를 수행하는 제2전처리부를 더 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 장치.
  4. 제1항에 있어서,
    상기 제1학습 모델부는 Faster-RCNN네트워크 및 YOLO네트워크를 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 장치.
  5. 제1항에 있어서,
    상기 제2학습 모델부는 Faster-RCNN네트워크 및 YOLO네트워크를 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 장치.
  6. 제1항에 있어서,
    상기 계수 처리부는 상기 제1판별 확률 및 상기 제2판별 확률 중 높은 확률에 따른 인원 계수 값을 이용하여 상기 작업 현장의 입출력 인원을 산출하는 복합 영상 데이터를 이용한 입출력 인원 계수 장치.
  7. 제1항에 있어서,
    상기 계수 처리부는 상기 제1판별 확률 및 상기 제2판별 확률에 따라 상기 제1인원 계수 값 및 상기 제2인원 계수 값에 각각 가중치를 부여한 후 평균값을 연산하여 상기 작업 현장의 입출력 인원을 산출하는 계수 처리부를 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 장치.
  8. 이미지 센서가 작업 현장의 이미지를 촬영하여 제1영상 데이터를 생성하는 단계;
    적외선 센서가 상기 작업 현장의 열화상 영상을 촬영하여 제2영상 데이터를 생성하는 단계;
    제1학습 모델부가 상기 제1영상 데이터를 입력으로 하여, 상기 제1영상 데이터상에서 인원을 계수한 제1인원 계수 값과, 상기 제1인원 계수 값에 대한 제1판별 확률을 출력하는 단계;
    제2학습 모델부가 상기 제2영상 데이터를 입력으로 하여, 상기 제2영상 데이터상에서 인원을 계수한 제2인원 계수 값과, 상기 제2인원 계수 값에 대한 제2판별 확률을 출력하는 단계; 및
    계수 처리부가 상기 제1판별 확률 및 상기 제2판별 확률을 비교하여 상기 제1인원 계수 값, 상기 제2인원 계수 값 또는 상기 제1인원 계수 값 및 상기 제2인원 계수 값의 조합 결과 값을 이용하여 상기 작업 현장의 입출력 인원을 산출하는 단계를 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 방법.
  9. 제8항에 있어서, 상기 제1영상 데이터를 생성하는 단계 이후에,
    제1전처리부가 상기 제1영상 데이터의 배경 처리, 노이즈 처리, 밝기 처리, 공간 왜곡 처리 및 데이터 증강 처리 중 적어도 하나를 수행하는 단계를 더 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 방법.
  10. 제8항에 있어서, 상기 제2영상 데이터를 생성하는 단계 이후에,
    제2전처리부가 상기 제2영상 데이터의 배경 처리, 공간 왜곡 처리, 시간 왜곡 처리 및 데이터 증강 처리 중 적어도 하나를 수행하는 단계를 더 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 방법.
  11. 제8항에 있어서,
    상기 제1학습 모델부는 Faster-RCNN네트워크 및 YOLO네트워크를 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 방법.
  12. 제8항에 있어서,
    상기 제2학습 모델부는 Faster-RCNN네트워크 및 YOLO네트워크를 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 방법.
  13. 제8항에 있어서, 상기 작업 현장의 입출력 인원을 산출하는 단계는,
    상기 계수 처리부가 상기 제1판별 확률 및 상기 제2판별 확률 중 높은 확률에 따른 인원 계수 값을 이용하여 상기 작업 현장의 입출력 인원을 산출하는 단계를 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 방법.
  14. 제8항에 있어서, 상기 작업 현장의 입출력 인원을 산출하는 단계는,
    상기 계수 처리부가 상기 제1판별 확률 및 상기 제2판별 확률에 따라 상기 제1인원 계수 값 및 상기 제2인원 계수 값에 각각 가중치를 부여한 후 평균값을 연산하는 단계; 및 상기 평균값에 따라 상기 작업 현장의 입출력 인원을 산출하는 단계를 포함하는 복합 영상 데이터를 이용한 입출력 인원 계수 방법.
  15. 제8항 내지 제14항 중 어느 한 항의 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한　기록매체.

KR1020210004713A 2021-01-13 2021-01-13 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법 Active KR102299250B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210004713A KR102299250B1 (ko) 2021-01-13 2021-01-13 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210004713A KR102299250B1 (ko) 2021-01-13 2021-01-13 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102299250B1 true KR102299250B1 (ko) 2021-09-08

Family

ID=77787664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210004713A Active KR102299250B1 (ko) 2021-01-13 2021-01-13 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102299250B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240076968A (ko) 2022-11-24 2024-05-31 주식회사 디에프알씨 고유 방문객 산출 시스템 및 방법
KR20240084622A (ko) * 2022-12-06 2024-06-14 주식회사 아코스 스마트 팩토리 모니터링 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06117836A (ja) * 1992-08-21 1994-04-28 Matsushita Electric Ind Co Ltd 画像処理装置と空気調和機の制御装置と画像処理装置を用いた応用機器
KR20160041441A (ko) * 2014-10-07 2016-04-18 주식회사 케이티 깊이 카메라 기반 사람 객체를 판별하는 방법 및 장치
KR20160103844A (ko) * 2015-02-25 2016-09-02 한화테크윈 주식회사 사람 계수 시스템 및 방법
KR20180093418A (ko) * 2017-02-13 2018-08-22 영남대학교 산학협력단 보행자 검출 장치 및 방법
KR20200005853A (ko) * 2018-07-09 2020-01-17 전자부품연구원 심층 구조 학습 기반 사람 계수 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06117836A (ja) * 1992-08-21 1994-04-28 Matsushita Electric Ind Co Ltd 画像処理装置と空気調和機の制御装置と画像処理装置を用いた応用機器
KR20160041441A (ko) * 2014-10-07 2016-04-18 주식회사 케이티 깊이 카메라 기반 사람 객체를 판별하는 방법 및 장치
KR20160103844A (ko) * 2015-02-25 2016-09-02 한화테크윈 주식회사 사람 계수 시스템 및 방법
KR20180093418A (ko) * 2017-02-13 2018-08-22 영남대학교 산학협력단 보행자 검출 장치 및 방법
KR20200005853A (ko) * 2018-07-09 2020-01-17 전자부품연구원 심층 구조 학습 기반 사람 계수 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240076968A (ko) 2022-11-24 2024-05-31 주식회사 디에프알씨 고유 방문객 산출 시스템 및 방법
KR20240084622A (ko) * 2022-12-06 2024-06-14 주식회사 아코스 스마트 팩토리 모니터링 시스템
KR102679947B1 (ko) * 2022-12-06 2024-07-01 주식회사 아코스 스마트 팩토리 모니터링 시스템

Similar Documents

Publication Publication Date Title
US11715209B2 (en) Locating method and system
US11354827B2 (en) Methods and systems for fusion display of thermal infrared and visible image
CN109583285B (zh) 对象识别方法
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
CN106446873B (zh) 人脸检测方法及装置
CN112052831B (zh) 人脸检测的方法、装置和计算机存储介质
CN108416902A (zh) 基于差异识别的实时物体识别方法和装置
CN109815843A (zh) 目标检测方法及相关产品
KR102199094B1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
CN110298281B (zh) 视频结构化方法、装置、电子设备及存储介质
US20180189955A1 (en) Augumented reality (ar) method and system enhanced through efficient edge detection of image objects
KR102299250B1 (ko) 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법
KR20210067498A (ko) 딥러닝 기반 영상 내 객체 자동 검출 방법 및 시스템
CN111259763A (zh) 目标检测方法、装置、电子设备及可读存储介质
CN111160220A (zh) 一种基于深度学习的包裹检测方法、装置、存储介质
US11605220B2 (en) Systems and methods for video surveillance
CN104766065A (zh) 基于多视角学习的鲁棒性前景检测方法
CN112633222A (zh) 基于对抗网络的步态识别方法、装置、设备及介质
Lamer et al. Computer vision based object recognition principles in education
CN109785439A (zh) 人脸素描图像生成方法及相关产品
Tupper et al. Pedestrian proximity detection using RGB-D data
JP6275022B2 (ja) 画像監視装置
CN104778468B (zh) 图像处理装置、图像处理方法以及监控设备
US20230326192A1 (en) Machine Learning model for Occupancy Detection
Kornelly et al. Mobile phone optical sensor usage for navigation tasks

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210113

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20210401

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20210113

Patent event code: PA03021R01I

Comment text: Patent Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210830

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210901

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210902

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240829

Start annual number: 4

End annual number: 4