KR101913140B1 - 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치 및 방법 - Google Patents

Abstract

본 발명은 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치 및 방법에 관한 것이다.
또한, 본 발명에 따르면, 입력 영상으로부터 컨볼루션 신경망을 이용하여 보행자를 탐지하는 보행자 탐지부; 및 탐지된 보행자의 얼굴을 케스케이딩을 사용하여 탐지하는 얼굴 탐지부를 포함하는 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치 및 방법을 제공한다.

Description

사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치 및 방법{Apparatus and method for Optimizing Continuous Features in Industrial Surveillance using Big Data in the Internet of Things}

본 발명은 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치 및 방법에 관한 것이다.

보행자 인식을 위한 네 가지 주요 구성 요소는 케스케이딩(cascading), 피쳐 추출, 분류 및 충돌 처리이다. 딥 러닝을 위한 기존의 방법은 이러한 구성 요소를 개별적으로 또는 순차적으로 수집하거나 계획한다[1].

웹 응용 프로그램에서 데이터는 관계형 데이터베이스(RDB, form of Relational Database ) 형식으로 저장된다. 동일한 데이터를 RDB에서 시멘틱 웹(SW, Semantic Web)로 변환하면 시스템 호환성 문제가 발생한다.

RDB에서 SW로의 변환 과정에서 생성된 약점을 조사해야한다. 변화하는 데이터를 그대로 유지하는 것은 어렵고 유지하기가 어렵다. 데이터 매핑을 사용하여 데이터 유형 수준에서의 차이점을 이해할 수 있다. 매핑은 XML(Extensible Markup Language) 기반 데이터 구조를 중간 데이터 지시자로 사용하여 수행된다.

이러한 기술 개발의 주요 초점은 변환 결과를 개선하는 데 도움이 되는 중간체로 사용되는 DTD(Document Type Definition) 또는 XMLS(Extensible Markup Language Schema)와 같은 XML 형식을 사용하여 RDB 및 SW 기반 스키마의 데이터 모델에서 공통적으로 발견되는 공통 기능을 매핑하는 것이다.

이와 같은 데이터 매핑을 통해 데이터 변환을 위한 향상된 호환성 옵션을 얻을 수 있다.

웹용 데이터 볼륨은 구축된 시스템의 백엔드에서 관계형 데이터베이스(RDB) 형태로 배포된다. 웹은 기본적으로 공식적인 방식으로 반 구조화되고 조직화되지 않았다. 이러한 정보를 기계로 이해할 수 있는 형식으로 변환하기 위해 시멘틱 웹(SW)이 도입되었다. SW의 필요성은 개선된 방법 및 지능형 데이터 검색 메커니즘을 제공할 수 있는 능력으로 인해 증가하고 차세대 웹에서 커다란 진화가 되었다. 오래된 기술은 새로운 기술로 변모하고 있다.

XML(eXtensible Markup Language) 기반의 문서는 시맨틱 웹(Semantic Web)을 사용하여 완성되었다. 시맨틱 웹(Semantic Web)을 위한 RDF(Resource Description Framework)는 인터넷에서 주제, 술어 및 대상으로 구성된 트리플렛 형태로 정보를 표현하는 언어이다. 트리플은 그래프 기반 표현을 사용하여 계층적 수준에서 매핑 된 리소스간에 사용된다.

XML에서 지원하는 데이터 유형은 변환에서 중요한 역할을 한다. 반면 사용자 지정된 데이터 형식은 XML 기반 태그를 사용하여 준비할 수도 있다. 데이터 유형 사용자 정의 누락된 지원은 다른 기술 및 알고리즘으로 만들어진 변환이 시스템 간의 데이터 호환성을 지원하기 위해 최대 레벨에서 서로를 지원하지 못하는 또 다른 이유이다. 따라서 XML에 의해 지원되는 데이터 유형의 다른 기능을 DTD 또는 XMLS의 제한과 함께 살펴볼 필요가 있다.

얼굴 탐지 메커니즘을 통해 사람을 자동으로 탐지할 수 있는 감시 기능은 산업 보안 매개 변수를 향상시킬 수 있다. 인공 지능과 기계 학습의 발전은 과학 분야에서 그 어느 때보다 정확도를 높이고 있다. 개선된 특징 학습 및 진보된 신경망 설계로 인해 물체 탐지가 더욱 흥미롭고 결실을 맺게 되었다. 감시 보행자 탐지에서 물체 추적과 군중 이해가 핵심 요소이다[1, 2]. 보행자 검출 벤치 마크에서 이미지 데이터 세트 Caltech은 63 %에서 11 %의 미스 레인지를 가지고 있다. 다른 모든 딥 신경망 (DNN, Deep Neural Networks ) 중에서 컨볼루션 신경망(CNN, Convolutional Neural Network) [3]이 이미지 기반 탐지에 가장 유망한 것으로 나타났다. CNN은 전체 그림 특성화를 위해 제안되었다. 여기에는 탐지, 세분화 및 객체 추적을 위한 픽셀 단위 분류가 포함된다. CNN 기반 이미지 객체 탐지는 대규모 데이터 세트 기반의 훈련된 모델을 따르고 결과 정확도가 달성될 때까지 일괄적으로 정확성 테스트가 이루어 지지만 과도한 계산을 포함한다.

관계형 데이터베이스(Relational Databases, RDB)는 대부분 활용되며 데이터를 저장하고 검색하는 응용 프로그램의 현재 시대의 일부로 일반적이다.

RDB는 의미론적 고려 없이 중요한 데이터를 다루기에 가장 적합하다. 데이터에 대해 RDB로 작업하는 응용 프로그램은 시스템에서 사용되는 데이터의 의미를 잘 알고 있지만 의미는 관계형 데이터 모델의 일부가 아니다. 시멘틱 웹(SW)에서 제공되는 공통 프레임 워크는 시스템이 서로 다른 플랫폼 및 응용 프로그램에서 데이터 링크와 함께 데이터를 공유하고 재사용할 수 있는 기능을 제공한다. SW가 웹용으로 개발되고 발전함에 따라 다양한 분야의 가치가 있는 것으로 나타났다. 특히 다양한 출처의 데이터를 거래하거나 조정해야하는 경우에 유용하다. 많은 응용 프로그램이 여전히 RDB 기반 데이터 표현에 의존하기 때문에 모든 시스템 데이터를 RDF 형식으로 바꾸는 것이 적합하지 않다. 이러한 의존성으로 인해 이러한 데이터 모델 중 하나가 데이터 저장 및 검색에 대한 현재 추세를 포괄하는 데 필요하다는 생각이 사라진다. RDB와 RDF간에 데이터를 변환하고 데이터를 손상시키지 않는 방법론이 필요하다. 이 방법론은 변화에 대한 걱정이 없어지는 두 가지 데이터 모델로 작동하기 위해 중앙 집중식 또는 분산형 시스템 모두에 도움이 될 것이다. 따라서 이러한 접근 방식은 RDB와 RDF 데이터 모델 간의 개념적 차이를 줄여 전통적인 고급 시스템 및 애플리케이션을 위한 협업 환경을 형성할 수 있다.

웹에서 발견되는 대량의 데이터 및 정보는 RDB를 사용하여 저장되고 검색된다. 서로 다른 연구 결과에 따르면 시맨틱 웹과 다른 도메인 간의 협력은 웹을 넘어서서 그 활용도를 확장시킨다. 시맨틱 웹 기반 시스템의 가용성에 대한 관계형 데이터 표현을 탐색하는 방법을 제공하는 데 도움이 되는 많은 방법과 도구가 도입되었다. 하지만, 고성능 및 호환성으로 결과를 얻는 데 문제가 있다.

공개번호 10-2009-0126545호 등록번호 10-1552600호

[1] W. Li, R. Zhao, T. Xiao, and X. Wang, "Deepreid: Deep filter pairing neural network for person re-identification," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 152-159. [2] P. Luo, Y. Tian, X. Wang, and X. Tang, "Switchable deep network for pedestrian detection," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 899-906. [3] A. Krizhevsky, I. Sutskever, and G. E. Hinton, "Imagenet classification with deep convolutional neural networks," in Advances in neural information processing systems, 2012, pp. 1097-1105. [4] S. Lawrence, C. L. Giles, A. C. Tsoi, and A. D. Back, "Face recognition: A convolutional neural-network approach," IEEE transactions on neural networks, vol. 8, pp. 98-113, 1997. [5] C. Chen and C. Hsiao, "Haar wavelet method for solving lumped and distributed-parameter systems," IEE Proceedings-Control Theory and Applications, vol. 144, pp. 87-94, 1997. [6] N. Dalal and B. Triggs, "Histograms of oriented gradients for human detection," in Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on, 2005, pp. 886-893. [7] D. G. Lowe, "Object recognition from local scale-invariant features," in Computer vision, 1999. The proceedings of the seventh IEEE international conference on, 1999, pp. 1150-1157. [8] J. A. Suykens and J. Vandewalle, "Least squares support vector machine classifiers," Neural processing letters, vol. 9, pp. 293-300, 1999. [9] L. Deng, G. Hinton, and B. Kingsbury, "New types of deep neural network learning for speech recognition and related applications: An overview," in Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on, 2013, pp. 8599-8603. [10] D.-Y. Chen and K.-Y. Lin, "Robust gender recognition for uncontrolled environment of real-life images," IEEE Transactions on Consumer Electronics, vol. 56, 2010. [11] S. Y. D. Hu, B. Jou, A. Jaech, and M. Savvides, "Fusion of region-based representations for gender identification," in Biometrics (IJCB), 2011 International Joint Conference on, 2011, pp. 1-7. [12] F. Juefei-Xu, E. Verma, P. Goel, A. Cherodian, and M. Savvides, "Deepgender: Occlusion and low resolution robust facial gender classification via progressively trained convolutional neural networks with attention," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2016, pp. 68-77. [13] N. Zhang, M. Paluri, M. A. Ranzato, T. Darrell, and L. Bourdev, "Panda: Pose aligned networks for deep attribute modeling," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 1637-1644. [14] J. Mansanet, A. Albiol, and R. Paredes, "Local deep neural networks for gender recognition," Pattern Recognition Letters, vol. 70, pp. 80-86, 2016. [15] E. Fazl-Ersi, M. E. Mousa-Pasandi, R. Laganiere, and M. Awad, "Age and gender recognition using informative features of various types," in Image Processing (ICIP), 2014 IEEE International Conference on, 2014, pp. 5891-5895. [16] Y. Jiang, S. Li, P. Liu, and Q. Dai, "Multi-feature deep learning for face gender recognition," in Information Technology and Artificial Intelligence Conference (ITAIC), 2014 IEEE 7th Joint International, 2014, pp. 507-511.

상기와 같은 문제점을 해결하기 위한 본 발명은 컨볼루션 신경망을 이용하여 보행자를 탐지하고, 케스케이딩을 이용하여 탐지된 보행자의 얼굴을 검출하는 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치 및 방법을 제공하는 데 있다.

본 발명의 장치는 입력 영상으로부터 컨볼루션 신경망을 이용하여 보행자를 탐지하는 보행자 탐지부; 및 탐지된 보행자의 얼굴을 케스케이딩을 사용하여 탐지하는 얼굴 탐지부를 포함한다.

또한, 본 발명의 장치의 상기 보행자 탐지부에 입력되는 입력 영상은 카메라로부터 스트리밍되는 것을 특징으로 한다.

또한, 본 발명의 장치의 상기 보행자 탐지부에 입력되는 입력 영상은 카메라로부터 획득되어 이미 저장된 데이터 세트에서 가져온다.

또한, 본 발명의 장치의 상기 보행자 탐지부는 입력 영상을 크기 조정하여 크기 조정된 입력 영상을 제1 컨볼루션 계층으로 전송된 변형된 특징 후보를 선택할 수 있는 제1 최대 풀링 계층에 전달한다.

또한, 본 발명의 장치의 상기 보행자 탐지부의 제1 컨볼류션 계층은 에지와 화이트 영역을 감지한다.

또한, 본 발명의 장치의 상기 보행자 탐지부는 제1 최대 폴링 계층으로 전달된 입력 영상을 제1 컨볼루션 계층으로 전송하여 특징을 선택할 수 있는 제2 최대 풀링 계층에 전달되도록 한다.

또한, 본 발명의 장치의 상기 보행자 탐지부의 제2 컨볼류션 계층은 에지을 감지한다.

또한, 본 발명의 장치의 상기 보행자 탐지부는 완전 연결 계층을 사용하여 보행자 탐지를 완료한다.

또한, 본 발명의 장치의 상기 보행자 탐지부는 탐지된 보행자 구역을 분리한 후 표시하여 출력한다.

한편, 본 발명의 방법은 (A)보행자 탐지부가 입력 영상으로부터 컨볼루션 신경망을 이용하여 보행자를 탐지하는 단계; 및 (B) 얼굴 탐지부가 탐지된 보행자의 얼굴을 케스케이딩을 이용하여 탐지하는 단계를 포함한다.

또한, 본 발명의 방법의 상기 (A) 단계에서 상기 보행자 탐지부는 입력 영상을 크기 조정하여 크기 조정된 입력 영상을 제1 컨볼루션 계층으로 전송된 변형된 특징 후보를 선택할 수 있는 제1 최대 풀링 계층에 전달된다.

또한, 본 발명의 방법의 상기 (A) 단계에서 상기 보행자 탐지부의 제1 컨볼류션 계층은 에지와 화이트 영역을 감지한다.

또한, 본 발명의 방법의 상기 (A) 단계에서 상기 보행자 탐지부는 제1 최대 폴링 계층으로 전달된 입력 영상을 제1 컨볼루션 계층으로 전송하여 특징을 선택할 수 있는 제2 최대 풀링 계층에 전달되도록 한다.

또한, 본 발명의 방법의 상기 (A) 단계에서 상기 보행자 탐지부의 제2 컨볼류션 계층은 에지을 감지한다.

또한, 본 발명의 방법의 상기 (A) 단계에서 상기 보행자 탐지부는 완전 연결 계층을 사용하여 보행자 탐지를 완료한다.

또한, 본 발명의 방법의 상기 (A) 단계에서 보행자 탐지부는 탐지된 보행자 구역을 분리한 후 표시하여 출력한다.

한편, 본 발명의 기록 매체는 (A)보행자 탐지부가 입력 영상으로부터 컨볼루션 신경망을 이용하여 보행자를 탐지하는 단계; 및 (B) 얼굴 탐지부가 탐지된 보행자의 얼굴을 케스케이딩을 이용하여 탐지하는 단계를 포함한다.

상기와 같은 본 발명에 따르면 감시와 관련하여 필요한 기능인 정확도를 향상시킬 수 있도록 한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치의 구성도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 방법의 흐름도이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치 및 방법의 개념도이다.
도 4는 각각 파란색과 주황색을 사용하여 오류율과 실패율의 전체 변이를 나타낸다.
도 5는 Caltech 테스트 데이터 세트에 대한 제안 모델의 결과를 나타낸다.
도 6은 추가 활성화를 위한 채널 3과 5의 활성화를 나타낸다.
도 7은 주어진 이미지에서 활성화를 계산하는 과정을 보여준다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.

이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

데이터에 대한보다 광범위한 연구가 데이터 과학이라고한다. 데이터 마이닝, 데이터 엔지니어링, 데이터베이스, 학습, 패턴 인식 및 시각화와 같은 다양한 통계, 수학 및 과학 모델링 및 구현 기술을 사용하여 수집, 조작 및 분석을 위한 데이터 개념을 포함한다.

데이터 과학과 관련된 작업은 데이터 생성, 통계 시각화, 수학적 모델링, 기계 학습 및 인공 지능에 대한 폭과 깊이에 대한 연구를 통해보다 풍부한 데이터 이해를 얻기 위해 풍부한 데이터 리소스로 작업하는 것이다.

데이터 마이닝 및 데이터 분석은 현재 시간에 별도의 관심 분야로 도입된 데이터 과학 연구의 주요 부분이 되었다. 관련 작업의 대부분은 큰 데이터 분야에서 실제로 발생했는데, 실제로 이 분야에 국한되지 않는다.

(1) 기계 학습을 이용한 감시

컴퓨터 비전을 통한 카메라를 이용한 감시는 보행자 및 얼굴 탐지를 포함한다 [4]. 보행자 검출에서 하르(Haar) [5] (선, 에지, 네 개의 직사각형 디지털 이미지 피처), HOG (Histogram of Oriented Gradients) [6], SIFT (Scale-Invariant Feature Transform) [7]를 사용하여 객체 모양 피쳐를 추출할 수 있다.

이러한 특징들 중 HOG는 로컬 맥핑을 사용하여 데이터의 훈련으로부터 탐지 절차의 모든 불일치를 해결이다. 탐지 영역은 보행자 몸체가 움직이는 형태이다. 이러한 문제를 해결하는 방법에는 깊이 분석, 폐색 처리, 가시성 강조 표시가 포함된다. SVM (Support Vector Machine) [8]은 밀도가 높은 데이터 모델과 스파스 데이터 모델 모두에서 작동한다. SVM은 회귀 분석 및 분류 분석을 위해 기계 학습에서 사용하는 감독 모델이다.

(2) 딥 대 기계 학습 이미지 처리

딥 러닝 향상은 전송 학습, 의미 파싱, 컴퓨터 시각, 자연 언어 처리 등과 같은 인공 지능 영역에 널리 적용된다. 컴퓨터 비전 분야에서 딥 러닝 알고리즘은 오래된 기계 학습 방법에 대한 명성을 얻었다. 이러한 딥 러닝 알고리즘은 스파스 코딩, 자동 인코딩, 제한된 볼츠만 머신(RBM) 및 CNN(Convolutional Neural Network)으로 분류할 수 있다. 보행자 감지를 위한 주요 러닝 알고리즘은 문맥, 특징 및 교합 처리 기반 학습을 사용한다. 딥 러닝에서 CNN은 주로 GPU 단위의 증가, 낮은 비용 및 고급 알고리즘으로 인해 다른 기술보다 더 나은 결과를 보여주었다 [3].

(3) 딥 신경망

데이터 과학 환경에 따르면, 딥 신경망(Deep Neural Networks)은 데이터 분석에 사용되는 특수한 형태의 기계 학습이다. 딥 러닝 기계를 익히기 전에는 더 적은 수의 피쳐 기반 인식 및 학습이 가능했지만 이제는 그래픽 처리 장치 (GPU)에서 제공되는 CUDA 기술을 사용하여보다 높은 계산 능력을 사용하여 거의 모든 기능을 포괄 할 수 있다. 데이터가 큰 딥 러닝의 산업적 활용 사례는 소셜 미디어, 국방, 정보, 소비자 가전, 의료, 에너지 및 엔터테인먼트 [9]이다.

CNN은 전체 문제를 하위 문제로 단계적으로 나눠서 단계적으로 나눠서 필요한 결과 형태를 찾는 것이다[3]. 또 다른 주요 이점은 결과가 시작 실패인 경우 네트워크가 수정, 교육 세트 수정 또는 교육 매개 변수 업데이트로 인해 쉽다는 것이다. 다른 문제에 대해서도 작업할 수 있다. 컨볼루션 (convolution), 최대 - 풀링 (max-pooling) 및 이미지 처리를 위해 파이프 라인 된 완전 연결된 네트워크를 기반으로 레이어를 형성함으로써 CNN에 여러 단계가 존재한다. 더 많은 컨볼루션 계층 또는 단계 추가는 학습 시스템을 인식 시스템에보다 복잡하게 만든다. 실세계 문제의 경우 이 단계들을 필요한 결과를 얻기 위해 필요한 만큼 여러 번 결합하고 쌓을 수 있다 [2].

얼굴 추출 및 보행자 검출과 관련된 특징 추출 기술은 거의 없다. Duan-Yu Chen은 주변의 얼굴 인식, 상황별 영역 향상 및 모델의 디자인 신뢰도를 기반으로 한 가중치를 사용하여 이미지 기반 탐지를 강력하게 만드는 방법을 모색했다.

Adimo datadet에서 채널을 특징으로 하는 가장자리를 사용하여 Adaboost 계산에 추가로 다양한 자세와 기초를 가진 1948 개의 그림으로 구성된 이미지보다 87.6 %의 정확도를 달성했다[10]. 다음으로 Si Yin Diana Hu와 다른 사람들은 스마트 패치 선택을 사용한 선형 SVM보다 5 % 더 높은 정확도를 갖는 영역 기반 분류자를 나타냈다. 그들은 성공률 90 % [11]를 갖는 지역 기반에서의 위치 추정과 같은 선형 SVM 기계 모호 해부 기법을 사용했다. 그들은 2010 년 제어되지 않은 인수 환경을 가진 Flicker 데이터베이스에서 작업했다. 2016 년 Gaussian이 동적 CNN을 통해 수행 한 또 다른 연구는 차이 획득 환경에 대한 여러 결과를 만들어 냈다.

정면 검출 정확도에 대한 Mugshot을 기반으로 한 데이터베이스는 97.95 %에 이르렀고, 폐색에 대한 정확도는 93.12 %에 도달했으며, 마지막으로 저해상도 이미지 정확도 선택은 93.12 %였다. 교합에 대한 AR 기반 데이터베이스의 경우 정확도는 85.62 %에 달했다. mugshot [12]에 97.95 %의 정확성을 달성하기 위한 전반적인 진전이있었다. 2014 년에 연구는 얼굴 자르기 (face cropping)를 통한 인간 탐지를위한 깊은 포즈 렛 (feature) 추출을 위한 훈련된 CNN과 작업 인식 계층을 위한 특징을 표현했다.

반면 유익한 패치 추출은 갤러거 데이터베이스에 대한 정확도가 77.87 %에 이르는 개선 된 결과를 가져 왔다[14].

도 1은 본 발명의 바람직한 일 실시예에 따른 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치의 구성도이다.

도 1을 참조하면, 본 발명의 바람직한 일 실시예에 따른 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치는 보행자 탐지부(100)와 얼굴 탐지부(200)로 이루어져 있다.

그리고, 도 2는 본 발명의 바람직한 일 실시예에 따른 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 방법의 흐름도이다.

도 2를 참조하면, 본 발명의 바람직한 일 실시예에 따른 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 방법은 보행자 탐지부가 컨볼루션 신경망을 이용하여 입력 영상으로부터 보행자를 탐지하는 단계(S100)와 얼굴 탐지부가 케스케이딩을 이용하여 탐지된 보행자의 얼굴을 탐지하는 단계(S200)를 포함한다.

도 3은 본 발명의 바람직한 일 실시예에 따른 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치 및 방법의 개념도이다.

도 1 내지 3을 참조하면, 본 발명의 바람직한 일 실시예에 따른 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치 및 방법은 기계 학습의 두 가지 탐지 메커니즘을 구축했다.

컨볼루션 신경망(CNN)은 보행자를 탐지하는 데 사용되는 반면 케스케이딩은 탐지된 보행자의 얼굴을 탐지하는 데 사용된다.

보행자 및 얼굴 탐지를 위한 산업 감시 모델에 포함된 절차 단계는 다음과 같다.

(1) 감시를 위한 입력 영상은 스트리밍되거나 영상 데이터 저장소에 이미 저장된 데이터 세트에서 가져온다.

(2) 입력 영상은 컨볼루션 신경망으로 전송된다.

(3) 컨볼루션 신경망의 영상 크기는 227x277 크기로 조정된다.

(4) 이러한 크기 조정된 입력 영상은 집합적으로 제1 컨볼루션 계층으로 전송된 다음 극단적으로 변형된 특징 후보를 선택할 수 있는 제1 최대 풀링 계층에 전달된다.

(5) 제1 컨볼루션 계층이 에지나 화이트 영역을 감지할 수 있는 경우에 다른 제2 컨볼루션 계층의 추가는 더 날카로운 에지를 통해 보행자 특징을 감지할 가능성을 높인다.

(6) 여기에서는 불필요한 복잡성을 줄이기 위해 최대 풀링을 사용했다.

(7) 이제 완전 연결 계층을 사용하여 보행자 탐지를 완료한다.

(8) 다음으로, 발견된 보행자 구역을 분리한 후 표시한다.

상기 (1)~(8)은 보행자 탐지부(100)에서 보행자 탐지 과정(S100)을 수행하기 위해 실시된다.

(9) 마크 영역이 더 잘려서 케스케이딩으로 통과하여 얼굴을 찾는다.

여기에서 상기 (9)는 얼굴 탐지부(200)에서 얼굴 탐지 과정(S200)을 수행하기 위해 실시된다.

(10) 초과 피팅 문제는 최대 풀링 계층을 추가하거나 모델에 추가 학습을 추가하여 줄일 수 있다.

현실에 가까운 훨씬 좋은 결과를 제공하기 위해 입력 영상을 통해 어떤 사람의 얼굴을 탐지한다. 사용자로부터 찍은 사진을 테스트한 다음 탐지된 보행자의 자른 입력 영상을 통해 얼굴을 탐지한다. 이 영상은 더 정규화된다.

정규화에는 3 가지 기능이 있다. 조명, 크기 및 직선의 3 가지 기능 중에서 정규화에는 얼굴, 감정, 나이, 식물 잎병 검출 등의 경우 이미지 처리에서 얼굴 조명이 더 중요한 단계이다.

평가 지표는 다음과 같습니다.

정확도 (p), 리콜 (r), f_측정(f_measure)(F1) 및 정확도(a)를 정의하는 데 사용된 예측 결과는 다음과 같다.

T⁺=True Positive (보행자 이미지가 보행자 이미지로 예측 됨)

T^-=True Negative (보행자가 아닌 이미지가 보행자가 아닌 이미지로 예측됨)

F⁺= False Positive(보행자가 아닌 보행자의 이미지가 보행자의 이미지로 예측 됨)

F^-= False Negative (보행자가 아닌 이미지로 예상되는 보행자 이미지)

정확도는 검색된 인스턴스의 관련 인스턴스를 분수로 나타낸다. 반면, 리콜은 전체 인스턴스 집합의 관련 인스턴스를 나타낸다. 정확도와 리콜 공식은 다음과 같다.

(수학식 1)

(수학식 2)

F_measure는 F 점수라고도 한다. F_measure는 수학식 3과 같이 가중치를 부여할 때 정확도 및 회수율을 측정하는 데 사용된다. 다음 공식을 사용하여 계산된다.

(수학식 3)

(수학식 4)

컨벌루션 신경망은 두 가지 레이어 변형을 사용한다. 비선형 자극 기능으로 구축된 컨벌루션 층의 한 유형과 비선형 부 샘플링 메커니즘이 있는 두 번째 층이다.

필요한 물체 감지의 성격에 따라 모델을 구축할 때 이러한 레이어를 더 혼합 할 수 있다. 또한, 입력 크기의 압착이 달성된다. 이제 수학식 5에서 수학적 형식의 컨볼루션 신경망(CNN)에 대한 공식 정의를 살펴 보겠다.

(수학식 5)

여기에서, i⁽⁰⁾ = i가 입력이고,

은 가중치 등의 길쌈 매개 변수이며, ^。기호는 구성을 나타내는 데 사용된다(자세한 내용은 [3] 참조).

모델의 평가를 위해 CNN 기반 교육은 Caltech Pedestrian Benchmark 데이터 세트를 사용하여 수행된다. Caltech-Train은 60K 음수 및 4K 양성 샘플 이미지를 사용하여 모델을 5 회 반복하여 교육한다.

표 1에서 1210 분기에 대해 교육된 각 반복은 평균 오류율과 평균 실패율을 보여준다.

(표 1)

결과를 통해 분명히 나타낼 수 있다. 새 반복 반복마다 오류율이 감소하고 실패율이 증가한다. 예를 들어, 반복 1에서 평균 오류율은 0.13이고 평균 누락률은 0.77이지만 반복률 2에서 평균 오류율은 0.12가 되고 평균 누락률은 0.835에 도달한다. 반복 3, 4 및 5 평균 오류율은 0.119, 0.113 및 0.111이 되는 반면, 평균 오류율은 0.837, 0.843 및 0.830이 된다.

도 4는 각각 파란색과 주황색을 사용하여 오류율과 실패율의 전체 변이를 나타낸다.

오류율은 80 ~ 90 % 사이이며, 훈련 반복마다 정확도가 향상되는 반면 오류는 0.1로 감소한다.

제안 CNN의 교육 단계가 모델에 이미지를 공급하여 테스트 단계가 된다. 보행자 감지를 위한 특징 추출 기능에 대한 결과 레이어 활성화를 테스트한다.

테스트는 원본 이미지의 활성화 영역을 강조 표시하여 테스트를 시작한다. 초기 레이어는 단순히 색상과 가장자리를 찾는 것을 지원한다. 또한, 더 깊은 레이어는 보행자의 어깨, 머리 및 다리와 같은 특징을 추출한다. 이러한 특징 식별은 교육 단계를 통해 파생 된 네트워크의 학습을 보여줍니다. 컨벌루션 레이어 1은 각 채널이 8x12 눈금의 96 이미지를 사용하여 각 특징 활성화를 보여주는 몽타주 형태로 나타나며 각 채널은 레이어에서 별도의 이미지로 표시된다.

교육을 받은 모델에서 Caltech 테스트를 사용하면 결과가 0.4841에 가까워 합리적인 결과를 얻을 수 있다. 도 5에서 미스 비율은 이미지당 오 탐지수의 증가와 함께 감소합니다.

이제 더 나은 활성화가 있는 보다 흥미롭고 강력한 채널을 살펴 보겠다. 결과 이미지에서 몽타주 이미지의 가장 활성화된 채널은 다른 몇 가지 채널처럼 자세한 기능을 나타낼 수 없다. 머리와 다리와 같은 특징을 활성화할 때 활성화될 수 있는 채널은 거의 없다. 도 6과 같이 활성화를 확인하기 위해 3과 5와 같은 채널을 추가로 검사한다.

대부분의 복잡한 컨볼루션에서는 정류된 선형 유닛(ReLU) 때문에 긍정적인 활성화 만 제공된다. 다음으로 도 7에서 처럼 얼굴 인식까지와 같이 원본 이미지로 결과 활성을 검사한다.

표 2의 결과는 훈련된 모델이 보행자에게 최대 90%의 정확도를 예측할 수 있으므로 유망한 결과를 보여준다. 반면에 테스트 케이스는 60 %에 가까운 결과를 제공한다. 이것은 거짓 긍정 예측이 훈련된 모델을 통해 상당히 낮기 때문이다.

(표 2)

얼굴 및 보행자 감지용 계단식 연결과 CNN을 결합하여 감시 기능을 크게 향상시킨다. CNN은 정확도를 추가로 향상시키기 위해 데이터 집합 또는 신경망 모델에서 향후 수정에 대한 유망한 특징을 가지고 있다.

보행자 및 감시 대상자인 얼굴 추출 및 물체 감지에 대한 데이터가 더 많다. 실시간 감시는 훈련된 모델에서 더 빨라지지만 모델을 교육하는 것은 완전히 다른 측면이다.

GPU 형태의 하이테크 하드웨어 덕분에 지금은 큰 기능 세트를 가진 CNN 모델 교육에 필요한 계산 전력이 가능하다. 그러나 여전히 시간과 인내가 필요하다.

이후의 결과는 더 높은 정확도를 제공하며 이는 감시와 관련하여 필요한 기능이다. 본 발명의 미래에는 의미론적 태깅(tagging)과 감시의 질을 향상시키기 위해 방문자의 산업적 프로파일을 연결하는 것이 포함된다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상이 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 보행자 탐지부 200 : 얼굴 탐지부

Claims (17)

1. 입력 영상으로부터 컨볼루션 신경망을 이용하여 보행자를 탐지하는 보행자 탐지부; 및 탐지된 보행자의 얼굴을 케스케이딩을 사용하여 탐지하는 얼굴 탐지부를 포함하고,
   상기 보행자 탐지부는, 입력 영상을 크기 조정하여 크기 조정된 입력 영상을 집합적으로 제1 컨볼루션 계층으로 전송한 다음, 변형된 특징 후보를 선택할 수 있는 제1 최대 풀링 계층에 전달하되,
   상기 보행자 탐지부는, 상기 제1 컨볼류션 계층이 에지나 화이트 영역을 감지하는 경우에, 상기 보행자 탐지부는 상기 제1 최대 풀링 계층으로 전달된 입력 영상을 추가적인 컨볼루션 계층과 추가적인 최대 풀링 계층에서 순차 처리하여 더 날카로운 에지를 감지하도록 하며, 이후 상기 보행자 탐지부는 완전 연결 계층을 사용하여 보행자 탐지를 완료하고 탐지된 보행자 구역을 분리한 후 표시하여 출력하는 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치.
2. 청구항 1항에 있어서,
   상기 보행자 탐지부에 입력되는 입력 영상은 카메라로부터 스트리밍되는 것을 특징으로 하는 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치.
3. 청구항 1항에 있어서,
   상기 보행자 탐지부에 입력되는 입력 영상은 카메라로부터 획득되어 이미 저장된 데이터 세트에서 가져오는 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 장치.
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 산업 감시의 연속 기능 최적화 장치에서 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 방법에 있어서,
    (A) 입력 영상으로부터 컨볼루션 신경망을 이용하여 보행자를 탐지하는 단계;및
    (B) 탐지된 보행자의 얼굴을 케스케이딩을 이용하여 탐지하는 단계를 포함하고,
    (A)단계에서, 입력 영상을 크기 조정하여 크기 조정된 입력 영상을 집합적으로 제1 컨볼루션 계층으로 전송한 다음 변형된 특징 후보를 선택할 수 있는 제1 최대 풀링 계층에 전달하되,
    (A)단계에서, 상기 제1 컨볼류션 계층이 에지나 화이트 영역을 감지하는 경우에, 상기 제1 최대 풀링 계층으로 전달된 입력 영상을 추가적인 컨볼루션 계층과 추가적인 최대 풀링 계층에서 순차 처리하여 더 날카로운 에지를 감지하도록 하며, 이후 완전 연결 계층을 사용하여 보행자 탐지를 완료하고 탐지된 보행자 구역을 분리한 후 표시하여 출력하는 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 방법.
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. (A) 입력 영상으로부터 컨볼루션 신경망을 이용하여 보행자를 탐지하는 기능;및
    (B) 탐지된 보행자의 얼굴을 케스케이딩을 이용하여 탐지하는 기능을 포함하고,
    (A)기능에서, 입력 영상을 크기 조정하여 크기 조정된 입력 영상을 집합적으로 제1 컨볼루션 계층으로 전송한 다음 변형된 특징 후보를 선택할 수 있는 제1 최대 풀링 계층에 전달하되,
    (A)기능에서, 상기 제1 컨볼류션 계층이 에지나 화이트 영역을 감지하는 경우에, 상기 제1 최대 풀링 계층으로 전달된 입력 영상을 추가적인 컨볼루션 계층과 추가적인 최대 풀링 계층에서 순차 처리하여 더 날카로운 에지를 감지하도록 하며, 이후 완전 연결 계층을 사용하여 보행자 탐지를 완료하고 탐지된 보행자 구역을 분리한 후 표시하여 출력하는 사물 인터넷의 빅 데이터를 이용한 산업 감시의 연속 기능 최적화 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images