KR20180119407A

KR20180119407A - 이미지 캡처를 이용한 통합 모니터링 시스템 및 방법

Info

Publication number: KR20180119407A
Application number: KR1020170053148A
Authority: KR
Inventors: 진병진; 임근석
Original assignee: (주)온테스트
Priority date: 2017-04-25
Filing date: 2017-04-25
Publication date: 2018-11-02
Also published as: WO2018199630A1; KR101950335B1

Abstract

본 발명은 이미지 캡처를 이용한 통합 모니터링 시스템 및 방법에 관한 것으로서, 본 발명의 실시 예에 따른 통합 모니터링 시스템은, 캡처 대상 장비로부터 획득된 장비 데이터에서 문자 데이터를 판독하고, 상기 판독된 문자 데이터와 사용자 설정 명령에 따라 모니터링 항목을 설정하고, 상기 설정된 모니터링 항목에 대응되는 모니터링 데이터를 전송하는 캡처 장치; 상기 캡처 장치에서 판독된 문자 데이터를 수신하여 사용자에게 표시하고, 상기 사용자에 의해 상기 캡처 대상 장비에 대한 모니터링 항목이 결정된 사용자 설정 명령을 입력받아 상기 캡처 장치로 전송하는 사용자 단말; 및 상기 캡처 장치로부터 전송되는 모니터링 데이터를 수집하고 상기 수집된 모니터링 데이터를 관리하는 통합 모니터링 서버;를 포함한다.

Description

이미지 캡처를 이용한 통합 모니터링 시스템 및 방법{Integrated monitoring system and method using image capture}

본 발명은 이미지 캡처를 이용한 통합 모니터링 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 캡처 대상 장비의 장비 데이터에서 분배된 영상 데이터로부터 문자 데이터를 판독하고, 판독된 문자 데이터와 사용자 설정 명령에 따라 모니터링 항목을 용이하게 설정할 수 있는, 이미지 캡처를 이용한 통합 모니터링 시스템 및 방법에 관한 것이다.

연구 기관의 연구 성과는 연구 결과에 대한 정확한 분석을 전제조건으로 하며, 각각의 상황에 일치하는 분석기기 또는 분석 장비를 사용하여야 한다. 연구 기관 또는 대학 연구 기관 등에서 특정의 물질이나 시료 등을 분석하거나, 또는 개발된 전기 장치 또는 모듈에 대해 실험 데이터를 구하기 위한 다양한 종류의 분석기기 또는 분석 장비를 필요로 하고 있다.

현대는 기술 통합시대이기 때문에, 각각의 기술은 하나의 기술요소로 이루어지는 것이 아니라 여러 가지 기술 요소로 이루어진다. 예를 들어, IT 분야에서는 카메라와 휴대폰이 통합되고, 여기에 MP3 기술 등 여러 가지 기술이 통합되고 있다. 또한, 정보기술 분야에 바이오기술 분야가 접목되고 있어 기술의 경계를 구분하는 것이 용이하지 않게 되고 있다. 따라서 현재의 연구 방향은 이러한 컨버전스 또는 기술 통합화에 따라 진행되고 있다.

이러한 연구 진행방향에 따라, 이러한 연구에 사용되는 분석 장비 또는 분석기기 역시 여러 조건을 만족시켜야 하기 때문에, 복잡하고 다양해지고 있으며 고가화되고 있다. 따라서 모든 분석 장비 또는 분석기기를 하나의 실험실에서 모두 구비하고 독점적으로 사용하는 것은 비효율적이다.

이러한 이유로 해서 많은 연구 기관 또는 대학 연구소 들은 다수의 다양한 분석 장비 또는 분석기기 들을 공유하여 여러 연구 기관 또는 연구자가 사용하도록 하고 있다. 따라서 연구자는 부담 없이 연구 목적에 적합한 다양한 분석 장비 또는 분석기기 들을 사용할 수 있어 연구의 성과를 극대화할 수 있었다.

종래에 연구자(사용 의뢰자)들이 공용으로 사용하는 분석 장비 또는 분석기기 들을 사용하기 위해서는 해당하는 분석기기의 상태 또는 사용가능 여부 등을 방문 또는 전화 등을 통하여 각각의 분석기기 관리자에게 확인하여야 했다. 또한, 연구자는 분석기기 사용 요금 역시 별도로 관리하여 사용즉시 과금하거나, 수작업으로 작성된 일지를 기초로 별도로 계산을 하여야 했다.

이와 같이 개별적인 분석기기 들을 관리하는 종래의 방법은 분석기기 관리자에게 분석기기 사용 관리에 있어서 과도한 시간을 소모하게 하였다. 또한, 사용 의뢰자 입장에 있어서, 분석기기 사용 예약 및 요금 납부가 원활하지 못하여, 분석기기 관리자 및 분석기기 사용 의뢰자(연구자) 모두에게 불편을 초래하였다. 전체적으로 관리시간, 관리 비용 등에 있어서 비효율적이었다.

또한, 종래의 분석기기 관리 방법에서는 분석기기를 개별적으로 관리하기 때문에 전체 분석기기에 대한 사용 현황, 사용 빈도, 분석 시간, 수수료, 사용 의뢰자 등 전체적인 관리를 위한 데이터를 수집하거나, 이러한 수집된 데이터로부터 통계작성 하는데 많은 시간이 소요되었다.

한편, 네트워크 관련 기술이 발전하면서 사용자들은 사용자들 자신만의 분석기기 데이터 관리뿐만 아니라, 자신의 분석기기 데이터를 타인의 분석기기 데이터와 비교한다. 사용자들이 이러한 비교결과를 자신의 분석기기 관리에 이용하고자 하는 니즈(needs)가 늘어나고 있다. 즉, 산발적으로 위치한 분석기기 측정 장치로부터 얻은 데이터를 한 곳에서 모아서 관리하면서 자신과 타인과의 비교지표를 제공함으로써, 사용자가 비교지표를 이용하여 자신의 분석기기을 관리하는데 이용할 수 있도록 도움을 줄 수 있다. 그러면, 사용자들은 단순히 분석기기을 측정하고, 측정결과를 확인하는 것뿐만 아니라, 측정된 분석기기 데이터를 보다 효율적으로 이용할 수 있게 된다. 이를 위해서 필요한 것이 매 측정시의 측정 결과 데이터를 관리서버로 업로드 하는 것이다.

종래기술에서는 분석기기를 측정한 후, 사용자가 직접 PC나 스마트폰으로 측정 데이터를 입력한다. 또는, 사용자가 분석기기 측정 장비와 PC 또는 스마트폰 간에 블루투스와 같은 근거리 무선통신을 이용하여 측정 데이터를 업로드를 하는 것이 가장 보편적인 방법이었다.

그러나 사용자가 10개에서 15개의 숫자들로 표시되는 분석기기 측정 결과를 직접 입력하는 것은 매우 번거로울 수 있다. 또한, 사용자가 입력 시 잘못된 입력이 발생할 가능성도 있어, 입력의 수정이나 잘못된 측정 데이터가 입력될 가능성이 존재한다. 또한, 블루투스와 같은 근거리 무선통신으로 측정 데이터를 업로드하기 위해서는 페어링과 같이 복잡한 과정이 필수적이다. 페어링된 장치가 아니면 같은 종류의 장치라도 연동이 불가능한 문제점이 있다.

한편, 실험실(Laboratory) 및 공장(Factory) 내 다양한 장비들에 대한 통합 운용 및 효율적인 관리의 요구사항은 지속적으로 증가하는 추세이다. 또한, 실험실 및 공장 내 다양한 장비들에 대한 원격 모니터링 및 운용관리에 대한 요구사항도 급격히 증대되는 추세이다.

그러나 실험실 및 공장 내 장비의 상이한 환경/규격/데이터 방식의 혼재로 인해 시스템 및 정보 통합(System & Information Integration)이 매우 어렵고 복잡해지는 상황이 지속되고 있다. 이를 위한 솔루션은 특정 장비 또는 운용/공정 환경에 맞춤형으로 제작된다. 하지만, 장비 추가, 사양, 운용, 또는 공정 환경이 바뀔 경우, 솔루션의 알고리즘이 수정되어야 하고, 복잡한 커스터마이징이 필요하게 된다.

종래의 솔루션은 오류율이 높은 자체 엔진에 의존하거나, 영상 카메라를 통한 수집으로 이미지 인식 및 분석에 대한 정확도가 높지 않아 모니터링 오류의 가능성이 다수 존재한다.

등록특허공보 제10-0354524호(2002년09월14일 등록)

본 발명의 실시 예들은 캡처 대상 장비의 장비 데이터에서 분배된 영상 데이터로부터 문자 데이터를 판독하고, 판독된 문자 데이터와 사용자 설정 명령에 따라 모니터링 항목을 용이하게 설정할 수 있는, 이미지 캡처를 이용한 통합 모니터링 시스템 및 방법을 제공하고자 한다.

본 발명의 실시 예들은 이미지 수집 방식을 주로 A/V 라인에서 직접 캡처하는 방식으로 오류율을 최소화할 수 있는, 이미지 캡처를 이용한 통합 모니터링 시스템 및 방법을 제공하고자 한다.

본 발명의 실시 예들은 하드웨어 마스크 또는 소프트웨어 마스크를 이용하여 이미지 데이터에서 관심 영역을 지정하고, 그 지정된 관심 영역을 기반으로 이미지 데이터를 감소시킴으로써, 감소된 이미지 데이터에서 문자 데이터를 신속하게 판독할 수 있는, 이미지 캡처를 이용한 통합 모니터링 시스템 및 방법을 제공하고자 한다.

본 발명의 실시 예들은 이미지 데이터의 해상도를 감소시키고, 해상도가 감소된 이미지 데이터에서 문자 데이터를 신속하게 판독할 수 있는, 이미지 캡처를 이용한 통합 모니터링 시스템 및 방법을 제공하고자 한다.

본 발명의 제1 측면에 따르면, 캡처 대상 장비로부터 획득된 장비 데이터에서 문자 데이터를 판독하고, 상기 판독된 문자 데이터와 사용자 설정 명령에 따라 모니터링 항목을 설정하고, 상기 설정된 모니터링 항목에 대응되는 모니터링 데이터를 전송하는 캡처 장치; 상기 캡처 장치에서 판독된 문자 데이터를 수신하여 사용자에게 표시하고, 상기 사용자에 의해 상기 캡처 대상 장비에 대한 모니터링 항목이 결정된 사용자 설정 명령을 입력받아 상기 캡처 장치로 전송하는 사용자 단말; 및 상기 캡처 장치로부터 전송되는 모니터링 데이터를 수집하고 상기 수집된 모니터링 데이터를 관리하는 통합 모니터링 서버;를 포함하는 이미지 캡처를 이용한 통합 모니터링 시스템이 제공될 수 있다.

상기 캡처 장치는, 상기 캡처 대상 장비로부터 획득된 장비 데이터에서 텍스트 데이터, 이미지 데이터 또는 영상 데이터를 추출하고 상기 추출된 영상 데이터를 서로 다른 경로로 분배하는 데이터 분배부; 상기 분배된 영상 데이터를 캡처하여 이미지 데이터를 추출하는 이미지 캡처부; 상기 추출된 이미지 데이터에서 문자 데이터를 판독하는 문자 판독부; 상기 판독된 문자 데이터에 대응되는 모니터링 항목을 사용자 설정 명령에 따라 설정하고 상기 설정된 모니터링 항목을 관리하는 데이터 관리부; 및 상기 모니터링 항목에 대응되는 모니터링 데이터를 전송하는 데이터 전송부;를 포함할 수 있다.

상기 문자 판독부는, 하드웨어 마스크 또는 소프트웨어 마스크를 이용하여 상기 추출된 이미지 데이터에서 관심 영역을 지정하고, 상기 지정된 관심 영역을 기반으로 상기 이미지 데이터를 감소시키고, 상기 감소된 이미지 데이터에서 문자 데이터를 판독할 수 있다.

상기 문자 판독부는, 상기 추출된 이미지 데이터의 해상도를 감소시키고, 상기 해상도가 감소된 이미지 데이터에서 문자 데이터를 판독할 수 있다.

상기 시스템은, 상기 판독된 문자 데이터를 상기 사용자 단말에 전송하여 상기 사용자 단말로부터 사용자의 문자 판독 결과를 수신하고, 상기 수신된 문자 판독 결과가 반영된 머신 러닝을 기반하여 상기 판독된 문자 데이터를 적응적으로 조정하는 머신 러닝부를 더 포함할 수 있다.

상기 사용자 단말은, 상기 캡처 장치와 근거리 통신을 통해 접속하여 캡처 대상 장비를 인식하는 접속 및 인증부; 상기 캡처 장치에서 판독된 문자 데이터를 수신하여 사용자에게 표시하고, 상기 사용자의 선택에 따라 상기 캡처 대상 장비에 대한 모니터링 항목을 결정하고, 상기 결정된 모니터링 항목이 포함된 사용자 설정 명령을 생성하여 상기 캡처 장치로 전송하는 모니터링 설정부; 및 상기 사용자 설정 명령에 따라 설정된 모니터링 항목에 대해 상기 캡처 장비에서 판독된 문자 데이터를 수신하여 실험실별 또는 장비별 가동 여부 및 동작 상태를 실시간으로 모니터링하는 모니터링부;를 포함할 수 있다.

상기 사용자 단말은, 상기 캡처 장치에서 캡처된 이미지 데이터 및 상기 캡처 장치에서 판독된 문자 데이터를 수신하고, 상기 사용자에 의해 비교 및 확인된 학습 결과를 상기 캡처 장치 및 상기 통합 모니터링 서버로 피드백하는 학습부;를 더 포함할 수 있다.

상기 통합 모니터링 서버는, 상기 캡처 장치로부터 모니터링 데이터를 수집하여 빅데이터 형식으로 관리하는 빅데이터 수집 및 관리부; 복수의 캡처 대상 장비에 대한 장비 스케줄, 장비 이용율 및 장비 고장율 중 적어도 하나를 관리하는 장비 관리부; 장비별 장애 또는 알람에 대한 통계 데이터를 생성하고, 상기 생성된 통계 데이터를 분석하여 장비별 트렌드를 분석하는 통계 및 트렌트 분석부; 및 상기 캡처 장비가 설치된 실험실별 또는 장비별 가동 여부 및 동작 상태를 모니터링하고, 모니터링 결과에 따라 알람 또는 이벤트를 발생시키는 통합 모니터링부;를 포함할 수 있다.

한편, 본 발명의 제2 측면에 따르면, 통합 모니터링 시스템에 의해 수행되는 통합 모니터링 방법에 있어서, 캡처 장치가 캡처 대상 장비로부터 획득된 장비 데이터에서 문자 데이터를 판독하는 단계; 사용자 단말이 상기 캡처 장치에서 판독된 문자 데이터를 수신하여 사용자에게 표시하는 단계; 상기 사용자 단말이 상기 사용자에 의해 상기 캡처 대상 장비에 대한 모니터링 항목이 결정된 사용자 설정 명령을 입력받아 상기 캡처 장치로 전송하는 단계; 상기 판독된 문자 데이터와 사용자 설정 명령에 따라 모니터링 항목을 설정하고, 상기 설정된 모니터링 항목에 대응되는 모니터링 데이터를 전송하는 단계; 및 통합 모니터링 서버가 상기 캡처 장치로부터 전송되는 모니터링 데이터를 수집하고 상기 수집된 모니터링 데이터를 관리하는 단계;를 포함하는 이미지 캡처를 이용한 통합 모니터링 방법이 제공될 수 있다.

상기 문자 데이터를 판독하는 단계는, 상기 캡처 장치가 상기 캡처 대상 장비로부터 획득된 장비 데이터에서 텍스트 데이터, 이미지 데이터 또는 영상 데이터를 추출하고 상기 추출된 영상 데이터를 서로 다른 경로로 분배하는 데이터 분배 단계; 상기 캡처 장치가 상기 분배된 영상 데이터를 캡처하여 이미지 데이터를 추출하는 이미지 추출 단계; 및 상기 캡처 장치가 상기 추출된 이미지 데이터에서 문자 데이터를 판독하는 문자 판독 단계;를 포함할 수 있다.

상기 문자 판독 단계는, 하드웨어 마스크 또는 소프트웨어 마스크를 이용하여 상기 추출된 이미지 데이터에서 관심 영역을 지정하고, 상기 지정된 관심 영역을 기반으로 상기 이미지 데이터를 감소시키고, 상기 감소된 이미지 데이터에서 문자 데이터를 판독할 수 있다.

상기 문자 판독 단계는, 상기 추출된 이미지 데이터의 해상도를 감소시키고, 상기 해상도가 감소된 이미지 데이터에서 문자 데이터를 판독할 수 있다.

상기 방법은, 상기 캡처 장치가 상기 판독된 문자 데이터를 상기 사용자 단말에 전송하여 상기 사용자 단말로부터 사용자의 문자 판독 결과를 수신하고, 상기 수신된 문자 판독 결과가 반영된 머신 러닝을 기반하여 상기 판독된 문자 데이터를 적응적으로 조정하는 머신 러닝 단계;를 더 포함할 수 있다.

상기 방법은, 상기 사용자 단말이 상기 캡처 장치에서 캡처된 이미지 데이터 및 상기 캡처 장치에서 판독된 문자 데이터를 수신하고, 상기 사용자에 의해 비교 및 확인된 학습 결과를 상기 캡처 장치 및 상기 통합 모니터링 서버로 피드백하는 학습 단계;를 더 포함할 수 있다.

본 발명의 실시 예들은 캡처 대상 장비의 장비 데이터에서 분배된 영상 데이터로부터 문자 데이터를 판독하고, 판독된 문자 데이터와 사용자 설정 명령에 따라 모니터링 항목을 용이하게 설정할 수 있다.

본 발명의 실시 예들은 이미지 수집 방식을 주로 A/V 라인에서 직접 캡처하는 방식으로 오류율을 최소화할 수 있다.

본 발명의 실시 예들은 하드웨어 마스크 또는 소프트웨어 마스크를 이용하여 이미지 데이터에서 관심 영역을 지정하고, 그 지정된 관심 영역을 기반으로 이미지 데이터를 감소시킴으로써, 감소된 이미지 데이터에서 문자 데이터를 신속하게 판독할 수 있다.

본 발명의 실시 예들은 이미지 데이터의 해상도를 감소시키고, 해상도가 감소된 이미지 데이터에서 문자 데이터를 신속하게 판독할 수 있다.

도 1은 본 발명의 실시 예에 따른 이미지 캡처를 이용한 통합 모니터링 시스템의 구성도이다.
도 2는 본 발명의 실시 예에 따른 통합 모니터링 시스템에서의 캡처 장치의 구성도이다.
도 3은 본 발명의 실시 예에 따른 통합 모니터링 시스템에서의 사용자 단말의 구성도이다.
도 4는 본 발명의 실시 예에 따른 통합 모니터링 시스템에서의 통합 모니터링 서버의 구성도이다.
도 5는 본 발명의 실시 예에 따른 통합 모니터링 시스템에서의 문자 판독 학습 과정에 대한 설명도이다.
도 6은 본 발명의 실시 예에 따른 캡처 장치 및 사용자 단말에 의한 OCR 셋업 방법에 대한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 사용자 단말에 의한 이동 모니터링 방법에 대한 흐름도이다.
도 8은 본 발명의 실시 예에 따른 이미지 캡처를 이용한 통합 모니터링 방법에 대한 흐름도이다.
도 9는 본 발명의 다른 실시 예에 따른 이미지 캡처를 이용한 통합 모니터링 방법에 대한 흐름도이다.

이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 발명의 실시 예를 설명하면서, 본 발명이 속하는 기술 분야에 익히 알려졌고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시 예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.

도 1은 본 발명의 실시 예에 따른 이미지 캡처를 이용한 통합 모니터링 시스템의 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 이미지 캡처를 이용한 통합 모니터링 시스템(100)은 캡처 장치(110), 사용자 단말(120) 및 통합 모니터링 서버(130)를 포함한다.

이하, 도 1의 이미지 캡처를 이용한 통합 모니터링 시스템(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.

캡처 장치(110)는 캡처 대상 장비(101)로부터 획득된 장비 데이터에서 문자 데이터를 판독하고, 그 판독된 문자 데이터와 사용자 설정 명령에 따라 모니터링 항목을 설정한다. 캡처 장치(110)는 설정된 모니터링 항목에 대응되는 모니터링 데이터를 통합 모니터링 서버(130)에 전송한다.

여기서, 캡처 장치(110)는 사용자 단말(120)과 무선통신을 통해 연결하고, 그 연결된 사용자 단말(120)과 연동하여 판독된 문자 데이터를 사용자 단말(120)에 전송한다. 캡처 장치(110)는 사용자 단말(120)로부터 캡처 대상 장비(101)에 대한 모니터링 항목이 결정된 사용자 설정 명령을 수신하여 초기 설정 과정을 수행한다.

사용자 단말(120)은 캡처 장치(110)에서 판독된 문자 데이터를 수신하여 사용자에게 표시한다. 그리고 사용자 단말(120)은 사용자에 의해 캡처 대상 장비(101)에 대한 모니터링 항목이 결정된 사용자 설정 명령을 입력받아 캡처 장치(110)로 전송한다.

통합 모니터링 서버(130)는 캡처 장치(110)로부터 전송되는 모니터링 데이터를 수집하고 그 수집된 모니터링 데이터를 관리한다.

도 2는 본 발명의 실시 예에 따른 통합 모니터링 시스템에서의 캡처 장치의 구성도이다.

도 2에 도시된 바와 같이, 본 발명의 실시 예에 따른 캡처 장치(110)는 데이터 분배부(111), 데이터 변환부(112), 이미지 캡처부(113), 문자 판독부(114), 데이터 관리부(115) 및 데이터 전송부(116)를 포함한다. 여기서, 캡처 장치(110)는 머신 러닝부를 더 포함할 수 있다.

이하, 도 2의 통합 모니터링 시스템(100)에서의 캡처 장치(110)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.

데이터 분배부(111)는 캡처 대상 장비(101)로부터 획득된 장비 데이터에서 텍스트 데이터, 이미지 데이터 또는 영상 데이터를 추출한다. 그리고 데이터 분배부(111)는 그 추출된 영상 데이터를 서로 다른 경로로 분배한다. 여기서, 데이터 변환부(112)는 데이터 분배부(111)에서 분배된 텍스트 데이터, 이미지 데이터 또는 영상 데이터의 데이터 형식을 변환시킬 수 있다.

이미지 캡처부(113)는 분배된 영상 데이터를 캡처하여 이미지 데이터를 추출한다.

문자 판독부(114)는 이미지 캡처부(113)에서 추출된 이미지 데이터에서 문자 데이터를 판독한다. 여기서, 문자 판독부(114)는 구비된 광학문자인식(Optical character recognition, OCR) 모듈을 통해서 문자를 판독할 수 있다.

문자 판독 과정은 관심 영역 기반으로 문자를 판독하는 일례와 해상도를 감소시켜 문자를 판독하는 다른 예로 구분될 수 있다.

우선, 관심 영역 기반으로 문자를 판독하는 일례를 살펴보기로 한다. 문자 판독부(114)는 하드웨어 마스크 또는 소프트웨어 마스크를 이용하여 이미지 캡처부(113)에서 추출된 이미지 데이터에서 관심 영역을 지정한다. 그리고 문자 판독부(114)는 그 지정된 관심 영역을 기반으로 이미지 데이터를 감소킬 수 있다. 문자 판독부(114)는 감소된 이미지 데이터에서 문자 데이터를 판독할 수 있다.

한편, 해상도를 감소시켜 문자를 판독하는 다른 예를 살펴보기로 한다. 문자 판독부(114)는, 추출된 이미지 데이터의 해상도를 감소킨다. 그리고 문자 판독부(114)는 해상도가 감소된 이미지 데이터에서 문자 데이터를 판독할 수 있다.

데이터 관리부(115)는 문자 판독부(114)에서 판독된 문자 데이터에 대응되는 모니터링 항목을 사용자 설정 명령에 따라 설정한다. 또한, 데이터 관리부(115)는 그 설정된 모니터링 항목을 관리한다.

데이터 전송부(116)는 모니터링 항목에 대응되는 모니터링 데이터를 통합 모니터링 서버(130)에 전송한다.

한편, 머신 러닝부는 문자 판독부(114)에서 판독된 문자 데이터를 사용자 단말(120)에 전송하여 사용자 단말(120)로부터 사용자의 문자 판독 결과를 수신한다. 그리고 머신 러닝부는 수신된 문자 판독 결과 머신 러닝 알고리즘에 반영하고, 그 반영된 머신 러닝 결과를 기반하여 판독된 문자 데이터를 적응적으로 조정할 수 있다.

한편, 캡처 장비는 캡처 장비 모니터를 더 포함할 수 있다. 캡처 장비 모니터는 데이터 분배부(111)에서 분배된 영상 데이터를 디스플레이한다.

도 3은 본 발명의 실시 예에 따른 통합 모니터링 시스템에서의 사용자 단말의 구성도이다.

도 3에 도시된 바와 같이, 본 발명의 실시 예에 따른 사용자 단말(120)은 접속 및 인증부(121), 모니터링 설정부(122), 모니터링부(123)를 포함한다. 여기서, 사용자 단말(120)은 학습부를 더 포함할 수 있다.

이하, 도 3의 통합 모니터링 시스템(100)에서의 사용자 단말(120)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.

접속 및 인증부(121)는 캡처 장치(110)와 근거리 통신을 통해 접속하여 캡처 대상 장비(101)를 인식한다.

모니터링 설정부(122)는 캡처 장치(110)에서 판독된 문자 데이터를 수신하여 사용자에게 표시한다. 모니터링 설정부(122)는 사용자의 선택에 따라 캡처 대상 장비(101)에 대한 모니터링 항목을 결정한다. 그리고 모니터링 설정부(122)는 그 결정된 모니터링 항목이 포함된 사용자 설정 명령을 생성하여 상기 캡처 장치(110)로 전송한다.

모니터링부(123)는 사용자 설정 명령에 따라 설정된 모니터링 항목에 대해 캡처 장비에서 판독된 문자 데이터를 수신하여 실험실별 또는 장비별 가동 여부 및 동작 상태를 실시간으로 모니터링한다.

한편, 문자판독 학습부(124)는, 캡처 장치(110)에서 캡처된 이미지 데이터 및 캡처 장치(110)에서 판독된 문자 데이터를 수신한다. 그리고 문자판독 학습부(124)는, 사용자에 의해 비교 및 확인된 학습 결과를 캡처 장치(110) 및 통합 모니터링 서버(130)로 피드백한다.

도 4는 본 발명의 실시 예에 따른 통합 모니터링 시스템에서의 통합 모니터링 서버의 구성도이다.

도 4에 도시된 바와 같이, 본 발명의 실시 예에 따른 통합 모니터링 서버(130)는 빅데이터 수집 및 관리부(131), 장비 관리부(132), 통계 분석부(133) 및 통합 모니터링부(134)(123)를 포함한다.

이하, 도 4의 통합 모니터링 시스템(100)에서의 통합 모니터링 서버(130)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.

빅데이터 수집 및 관리부(131)는 캡처 장치(110)로부터 모니터링 데이터를 수집하여 빅데이터 형식으로 관리한다.

장비 관리부(132)는 복수의 캡처 대상 장비(101)에 대한 장비 스케줄, 장비 이용율 및 장비 고장율 중 적어도 하나를 관리한다.

통계 분석부(133)는 장비별 장애 또는 알람에 대한 통계 데이터를 생성하고, 상기 생성된 통계 데이터를 분석하여 장비별 트렌드를 분석한다.

통합 모니터링부(134)(123)는 캡처 장비가 설치된 실험실별 또는 장비별 가동 여부 및 동작 상태를 모니터링하고, 모니터링 결과에 따라 알람 또는 이벤트를 발생시킨다.

도 5는 본 발명의 실시 예에 따른 통합 모니터링 시스템에서의 문자 판독 학습 과정에 대한 설명도이다.

캡처 장치(110)는 캡처 장치(110)에서의 학습 OCR(Training OCR) 과정을 수행한다. 여기서, 캡처 장치(110)는 캡처 대상 장비(101)의 화면 전환을 감지한다. 캡처 장치(110)는 화면 전환시 기존 데이터를 보상할 수 있다. 또한, 캡처 장치(110)는 통합 모니터링 서버(130)와 통신하고, 문자판독 학습을 업그레이드할 수 있다.

사용자 단말(120)은 사용자 단말(120)에서의 학습 OCR을 위한 학습 OCR 애플리케이션을 구동한다. 사용자 단말(120)은 학습 OCR 애플리케이션을 통해 이미지를 캡처하고, 캡처된 이미지로부터 판독된 문자 데이터를 추출한다. 그리고 사용자 단말(120)은 사용자의 육안비교 및 확인 과정을 통해 학습 결과를 캡처 장치(110) 및 통합 모니터링 서버(130)에 전송한다. 여기서, 이러한 학습 결과를 전송하는 과정은 사용자 단말(120)에 구비된 문자 판독 엔진을 업데이트하는 경우에도 공통적으로 적용될 수 있다. 이때, 전송 방식은 온-디멘드(On-Demand) 또는 온라인(On-Line) 방식으로 수행될 수 있다.

통합 모니터링 서버(130)는 통합 모니터링 서버(130)에서의 학습 OCR 과정을 수행한다. 통합 모니터링 서버(130)는 캡처 장치(110)와 연동하여 캡처 대상 장비(101)의 화면 전환을 감지할 수 있다. 그리고 통합 모니터링 서버(130)는 캡처 장치(110)에서의 학습 OCR을 통합하고, 이를 업그레이드시킬 수 있다.

이와 같이, 캡처 장치(110)는 우선 이미지 데이터에서 학습 OCR 텍스트를 추출하고, 그 추출된 학습 OCR 텍스트를 사용자 단말(120)에 전송한다.

그러면, 사용자 단말(120)은 학습 OCR 텍스트를 캡처 장비 모니터의 화면과 비교하여 학습 OCR 결과를 캡처 장치(110)에 피드백한다. 또한, 사용자 단말(120)은 학습 OCR 결과를 통합 모니터링 서버(130)에 전송한다.

학습 OCR 과정이 수행된 후, 캡처 장치(110)는 캡처 대상 장비(101)로부터 획득된 장비 데이터에서 문자 데이터를 판독하고, 그 판독된 문자 데이터가 포함된 측정 데이터를 통합 모니터링 서버(130)에 전송한다.

그리고 통합 모니터링 서버(130)는 측정 데이터를 수집하여 관리한다. 그리고 통합 모니터링 서버(130)는 측정 데이터와 관련된 제어 메시지를 생성하여 캡처 장치(110)에 전송한다.

한편, 통합 모니터링 서버(130)는 캡처 장치(110)에 구비된 OCR 엔진을 업데이트할 수 있다. 또한, 통합 모니터링 서버(130)는 캡처 장치(110)에 설치된 OCR을 위한 소프트웨어를 업데이트시킬 수 있다.

도 6은 본 발명의 실시 예에 따른 캡처 장치 및 사용자 단말에 의한 OCR 셋업 방법에 대한 흐름도이다.

사용자 단말(120)은 통합 모니터링 서버(130)에 접속하고, 사용자 단말(120)에 대한 인증을 수행한다(S101).

사용자 단말(120)은 캡처 장치(110)를 통해 OCR 셋업을 하기 위한 캡처 대상 장비(101)를 인식한다(S102). 이때, 사용자 단말(120)은 구비된 NFC 모듈을 통해 캡처 대상 장비(101)의 NFC 태그와 통신하여 캡처 대상 장비(101)를 인식할 수 있다.

그리고 사용자 단말(120)은 캡처 대상 장비(101)와 연결되어 있는 캡처 장치(110)와 접속한다(S103). 이때, 사용자 단말(120)은 구비된 NFC 모듈을 통해 캡처 장치(110)에 접속할 수 있다.

이후, 사용자 단말(120)은 캡처 장치(110)와 연동하여 캡처 대상 장비(101)에 대한 OCR 설정 과정을 수행한다(S104). 여기서, 사용자 단말(120)은 캡처 장치(110)와 연동하여 캡처 대상 장비(101)의 주화면을 확인하고, 주화면에서 모니터링 항목을 선택한다. 또한, 사용자 단말(120)은 캡처 장치(110)와 연동하여 판독된 문자 데이터를 전송하기 위한 전송 속도를 설정한다. 사용자 단말(120)은 OCR 설정 과정이 완료되면 캡처 장치(110)의 실행 여부를 확인한다.

그리고 사용자 단말(120)은 캡처 장치(110)와 연동하여 OCR 설정을 위한 초기 셋업 설정을 완료한다(S105).

이후, 사용자 단말(120)은 캡처 장치(110)와 연동하여 설정 완료된 설정환경을 통합 모니터링 서버(130)에 전송한다(S106).

도 7은 본 발명의 실시 예에 따른 사용자 단말에 의한 이동 모니터링 방법에 대한 흐름도이다.

사용자 단말(120)은 통합 모니터링 서버(130)에 접속하고, 사용자 단말(120)에 대한 인증을 수행한다(S201).

그리고 사용자 단말(120)은 통합 모니터링 서버(130)에서 제공하는 캡처 대상 장비(101)의 리스트 중에서 모니터링하고자 하는 캡처 대상 장비(101)를 선택한다(S202).

이후, 사용자 단말(120)은 선택된 캡처 대상 장비(101)에 대해 모니터링 설정을 수행한다(S203). 여기서, 사용자 단말(120)은 캡처 대상 장비(101)를 모니터링하기 위한 모드를 설정하고, 모니터링 항목을 선택한다. 그리고 사용자 단말(120)은 모니터링 과정이 실행되는지를 확인하고, 캡처 장치(110)로부터 수신되는 문자 데이터를 기반으로 캡처 대상 장비(101)를 모니터링한다.

도 8은 본 발명의 실시 예에 따른 이미지 캡처를 이용한 통합 모니터링 방법에 대한 흐름도이다.

캡처 장치(110)는 장비 데이터에서 텍스트 데이터, 이미지 데이터 또는 영상 데이터를 추출한다(S301).

그리고 캡처 장치(110)는 영상 데이터를 서로 다른 경로로 분배한다(S302).

이어서, 캡처 장치(110)는 영상 데이터를 캡처하여 이미지 데이터를 추출한다(S303).

그리고 캡처 장치(110)는 이미지 데이터에서 문자 데이터를 판독한다(S304).

이후, 캡처 장치(110)는 문자 데이터를 사용자 단말(120)에 전송한다(S305).

그리고 사용자 단말(120)은 캡처 장치(110)로부터 수신된 문자 데이터를 사용자에게 표시한다(S306).

사용자 단말(120)은 사용자 설정 명령을 캡처 장치(110)에 전송한다(S307).

캡처 장치(110)는 판독된 문자 데이터와 사용자 설정 명령에 따라 모니터링 항목을 설정한다(S308).

그리고 캡처 장치(110)는 통합 모니터링 서버(130)에 모니터링 데이터를 전송한다(S309).

통합 모니터링 서버(130)는 캡처 장치(110)로부터 수신된 모니터링 데이터를 수집한다(S310).

그리고 통합 모니터링 서버(130)는 모니터링 장비의 데이터 알람 및 이벤트를 사용자 단말(120)에 발생시킨다(S311).

사용자 단말(120)은 이동중에 통합 모니터링 서버(130)에서 발생된 데이터 알람 및 이벤트를 확인한다(S312).

도 9는 본 발명의 다른 실시 예에 따른 이미지 캡처를 이용한 통합 모니터링 방법에 대한 흐름도이다.

도 9에 도시된 본 발명의 다른 실시 예는 도 8의 실시 예와 달리 사용자 단말(120)이 OCR 사용자 설정 과정(S305, S306, S307)을 미리 수행한다. 즉, 도 9에 도시된 본 발명의 다른 실시 예는 영상 데이터의 전체 영역을 OCR로 처리하지 않고, 사용자 단말(120)이 미리 선택하거나 설정한 부분만 OCR 처리하고 모니터링하여 사용자 설정 명령을 미리 진행한다. 이하, 도 9에 도시된 본 발명의 다른 실시 예를 설명하기로 한다.

캡처 장치(110)는 장비 데이터에서 텍스트 데이터, 이미지 데이터 또는 영상 데이터를 추출한다(S401).

그리고 캡처 장치(110)는 영상 데이터를 서로 다른 경로로 분배한다(S402).

이어서, 캡처 장치(110)는 사용자 단말(120)이 미리 선택하거나 설정한 부분만 문자 데이터를 판독하고, 미리 판독된 문자 데이터를 사용자 단말(120)에 전송한다(S403).

그리고 사용자 단말(120)은 캡처 장치(110)에서 미리 판독되어 수신된 문자 데이터를 사용자에게 표시한다(S404).

사용자 단말(120)은 전체 영역에 대한 OCR 처리 이전에 사용자 설정 명령을 캡처 장치(110)에 전송한다(S405). 다만, 캡처 장치(110)는 상당한 CPU 퍼포먼스(Performance)를 기반으로 OCR 과정을 처리해야 한다. 실제 구현되는 시스템에서는 시스템의　부하를 줄이기 위해, OCR에 대한 사용자 설정 명령 단계(S405)는 전체 영역에 대한 이미지 데이터 추출 과정(S406) 및 문자 데이터 판독 과정(S407) 전에 미리 수행된다.

그리고 캡처 장치(110)는 영상 데이터를 캡처하여 이미지 데이터를 추출한다(S406).

그리고 캡처 장치(110)는 이미지 데이터에서 문자 데이터를 판독한다(S407).

이후, 캡처 장치(110)는 판독된 문자 데이터와 사용자 설정 명령에 따라 모니터링 항목을 설정한다(S408).

그리고 캡처 장치(110)는 통합 모니터링 서버(130)에 모니터링 데이터를 전송한다(S409).

통합 모니터링 서버(130)는 캡처 장치(110)로부터 수신된 모니터링 데이터를 수집한다(S410).

그리고 통합 모니터링 서버(130)는 모니터링 장비의 데이터 알람 및 이벤트를 사용자 단말(120)에 발생시킨다(S411).

사용자 단말(120)은 이동중에 통합 모니터링 서버(130)에서 발생된 데이터 알람 및 이벤트를 확인한다(S412).

이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 통합 모니터링 시스템
101: 캡처 대상 장비
110: 캡처 장치
111: 데이터 분배부
112: 데이터 변환부
113: 이미지 캡처부
114: 문자 판독부
115: 데이터 관리부
116: 데이터 전송부
120: 사용자 단말
121: 접속 및 인증부
122: 모니터링 설정부
123: 모니터링부
124: 문자판독 학습부
130: 통합 모니터링 서버
131: 빅데이터 수집 및 관리부
132: 장비 관리부
133: 통계 분석부
134: 통합 모니터링부

Claims

캡처 대상 장비로부터 획득된 장비 데이터에서 문자 데이터를 판독하고, 상기 판독된 문자 데이터와 사용자 설정 명령에 따라 모니터링 항목을 설정하고, 상기 설정된 모니터링 항목에 대응되는 모니터링 데이터를 전송하는 캡처 장치;
상기 캡처 장치에서 판독된 문자 데이터를 수신하여 사용자에게 표시하고, 상기 사용자에 의해 상기 캡처 대상 장비에 대한 모니터링 항목이 결정된 사용자 설정 명령을 입력받아 상기 캡처 장치로 전송하는 사용자 단말; 및
상기 캡처 장치로부터 전송되는 모니터링 데이터를 수집하고 상기 수집된 모니터링 데이터를 관리하는 통합 모니터링 서버;
를 포함하는 이미지 캡처를 이용한 통합 모니터링 시스템.
제1항에 있어서,
상기 캡처 장치는,
상기 캡처 대상 장비로부터 획득된 장비 데이터에서 텍스트 데이터, 이미지 데이터 또는 영상 데이터를 추출하고 상기 추출된 영상 데이터를 서로 다른 경로로 분배하는 데이터 분배부;
상기 분배된 영상 데이터를 캡처하여 이미지 데이터를 추출하는 이미지 캡처부;
상기 추출된 이미지 데이터에서 문자 데이터를 판독하는 문자 판독부;
상기 판독된 문자 데이터에 대응되는 모니터링 항목을 사용자 설정 명령에 따라 설정하고 상기 설정된 모니터링 항목을 관리하는 데이터 관리부; 및
상기 모니터링 항목에 대응되는 모니터링 데이터를 전송하는 데이터 전송부;
를 포함하는 이미지 캡처를 이용한 통합 모니터링 시스템.
제1항에 있어서,
상기 문자 판독부는,
하드웨어 마스크 또는 소프트웨어 마스크를 이용하여 상기 추출된 이미지 데이터에서 관심 영역을 지정하고, 상기 지정된 관심 영역을 기반으로 상기 이미지 데이터를 감소시키고, 상기 감소된 이미지 데이터에서 문자 데이터를 판독하는 이미지 캡처를 이용한 통합 모니터링 시스템.
제1항에 있어서,
상기 문자 판독부는,
상기 추출된 이미지 데이터의 해상도를 감소시키고, 상기 해상도가 감소된 이미지 데이터에서 문자 데이터를 판독하는 이미지 캡처를 이용한 통합 모니터링 시스템.
제1항에 있어서,
상기 판독된 문자 데이터를 상기 사용자 단말에 전송하여 상기 사용자 단말로부터 사용자의 문자 판독 결과를 수신하고, 상기 수신된 문자 판독 결과가 반영된 머신 러닝을 기반하여 상기 판독된 문자 데이터를 적응적으로 조정하는 머신 러닝부
를 더 포함하는 이미지 캡처를 이용한 통합 모니터링 시스템.
제1항에 있어서,
상기 사용자 단말은,
상기 캡처 장치와 근거리 통신을 통해 접속하여 캡처 대상 장비를 인식하는 접속 및 인증부;
상기 캡처 장치에서 판독된 문자 데이터를 수신하여 사용자에게 표시하고, 상기 사용자의 선택에 따라 상기 캡처 대상 장비에 대한 모니터링 항목을 결정하고, 상기 결정된 모니터링 항목이 포함된 사용자 설정 명령을 생성하여 상기 캡처 장치로 전송하는 모니터링 설정부; 및
상기 사용자 설정 명령에 따라 설정된 모니터링 항목에 대해 상기 캡처 장비에서 판독된 문자 데이터를 수신하여 실험실별 또는 장비별 가동 여부 및 동작 상태를 실시간으로 모니터링하는 모니터링부;
를 포함하는 이미지 캡처를 이용한 통합 모니터링 시스템.
제1항에 있어서,
상기 사용자 단말은,
상기 캡처 장치에서 캡처된 이미지 데이터 및 상기 캡처 장치에서 판독된 문자 데이터를 수신하고, 상기 사용자에 의해 비교 및 확인된 학습 결과를 상기 캡처 장치 및 상기 통합 모니터링 서버로 피드백하는 학습부;
를 더 포함하는 이미지 캡처를 이용한 통합 모니터링 시스템.
제1항에 있어서,
상기 통합 모니터링 서버는,
상기 캡처 장치로부터 모니터링 데이터를 수집하여 빅데이터 형식으로 관리하는 빅데이터 수집 및 관리부;
복수의 캡처 대상 장비에 대한 장비 스케줄, 장비 이용율 및 장비 고장율 중 적어도 하나를 관리하는 장비 관리부;
장비별 장애 또는 알람에 대한 통계 데이터를 생성하고, 상기 생성된 통계 데이터를 분석하여 장비별 트렌드를 분석하는 통계 및 트렌트 분석부; 및
상기 캡처 장비가 설치된 실험실별 또는 장비별 가동 여부 및 동작 상태를 모니터링하고, 모니터링 결과에 따라 알람 또는 이벤트를 발생시키는 통합 모니터링부;
를 포함하는 이미지 캡처를 이용한 통합 모니터링 시스템.
통합 모니터링 시스템에 의해 수행되는 통합 모니터링 방법에 있어서,
캡처 장치가 캡처 대상 장비로부터 획득된 장비 데이터에서 문자 데이터를 판독하는 단계;
사용자 단말이 상기 캡처 장치에서 판독된 문자 데이터를 수신하여 사용자에게 표시하는 단계;
상기 사용자 단말이 상기 사용자에 의해 상기 캡처 대상 장비에 대한 모니터링 항목이 결정된 사용자 설정 명령을 입력받아 상기 캡처 장치로 전송하는 단계;
상기 판독된 문자 데이터와 사용자 설정 명령에 따라 모니터링 항목을 설정하고, 상기 설정된 모니터링 항목에 대응되는 모니터링 데이터를 전송하는 단계; 및
통합 모니터링 서버가 상기 캡처 장치로부터 전송되는 모니터링 데이터를 수집하고 상기 수집된 모니터링 데이터를 관리하는 단계;
를 포함하는 이미지 캡처를 이용한 통합 모니터링 방법.
제9항에 있어서,
상기 문자 데이터를 판독하는 단계는,
상기 캡처 장치가 상기 캡처 대상 장비로부터 획득된 장비 데이터에서 텍스트 데이터, 이미지 데이터 또는 영상 데이터를 추출하고 상기 추출된 영상 데이터를 서로 다른 경로로 분배하는 데이터 분배 단계;
상기 캡처 장치가 상기 분배된 영상 데이터를 캡처하여 이미지 데이터를 추출하는 이미지 추출 단계; 및
상기 캡처 장치가 상기 추출된 이미지 데이터에서 문자 데이터를 판독하는 문자 판독 단계;
를 포함하는 이미지 캡처를 이용한 통합 모니터링 방법.
제10항에 있어서,
상기 문자 판독 단계는,
하드웨어 마스크 또는 소프트웨어 마스크를 이용하여 상기 추출된 이미지 데이터에서 관심 영역을 지정하고, 상기 지정된 관심 영역을 기반으로 상기 이미지 데이터를 감소시키고, 상기 감소된 이미지 데이터에서 문자 데이터를 판독하는 이미지 캡처를 이용한 통합 모니터링 방법.
제10항에 있어서,
상기 문자 판독 단계는,
상기 추출된 이미지 데이터의 해상도를 감소시키고, 상기 해상도가 감소된 이미지 데이터에서 문자 데이터를 판독하는 이미지 캡처를 이용한 통합 모니터링 방법.
제10항에 있어서,
상기 캡처 장치가 상기 판독된 문자 데이터를 상기 사용자 단말에 전송하여 상기 사용자 단말로부터 사용자의 문자 판독 결과를 수신하고, 상기 수신된 문자 판독 결과가 반영된 머신 러닝을 기반하여 상기 판독된 문자 데이터를 적응적으로 조정하는 머신 러닝 단계;
를 더 포함하는 이미지 캡처를 이용한 통합 모니터링 방법.
제9항에 있어서,
상기 사용자 단말이 상기 캡처 장치에서 캡처된 이미지 데이터 및 상기 캡처 장치에서 판독된 문자 데이터를 수신하고, 상기 사용자에 의해 비교 및 확인된 학습 결과를 상기 캡처 장치 및 상기 통합 모니터링 서버로 피드백하는 학습 단계;
를 더 포함하는 이미지 캡처를 이용한 통합 모니터링 방법.