KR101985712B1 - 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템 - Google Patents

머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템 Download PDF

Info

Publication number
KR101985712B1
KR101985712B1 KR1020180160980A KR20180160980A KR101985712B1 KR 101985712 B1 KR101985712 B1 KR 101985712B1 KR 1020180160980 A KR1020180160980 A KR 1020180160980A KR 20180160980 A KR20180160980 A KR 20180160980A KR 101985712 B1 KR101985712 B1 KR 101985712B1
Authority
KR
South Korea
Prior art keywords
image
numerical value
measured numerical
instrument
region
Prior art date
Application number
KR1020180160980A
Other languages
English (en)
Inventor
하태진
이철희
박노영
봄 김
Original Assignee
주식회사 버넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 버넥트 filed Critical 주식회사 버넥트
Priority to KR1020180160980A priority Critical patent/KR101985712B1/ko
Application granted granted Critical
Publication of KR101985712B1 publication Critical patent/KR101985712B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C25/00Arrangements for preventing or correcting errors; Monitoring arrangements
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/40Remote control systems using repeaters, converters, gateways
    • G08C2201/42Transmitting or receiving remote control signals via a network

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Telephonic Communication Services (AREA)

Abstract

비접촉방식의 계측기 정보 수집방법은 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 추출하는 영상추출단계와, 상기 영상추출단계에서 추출된 영역을 정면에서 촬영된 영상으로 시점변환한 후 흔들리는 영상을 안정화시키고, 가변 이진화(Adaptive Thresholding)를 진행하는 전처리 단계와, 상기 전처리 단계에서 처리된 영상에서 소정의 크기로 설정된 탐색 윈도우 내의 픽셀 값의 변화를 감지하여 상기 계측 수치값의 변화를 검출하는 측정단계를 포함하는 것을 특징으로 한다.

Description

머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템{Machine vision based non-contact method for collecting instrument information and remote monitoring system using the same}
본 발명은 계측기 정보 수집장치에 관한 것으로서, 더 상세하게는 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템에 관한 것이다.
스마트공장 구축을 위해서는 센서값 수집이 최우선 과제이므로, 센서값 취득이 선행되어야 설비 운영 정보 모니터링이 가능하다.
기존 설비의 대부분은 아날로그 기기여서 IoT 기능이 없다. 따라서 원격으로 모니터링 하기 위해, 기존에 설치된 모든 계측기를 통신이 가능한 디지털 기기 또는 IoT 센서로 바꾸는 것은 막대한 예산이 필요하므로 비효율적이다.
도 1은 종래의 계측기 정보 수집 및 모니터링 시스템을 나타낸 도면이다.
도 1을 참조하면, 종래의 시스템은 RTU 제어기와 RS-485 통신 등으로 계측 정보 전송하는 방식이므로, 고가의 디지털 계측기 및 전용 통신장비가 필요하며, 접촉식 계측기의 경우 내구성 저하되는 문제점이 있다.
따라서 기존 설비를 훼손시키지 않고 센서값 수집이 가능한 방식이 요구되고 있다.
KR 10-1152624 B
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 카메라를 활용하여 디지털 및 아날로그 방식의 유량계, 압력계, 온도계, 레벨 인디케이터 등의 계측기를 인식하고 지침 값을 취득하여 원격지에서 웹페이지를 통해 정보를 확인하고 분석할 수 있는 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템을 제공한다.
상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 추출하는 영상추출단계와, 상기 영상추출단계에서 추출된 영역을 정면에서 촬영된 영상으로 시점변환한 후 흔들리는 영상을 안정화시키고, 가변 이진화(Adaptive Thresholding)를 진행하는 전처리 단계와, 상기 전처리 단계에서 처리된 영상에서 소정의 크기로 설정된 탐색 윈도우 내의 픽셀 값의 변화를 감지하여 상기 계측 수치값의 변화를 검출하는 측정단계를 포함하는 비접촉방식의 계측기 정보 수집방법이 제공된다.
또한, 본 발명은 상기 영상추출단계에서, 상기 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 자동으로 추출함에 있어서, 적어도 하나 이상의 타원영역을 인식하고, Intersection Of Union(IOU)을 통해 유효한 타원영역을 자동 선정하는 것을 특징으로 한다.
또한, 본 발명은 상기 영상추출단계에서, 상기 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 추출함에 있어서, 상기 계측기의 촬영영상 중 선택된 복수의 지점을 연결한 영역에서 상기 계측 수치값의 변화를 검출하는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따르면, 계측기를 연속적으로 촬영하는 카메라와, 상기 카메라에서 전송되는 상기 계측기의 촬영영상을 입력 받으며, 상기 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 추출하고, 추출된 영역에서 상기 계측 수치값의 변화를 검출하는 영상처리 단말과, 상기 영상처리 단말로부터 상기 계측 수치값을 무선통신방식으로 전달받아 데이터베이스화 하여 관리하는 모니터링 서버와, 상기 모니터링 서버로부터 제공되는 정보를 표시하는 단말을 포함하는 원격 모니터링 시스템이 제공된다.
또한, 본 발명에 포함되는 상기 카메라는 광량을 자동으로 감지하여 적외선 영역 및 가시광선 영역을 촬영하는 것을 특징으로 한다.
또한, 상기 영상처리 단말은, 상기 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 자동으로 추출함에 있어서, 적어도 하나 이상의 타원영역을 인식하고, Intersection Of Union(IOU)을 통해 유효한 타원영역을 자동 선정하는 것을 특징으로 한다.
또한, 본 발명에 포함되는 상기 영상처리 단말은, 상기 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 추출함에 있어서, 상기 계측기의 촬영영상 중 선택된 복수의 지점을 연결한 영역에서 상기 계측 수치값의 변화를 검출하는 것을 특징으로 한다.
본 발명의 실시예에 따른 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템은,
카메라를 활용하여 유량계, 압력계, 온도계, 레벨 인디케이터 등의 계측기를 인식하고 지침 값을 취득하여 원격지에서 웹페이지를 통해 정보를 확인하고 분석할 수 있다.
따라서 기존 설비를 훼손하지 않고 머신 비전 기술을 적용하여 계측기를 인식할 수 있으며, 수집된 값은 LTE, WIFI, Bluetooth 통신 가능한 저가 소형 단말(스마트폰 등)로 전송할 수 있다.
또한, 계측기 정보 확인을 위해 현장을 가지 않아도 되기 때문에 이동 시간 및 비용을 절약되며, 계측 정보를 수집 및 분석하여 설비를 예방 보전(Predictive maintenance)을 할 수 있어 전체 설비 유지 보수비용을 절약할 수 있다.
즉, 카메라, 통신 및 영상처리용 단말을 통해 계측 정보를 원격으로 전송 가능하며, 기존에 설치된 다수의 아날로그/디지털 계측기 값을 비접촉식으로 검출할 수 있으므로, 기존 설비에 쉽게 연동 가능하고, 기존 설비의 성능에 아무런 영향 미치지 않아 기존 시스템의 안정성을 다시 점검할 필요가 없다.
결과적으로 기존에 설치된 아날로그 및 디지털 계측기를 통신이 가능한 IOT 계측기로 교환하지 않더라도, 저렴한 비용으로 스마트 공장을 용이하게 구축할 수 있다.
도 1은 종래의 계측기 정보 수집 및 모니터링 시스템을 나타낸 도면
도 2는 본 발명의 실시예에 따른 원격 모니터링 시스템(1)의 구성도
도 3은 원격 모니터링 시스템(1)에서 비접촉방식의 계측기 정보 수집방법을 진행하는 과정을 나타낸 순서도
도 4는 다양한 각도에서 촬영된 계측기의 촬영영상과, 계측 수치값이 표시되는 영역을 자동추출하는 도면
도 5는 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 자동으로 추출하는 상태를 나타낸 도면
도 6은 Intersection Of Union(IOU)을 통해 유효한 타원영역을 선택하는 예시도
도 7은 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 메뉴얼 방식으로 추출하는 상태를 나타낸 도면
도 8은 호모그래피(Homography) 변환을 진행하는 과정을 나타낸 도면
도 9는 CNN 네트워크 구조 설계 예시도
도 10은 아날로그 계측기에서 지시자(초침)를 검출하는 방식을 나타낸 도면
도 11은 다양한 각도에서 촬영된 계측기의 촬영영상에서 계측 수치값이 표시되는 영역을 추출한 도면
도 12는 모니터링 서버(300)에서 단말(400)에 제공하는 정보를 나타낸 도면
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 원격 모니터링 시스템(1)의 구성도이다.
본 실시예에 따른 원격 모니터링 시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.
도 2를 참조하면, 원격 모니터링 시스템(1)은 카메라(100)와, 영상처리 단말(200)과, 모니터링 서버(300)와, 단말(400)을 포함하여 구성된다.
상기와 같이 구성되는 원격 모니터링 시스템(1)의 주요동작을 살펴보면 다음과 같다.
카메라(100)는 계측기(11)를 연속적으로 촬영한다. 본 실시예에서 카메라(100)는 광량을 자동으로 감지하여 적외선 영역 및 가시광선 영역을 촬영할 수 있도록 구성된다.
특히, 카메라(100)는 모터를 이용하여 회전(PAN), 방향기울기(TILT), 줌(ZOOM) 조정이 가능한 카메라를 통칭한다. 카메라(100)를 특정 각도 및 방향으로 회전시킬 수 있으므로, 복수의 계측기(11)를 선택적으로 모니터링 할 수도 있다. 즉, 계측기 하나당 하나의 카메라(100) 배치될 수도 있고, 하나의 카메라(100)가 촬영방향을 조절하면서 복수의 계측기를 담당할 수도 있다.
한편, 계측기는 유량계, 압력계, 온도계, 레벨 인디케이터를 아날로그 또는 디지털 방식으로 측정할 수 있는 기기를 통칭하는 것으로, 카메라(100)가 계측기(11)의 계측 수치값을 촬영하여 전송한다.
즉, 카메라(100)는 디지털 계측기의 경우 숫자영역을 촬영하여 전송하고, 아날로그 계측기의 경우 통상적으로 계측 수치값이 표시되는 원형영역을 촬영하여 전송한다. 아날로그 계측기가 원형태가 아닌 다각형, 직선형 형태일 경우, 다각형 영역, 직선형 영역을 촬영하여 전송하고 이를 인식하도록 동작한다.
영상처리 단말(200)은 카메라(100)에서 전송되는 계측기의 촬영영상을 입력 받는다.
카메라(100)와 영상처리 단말(200)은 유선 또는 무선통신 방식으로 연결되어 데이터를 상호간에 전송하도록 구성될 수 있다.
영상처리 단말(200)은 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 추출하고, 추출된 영역에서 계측 수치값의 변화를 검출하게 된다. 영상처리 단말은 계측 수치값이 표시되는 영역을 자동 또는 메뉴얼 방식으로 검출할 수 있다. 이에 대한 상세한 설명은 후술하기로 한다.
참고적으로 영상처리 단말(200)은 무선통신모듈이 구비된 이미지 처리가 가능한 소형의 단말, 컴퓨터로 정의되는데, 휴대폰, 스마트폰, 스마트 패드 등과 같이 휴대하면서 사용할 수 있는 기기로 구성될 수도 있다.
또한, 영상처리 단말(200)은 카메라(100)와 일체형으로 구성될 수도 있을 것이다.
또한, 영상처리 단말(200)은 복수의 카메라(100)로부터 촬영영상을 전송받아 동시에 영상처리를 진행하거나, 순차적으로 진행하거나, 선택된 계측기의 촬영영상만을 처리하도록 설정될 수 있다.
모니터링 서버(300)는 영상처리 단말(200)로부터 계측 수치값을 무선통신방식으로 전달받아 데이터베이스화 하여 관리하며, 담당자 또는 관리자의 단말(400)로 정보를 제공하도록 구성된다.
단말(400)은 모니터링 서버(300)로부터 제공되는 정보를 표시하는데, 단말(400)은 휴대폰, 스마트폰, 스마트 패드 등과 같이 사용자가 휴대하면서 사용할 수 있는 기기와, 개인용 컴퓨터, 노트북, 제어 시스템의 제어단말을 총칭하는 것이며,
본 실시예에서는 스마트폰으로 구성된 단말기로 가정하고 설명하기로 한다. 따라서 계측기가 배치되어 있는 현장에 관리자가 직접 방문하지 않고서도 단말(400)을 통해 계측기의 수치를 원격에서 모니터링 할 수 있다.
도 3은 원격 모니터링 시스템(1)에서 비접촉방식의 계측기 정보 수집방법을 진행하는 과정을 나타낸 순서도이다.
도 3을 참조하면, 비접촉방식의 계측기 정보 수집방법은,
계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 추출하는 영상추출단계(S10)와,
영상추출단계(S10)에서 추출된 영역을 정면에서 촬영된 영상으로 시점변환한 후 흔들리는 영상을 안정화시키고, 가변 이진화(Adaptive Thresholding)를 진행하는 전처리 단계(S20)와,
전처리 단계(S20)에서 처리된 영상에서 소정의 크기로 설정된 탐색 윈도우 내의 픽셀 값의 변화를 감지하여 계측 수치값의 변화를 검출하는 측정단계(S30)를 통해서 진행된다.
특히, 측정단계(S30)에서는, 계측 수치값을 검출할 때,
초기화가 되어 있으면 계측 수치값을 계속해서 트레킹하고 트레킹이 성공적일 때 계측 수치값을 최종 검출한다.
이와 달리, 초기화가 되어 있지 않으면 예측(Coarse Estimation) 상태에서 계측 수치값을 트레킹하고 트레킹이 성공적일 때 계측 수치값을 최종 검출한다.
한편, 영상추출단계(S10)에서 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 자동 또는 메뉴얼 방식으로 추출할 수 있다.
우선, 자동으로 추출하는 방식은 다음과 같다.
도 4는 다양한 각도에서 촬영된 계측기의 촬영영상과, 계측 수치값이 표시되는 영역을 자동추출하는 도면이고, 도 5는 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 자동으로 추출하는 상태를 나타낸 도면이다.
도 4 및 도 5를 참조하면, 원형태의 계측기가 도시되어 있다. 원형태의 계측기는 촬영방향에 따라 타원으로 인식되는 경우가 많다.
따라서 "Projective Invariant Pruning"을 이용한 타원 검출 알고리즘을 적용하여 타원의 에지가 일정부분 가려져 있어도 전체적인 형상은 검출가능하다.
원형태의 계측기는 촬영방향에 따라 여러 가지의 타원이 검출될 수 있는데, 이러한 타원 중 긍정오류(False Positive)를 제거하기 위한 처리 알고리즘이 적용된다. 여기에서 긍정오류(False Positive)는 잘못된 타원을 선택함으로써 존재하지 않는 것을 있다고 판단하는 오류로 정의된다.
즉, 원형태의 계측기는 테두리가 있는 제품이 존재하는데, 타원 검출에서 서로 다른 영역의 호(弧, arc)를 인식하여 원하지 않는 타원 검출하는 것을 제거하기 위한 처리 알고리즘이 적용된다.
도 6은 Intersection Of Union(IOU)을 통해 유효한 타원영역을 선택하는 예시도이고,
도 6을 참조하면, 타원 인식률 score는 중첩되는 Arc에 비례하고 score가 높은 타원에 중첩되는 타원 제거가 필요하며, 본 실시예에서는 중첩 타원을 제거하기 위한 알고리즘으로 Intersection Of Union(IOU)을 통해 유효한 타원영역을 자동 선정하는 방식이 적용되었다. 참고적으로 Intersection Of Union(IOU)의 score 가 소정의 설정값 보다 큰 타원이 선정되도록 설정되거나, 상대적인 비교를 통해서 타원이 선정될 수 있다.
즉, 영상추출단계(S10)에서, 영상처리 단말(200)은 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 자동으로 추출함에 있어서, 적어도 하나 이상의 타원영역을 인식하고, Intersection Of Union(IOU)을 통해 유효한 타원영역을 자동 선정하게 된다.
다음으로, 메뉴얼 방식으로 추출하는 방식은 다음과 같다.
도 7은 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 메뉴얼 방식으로 추출하는 상태를 나타낸 도면이다.
즉, 도 7에 도시된 바와 같이 사용자가 마우스를 이용하여 원형태의 계측기 촬영영상에서 4 지점을 선택할 경우, 지점을 서로 연결한 영역에서 계측 수치값 변화를 검출하게 된다.
즉, 영상추출단계(S10)에서, 영상처리 단말(200)은 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 추출함에 있어서, 계측기의 촬영영상 중 선택된 복수의 지점을 연결한 영역에서 계측 수치값의 변화를 검출한다.
도 8은 호모그래피(Homography) 변환을 진행하는 과정을 나타낸 도면이다.
도 8을 참조하면, 상술한 바와 같이, 영상추출단계(S10)에서, 영상처리 단말(200)은 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 자동으로 추출함에 있어서, 적어도 하나 이상의 타원영역을 인식하고, Intersection Of Union(IOU)을 통해 유효한 타원영역을 자동 선정하게 된다.
이때, 타원영역을 선정한 후, 영상의 기하 왜곡을 제거하기 위해서 호모그래피(Homography) 변환을 통해 원으로 이미지를 변형할 수 있다.
도 9는 CNN 네트워크 구조 설계 예시도 이다.
도 9를 참조하면, 원격 모니터링 시스템(1)에는 계측기 인식에 적합한 딥러닝 네트워크 구조 설계 및 취득 영상 데이터 학습이 적용되며, 정의된 이벤트 형태 검출에 적합한 CNN(Convolutional Neural Network)구조 설계가 적용될 수 있다.
또한, 다양한 위치에서 동일한 특징들 탐색을 위한 컨볼루션(Convolution) 레이어 단계별 입출력 파라미터 설계가 적용되고, 위치와 각도 변화에 잘 대처할 수 있도록 풀링(Pooling) 레이어 설계가 적용될 수 있다.
또한, 특징 맵(커널) 및 활성화(Activation) 방식 설계가 적용되고, 획득한 학습 영상에서 이벤트 영역 분리 및 레이블링이 적용되며, 네트워크 학습 진행되도록 구성된다.
도 10은 아날로그 계측기에서 지시자(초침)를 검출하는 방식을 나타낸 도면이다.
도 10을 참조하면, 원의 중심점을 기준으로 반지름의 특정 비율만큼 거리 기준을 설정하고 원의 방정식에 따라 특정 각도만큼 탐색 윈도우를 이동시키고, 도 10에 도시된 바와 같이 복수의 탐색 윈도우를 이웃하게 나열시킨 후, 각 탐색 윈도우 내에 픽셀 값이 특정 값 이상일 경우 지시자가 지시하는 지침 값을 인식한 것으로 결정한다.
도 11은 다양한 각도에서 촬영된 계측기의 촬영영상에서 계측 수치값이 표시되는 영역을 추출한 도면이다.
도 11을 참조하면, 비접촉방식의 계측기 정보 수집방법은 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 추출하고, 추출된 영역을 정면에서 촬영된 영상으로 시점변환한 후 흔들리는 영상을 안정화시키고, 가변 이진화(Adaptive Thresholding)를 진행하게 된다.
또한, 소정의 크기로 설정된 탐색 윈도우 내의 픽셀 값의 변화를 감지하여 계측 수치값의 변화를 검출한다.
도 12는 모니터링 서버(300)에서 단말(400)에 제공하는 정보를 나타낸 도면이다.
도 12를 참조하면, 단말(400)은 모니터링 서버(300)로부터 제공되는 정보를 표시한다.
모니터링 서버(300)는 저장된 계측값 및 영상 정보를 저장/관리하고, 계측기 및 카메라 정보 등록 및 확인 기능을 처리한다.
또한, 송수신 업데이트 시간 및 해상도/FPS 등의 조절을 통해 저장 용량을 관리하고, 저장되는 정보에 대한 시간 단위 또는 구간 저장 설정이 가능하다. 관리자의 경우, 저장된 계측값 및 영상 파일의 용량 확인, 삭제 기능과, 계측값 및 영상 검색, 조회, 재생 등 가능하다.
모니터링 서버(300)는 위험의 정도를 구분하여 이벤트 분류 및 알람 설정하고, 위험 정도를 단계화하여 구분하고, 계측값 분석을 통한 이벤트를 검출하고, 계측값을 시각화하여 제공한다.
단말(400)은 계측값을 쉽게 이해할 수 있도록 웹 기반 인포그래픽 UI의 애플리케이션을 제공하며, 이벤트 발생 내역 및 저장된 영상 목록 시각화하여 표시한다. 또한, 이벤트 내역 로그 데이터 시각화하여 표시한다.
한편, 원격 모니터링 시스템(1)은 계측값 및 영상 정보 송수신을 위한 WebRTC 기술이 적용된다. WebRTC(Web Real-Time Communications)란, 웹 어플리케이션 및 사이트들이 별도의 소프트웨어 없이 음성, 영상 미디어 혹은 텍스트, 파일 같은 데이터를 브라우저끼리 주고받을 수 있게 만든 기술이다. 즉, 통신망을 통해 계측값 및 영상을 WebRTC 기반으로 서버로 실시간 전송할 수 있고, 클라이언트의 환경에 따라 영상 해상도가 자동적으로 변경되는 기능 제공한다. 또한, Web-RTC 기반 데이터 압축 최적화 및 암호화 기술이 적용된다.
영상처리 단말(200)과 모니터링 서버(300) 사이와, 모니터링 서버(300)와 단말(400) 사이에 WebRTC 기술 적용될 수 있다. 또한, 단말(400)이 복수 개 구비될 경우, 단말끼리 WebRTC 기술 적용되어 데이터를 중계하도록 설정될 수도 있다.
원격 모니터링 시스템(1)의 성능은 계측기 인식시간 1초 이내, 계측기 인식률 95%이상, 계측값 정확도 95% 이상, 계측 정보 및 영상 송수신 50ms 이내, 이상상황 알림 1초 이내를 달성하도록 구성된다.
본 발명의 실시예에 따른 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템은,
카메라를 활용하여 유량계, 압력계, 온도계, 레벨 인디케이터 등의 계측기를 인식하고 지침 값을 취득하여 원격지에서 웹페이지를 통해 정보를 확인하고 분석할 수 있다.
따라서 기존 설비를 훼손하지 않고 머신 비전 기술을 적용하여 계측기를 인식할 수 있으며, 수집된 값은 LTE, WIFI, Bluetooth 통신 가능한 저가 소형 단말(스마트폰 등)로 전송할 수 있다.
또한, 계측기 정보 확인을 위해 현장을 가지 않아도 되기 때문에 이동 시간 및 비용을 절약되며, 계측 정보를 수집 및 분석하여 설비를 예방 보전(Predictive maintenance)을 할 수 있어 전체 설비 유지 보수비용을 절약할 수 있다.
즉, 카메라, 통신 및 영상처리용 단말을 통해 계측 정보를 원격으로 전송 가능하며, 기존에 설치된 다수의 아날로그/디지털 계측기 값을 비접촉식으로 검출할 수 있으므로, 기존 설비에 쉽게 연동 가능하고, 기존 설비의 성능에 아무런 영향 미치지 않아 기존 시스템의 안정성을 다시 점검할 필요가 없다.
결과적으로 기존에 설치된 아날로그 및 디지털 계측기를 통신이 가능한 계측기로 교환하지 않더라도, 저렴한 비용으로 스마트 공장을 용이하게 구축할 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 카메라
200 : 영상처리 단말
300 : 모니터링 서버

Claims (7)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 계측기를 연속적으로 촬영하는 카메라;
    상기 카메라에서 전송되는 상기 계측기의 촬영영상을 입력 받으며, 상기 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 추출하고, 추출된 영역에서 상기 계측 수치값의 변화를 검출할 때, 적어도 하나 이상의 타원영역을 인식하고 Intersection Of Union(IOU)을 통해 유효한 타원영역을 선정하며, 추출된 영역을 정면에서 촬영된 영상으로 시점변환한 후 흔들리는 영상을 안정화시키고, 가변 이진화(Adaptive Thresholding)를 진행하여 처리된 영상에서 소정의 크기로 설정된 탐색 윈도우 내의 픽셀 값의 변화를 감지하여 상기 계측 수치값의 변화를 검출하되, 원의 중심점을 기준으로 반지름의 특정 비율만큼 거리 기준을 설정하고 원의 방정식에 따라 특정 각도만큼 탐색 윈도우를 이동시키고 복수의 탐색 윈도우를 이웃하게 나열시킨 후, 각 탐색 윈도우 내에 픽셀 값이 특정 값 이상일 경우 지시자가 지시하는 지침 값을 인식한 것으로 결정하는 영상처리 단말;
    상기 영상처리 단말로부터 상기 계측 수치값을 무선통신방식으로 전달받아 데이터베이스화 하여 관리하는 모니터링 서버; 및
    상기 모니터링 서버로부터 제공되는 정보를 표시하는 단말;을 포함하고,
    상기 영상처리 단말은 상기 계측 수치값을 검출할 때 초기화가 되어 있으면 계속해서 계측 수치값을 트레킹하고, 초기화가 되어 있지 않으면 예측상태에서 계측 수치값을 트레킹하고,
    상기 단말이 복수 개 구비될 경우 단말끼리 데이터를 중계하도록 동작하는 것을 특징으로 하는 원격 모니터링 시스템.
  5. 제4항에 있어서,
    상기 카메라는 광량을 자동으로 감지하여 적외선 영역 및 가시광선 영역을 촬영하는 것을 특징으로 하는 원격 모니터링 시스템.
  6. 제4항에 있어서,
    상기 영상처리 단말은,
    상기 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 자동으로 추출하는 것을 특징으로 하는 원격 모니터링 시스템.
  7. 제4항에 있어서,
    상기 영상처리 단말은,
    상기 계측기의 촬영영상 중 계측 수치값이 표시되는 영역을 추출함에 있어서, 상기 계측기의 촬영영상 중 선택된 복수의 지점을 연결한 영역에서 상기 계측 수치값의 변화를 검출하는 것을 특징으로 하는 원격 모니터링 시스템.
KR1020180160980A 2018-12-13 2018-12-13 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템 KR101985712B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180160980A KR101985712B1 (ko) 2018-12-13 2018-12-13 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180160980A KR101985712B1 (ko) 2018-12-13 2018-12-13 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템

Publications (1)

Publication Number Publication Date
KR101985712B1 true KR101985712B1 (ko) 2019-06-04

Family

ID=66811132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180160980A KR101985712B1 (ko) 2018-12-13 2018-12-13 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR101985712B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107427A (zh) * 2019-11-20 2020-05-05 Oppo广东移动通信有限公司 图像处理的方法及相关产品
CN111401194A (zh) * 2020-03-10 2020-07-10 北京百度网讯科技有限公司 用于自动驾驶车辆的数据处理方法和装置
CN112967320A (zh) * 2021-04-02 2021-06-15 浙江华是科技股份有限公司 一种基于桥梁防撞的船舶目标检测跟踪方法
WO2022042045A1 (zh) * 2020-08-28 2022-03-03 京东方科技集团股份有限公司 仪表识别装置、仪表监控系统及其监控方法
KR102441760B1 (ko) * 2021-10-14 2022-09-08 주식회사 카라멜소프트 계기판 이미지 기반 계측값 인식 장치
WO2023055170A1 (ko) * 2021-09-30 2023-04-06 주식회사 카라멜소프트 계기판 이미지 기반 계측값 인식 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133560A (ja) * 2002-10-08 2004-04-30 Central Res Inst Of Electric Power Ind アナログメータの自動読み取り方法および自動読み取り装置
KR20040077091A (ko) * 2003-02-27 2004-09-04 이진우 원격검침의 영상처리방법
JP2006120133A (ja) * 2004-09-27 2006-05-11 Central Res Inst Of Electric Power Ind アナログメータの自動読取方法および装置およびプログラム
KR101152624B1 (ko) 2012-02-02 2012-06-04 한국환경공단 하수관거 유량계 모니터링 시스템
KR20120110859A (ko) * 2011-03-30 2012-10-10 크루셜텍 (주) 회전눈금 적산계량기를 위한 검침 단말 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133560A (ja) * 2002-10-08 2004-04-30 Central Res Inst Of Electric Power Ind アナログメータの自動読み取り方法および自動読み取り装置
KR20040077091A (ko) * 2003-02-27 2004-09-04 이진우 원격검침의 영상처리방법
JP2006120133A (ja) * 2004-09-27 2006-05-11 Central Res Inst Of Electric Power Ind アナログメータの自動読取方法および装置およびプログラム
KR20120110859A (ko) * 2011-03-30 2012-10-10 크루셜텍 (주) 회전눈금 적산계량기를 위한 검침 단말 및 방법
KR101152624B1 (ko) 2012-02-02 2012-06-04 한국환경공단 하수관거 유량계 모니터링 시스템

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107427A (zh) * 2019-11-20 2020-05-05 Oppo广东移动通信有限公司 图像处理的方法及相关产品
CN111107427B (zh) * 2019-11-20 2022-01-28 Oppo广东移动通信有限公司 图像处理的方法及相关产品
CN111401194A (zh) * 2020-03-10 2020-07-10 北京百度网讯科技有限公司 用于自动驾驶车辆的数据处理方法和装置
CN111401194B (zh) * 2020-03-10 2023-09-22 北京百度网讯科技有限公司 用于自动驾驶车辆的数据处理方法和装置
WO2022042045A1 (zh) * 2020-08-28 2022-03-03 京东方科技集团股份有限公司 仪表识别装置、仪表监控系统及其监控方法
CN112967320A (zh) * 2021-04-02 2021-06-15 浙江华是科技股份有限公司 一种基于桥梁防撞的船舶目标检测跟踪方法
CN112967320B (zh) * 2021-04-02 2023-05-30 浙江华是科技股份有限公司 一种基于桥梁防撞的船舶目标检测跟踪方法
WO2023055170A1 (ko) * 2021-09-30 2023-04-06 주식회사 카라멜소프트 계기판 이미지 기반 계측값 인식 장치
KR102441760B1 (ko) * 2021-10-14 2022-09-08 주식회사 카라멜소프트 계기판 이미지 기반 계측값 인식 장치
KR20230053505A (ko) * 2021-10-14 2023-04-21 주식회사 카라멜소프트 계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치
KR102642691B1 (ko) * 2021-10-14 2024-03-04 주식회사 카라멜소프트 계기판 이미지 왜곡 및 촬영 장치 왜곡을 보정하는 계측값 인식 장치

Similar Documents

Publication Publication Date Title
KR101985712B1 (ko) 머신 비전 기반의 비접촉방식의 계측기 정보 수집방법 및 이를 이용한 원격 모니터링 시스템
EP2840557B1 (en) Image processing system, server device, image pickup device and image evaluation method
CN110134117B (zh) 一种移动机器人重定位方法、移动机器人及电子设备
KR20190038137A (ko) 채널별 객체 검출 최적화를 위한 영상분석 방법 및 서버장치
US20230024701A1 (en) Thermal imaging asset inspection systems and methods
CN113723184A (zh) 基于智能网关的场景识别系统、方法、装置和智能网关
CN116744357A (zh) 基站故障预测方法、装置、设备和介质
CN116659518B (zh) 智能轮椅自主导航方法、装置、终端及介质
CN109903308B (zh) 用于获取信息的方法及装置
KR20210090484A (ko) 촬영영상을 이용한 계량기 무인 원격 검침 시스템
JP2018106439A (ja) 計測支援装置
US11842452B2 (en) Portable display device with overlaid virtual information
CN110942058A (zh) 一种基于ccd机器视觉识别的仪表数据读取方法
EP3239814B1 (en) Information processing device, information processing method and program
CN111913574B (zh) 用于控制设备的方法、装置、电子设备和计算机可读介质
JP6883699B1 (ja) 流量推定システム、情報処理装置およびプログラム
KR102210571B1 (ko) Gps 좌표와 이동통신시스템을 이용한 교량과 터널의 안전진단 원격감시 경보방법
CN109194920B (zh) 一种基于高清摄像机的智能寻物方法
KR20220167826A (ko) 인공지능 기반의 시각지능을 활용한 비전 검사에 따른 불량 검출 통합 제어 시스템
KR101984070B1 (ko) 지능형 스테레오 영상 기반 시설물 진동 감시 방법
KR102506563B1 (ko) 자율 주행 기기를 이용한 사용자 맞춤 정보 제공 시스템
KR101448728B1 (ko) 카메라 및 rfid를 이용한 실시간 위치 파악 시스템
KR20190135860A (ko) 단말기와의 연계를 통한 영상 관제 방법 및 이를 이용한 영상 관제 시스템
KR102100803B1 (ko) 객체 추적이 용이한 영상 감시 시스템 및 방법
CN113422911B (zh) 图像的采集发送和接收处理方法、采集设备及服务设备

Legal Events

Date Code Title Description
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant