KR20190121680A - 생산현장 영상에서 데이터를 추출하여 전송하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 수신하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 송수신하는 시스템 - Google Patents

생산현장 영상에서 데이터를 추출하여 전송하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 수신하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 송수신하는 시스템 Download PDF

Info

Publication number
KR20190121680A
KR20190121680A KR1020180128940A KR20180128940A KR20190121680A KR 20190121680 A KR20190121680 A KR 20190121680A KR 1020180128940 A KR1020180128940 A KR 1020180128940A KR 20180128940 A KR20180128940 A KR 20180128940A KR 20190121680 A KR20190121680 A KR 20190121680A
Authority
KR
South Korea
Prior art keywords
data
image
time
streaming
extracted
Prior art date
Application number
KR1020180128940A
Other languages
English (en)
Inventor
김대희
서동민
오혜용
피관훈
Original Assignee
엔쓰리엔 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔쓰리엔 주식회사 filed Critical 엔쓰리엔 주식회사
Priority to US16/386,268 priority Critical patent/US11039104B2/en
Priority to JP2019078592A priority patent/JP2019197541A/ja
Publication of KR20190121680A publication Critical patent/KR20190121680A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24215—Scada supervisory control and data acquisition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

본 발명의 일 양태는 생산현장 영상에서 데이터를 추출하여 전송하는 장치를 개시하고 있다. 상기 장치는 생산현장의 설비운영 시스템의 모니터 디스플레이 화면의 스트리밍(streaming) 영상을 상기 설비운영 시스템으로부터 수신하여 실시간으로 인코딩하는 인코더(encoder), 상기 실시간으로 인코딩된 스트리밍 영상을 수신하여 영상 분석 알고리즘을 통해 상기 실시간으로 인코딩된 스트리밍 영상 내에 존재하는 데이터 표출 위치를 파악하여 태깅(tagging)함으로써 데이터를 추출하는 영상 분석부 및 상기 실시간으로 인코딩된 스트리밍 영상 및 상기 영상 분석 모듈에서 추출된 데이터를 데이터 엔진(data engine)으로 전송하는 통신부를 포함한다.

Description

생산현장 영상에서 데이터를 추출하여 전송하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 수신하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 송수신하는 시스템{APPARATUS AND METHOD TO TRANSMIT DATA BY EXTRACTING DATA IN SHOP FLOOR IMAGE, APPARATUS AND METHOD TO RECEIVE DATA EXTRACTED IN SHOP FLOOR IMAGE, AND SYSTEM TO TRANSMIT AND RECEIVE DATA EXTRACTED IN SHOP FLOOR IMAGE}
본 발명은 데이터를 추출하여 전송하는 방법에 관한 것으로, 보다 상세하게는, 생산현장에서의 영상 데이터에서 데이터를 효율적으로 추출하여 전달하는 방법에 관한 것이다.
본 출원은 대한민국의 한국산업기술평가관리원과 산업통상자원부가 주관하는 우수기술연구센터 사업(ATC(Advanced Technology Center Association) 사업)(과제 번호: 10052464 (2017.06~2019.05.31), 과제명: IoT 대용량 데이터 해석을 위한 Multi-Dimensional Visualization 기술 개발)의 결과물 중 하나이다.
일반적으로, 제조업에서 요구하는 핵심 업무기능을 간단히 설명하면 다음과 같다.
제조업은 사람(People), 프로세스(Process), 기술(Technology)과 정보(Information) 등의 각 계층으로 이루어져 있다. 제조업의 정보통합화 관점에서 제조프로세스는 원자재 입고에서 출하까지 성과개선과 연계되는 기반요소로 구성된 내부 제조 프로세스와 제품설계, 자재 소싱(sourcing), 제품 납기, 제품서비스, 공장설계와 유지보수 등으로 구성된 외부프로세스로 구성된다.
가치사슬로 연계된 제조업 간의 프로세스는 크게 협력업체와 제품개발에 대한 협업인 제품 개발 협업, 구매조달을 위한 기업 간 거래 및 생산현장 간의 실시간 정보 통합화를 구현하는 생산현장관리와 관련된 생산정보화 분야로 분류할 수 있다.
생산정보화 분야에서 제조업 간의 정보 통합화 구현을 위한 기반이 될 수 있는 생산현장의 생산자원 디지털화 관점에서 생산자원은 4M은 Man(작업자), Machine(생산설비), Material(자재), Method(생산절차)로 구성된다.
일반적으로 생산제품을 자동으로 생산하고 있는 생산설비(Machine)는 디지털 제어기기인 PLC(Programmable Logic Controller), 공작기계, FMS(Flexible Manufacturing System) 등과 같은 복합 자동화 설비 등으로 제어된다. 주로 제어기기의 자동화 수준에 따라 차이가 있으나, 실시간 기반 통신 프로토콜의 지원으로 제어기기로부터 생산설비에 관련 정보가 자동으로 수집이 된다.
그러나 생산설비가 아무리 자동화되어도 생산 공정에서 사용되는 자동화 장비인 설비운영 시스템은 설비 및 장비의 보안과 변수의 통제를 위해 설비 현장의 동일망 내 물리적, 논리적인 보안정책 하 통제 운영하는 것이 일반적이며, MES(Manufacturing Execution Systems)나 ERP(전사적자원관리)와 같은 전반적인 생산계획 및/또는 경영관리 시스템과는 분리하여 운영되는 것이 일반적이기 때문에, 두 시스템간의 정보를 통합하기 어려운 문제점이 있다.
제조현장 데이터와 생산지시 데이터를 통합하기 위해서는 별도의 인터페이스 개발 프로그램(Interface Program)이 요구되는데, 이는 제조현장에 존재하는 설비의 수, 설비운영 시스템의 수 및 개발언어의 수와 연결방식과 동일한 규모로 구축되어야 해 설계에 어려움이 있다.
상술한 문제점을 해결하기 위한 본 발명의 일 양태에 따른 목적은 설비 및 장치를 운영하는 동일망 내의 설비운영 시스템의 모니터 디스플레이 화면의 스트리밍 영상 정보를 실시간으로 인코딩하고, 인코딩된 영상에서 데이터 표출 위치를 파악하여 태깅(tagging)함으로써 수치 및/또는 텍스트 데이터를 추출하고, 이를 데이터 엔진으로 전송하여 데이터 엔진에서 데이터를 효율적으로 통합할 수 있도록 지원하는 생산현장 영상에서 데이터를 추출하여 전송하는 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 다른 양태에 따른 목적은 원격지에서 인코딩된 영상을 디코딩하여 실시간 모니터링과 제어를 수행할 수 있는 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 생산현장 영상에서 데이터를 추출하여 전송하는 장치는, 생산현장의 설비운영 시스템의 모니터 디스플레이 화면의 스트리밍(streaming) 영상을 상기 설비운영 시스템으로부터 수신하여 실시간으로 인코딩하는 인코더(encoder), 상기 실시간으로 인코딩된 스트리밍 영상을 수신하여 영상 분석 알고리즘을 통해 상기 실시간으로 인코딩된 스트리밍 영상 내에 존재하는 데이터 표출 위치를 파악하여 태깅(tagging)함으로써 데이터를 추출하는 영상 분석부 및 상기 실시간으로 인코딩된 스트리밍 영상 및 상기 영상 분석 모듈에서 추출된 데이터를 데이터 엔진(data engine)으로 전송하는 통신부를 포함할 수 있다.
상기 설비운영 시스템은 생산자동화 프로세스(process)에서 센싱/제어 레벨, PLC(Programmable Logic Controller) 및 SCADA(Supervisory Control and Data Acquisition) 중 적어도 하나 기반의 시스템을 포함할 수 있다.
상기 영상 분석부는 상기 영상 분석 알고리즘을 통해 데이터 표출 위치를 파악하여 태깅함으로써, 상기 실시간으로 인코딩된 스트리밍 영상 내의 수치 데이터 및 텍스트 데이터를 추출할 수 있다.
상기 추출된 수치 데이터 및 텍스트 데이터는 상기 데이터 엔진에서 상기 설비운영 시스템의 관리대상 설비의 상태 변화를 나타내는 테이블(table)로 가공될 수 있다.
상기 데이터 전송 장치는 상기 실시간으로 인코딩된 스트리밍 영상 및 상기 설비운영 시스템의 제 1 영상 획득부로부터 촬영된 현장 영상 데이터를 수신하는 영상 분배부를 더 포함할 수 있다.
상기 실시간으로 인코딩된 스트리밍 영상, 상기 추출된 데이터 및 상기 현장영상 데이터를 시간정보를 기반으로 동기화하여 로컬 스토리지에 저장하거나 또는 상기 데이터 엔진으로 실시간 전송할 수 있다.
상기 영상 분배부는, 상기 실시간으로 인코딩된 스트리밍 영상 및 상기 현장영상 데이터와 관련된 영상 출력조건 정보를 획득하고, 상기 획득된 영상 출력조건 정보를 기반으로 상기 실시간으로 인코딩된 스트리밍 영상 및 상기 현장영상 데이터의 해상도를 조절하며, 상기 실시간으로 인코딩된 스트리밍 영상 데이터 및 상기 현장영상 데이터를 조절된 해상도로 상기 데이터 엔진으로 전송할 수 있다.
상기 영상 분배부는, 상기 실시간으로 인코딩한 스트리밍 영상의 제 1 기준해상도 및 상기 제 1 영상 획득부로부터 획득되는 현장영상 데이터의 제 2 기준해상도가 상기 영상 출력조건 상에서 유지되면서 상기 데이터 엔진으로의 데이터 전송 대역폭이 최소가 되도록 상기 실시간으로 인코딩된 스트리밍 영상 및 상기 현장영상 데이터의 해상도를 결정할 수 있다.
상기 영상분석부 및 상기 영상분배부를 제어하는 콘트롤러는 상기 실시간으로 인코딩된 스트리밍 영상 데이터, 상기 추출된 데이터 및 상기 현장영상 데이터의 적어도 일부는 큐(queue)에 기록되면서 상기 데이터 엔진으로 중계되도록 제어하되, 상기 콘트롤러는, 상기 데이터 엔진으로부터 주기적으로 수신되는 상태 보고를 기반으로, (i) 상기 데이터 엔진으로 상기 실시간으로 인코딩된 스트리밍 영상 데이터, 상기 추출된 데이터 및 상기 현장영상 데이터를 중계하는 중계 모드 및 (ii) 로컬 스토리지에 상기 실시간으로 인코딩된 스트리밍 영상 데이터, 상기 추출된 데이터 및 상기 현장영상 데이터를 저장하는 기록 모드 중 하나로 동작 모드를 스위칭하는 스위칭부를 포함할 수 있다.
상기 스위칭부는, 상기 데이터 엔진으로부터의 상태 보고의 무응답 시점을 기준으로 큐로부터 버퍼링된 상기 실시간으로 인코딩된 스트리밍 영상 데이터, 상기 추출된 데이터 및 상기 현장영상 데이터가 상기 로컬 스토리지에 기록되도록 동작 모드를 스위칭할 수 있다.
상기 스위칭부는, 주기적으로 상기 데이터 엔진으로부터 상태 보고를 수신하면서, 상기 데이터 엔진으로부터의 보고 시간을 측정하여 평균 보고 수신 시간을 계산하고, 상기 데이터엔진으로부터의 상기 상태 보고의 수신 시간과 임계시간을 비교하여 녹화 장애 발생 여부를 판단하며, 상기 판단 결과에 따라 상기 중계 모드 또는 상기 기록 모드로의 스위칭을 수행하되, 상기 장애 발생 여부의 판단은 상기 측정된 평균 보고 수신 시간 및 최대 버퍼링 가능 시간 중 적어도 하나를 고려하여 측정된 보고 지연 시간을 기반으로 판단할 수 있다.
상기 설비운영 시스템은 제 1 망(a first network) 기반의 시스템이고, 상기 데이터 엔진은 제 2 망(a second network) 기반의 장치일 수 있다.
상기 영상 분석부는 실시간으로 인코딩되는 제 1 스트리밍 영상과 상기 제 1 스트리밍 영상에 후속하는 제 2 스트리밍 영상 간의 윈도우(window) 기간 내의 변화와 연관된 정보를 기반으로 영상전송 프레임 레이트(frame rate)를 결정할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 생산현장 영상에서 데이터를 추출하여 전송하는 방법은 생산현장의 설비운영 시스템의 모니터 디스플레이 화면의 스트리밍(streaming) 영상을 상기 설비운영 시스템으로부터 수신하여 실시간으로 인코딩하는 단계, 상기 실시간으로 인코딩된 스트리밍 영상을 수신하여 영상 분석 알고리즘을 통해 상기 실시간으로 인코딩된 스트리밍 영상 내에 존재하는 데이터 표출 위치를 파악하여 태깅(tagging)함으로써 데이터를 추출하는 단계 및 상기 실시간으로 인코딩된 스트리밍 영상 및 상기 영상 분석 모듈에서 추출된 데이터를 데이터 엔진(data engine)으로 전송하는 단계를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 생산현장 영상에서 추출된 데이터를 수신하는 장치는 제 1 단말로부터, 생산현장의 설비운영 시스템의 모니터 디스플레이 화면의 스트리밍(streaming) 영상을 실시간으로 인코딩한 스트리밍 영상 데이터 및 상기 스트리밍 영상 데이터에서 추출된 데이터를 수신하는 수신부, 상기 수신된 스트리밍 영상 데이터를 디코딩하는 디코더(decoder) 및 상기 디코딩된 스트리밍 영상 데이터와 상기 추출된 데이터를 시간정보를 기반으로 동기화하여 저장하는 로컬 스토리지를 포함할 수 있다.
상기 스트리밍 영상 데이터는 생산자동화 프로세스(process)에서, 센싱/제어 레벨, PLC(Programmable Logic Controller) 및 SCADA(Supervisory Control and Data Acquisition) 중 적어도 하나 기반의 영상 데이터일 수 있다.
상기 데이터 수신 장치는 상기 수신부는 통신망을 통해 제 2 단말로부터 생산자동화 프로세스의 제조실행 도메인 및 기업 자원과 계획과 관련된 비즈니스 도메인 중 적어도 하나와 연관된 생산지시 데이터를 수신하되, 상기 추출된 데이터와, 상기 생산지시 데이터를 비교하는 데이터비교부를 더 포함할 수 있다.
상기 생산지시 데이터는 MES(Manufacturing Execution Systems) 및 ERP(Enterprise Resource Planning) 중 적어도 하나를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 다른 양태에 따른 생산현장 영상에서 추출된 데이터를 수신하는 방법은 생산현장의 설비운영 시스템의 모니터 디스플레이 화면의 스트리밍(streaming) 영상을 실시간으로 인코딩한 스트리밍 영상 데이터 및 상기 스트리밍 영상 데이터에서 추출된 데이터를 수신하는 단계, 상기 수신된 스트리밍 영상 데이터를 디코딩하는 단계 및 상기 디코딩된 스트리밍 영상 데이터와 상기 추출된 데이터를 시간정보를 기반으로 동기화하여 저장하는 단계를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 또 다른 양태에 따른 생산현장 영상에서 추출된 데이터를 송수신하는 시스템은 생산현장의 설비운영 시스템의 모니터 디스플레이 화면의 스트리밍(streaming) 영상을 상기 설비운영 시스템으로부터 수신하여 실시간으로 인코딩하고, 상기 실시간으로 인코딩된 스트리밍 영상에 대해 영상 분석 알고리즘을 통해 상기 실시간으로 인코딩된 스트리밍 영상 내에 존재하는 데이터 표출 위치를 파악하여 태깅(tagging)함으로써 데이터를 추출하며, 상기 실시간으로 인코딩된 스트리밍 영상 및 상기 추출된 데이터를 데이터 엔진(data engine)으로 전송하는 데이터 전송 장치 및 상기 실시간으로 인코딩한 스트리밍 영상 데이터 및 상기 추출된 데이터를 수신하고, 상기 수신된 스트리밍 영상 데이터를 디코딩하여, 상기 디코딩된 스트리밍 영상 데이터와 상기 추출된 데이터를 시간정보를 기반으로 동기화하여 저장하는 데이터 엔진을 포함할 수 있다.
본 발명의 생산현장 영상에서 데이터를 추출하여 전송하는 장치 및 방법에 따르면, 설비운영 시스템에서 관리하는 각 설비의 현재 모니터링되는 데이터와 생산계획 및 경영관리 시스템의 데이터를 용이하게 통합할 수 있도록 하는 효과가 있다.
도 1a는 본 발명의 일 실시예에 따른 데이터 전송 장치를 포함하는 시스템을 개략적으로 나타낸 블록도,
도 1b는 제조 시스템의 계층구조를 나타낸 개념도,
도 2는 본 발명의 일 실시예에 따른 데이터 전송 장치가 시간 정보를 기반으로 동기화하여 생산과 관련된 데이터를 저장하는 방법을 설명하기 위한 개념도,
도 3은 본 발명의 일 실시예에 따른 데이터 전송 장치를 구체적으로 나타낸 상세블록도,
도 4는 본 발명의 일 실시예에 따른 데이터 전송 장치의 인코더(encoder)를 구체적으로 나타낸 상세블록도,
도 5는 본 발명의 일 실시예에 따른 데이터 전송 장치의 인코딩부를 구체적으로 나타낸 상세블록도,
도 6은 설비운영 시스템의 모니터 디스플레이 화면에서 데이터 표출 위치를 태깅(tagging)한 모습을 도시한 예시도,
도 7은 본 발명의 일 실시예에 따른 데이터 전송 장치의 영상 분배부가 적용하고 있는 POD(Pixel On Demand) 방식을 나타낸 개념도,
도 8은 본 발명의 일 실시예에 따른 데이터 전송 장치로부터 수신되는 데이터를 데이터 엔진(data engine)에서 활용하는 예시적인 화면을 나타낸 도면,
도 9는 본 발명의 일 실시예에 따른 데이터 전송 장치로부터 데이터를 수신하여 표시하는 데이터 엔진을 구체적으로 나타낸 상세블록도,
도 10은 본 발명의 다른 실시예에 따른 데이터 전송 장치 기반의 이중 녹화를 위한 시스템을 개략적으로 나타낸 개념도,
도 11은 본 발명의 다른 실시예에 따라 이중 녹화를 수행하는 데이터 전송 장치의 구성을 구체적으로 나타낸 상세블록도,
도 12는 도 11의 스위칭부에서의 장애 판단 방법을 나타낸 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1a는 본 발명의 일 실시예에 따른 데이터 전송 장치를 포함하는 시스템을 개략적으로 나타낸 블록도이다. 도 1a에 도시된 바와 같이, 본 발명의 일 실시예에 따른 데이터 전송 장치를 포함하는 시스템은 설비운영 시스템(110), 영상획득부(120), 제 1 네트워크(130), 데이터 전송 장치(140), 및 데이터 엔진(150)을 포함할 수 있다.
도 1a를 참조하면, 설비운영 시스템(110)은 생산제조 현장의 모니터링 및 설비상태 파악 및 실적집계를 위한 시스템을 나타낸다. 생산설비는 생산공장에 설치된 생산설비를 의미할 수 있고, 생산설비의 상태는 온도, 습도, 전력, 전압, 전류, 압력, 밸브/스위치 개폐 여부 등의 물리적 현상뿐만 아니라 실적과 관련된 상태정보를 포함할 수 있다. 설비운영 시스템(110)은 복수 개의 센서를 기반으로 감지하거나 또는 설비자체의 동작상태를 직접 인지하는 형태로, 생산설비의 작업 상태를 감지하여 이를 전기적 신호로 산출할 수 있고, 산출된 신호를 데이터화하여 운영계 화면 영상을 생성할 수 있다. 또한, 설비운영 시스템(110)은 도 1b를 참조하여 설명한다.
도 1b는 제조 시스템의 계층구조를 나타낸 개념도이다.
도 1b를 참조하면, 레벨 1 도메인(Lv.1 Domain)은 설비제어 장치와 관련된 도메인으로, 컴포넌트 컨트롤러, 로봇 및 센서 기반의 도메인이다. 여기에는, HMI(Human Machine Interface), PLC(Programmable Logic Controller) 및/또는 PCS와 같은 설비제어와 관련된 시스템이 포함된다. 일단 공장 내의 무형의 기본 공정들 및 그 공정들을 담당하는 물리적 개체들인 설비자원들은 가장 하위계층에 존재한다.
레벨 2 도메인(Lv.2 Domain)은 생산제어 시스템과 관련된 도메인으로, 생산 빅데이터 분석, 사이버물리(CPS: Cyber Physical System) 기술 등이 활용될 수 있다. SCADA(Supervisory Control and Data Acquisition) 및 DCS(Distributed Control System)이 상기 레벨 2 도메인과 관련된 시스템이다. 생산자동화의 최전방에 있는 레벨 1 도메인의 기기들(센서, 액추에이터, 전기모터, 콘솔, 스위치, 밸브, 커넥터 등의 컴포넌트)과 연동된 물리가상 시스템이 이 레벨에 속할 수 있다. 즉, 기계들 및 프로세스에서 일종의 하드웨어-소프트웨어 인터페이스에 해당하며, PLC(마스터)-센서 노드(슬레이브) 식의 관계를 형성한다. 경우에 따라서는, 하위 PLC나 산업용 PC, 기계의 내장 컨트롤러들을 관장하는 상위의 마스터 PLC를 두고 운영할 수 있다.
PLC는 상위레벨(주로 레벨 3의 MES)에서 정의된 part count, scrap count, Product ID, Operator ID, Production Order ID, Ideal Cycle Time, Shift, Available Indicator, Running Indicator, Downtime Indicator 등의 항목들에 대해 센서나 기계들의 신호들을 이용하여 해당 정보를 수집 및 그 값에 따라 대상개체를 제어하고 결과를 다시 상위레벨로 전달한다.
레벨 3 도메인(Lv.3 Domain)은 제조실행 시스템과 관련된 도메인으로, 단위공장 생산실적 집계, 계획 기반 실행 분석, 공장재고 중심의 가공비 계산과 관련된 업무를 수행하기 위한 계층이다. MES(Manufacturing Execution System), WMS(Warehouse Management System)이 상기 레벨 3 도메인과 관련된 시스템이다.
레벨 4 도메인(Lv.4 Domain)은 기업자원/계획과 관련된 비즈니스 도메인으로써, 재무/회계 중심의 전사지원 관리(ERP), 연구개발, 수요예측 및 생산계획 관리, 원자재, 제품재고 중심 관리 등이 이루어지는 계층이다. ERP(Enterprise Resource Planning) 외에, CRM(customer relationship management), SCM(Supply Chain Management), PLM(Product Lifecycle Management) 등의 시스템이 본 도메인과 관련되어 있다. 레벨 3 도메인과 레벨 4 도메인의 데이터는 생산지시 데이터라고 부를 수 있다.
레벨 1 도메인(센싱, 제어)과 레벨 2 도메인은 주로, 유선 연결 또는, 설비 및 장비 운영의 보안과 변수통제를 위해 정책적으로 물리적인 장소와 보안망 운영정책으로 분리 운영되는 반면, 레벨 3 이상의 도메인은 일반적인 사무실 환경에서 동작하여 크게 두 도메인 간의 소통 및/또는 데이터 수집이 불완전하기 때문에, 양자간의 원활한 통신 및 데이터 송수신이 요구될 수 있다. 상기 동일한 망은 망 보안 정책으로 인한 완전한 소통 및 데이터 수집이 어려울 수 있다.
이와 관련하여, 본 발명의 실시예에 따른 데이터 전송 장치(140)와 연동하는 설비운영 시스템(110)은 레벨 1 및/또는 레벨 2 도메인과 연관된 운영계 화면 영상을 취급하고, 제 1 네트워크(130)를 통해 데이터 전송장치(140)와 통신한다. 데이터 전송장치(140)는 또한, 유선 및/또는 무선 네트워크를 통해 레벨 3 및/또는 레벨 4 도메인 기반의 데이터엔진(150)과 통신할 수 있다. 이러한 관계에서, 데이터 전송장치(140)는 레벨 1/레벨 2 기반의 시스템과 제 1 네트워크(130)를 통해 통신가능하고, 회사망과도 연계되어 있어 레벨 3/레벨 4 기반의 시스템도 모두 취급할 수 있다. 또한, 레벨 1/레벨 2와 연관된 데이터를 데이터 엔진(150)으로 중계하여 데이터 엔진(150)에서 레벨 3/레벨 4 데이터와 레벨 1/레벨 2 데이터의 비교 분석이 원활이 이루어지도록 하는 기능을 수행할 수 있다.
다시 도 1a로 돌아가서, 이러한 관계 속에서, 데이터 전송장치(140)는 제 1 네트워크(130)를 통해 레벨 1 및/또는 레벨 2 도메인 기반의 설비운영 시스템(110) 및/또는 영상획득부(120)와 통신한다. 설비운영 시스템(110)은 센서/제어, PLC 및 PCM 기반의 레벨 1 도메인과 SCADA 기반의 레벨 2 도메인과 관련된 시스템으로써, 상기 도메인의 프로그램에 의해 생성되는 운영계 화면을 취급한다. 상기 운영계 화면은 설비운영 시스템(110)의 모니터를 통해 디스플레이된다. 이때, 설비운영 시스템(110)은 설비운영 시스템(110)의 모니터 디스플레이 화면의 영상 데이터를 스트리밍(streaming) 방식으로 데이터 전송장치(140)의 인코더로 제공한다. 인코더는 실시간으로 수신되는 디스플레이 화면의 스트리밍 영상 데이터를 인코딩하여 영상 분석부로 제공하고, 영상 분석부는 실시간 인코딩된 스트리밍 영상에서 의미를 갖는 데이터를 추출하여 로컬 스토리지에 직접 저장하거나 또는 통신부를 통해 데이터 엔진(150)으로 실시간으로 전송할 수 있다. 또한, 데이터 전송장치(140)는 영상분석부에서 추출된 유의미한 데이터(예컨대, 수치 및/또는 텍스트 데이터)를 로컬 스토리지에 저장하거나 데이터 엔진(150)으로 전송할 수 있다.
또한, 영상 획득부(120)는 설비운영 시스템(110)이 모니터링하는 설비와 관련된 영상으로 SCADA 시스템에 포함되는 구성요소일 수 있다. 영상획득부(120)는 카메라와 같은 영상촬영수단으로 구성되고, 촬영된 생산현장 영상 데이터는 제 1 네트워크(130)를 통해 실시간으로 데이터 전송장치(140)의 영상분배부로 제공된다. 영상분배부는 인코더에서 실시간으로 인코딩된 스트리밍 영상 데이터 및 영상 획득부에서 촬영한 현장영상 데이터를 수신하여 데이터엔진(150)으로부터의 출력조건에 맞게 해상도를 조절하여 영상을 데이터 엔진(150)으로 제공한다.
데이터 엔진(160)은 회사망을 통해 외부 장치와 연동하는 서버 기반의 디바이스이다. 즉, 회사망을 통해 외부장치로부터 MES 및/또는 ERP와 같은 레벨 3/레벨 4 기반의 데이터를 수신할 수 있다. 또한, 데이터 전송장치(140)로부터 수신된 스트리밍 영상 데이터, 추출된 데이터 및 현장영상 데이터를 분석 및 모니터를 통해 한눈에 볼 수 있도록 표시할 수 있고, 이때, 상기 레벨 3/레벨 4 기반의 데이터를 동시에 표시 및 비교 분석함으로써 현재 생산효율성 기대실적 등을 확인할 수 있다.
도 2는 본 발명의 일 실시예에 따른 데이터 전송 장치가 시간 정보를 기반으로 동기화하여 생산과 관련된 데이터를 저장하는 방법을 설명하기 위한 개념도이다.
도 2를 참조하면, 데이터 전송 장치의 콘트롤러는 수신되는 생산현장의 설비와 관련된 데이터를 시간 정보를 기반으로 동기화하여, 로컬 스토리지에 저장한다. 이때, 동기화를 위해, 설비의 상태와 관련된 영상 및/또는 추출된 수치/텍스트 데이터는 타임스탬프(timestamp)와 같은 시간정보를 삽입하여 데이터 엔진으로 제공될 수 있다.
이때, 시간정보와 함께 저장되는 정보는 인코더를 통해 실시간으로 인코딩된 설비운영 시스템의 모니터 스트리밍 영상 데이터, 영상획득부로부터 수신되는 적어도 하나의 현장데이터(생산현장의 CCTV 영상 등), 설비의 상태 데이터(온도, 습도, 전력, 전압, 전류, 압력, 밸브/스위치 개폐 여부뿐만 아니라 실적 관련 데이터 등)를 포함할 수 있다. 이러한 설비의 상태 관련 데이터가 시간정보와 함께 동기화되어 로컬 스토리지에 저장될 수 있다. 이때, 물리적으로 저장되는 파일 위치를 동일하게 할 수도 있고, 다르게 할 수도 있다.
또한, 이와 같이 동기화되어 저장되는 정보는 저장과 동시에 데이터 엔진으로 전송될 수 있다. 또는 상기 동기화된 정보는 로컬 스토리지의 저장 없이 실시간 통신 프로토콜을 통해 실시간으로 데이터 엔진으로 전송될 수 있다. 이때, 타임스탬프 정보와 함께 전송되어 데이터엔진에서도 시간정보를 가지고 인코딩된 스트리밍 영상 데이터, 현장 데이터 및 상태 데이터를 가공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 데이터 전송 장치를 구체적으로 나타낸 상세블록도이다. 도 3에 도시된 바와 같이, 데이터 전송장치(300)는 인코더(310), 콘트롤러(320), 통신부(330)를 포함할 수 있다. 이때, 인코더(310)는 별도의 컴퓨팅 장치로써 구현될 수 있다. 또한, 인코더(310)외에 각각의 구성요소들(예컨데, 영상분배부(324))도 개별 컴퓨팅 장치로 구현될 수 있어, 많게는 3개 이상의 컴퓨팅 장치의 조합으로 구현될 수 있다. 또는 하나의 컴퓨팅 장치 내의 컴포넌트로써 구현될 수도 있다.
도 3을 참조하면, 설비운영 시스템의 모니터 디스플레이 화면의 스트리밍 영상 데이터는 데이터 전송장치(300)의 인코더(310)로 제공된다. 인코더(310)는 수신되는 설비운영 시스템의 모니터 디스플레이 화면 데이터를 기반으로 실시간으로 인코딩을 수행할 수 있다. 수신되는 디스플레이 화면 데이터의 매 프레임을 캡쳐(capture)함으로써 실시간으로 인코딩할 수 있다. 그리고는, 실시간으로 인코딩된 데이터를 콘트롤러(320)로 제공한다.
콘트롤러(320)는 영상분석부(322), 및 영상 분배부(324)를 포함할 수 있다.
영상분석부(322)는 실시간으로 인코딩된 데이터에서 수치 및/또는 텍스트로 표시되는 데이터를 추출한다. 이때, 데이터 표출 위치를 태그하도록 할 수 있다. 이는 사용자가 직접 태그 위치를 설정함으로써 이루어질 수도 있고, OCR(Optical Character Recognition)과 같은 숫자/텍스트 광학 인식 기술을 사용하여 장치 자체적으로 태깅이 이루어지도록 할 수 있다. 이를 통해 전형적인 빅데이터(BigData)에서 유의미한 데이터를 수집할 수 있다. 상기 영상분석부(322)에서 추출한 수치/텍스트 데이터는 각 설비의 상태를 나타낼 수 있도록 가공되어 저장될 수 있다.
영상 분배부(324)는 인코더(310)에서 생성된 스트리밍 영상 데이터를 수신하고, 외부의 영상획득부로부터 현장영상 데이터를 수신한다. 그리고는, 영상분배부(323)는 데이터 엔진으로부터 출력조건과 관련된 정보를 수신한다. 그리고는, 데이터 엔진의 출력조건에 맞게 각 영상의 해상도를 결정한다. 그 다음, 결정된 해상도로 영상을 재인코딩하여 통신부(330)로 제공한다. 그러면, 통신부(330)는 조절된 해상도로 재인코딩된 영상데이터를 데이터엔진으로 전송할 수 있다.
통신부(330)는 데이터 엔진으로 데이터를 전송하는 구성요소로써, 안테나 및/또는 통신프로세서로 구현될 수 있다.
도 4는 본 발명의 일 실시예에 따른 데이터 전송 장치의 인코더(encoder)를 구체적으로 나타낸 상세블록도이다. 도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인코더는 영상 수신부(410), 제 1 변환부(420), 제 2 변환부(430), 인코딩부(440), 제 2 변환부(450), 믹서(460), 명령 수신부(470) 및 명령 제공부(480)를 포함할 수 있다.
도 4를 참조하면, 영상 수신부(410)는 설비운영 시스템으로부터 모니터 디스플레이 화면 영상을 스트리밍 형태로 수신한다. 영상 수신부(410)는 유선(예컨대, 디지털 인터페이스) 또는 무선으로 연결된 상태에서 설비운영 시스템의 모니터 디스플레이 화면에 대한 스트리밍 영상 데이터를 실시간으로 수신할 수 있다.
영상 수신부(410)는 HDMI/DVI와 같은 디지털 인터페이스를 활용할 수 있고, 이를 통해 수신된 설비운영 시스템의 스트리밍 영상 데이터를 MIPI CSI(Mobile Industry Processor Interface for Camera Serial Interface)로 변환할 수 있다. MIPI CSI는 설비운영 시스템과 호스트 프로세서와의 인터페이스이다. 이는 CSI-1, CSI-2, CSI-3 및 CSI-4와 같은 표준 프로토콜에 따른다.
제 1 변환부(420)는 영상 수신부(410)로부터 MIPI CSI 기반의 설비운영 시스템의 스트리밍 영상 데이터를 수신하여 YUV 데이터 포맷으로 변환한다. 본 발명의 실시예에 따르면, 변환된 YUV 데이터는 YUV 420 데이터 포맷을 포함할 수 있다. 상기 YUV 420 데이터 포맷들은 기존 시스템들과의 호환성을 위한 레가시 포맷(legacy YUV 420)과 보다 저비용 실행을 위한 넌-레가시 YUV 420(non-legacy YUV 420) 포맷을 포함할 수 있다. 제 1 변환부(420)는 두 개로 분할된 채널을 통해 제 2 변환부(430, 450)로 상기 YUV 포맷의 설비운영 시스템 스트리밍 영상 데이터를 제공한다. 이때, 제 2 변환부(430)를 통한 채널에서는 인코딩을 통해 콘트롤러로의 전송이 이루어지고, 제 2 변환부(450)를 통한 채널에서는 믹싱을 통해 바이패스 모니터(405)로의 화면 데이터 제공이 이루어질 수 있다.
제 2 변환부(430, 450)는 상기 YUV 데이터를 RGB 데이터로 변환한다. YUV 포맷은 높은 압축률을 가질 수 있기 때문에, 이를 적색(R), 녹색(G), 및 청색(B)을 갖는 낮은 압축률의 RGB 포맷의 데이터로 변환하는 것이 바람직하다. 제 2 변환부(430)의 변환 방법은 4:2:0, 4:2:2, 및 4:4:4 변환 방식 중 적어도 하나가 사용될 수 있다. 다만 반드시 이에 국한되는 것은 아니다.
인코딩부(440)는 제 2 변환부(430)에서 변환된 RGB 포맷의 설비운영 시스템의 스트리밍 영상 데이터를 인코딩한다. 인코딩 방식으로는 HEVC(High Efficiency Video Coding)(H.265), H.264/AVC, SVC(Scalable Video Coding), MVC(Multiview Video Coding), DivX, WMV(Window Media Video), VP8, VP9 등 다양한 방식이 사용될 수 있다. 이는 사용자 설정에서 선택가능하고, 사용자 인터페이스를 통해 변경될 수 있다. 또한, 인코딩부(440)는 사용자 설정을 통해, 해상도, 프레임 레이트(frame rate) 및/또는 비트레이트(bit rate)를 변경하여 데이터를 인코딩할 수 있다. 인코딩부(440)는 하나의 프레임 단위로 데이터를 인코딩할 수 있고, 또는 하나의 프레임을 분할한 분할 프레임 단위(예컨대, 1/4 프레임)로 인코딩하여 인코딩된 데이터를 콘트롤러로 제공할 수 있다.
콘트롤러는 인코딩부(440)를 통해 인코딩된 설비운영 시스템의 스트리밍 영상 데이터를 데이터 엔진으로 전송한다. 콘트롤러는 인코딩부(440)로부터 하나의 완성된 프레임을 수신하여 패킷화한 후, 데이터 엔진으로 전송할 수 있다. 또는, 분할 프레임 단위의 인코딩된 데이터를 수신하여 패킷화하여 데이터 엔진으로 전송할 수도 있다. RTP 또는 RTSP와 같은 실시간 통신 프로토콜을 통해 인코딩된 데이터를 제 3 단말로 전송한다.
믹서(460)는 제 2 변환부(450)를 통해 변환된 RGB 포맷의 설비운영 시스템의 스트리밍 영상 데이터를 HDMI/DVI와 같은 디지털 인터페이스 및/또는 무선 네트워크를 통해 출력가능한 형태로 믹싱한다. 믹싱된 데이터는 상기 디지털 인터페이스 및/또는 무선 네트워크를 통해 연결된 바이패스 모니터(405)로 제공된다.
이러한 믹싱 과정을 통한 비디오 스트림 출력에 따라 바이패스 모니터(405)는 데이터 전송장치에서 처리되어 데이터 엔진 측으로 전송되는 화면을 데이터 전송장치의 사용자에게 표시할 수 있고, 상기 데이터 전송장치의 사용자는 현재 원격 제어될 가능성이 있는 설비운영 시스템의 화면을 확인할 수 있고, 또한 원격 제어에 의해 변경되는 설비운영 시스템의 모니터 디스플레이 화면을 확인할 수 있다. 예컨대, 원격지의 데이터 엔진의 사용자가 설비운영 시스템의 특정 아이콘를 클릭하여 아이콘을 열었을 경우, 이러한 설비운영 시스템의 화면 내의 변화가 바이패스 모니터(405)에 표시되어 데이터 전송장치의 사용자가 지각할 수 있도록 한다.
명령 수신부(470)는 콘트롤러를 매개로 데이터 엔진으로부터의 제어명령을 수신한다. 상기 제어명령은 설비운영 시스템에 대한 원격지에서의 제어명령으로 설비운영 시스템의 모니터 화면을 보면서 데이터 엔진의 사용자가 데이터 엔진과 연결된 사용자 인터페이스(미도시)를 이용하여 제공하는 명령어들이다. 이는 커서 이동, 커서 클릭, 문자/숫자/부호 입력, 명령어 입력 등을 포함할 수 있다.
명령 제공부(480)는 명령 수신부(470)에서 수신한 제어명령을 파싱하여 설비운영 시스템으로 제공한다. 설비운영 시스템은 이를 수신하여 데이터 엔진과 연관된 사용자의 명령을 이행한다.
도 5는 본 발명의 일 실시예에 따른 데이터 전송 장치의 인코딩부를 구체적으로 나타낸 상세블록도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 인코딩부(500)는 코덱 선택부(510), 해상도 조절부(520), 프레임 레이트 조절부(530) 및 비트레이트 조절부(540)를 포함할 수 있다.
도 5를 참조하면, 코덱 선택부(510)는 복수 개의 코덱들(코덱 1, 코덱 2, ..., 코덱 N) 중 하나의 코덱 방식을 선택한다. 코덱 선택부(510)는 사용자 설정에 따라 여러 코덱 중 하나를 선택가능하다. 코덱 선택부(510)는 디폴트(default)로 설정된 코덱 1로 인코딩을 수행하다가, 사용자 설정에 의해 코덱 변경이 있을 경우, 변경설정된 코덱 2를 통해 인코딩을 수행할 수 있도록 제어한다.
해상도 조절부(520)는 인코딩과 관련하여 프레임의 해상도를 조절한다. 즉, 인코딩된 데이터의 표현의 섬세함의 정도를 조절할 수 있다. 이는 수평화소 및 수직 화소의 수로 정의될 수 있다. 이 역시 디폴트 값으로 설정되는 수치가 존재할 수 있고, 사용자 인터페이스를 통해 사용자가 임의로 값을 변경할 수 있다. 또는 복수 개의 모드(3840x2160, 1920x1080, 1280x720, 1024x768, 800x600, 320x180 등)를 설정해 놓고, 이 중 하나를 가변 선택하도록 할 수 있다.
프레임 레이트 조절부(530)는 인코딩과 관련하여 프레임 레이트를 조절하고, 비트레이트 조절부(540)는 비트레이트를 조절한다. 프레임 레이트 조절부(530)는 fps 15, 30, 60 등 다양한 프레임 레이트를 마련하고 있을 수 있고, 해상도 상관없이 설정한 fps 적용할 수 있다. 프레임 레이트와 비트레이트도 디폴트 값으로 일정 값이 설정되고, 사용자 인터페이스를 통해 사용자가 임의로 해당 값을 변경할 수 있다. 프레임 레이트는 초당 들어가는 프레임 수를, 비트 레이트는 초당 들어가는 정보의 양으로 정의될 수 있다. 사용자는 이러한 프레임 레이트 및/또는 비트레이트를 임의로 조절함으로써 설비운영 시스템의 스트리밍 영상 데이터의 화질을 효과적으로 조절할 수 있다. 즉, 데이터 전송장치의 사용자는 설비운영 시스템의 특성에 따라 고화질의 데이터를 취급하는 경우, 데이터 전송장치의 인코딩 관련 파라미터를 고화질로 맞춰 인코딩이 수행되도록 하여 원격지의 사용자도 고화질의 설비운영시스템의 스트리밍 영상을 시청할 수 있도록 하고, 반대로 비교적 저화질의 데이터를 취급해도 무방한 경우, 인코딩 관련 파라미터를 저화질에 적합한 값으로 맞춰 인코딩 효율을 높일 수 있다.
도 6은 설비운영 시스템의 모니터 디스플레이 화면에서 데이터 표출 위치를 태깅(tagging)한 모습을 도시한 예시도이다.
도 6을 참조하면, 설비운영 시스템은 복수 개의 설비들을 관장한다. 여기서, 설비들은 센서, 액추에이터, 전기모터, 콘솔, 스위치, 밸브, 커넥터 등의 컴포넌트를 포함할 수 있다. 또한, 설비운영 시스템의 각 설비와 연관된 센서, 제어신호, 및/또는 자체적인 실적관리 장치를 통해 각 설비의 상태를 모니터링할 수 있고, 모니터링된 정보는 설비운영 시스템으로 수집된다. 앞서 설명한 바와 같이, 각 설비의 상태 정보는 온도, 습도, 전력, 전압, 전류, 압력, 밸브/스위치 개폐 여부 등의 물리적 현상뿐만 아니라 실적과 관련된 상태정보(현재 수율 또는 실행률) 중 적어도 일부를 포함할 수 있다.
도 6에서 태그(tag) 부분은 네모 블록으로 표시되어 있다. 태그 부분은 각 설비의 상태와 관련된 데이터 부분을 나타낸다. 이러한 태그 부분은 사용자가 각 페이지에 맞게 설정해 놓을 수 있다. 예컨대, 메인 설비 전체 화면에서는 모니터 디스플레이 화면의 제 1 영역과 제 2 영역에 태그부분이 위치하는 것으로 설정할 수 있고, 알람(alarm)과 관련된 화면에서는 모니터 디스플레이 화면의 제 3 영역과 제 4 영역에 태그부분이 위치하도록 설정하여, 각 화면에 대응되는 태그부분이 서로 다르게 설정될 수 있도록 할 수 있다. 그리고, 설정된 태그부분에서 수치 및/또는 텍스트 데이터를 추출하여 어느 설비의 상태 값인지를 매칭하여 기억할 수 있도록 할 수 있다. 즉, 제 1 설비의 데이터는 제 1 영역에 위치하는 것으로 태그해 놓고, 제 1 영역의 태그위치의 수치가 변경되는 것을 실시간으로 모니터링하면서 제 1 설비의 상태를 실시간으로 확인할 수 있다. 이러한 태그부분의 수치는 별도로 추출되어 데이터 엔진에서 각 설비별 상태를 나타내는 테이블과 같은 정형데이터로 가공될 수 있다. 다만, 이러한 태그부분의 설정에 따른 데이터 추출이 반드시 사용자설정에 의해서만 이루어지는 것은 아니다. 별도의 사용자 설정 없이도, OCR과 같은 광학문자인식 기술을 통해 시스템 자동으로 수치 및/또는 텍스트 데이터의 추출이 이루어질 수 있다. 사용자 설정 없이 OCR 분석을 통해 추출된 데이터는 동일 위치에 추출된 데이터끼리 위치와 매칭하여 저장되고, 추후 사용자가 특정 위치에서 변화되는 추출 데이터에 의미를 부여하여 상태를 가리키는 형태로 활용될 수 있다. OCR 분석에 의해 추출된 데이터는 설비 이름과 관련된 데이터와 같이, 특정한 상태를 나타내지 않는 데이터도 포함되어 있을 수 있으므로, 이러한 부분은 제외하고, 시간에 따라 데이터 값이 변하는 부분만을 별도로 인식하여 저장할 수 있다. 추후, 변화된 추출 데이터는 특정 설비의 특정 상태 값을 나타내는 것으로 의미를 부여하여 자동추출된 데이터도 유용하게 활용될 수 있도록 한다. 또한, 수치/텍스트 외에 경고 표시와 같은 색상으로 구분되는 데이터도 사용자 설정에 따른 태깅 또는 그 외의 다른 영상분석 툴에 따른 태깅에 의해 추출대상이 될 수 있고, 이러한 부분도 적색은 "경고"를, 녹색은 "정상"을 나타내는 등, 색상에 따라 의미를 부여하여 설비 상태를 나타내도록 할 수 있다.
또한, 도 6의 우하단의 일자 표시 부분(610)에 일자 및 시간을 표시하는 부분이 있을 수 있다. 영상분석부는 인코딩된 스트리밍 영상에서 일자 부분의 시간 정보를 기반으로 추출된 데이터의 시간정보를 알 수 있다. 이는 결국 설비운영시스템의 시간으로 데이터 전송장치에서 관리하는 시간과 별도로 처리될 수 있다. 즉, 스트리밍 영상 내의 시간과 스트리밍 영상의 수신에 따라 데이터 전송장치가 부여하는 시간은 다를 수 있고, 둘 모두를 함께 저장하여 관리할 수 있다. 이때, 영상분석부는 스트리밍 영상의 수신시간(스트리밍 영상의 일자/시간 부분과 다를 수 있음)을 기반으로 타임스탬프를 직접 삽입하여 시간정보를 확보할 수도 있다. 삽입된 타임스탬프를 이용하여 특정 시간대의 영상 및 수치/텍스트 데이터를 확인할 수 있다.
본 발명의 일 실시예에 따르면, 추출된 데이터는 각 사일로(silo)들의 데이터 및 각 로봇 암들(AI ARMS)의 데이터를 포함할 수 있다. 추출된 데이터를 기반으로 각 사일로의 각 로봇 암들의 현재 상태 정보를 확인할 수 있다. 즉, 설비운영 시스템의 스트리밍 영상의 하나의 프레임에서, 복수 개의 설비 및 각 설비의 세부구성에 대한 수치/텍스트 데이터를 확보할 수 있다. 즉, 제 1 설비의 각 사일로들의 로봇암들, 제 2 설비의 각 사일로들의 로봇암들의 상태 정보(예컨대, 현재 수율, 진행도, 온도 정보, 전력 정보, 밸브/스위치 상태 등)가 실시간으로 생성되어 스트리밍 영상과 함께 저장될 수 있다. 이와 같이 실시간으로 추출된 데이터와 추출 시간정보를 기반으로 타임프탬프와 함께 저장할 수 있다. 또한, 타임스탬프를 기반으로 실시간 인코딩된 설비운영 시스템과 관련된 스트리밍 영상, 추출된 데이터, 및/또는 현장영상 데이터가 함께 기록 및 외부 데이터엔진으로 전송될 수 있다.
도 7은 본 발명의 일 실시예에 따른 데이터 전송 장치의 영상 분배부가 적용하고 있는 POD(Pixel On Demand) 방식을 나타낸 개념도이다.
도 7을 참조하면, 도 7의 (a)는 일반적인 방식으로 복수 개의 영상을 데이터 엔진으로 제공하는 경우를 나타낸 개념도이다. 여기서, 영상 1(810-1)은 인코더에서 실시간으로 인코딩된 설비운영 시스템의 스트리밍 영상 데이터일 수 있고, 영상 2 내지 영상 4(710-2~710-4)는 복수 개의 영상 획득부로부터 획득한 현장영상들일 수 있다. 각각의 영상 데이터(710-1~710-4)는 모두 특정 해상도를 가지며, 10Mbps(bit per second)의 대역폭을 사용하여 제공될 때 적절한 품질을 가질 수 있다. 이에, 이러한 10Mbps의 대역폭이 각각 필요한 영상 1 내지 영상 4(710-1~710-4)를 데이터 전송장치가 데이터 엔진으로 전송하기 위해서는, 10Mbps x 4 = 40Mbps의 대역폭이 필요하게 된다.
도 7의 (b)는 본 발명의 일 실시예에 따른 데이터 전송장치의 영상분배부가 사용하는 POD 방식을 설명하기 위한 개념도이다. 도 7의 (b)에서도 도 7의 (a)의 상황과 동일하게, 인코더로부터 인코딩된 설비운영 시스템의 스트리밍 영상, 생산현장영상 등이 모두 10Mbps의 비트레이트의 기준해상도를 가지고 있다고 가정한다. 이러한 기준해상도는 전송의 초기 기준이 되는 해상도로써, 인코딩된 스트리밍 영상 데이터의 경우에는 인코딩된 데이터의 인코딩 해상도를 나타낼 수 있다. 그 밖의 인코더를 거치지 않고 영상분배부로 직접 수신된 영상 데이터이기 때문에, 수신될 때의 해상도가 기준해상도가 될 수 있다. 기준 해상도는 사용자 설정에 따라 변경될 수 있다. 또한, 영상이 아닌 데이터는 본 발명의 일 실시예에 따른 POD 방식의 적용을 받지 않는 것이 바람직하다.
상기와 같은 실시예에 있어서, 영상분배부는 40Mbps의 대역폭을 사용하여 입력되는 영상 1 내지 4(710-1~710-4)를 모두 수신하고, 수신된 영상들에 대해 적절한 해상도 조절을 통해 전송대역폭의 효율을 극대화한다. 영상분배부는 데이터 엔진으로부터 영상출력조건 정보를 획득할 수 있다. 영상 출력조건 정보는 데이터 엔진에서 영상을 출력하는 조건과 관련된 정보로, 출력되는 영상의 개수 및 영상식별정보, 출력 영상의 크기, 배치에 대한 정보를 포함한다. 예컨대, 영상 1 내지 4(710-1~710-4)가 모두 출력되며, 이때, 4등분된 크기로 영상 1 내지 4(710-1~710-4)가 데이터 엔진과 연관된 디스플레이 수단(예컨대, 모니터, TV 등)에서 표시된다면 출력영상의 식별번호와 해당 식별번호에 대응되는 영상의 출력 크기 정보가 데이터 엔진으로부터 영상분배부로 제공된다.
영상분배부는 데이터 엔진으로부터 수신된 영상 출력 조건 정보 중 영상식별번호를 기반으로 전송해야 할 영상을 특정하고, 영상의 출력크기 정보를 기반으로 특정된 영상의 대응되는 해상도를 결정할 수 있다. 이때, 해상도는 영상들의 원(original) 해상도(기준 해상도)가 상기 데이터 엔진에서의 영상출력조건 상에서 유지되면서, 데이터 엔진으로의 영상 전송을 위한 대역폭이 최소가 되도록 하는 해상도 값으로 결정될 수 있다. 예컨대, 도 7의 (b)의 실시예에서는, 10Mbps의 전송 대역폭을 요구하는 해상도의 영상 4개가 전송되는 상황에서, 데이터 엔진에서는 해당 영상들이 1/4의 크기로 출력되고 있기에, 모든 영상의 해상도가 1/4로 감소하여도 데이터 엔진의 출력화면에서는 이를 구분하기 어렵다고 판단할 수 있다. 이에, 해상도를 1/4로 조절하여, 한 영상당 10Mbps의 대역폭을 요구하던 것을, 2.5Mbps의 대역폭을 통해 전송함으로써, 전체적으로 40Mbps가 아닌, 2.5Mbps x 4 = 10Mbps의 대역폭으로 4개 영상을 전송하도록 하는 것이 바람직하다. 이것이 본 발명의 영상분배부에서 사용하는 POD 방식이다.
본 발명의 실시예에 따르면, 중첩된 형태로 데이터 엔진의 디스플레이 수단에서 영상을 표시할 수도 있기에, 10Mbps의 기준 해상도를 갖는 복수 개의 영상의 조합된 화면임에도, 10Mbps를 넘는 대역폭이 요구될 수도 있다. 또한, 데이터 엔진의 디스플레이 수단의 전체 영역에 영상이 표출되고 있지 않을 수도 있기에(텍스트, 숫자 또는 기타 다른 형식의 데이터가 표시될 수도 있음), 10Mbps 이하의 대역폭을 사용하는 경우가 발생할 수도 있음은 물론이다.
도 8은 본 발명의 일 실시예에 따른 데이터 전송 장치로부터 수신되는 데이터를 데이터 엔진(data engine)에서 활용하는 예시적인 화면을 나타낸 도면이다.
도 8을 참조하면, 데이터 전송장치는 시간 정보를 기반으로 동기화된 복수 개의 영상, 음성 및 추출된 데이터를 로컬 스토리지에 직접 저장하였다가 추후 이를 추출하여 검토하거나, 실시간으로 외부의 데이터 엔진으로 전송하여 이를 활용할 수 있다.
데이터 전송장치로부터 데이터 엔진으로 전송된 데이터는 도 8의 도면과 같이 활용될 수 있다. 즉, 데이터 전송장치 또는 데이터 엔진의 뷰어(viewer)에서는, 영상 선택 아이콘(810)을 통해 어느 영상을 출력할지 결정할 수 있다. 출력 영상의 종류는 수집된 영상의 종류에 대응된다. 즉, 설비운영 시스템의 스트리밍 영상, 현장영상 1~N 및 추출된 수치/텍스트 데이터를 기반으로 생성되는 테이블 데이터 등을 포함할 수 있다.
도 8의 실시예에서는, 설비운영 시스템 스트리밍 영상, 현장영상 1 및 2와 추출된 수치/텍스트 데이터를 4개의 분할된 셀(cell)에 표시하는 것을 가정한다. 하나의 모니터에는 복수 개의 셀(830-1, 830-2, 830-3, 830-4)을 포함하여, 여러 셀에서 각각 하나의 의미있는 화면을 출력할 수 있다. 이때, 하나의 물리적인 모니터는 캔버스(820: canvas)라고 부를 수 있다. 즉, 캔버스(820)는 복수 개의 정사각형, 또는 직사각형 셀(830-1, 830-2, 830-3, 830-4)로 분할될 수 있다.
도 8의 실시예에 따르면, 데이터 엔진은 연결된 모니터에 설비운영 시스템의 스트리밍 영상은 셀(830-1)에, 현장영상 1은 셀(830-2)에, 현장영상 2는 셀(830-3)에, 그리고 수치/텍스트 데이터를 기반으로 각 설비의 상태를 나타내는 형태로 가공된 테이블 데이터는 셀(830-4)에 표시하고 있다. 이때, 각 셀에 들어갈 화면의 특정, 및 각 셀의 크기는 데이터 엔진의 사용자 인터페이스(미도시)를 통해 설정 및 변경가능하다. 또한, 테이블 데이터 화면에 표시할 상태 데이터의 선택 및 테이블이 아닌 다른 형태(예컨대, 수치, 텍스트, 그래프, 챠트 등)의 데이터 표시를 위한 선택도 사용자 임의로 변경가능하다. 예컨대, 표시되는 상태 데이터로는, 각 설비별 데이터(특정 설비의 현재 상태를 나열한 형태의 데이터), 각 상태별 데이터(예컨대, 스위치 ON/OFF 여부, 온도, 전력 등 특정 상태를 나타내는 설비를 나열한 형태의 데이터) 등이 포함될 수 있다.
그리고, 일자 선택 아이콘(840)에서, 데이터 엔진으로 전송된 과거 데이터를 화면에 표시할 것인지, 아니면 실시간으로 전송되는 현재 데이터를 화면에 표시할 것인지 선택할 수 있다. 만약, 현재 실시간으로 전송되는 데이터를 화면에 표시할 때에는, 화면의 표시 설정과 관련하여, 각 셀(830-1, 830-2, 830-3, 830-4)의 크기, 각 셀(830-1, 830-2, 830-3, 830-4)에 표시되는 영상의 특정과 관련된 정보를 실시간으로 데이터 전송장치로 전송하는 것이 바람직하다. 그래야, 데이터 전송장치의 영상 분배부에서 POD 방식을 사용하여 최적의 해상도로 조절된 영상 데이터를 전송할 수 있다.
만약, 과거 데이터를 화면에 표시하고자 할 때, 전체 셀(830-1, 830-2, 830-3, 830-4)의 데이터 시점을 특정할 수 있다. 예컨대, 과거 3월의 특정 일자(예컨대, 15일)로 데이터 재생 시점을 특정할 수 있고, 이때, 해당 일자의 시간바(850: time bar)가 화면의 하단에 표시될 수 있다. 이때, 시간바(850)를 이용하여 특정 시점을 설정하면, 해당 시점의 데이터가 로딩되어 각 셀(830-1, 830-2, 830-3, 830-4)에 표시되게 된다. 즉, 3/15일 03:15:04의 시점을 재생하면, 3/15일 03:15:04의 시점의 설비운영시스템의 스트리밍 영상이 셀(830-1)에, 3/15일 03:15:04의 시점의 현장영상 1이 셀(830-2)에, 3/15일 03:15:04의 시점의 현장영상 2가 셀(830-3)에, 그리고 3/15일 03:15:04의 시점의 테이블 데이터가 셀(830-4)에 표시될 수 있다. 즉, 데이터 엔진의 사용자는 해당 시점의 다양한 영상 및 음성, 정형/비정형 데이터를 화면을 통해 한눈에 확인함으로써, 특정 시점의 상황을 종합적으로 파악할 수 있다. 이때, 데이터 엔진은 별도의 영상 분석 모듈(미도시)을 활용할 수 있다. 예컨대, 영상 분석 모듈을 통해 다수의 영상을 시간의 흐름에 따라 분석하고, 기저장된 검출항목에 따라 특정이벤트를 검출하면, 검출된 이벤트와 관련된 시점의 다른 영상을 자동으로 함께 검출 및 분석하도록 하여, 효율적인 생산현장 관련 상황에 대한 분석이 이루어지도록 할 수 있다.
또한, 각 셀별로 데이터의 시점을 다르게 특정하여 표시하는 것(예컨대, 셀(830-1)은 시점 1의 영상을, 셀(830-2)은 시점 2의 영상을 표시)은 본 기술분야의 통상의 기술자에게는 자명할 것이다.
추가적으로, 각 셀들은 중첩된 형태로 배치될 수 있다. 예컨대, 하나의 셀이 다른 셀들보다 앞서 있는 형태로 존재할 수 있다. 설비운영 시스템의 스트리밍 영상이 입체적으로 봤을 때, 튀어나와 있는 것처럼 표시되도록 할 수 있고, 그 하위 단에 다른 영상들이 배치되도록 하여, 중첩된 영상 배치가 되도록 할 수도 있다. 중첩된 영상의 배치, 중첩된 셀에 들어갈 영상의 특정 및 중첩 셀의 크기 등도 사용자 인터페이스를 통해 임의로 조정가능하다.
더욱이, 데이터 엔진은 회사망을 통해 레벨 3 및/또는 레벨 4 도메인의 정보를 수신 및 저장할 수 있다. 이에, 데이터 엔진은 생산운영 시스템의 데이터와 레벨 3 및/또는 레벨 4 도메인의 MES 및/또는 ERP 데이터를 서로 다른 셀에 배치하여 하나의 화면에서 비교분석할 수 있도록 제어할 수 있다. 즉, 현재 시점과 관련된 MES 및 ERP 데이터를 셀 2(830-2) 및 셀 4(830-4)에 표시하고, 셀 1(830-1) 및 셀 3(830-3)에 현재시점의 설비운영 시스템의 스트리밍 영상 및 현장 영상을 표시하여 사용자가 한 화면에 목표 생산수량 대비 현재의 생산상황을 비교할 수 있도록 할 수 있다. 이때, 비교분석을 위한 모듈을 별도로 설치하여 각 데이터에 대응되는 항목을 매칭하여, 목표 실적 대비 현재 실적을 기반으로 현재 생산효율에 대한 산술적인 계산이 이루어지도록 할 수 있다. 즉, 제 1 설비에 대해 600의 실적을 MES 또는 ERP에서 계획한대 반해, 현재 설비운영 시스템에서 해당설비에 대한 실적이 450까지 진행되었다고 한다면, 현재 생산효율은 450/600*100(%) = 75%의 수율이 자동 계산되도록 할 수 있다.
도 9는 본 발명의 일 실시예에 따른 데이터 전송 장치로부터 데이터를 수신하여 표시하는 데이터 엔진을 구체적으로 나타낸 상세블록도이다. 도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 데이터 엔진(1020)은 디코더(922), 콘트롤러(924), 전송부(926) 및 로컬 스토리지(928)를 포함할 수 있다. 각 구성요소는 각 구성요소의 기능과 관련된 명령어를 실행하는 하나의 하드웨어 프로세서로 구현되거나 또는 각 기능에 따라 또는 조합된 기능에 따라 복수 개의 하드웨어 프로세서로 구현될 수 있다. 데이터 엔진(920)은 데이터 수신 장치라고 불릴 수 있다.
도 9를 참조하면, 디코더(922)는 적어도 하나의 데이터 전송장치(910-1~910-N)으로부터 인코딩된 비디오 스트림(설비운영 시스템의 디스플레이 화면 데이터), 그 밖의 현장영상 데이터 및/또는 수치/텍스트 데이터를 수신한다. 실질적으로는 데이터를 수신하는 수신부(미도시)가 별도로 존재할 수 있다. 수신부는 통신 프로세서를 포함할 수 있고, 수신부는 상기 적어도 하나의 데이터 전송장치(910-1~910-N)뿐만 아니라 통신망을 통해 외부의 단말로부터 레벨 3 및/또는 레벨 4 도메인의 생산지시 데이터를 수신할 수 있다.
디코더(922)는 수신된 데이터들 중 인코딩된 비디오 스트림 및 현장영상 데이터를 디코딩한다. 디코딩은 인코딩된 방식과 대응되는 방식으로 이루어질 수 있다. 디코더(922)는 인코딩된 비디오 스트림을 YUV 포맷의 데이터로 디코딩할 수 있다. 이때, 상기 YUV 데이터는 YUV420 데이터일 수 있다. 그리고는, 디코딩된 YUV 데이터를 RGB 데이터로 변환한다. 디코더(922)는 변환된 RGB 데이터를 HDMI/DVI와 같은 디지털 인터페이스를 통해 전송가능하도록 믹싱한다. 믹싱된 데이터는 디스플레이부(930)로 제공되어 데이터 엔진(920)의 사용자가 디스플레이부(930)를 통해 원격지의 설비운영 시스템의 화면을 볼 수 있도록 한다.
이때, 데이터 엔진(920)의 사용자는 사용자 인터페이스(미도시)를 통해 제어명령을 입력할 수 있다. 사용자 인터페이스(미도시)는 터치스크린, 키보드 및/또는 마우스 등일 수 있고, 제어명령은 터치스크린의 터치, 키보드의 자판 입력 및/또는 마우스의 휠 이동 또는 클릭 입력 등을 통해 이루어진다. 상기 제어명령은 전송부(926)를 통해 데이터 전송장치(910)로 제공되고, 데이터 전송장치(910)는 이를 설비운영 시스템으로 제공할 수 있다.
콘트롤러(924)는 디코더(922)에서 디코딩된 영상데이터를 수신한다. 또한, 디코딩이 요구되지 않는 수치/텍스트 데이터(데이터 전송장치의 영상분석부에서 추출된 데이터를 포함함)도 함께 수신한다. 그리고는, 사용자 인터페이스를 통해 사용자로부터 입력된 출력관련 신호를 기반으로 영상을 배치하여 디스플레이부(930)를 통해 표시한다. 콘트롤러(924)는 수신된 영상 및 그 밖의 데이터의 처리 및 각 구성요소(예컨대, 전송부(926) 및 스토리지(928))의 제어를 수행한다. 또한, 콘트롤러(924)의 데이터 비교부는 수신된 수치/텍스트 데이터를 기반으로 각 설비의 상태를 나타내는 다양한 정형/비정형 데이터를 생성할 수 있다. 이때, 각 데이터 비교부는 설비의 시간에 따른 상태변화를 나타내는 테이블, 그래프 및/또는 챠트를 생성할 수 있다. 또한, 통신망을 통해 수신되는 MES 및/또는 ERP와 같은 도메인 3 및 도메인 4의 데이터(생산지시 데이터)를 기반으로 생성된 테이블 데이터와 비교분석한다. 테이블 데이터와 도메인 3 및 도메인 4 데이터에서, 동일항목 또는 비교 대상 항목을 추출하여, 각 항목에 대응되는 데이터를 매치업한다. 그리고는, 매치업된 데이터를 기반으로 현재의 생산효율, 목표 달성 가능성 등을 분석하여 표시할 수 있다. 또한, 임계값을 설정하여 임계값보다 낮은 수치가 감지되어, 생산효율에 문제가 있다고 판단되는 설비에 대해서는 경고발생과 관련된 신호를 생성하여, 전송부(926)를 통해 경고신호를 전송할 수 있다. 또한, 데이터 비교부에서의 비교분석 결과 중 적어도 일부는 전송부(926)를 통해 각 설비에 대응되는 데이터 전송장치(910-1~910-N)로 전송될 수 있다.
콘트롤러(924)는 디스플레이부(930)에서의 영상 및 그 밖의 데이터의 출력과 관련하여, 출력조건과 관련된 신호를 생성하여 전송부(926)를 통해 데이터 전송장치(910-1~910-N)로 전송한다. 또한, 데이터 엔진(920)은 복수 개의 데이터 전송장치(910-1~910-N)의 영상 및 그 밖의 데이터를 수신하기에, 표출되는 데이터가 어느 데이터 전송장치(910-1~910-N)의 데이터인지 식별하여, 식별된 데이터 전송장치(예컨대, 장치(910-N))로 출력조건 정보를 전송한다.
또한, 콘트롤러(924)는 현재 출력되지 않는 영상 및 데이터들에 대해서도 데이터를 수신하는 대로 로컬 스토리지(928)에 시간정보와 함께 저장하여, 추후에 과거 특정시점의 영상, 수치/텍스트 및 정형/비정형 데이터의 로딩이 요구될 때, 해당시점의 영상, 수치/텍스트 및 정형/비정형 데이터를 인출하여 표시할 수 있도록 할 수 있다.
도 10은 본 발명의 다른 실시예에 따른 데이터 전송 장치 기반의 이중 녹화를 위한 시스템을 개략적으로 나타낸 개념도이다. 도 10에 도시된 바와 같이, 본 발명의 일 실시예에 따른 데이터 전송장치 기반의 이중 녹화를 위한 시스템은 설비운영 시스템(1010-1), 영상획득부(1010-2), 데이터 전송장치(1020), 및 데이터 엔진(1030)을 포함할 수 있다.
도 10을 참조하면, 데이터 전송장치(1020)는 영상정보 제공 장치들(1010-1~1010-2)로부터 수신되는 데이터를 데이터 엔진(1030)으로 중계하여 데이터 엔진(1030)이 실시간 기록 또는 화면 출력을 수행하게 구성될 수 있다. 데이터 전송장치(1020)는 실시간으로 동영상을 수신할 수 있고, 수신된 동영상을 데이터 엔진(1030)으로 제공할 수 있으며, 데이터 엔진(1030)으로부터 주기적으로 수신 관련 보고를 수신하여 정보 수신에 이상이 없는지 확인할 수 있다. 그리고는, 수신 불능 상태가 되었을 시 수신 불능 지점을 검출하여 검출 지점부터 데이터를 기록하도록 하여 복구 지연 시간으로 인한 녹화 또는 수신 단절을 없앨 수 있다.
데이터 전송장치(1020)는 데이터 엔진(1030)으로부터의 원격 동영상 중계를 요청받아 중계 동작을 수행할 수 있다. 데이터 전송장치(1020)는 영상정보 제공 장치들(1010-1~1010-2)로부터의 동영상을 수신하여 수신된 동영상을 일정 시간(예컨대, 장애 복구 시간을 위해 최소 15초 내외일 수 있음) 큐(queue)에 버퍼링(buffering)할 수 있다. 그리고 나서, 데이터 전송장치(1020)는 버퍼링과 함께 데이터 엔진(1030)으로 동영상 스트림 및/또는 그 외의 다른 데이터들을 중계할 수 있다.
본 발명의 일 실시예에 따르면, 데이터 전송장치(1020)는 녹화 기능 및 통신/중계 기능을 구비한 장치로써, VCR(Video Cassette Recorder), DVR(Digital Video Recorder), PVR(Personal Video Recorder), 또는 PC, 개인 휴대 정보 단말(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 소비자 전자기기(CE), 무선 통신 기능을 갖는 재생 가전제품, 인터넷 가전제품, 셋톱 박스 등을 포함할 수 있다.
데이터 엔진(1030)은 데이터 전송장치(1020)로부터 수신되는 동영상 스트림을 기록할 수 있다. 데이터 엔진(1030)은 특정 주기에 따라 현재 녹화 가능 여부 및/또는 정상 녹화 여부 등에 대한 정보를 포함하는 상태 보고 메시지를 생성하여 데이터 전송장치(1020)로 전송할 수 있다. 데이터 엔진(1030)이 녹화 불능 상태(예컨대, 네트워크 장애 또는 녹화 기능 장애 등으로 인해)가 되었을 시, 데이터 전송장치(1020)는 일정시간 상태 보고가 없음을 통해 이를 감지할 수 있다. 이때, 데이터 전송장치(1020)는 무응답 시점을 기준으로 큐로부터 중단 부분을 찾아 녹화를 이어서 수행할 수 있다.
데이터 엔진(1030)은 데이터 전송장치(1020)와 직접 연결된 녹화 기능을 구비한 장치이다. 데이터 엔진(1030) 역시 데이터 전송장치(1020)와 같이, VCR, DVR, PVR, 및 각종 컴퓨팅 장치 및/또는 단말을 포함할 수 있다. 데이터 엔진(1030)은 대용량 데이터베이스(1035)와 연동하면서, 대용량 데이터베이스(1035)에 데이터 전송장치(1020)로부터 수신한 데이터들을 저장할 수 있다.
본 발명의 실시예에 따르면, 데이터 전송장치(1020) 및 데이터 엔진(1030)은 공동 데이터베이스(1035)에 상호 연계하여 동영상 스트림을 기록할 수 있다. 이때, 데이터 전송장치(1020)는 공동 데이터베이스(1035)에 이미 기록된 동영상 스트림을 기반으로 데이터 엔진(1030)으로부터의 녹화가 중단된 시점을 찾아 큐의 버퍼링된 동영상 스트림의 해당 지점부터 공동 데이터베이스(1035)에 기록할 수 있다. 이를 통해 공동데이터베이스에는 끊김 없는(seamless) 녹화 영상이 별도의 작업없이 기록되도록 할 수 있다.
본 발명의 일 실시예에 따르면, 데이터 엔진(1030)의 녹화 장애 발생 시에도 끊김 없이 녹화가 가능하고, 원본 동영상 변환이 없는 녹화 기록의 경우 저사양(예컨대, 데스크 탑) 기기만으로도 구현이 가능하다.
도 11는 본 발명의 다른 실시예에 따라 이중 녹화를 수행하는 데이터 전송 장치의 구성을 구체적으로 나타낸 상세블록도이다. 도 11에 도시된 바와 같이, 데이터 전송장치는 콘트롤러(1110), 통신부(1120) 및 로컬 스토리지(1130)를 포함할 수 있다. 또한, 콘트롤러(1110)는 영상 분배부를 포함하되, 그 외에, 영상 수신부(1112), 버퍼링부(1114), 스위칭부(1116)를 포함할 수 있다. 상기 각 구성요소는 하나의 하드웨어 프로세서 또는 복수 개의 하드웨어 프로세서로 구현가능하며 복수 개의 구성요소가 복수 개의 프로세서에 분산되어 구현될 수 있다. 또한, 프로세서는 해당 구성요소의 기능을 지시하기 위한 명령어를 포함하는 메모리(미도시)로부터의 명령어를 기반으로 기능을 수행할 수 있다.
도 11를 참조하면, 영상 수신부(1112)는 영상 제공 장치들로부터 동영상 스트림을 수신할 수 있다. 영상 수신부(1112)는 인코더를 통해 실시간으로 인코딩된 설비운영 시스템의 스트리밍 영상, 그 밖의 생산현장 영상 스트림을 수신하는 기능을 수행한다. 영상 수신부(1112)는 안테나 및/또는 통신 프로세서를 포함할 수 있다. 영상 영상 수신부(1112)는 실시간으로 동영상 스트림을 수신할 수 있고, 여러 채널을 통해 다중화된 복수 개의 동영상 스트림을 수신할 수 있다.
버퍼링부(1114)는 영상 수신부(1112)로부터 수신된 동영상 스트림을 적어도 하나의 큐에 일시적으로 저장할 수 있다. 상기 버퍼링부(1114)는 최대 버퍼링 시간이 설정되어 있을 수 있다. 이는 디폴트 값으로 설정될 수 있고, 또는 사용자 인터페이스(미도시)를 통해 사용자가 직접 설정할 수 있다. 이는 녹화 또는 중계 동작 실행 중에도 가변될 수 있다. 다만, 최대 버퍼링 시간은 데이터 엔진(1150)으로부터의 상태 보고 주기보다는 긴 것이 바람직하다. 버퍼링부(1114)는 스위칭부(1116)의 제어신호에 따라 큐에 버퍼링된 동영상 스트림의 특정 부분(또는 특정 프레임)부터 로컬 스토리지(1130)에 저장할 수 있다.
스위칭부(1116)는 버퍼링부(1114) 및/또는 영상 수신부(1112)로부터 동영상 스트림을 수신하여 통신부(1120) 또는 로컬 스토리지(1130)로 제공할 수 있다. 통신부(1120)로 제공하는 모드를 제 1 모드(또는 중계 모드라 부를 수 있음), 로컬 스토리지(1130)로 제공하는 모드를 제 2 모드(또는 기록 모드라 부를 수 있음)로 정의할 수 있다. 경우에 따라서는, 중계와 기록을 동시에 수행하도록 할 수 있다. 다만, 본 발명의 다른 실시예에서는, 하나의 모드를 선택 적용하는 것을 가정한다.
스위칭부(1116)는 기본적으로 제 1 모드로 동작하도록 설정될 수 있다. 제 1 모드에 따르면, 데이터 엔진(1150)의 정상 녹화를 가정하여, 버퍼링부(1114) 및/또는 영상 수신부(1112)를 통해 수신되는 동영상 스트림을 데이터 엔진(1150)로 중계한다.
스위칭부(1116)는 통신부(1120)로부터 전달되는 데이터 엔진(1150)으로부터의 상태 보고 메시지를 기반으로 데이터 엔진(1150)의 정상 녹화 동작 여부를 판단하여, 현재 정상 녹화가 이루어지고 있는지, 또는 그렇지 않는지에 대한 정보를 획득할 수 있다. 예컨대, 정상 녹화가 이루어지지 않는 녹화 장애 상황이 검출된 경우, 스위칭부(1116)는 제 1 모드에서 제 2 모드로 동작 모드를 스위칭할 수 있다. 녹화 장애 상황의 검출과 관련하여, 스위칭부(1116)는 데이터 엔진(1150)으로부터 수신되는 상태 보고 시간을 미리 설정된 임계 시간과 비교하여 임계 시간 이상 상태 보고가 수신되지 않는 경우, 녹화 장애 상황이 발생된 것으로 판단할 수 있다. 이때, 임계 시간은 최대 버퍼링 시간으로 설정될 수 있다. 또는, 스위칭부(1116)는 임계 조건에 따라 녹화 장애 상황 발생을 판단할 수 있다. 임계 조건은 상태 보고의 평균 수신 시간값보다 상태 보고의 지연 시간(예컨대, 가장 최근 상태 보고 시점부터 상태 보고가 수신되고 있지 않는 현재 시점까지의 시간)이 큰 경우 및/또는 상태 보고 지연 시간이 설정된 최대 버퍼링 시간의 절반의 시간보다 큰 경우라는 조건을 포함할 수 있다. 위 임계 조건이 만족되면 데이터 엔진(1150)과의 연결이 해제 또는 데이터 엔진(1150)의 녹화 불능으로 판단하고, 데이터 전송장치(1100)가 직접 동영상 스트림을 녹화하는 제 2 모드로 스위칭한다. 제 2 모드에 따르면, 스위칭부(1116)는 동영상 스트림이 직접 로컬 스토리지(1130)에 저장되도록 한다. 스위칭부(1116)는 버퍼링부(1114)에서 버퍼링된 스트림을 수신하여 로컬 스토리지(1130)로 제공하거나, 버퍼링부(1114)에 지시를 줘서 버퍼링부(1114)에서 직접 로컬 스토리지(1130)에 동영상 스트림을 저장하도록 할 수 있다. 이때, 보고의 무응답 시점부터 데이터 엔진(1150)이 동영상 스트림을 기록하지 않았다고 가정하고, 무응답 시점을 찾아 해당 시점부터 버퍼링부(1114)의 큐에 저장된 동영상을 로컬 스토리지(1130)에 저장할 수 있다.
또한, 스위칭부(1116)는 데이터 엔진(1150)으로부터 보고가 재개되는 경우, 상태보고를 다시 수신한 시점에 제 2 모드에서 제 1 모드로 스위칭하여 다시 데이터 엔진(1150)이 동영상 스트림을 녹화하도록 하고, 자신은 중계기 역할을 하도록 할 수 있다.
통신부(1120)는 데이터 엔진(1150)과의 연결을 제공한다. 이는 유선 또는 무선 네트워크로 연결될 수 있다. 통신부(1120)는 모뎀, 안테나, 통신용 모뎀 및/또는 통신 프로세서 등일 수 있다. 이를 통해 데이터 엔진(1150)과 동영상 스트림을 비롯한 각종 정보를 송수신할 수 있다. 통신부(1120)는 스위칭부(1116)가 제 1 모드인 경우, 동영상 스트림을 데이터 엔진(1150)으로 전달할 수 있다. 통신부(1120)는 주기적으로 데이터 엔진(1150)으로부터 상태 보고를 수신할 수 있고, 이를 스위칭부(1116)에 제공할 수 있다.
로컬 스토리지(1130)는 제 2 모드인 경우, 스위칭부(1116) 또는 버퍼링부(1114)로부터 버퍼링된 동영상 스트림을 수신받아 자체 메모리(미도시) 및/또는 데이터베이스(미도시)에 저장할 수 있다. 상기 자체 메모리는 데이터 전송장치(1100) 내에 상주하는 하드 디스크, 플래시 디스크, RAM/ROM 등의 메모리일 수 있다.
도 12는 도 11의 스위칭부에서의 장애 판단 방법을 나타낸 흐름도이다.
도 12를 참조하면, 데이터 전송장치의 스위칭부는 통신부를 통해 데이터 엔진으로부터 상태 보고 메시지를 수신하고 모니터링할 수 있다(S1210).
그리고는, 상기 스위칭부는 데이터 엔진으로부터 수신되는 상태 보고 메시지의 수신 시간 정보를 일정용량 기록할 수 있다. 그리고는, 이를 기반으로 보고의 평균 주기를 계산할 수 있다(S1220).
스위칭부는 상태 보고 메시지 모니터링 결과 및 보고 메시지 평균 주기 정보를 기반으로 다음의 스위칭 조건(또는 임계 조건)을 통해 장애 발생 여부를 판단할 수 있다.
- 스위칭 조건
Rt = 데이터 엔진으로부터 수신되는 상태 보고 수신 시간
Bm = 설정된 최대 버퍼링 시간
Vt = Rt의 평균 주기
Tn = 측정된 Rt의 지연 시간
(i) Vt < Tn && (ii) Tn > (Bm / 2)를 만족하는 경우 스위칭 수행
상기 스위칭 조건에 따르면, 스위칭부는 상태 보고 수신 시간을 기준으로 지연시간(Tn)을 측정하여 측정된 지연시간이 평균 주기(Vt)보다 큰지 판단한다(S1230). 그리고/또는 측정된 지연시간(Tn)이 최대 버퍼링 시간(Bm)의 절반보다 큰 경우 녹화 장애 상태가 발생했다고 판단할 수 있다(S1240). 이때, 지연시간은 무응답시점을 기준으로 기산될 수 있다. 또한, 스위칭 조건은 반드시 최대 버퍼링 시간(Bm)의 절반을 기준으로 할 것은 아니고, 사용자가 임의로 설정한 시간 조건, 최대 버퍼링 시간(Bm) 자체 및/또는 최대 버퍼링 시간(Bm)을 기준으로 일정 시간을 뺀 새로운 참조시간을 기준으로 할 수 있다. 이는 사용자 인터페이스를 통해 사용자가 임의로 설정할 수 있다.
이때, 스위칭부는 장애 발생을 감지하여 모드 변경을 지시하는 제어 신호를 제공할 수 있다(S1250). 또한, 동시에, 무응답 시점(예컨대, 최근 상태 보고 신호 수신 시간)을 검출하여 해당 시점부터의 버퍼링된 동영상 스트림을 저장할 것을 지시하는 제어 신호를 버퍼링부에 제공할 수 있다.
또한, 스위칭부는 제 2 모드로 스위칭된 상태, 즉, 장애 발생이 진행되고 있는 상황에서 다시 상태 보고가 재개되는 시점을 상태 보고 수신을 기점으로 파악할 수 있다. 이때, 스위칭부는 제 2 모드에서 제 1 모드로 모드를 변경할 것으로 지시하는 제어신호를 생성할 수 있다.
전술한 바와 같이, 제 1 모드에서는 버퍼링된 동영상 스트림을 통신부를 통해 데이터 엔진으로 전송한다. 반면, 제 2 모드에서는 로컬 스토리지로 버퍼링된 동영상 스트림을 전송한다. 스위칭 지시 제어 신호를 수신하면, 제 1 모드인 경우, 제 2 모드로 동작모드를 스위칭하고, 제 2 모드인 경우, 제 1 모드로 스위칭할 수 있다.
본 발명의 다른 실시예에 따르면, 상기 장치는, SCADA 및 HMI 등과 같은 레벨 1 및 레벨 2의 운영계 시스템 화면 데이터(예컨대, 스트리밍 영상 또는 현장영상)를 데이터 엔진으로 전송함에 있어서, 네트워크 사용 대역폭을 고려할 수 있다. 예컨대, 전송 대상 화면에 변화가 없는 경우, 화면전송 프레임을 최소화하여 전송하다가, 알람(alarm)이 발생하거나, 수집대상 화면에 태깅된 정보가 변화하면 일시적으로 프레임을 높여서 전송하는 방식을 사용할 수 있다. 본 발명의 실시예에 따르면, 태깅된 부분뿐만 아니라 영상분석을 통해 화면 내의 특정 영역의 영상의 변화를 감지하여 프레임 레이트의 변화를 트리거링할 수 있다.
이를 위해, 본 발명의 실시예에 따르면, 장치는, 기설정된 시간(윈도우 기간) 동안의 변화를 모니터링하고, 변화가 종료되면 다시 최소프레임으로 전송하는 방식으로 전환할 수 있다. 최소프레임은 3fps 내지 5fps가 적절할 수 있다. 이러한 경우, 알람상황을 복수 개로 설정하여, 설정된 복수 개의 구분된 알람 상태에 맞는 정책을 기반으로 프레임 전송을 보다 효율적으로 제어할 수 있다. 예컨대, 수치 변화가 설정된 윈도우 기간 내에 10의 값의 변화가 있으면, 알람 1 상황으로, 20의 값의 변화가 있으면 알람 2 상황으로 설정하여, 알람 상황의 발생을 모니터링하다가, 알람 1 또는 알람 2 상황에 대응하여 프레임의 변화를 제 1 프레임 속도 또는 제 2 프레임 속도로 변환하는 방식이 채용될 수 있다. 이러한 동작은 영상 분석부에서 수행될 수 있다.
추가적으로, 본 발명의 또 다른 실시예에 따르면, 상기 장치는, 현장 운영계 화면에서 변화가 발생할 경우, 발생 데이터를 저장하기 위해 화면을 캡쳐하여 이미지 파일로 클라우드 드라이브(예컨대, 구글 드라이브, 드롭박스 등)에 업로드할 수 있다. 이때, 동시에 변화된 모든 이미지를 업로드할 때의 네트워크 대역폭 사용 절감을 위해, 초기 1회 캡쳐한 영상은 풀이미지(full image)를 업로드 하고 이후 변화가 발생할 경우 변화된 부분의 이미지만 일정 영역으로 선택하여(Crop) 최소화 된 용량의 이미지를 이름을 바꾸어 클라우드 드라이브에 업로드 하는 방식을 사용할 수 있다. 이를 통해, 네트워크 효율성을 극대화할 수 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 생산현장 영상에서 데이터를 추출하여 전송하는 장치에 있어서,
    생산현장의 설비운영 시스템의 모니터 디스플레이 화면의 스트리밍(streaming) 영상을 상기 설비운영 시스템으로부터 수신하여 실시간으로 인코딩하는 인코더(encoder);
    상기 실시간으로 인코딩된 스트리밍 영상을 수신하여 영상 분석 알고리즘을 통해 상기 실시간으로 인코딩된 스트리밍 영상 내에 존재하는 데이터 표출 위치를 파악하여 태깅(tagging)함으로써 데이터를 추출하는 영상 분석부; 및
    상기 실시간으로 인코딩된 스트리밍 영상 및 상기 영상 분석 모듈에서 추출된 데이터를 데이터 엔진(data engine)으로 전송하는 통신부를 포함하는 생산현장 영상에서 데이터를 추출하여 전송하는 장치.
  2. 제 1 항에 있어서,
    상기 설비운영 시스템은 생산자동화 프로세스(process)에서 센싱/제어 레벨, PLC(Programmable Logic Controller) 및 SCADA(Supervisory Control and Data Acquisition) 중 적어도 하나 기반의 시스템을 포함하는 생산현장 영상에서 데이터를 추출하여 전송하는 장치.
  3. 제 1 항에 있어서,
    상기 영상 분석부는 상기 영상 분석 알고리즘을 통해 데이터 표출 위치를 파악하여 태깅함으로써, 상기 실시간으로 인코딩된 스트리밍 영상 내의 수치 데이터 및 텍스트 데이터를 추출하는 생산현장 영상에서 데이터를 추출하여 전송하는 장치.
  4. 제 3 항에 있어서,
    상기 추출된 수치 데이터 및 텍스트 데이터는 상기 데이터 엔진에서 상기 설비운영 시스템의 관리대상 설비의 상태 변화를 나타내는 테이블(table)로 가공 가능한 생산현장 영상에서 데이터를 추출하여 전송하는 장치.
  5. 제 1 항에 있어서,
    상기 실시간으로 인코딩된 스트리밍 영상 및 상기 설비운영 시스템의 제 1 영상 획득부로부터 촬영된 현장 영상 데이터를 수신하는 영상 분배부를 더 포함하는 생산현장 영상에서 데이터를 추출하여 전송하는 장치.
  6. 제 5 항에 있어서,
    상기 실시간으로 인코딩된 스트리밍 영상, 상기 추출된 데이터 및 상기 현장영상 데이터를 시간정보를 기반으로 동기화하여 로컬 스토리지에 저장하거나 또는 상기 데이터 엔진으로 실시간 전송하는 생산현장 영상에서 데이터를 추출하여 전송하는 장치.
  7. 제 5 항에 있어서, 상기 영상 분배부는,
    상기 실시간으로 인코딩된 스트리밍 영상 및 상기 현장영상 데이터와 관련된 영상 출력조건 정보를 획득하고, 상기 획득된 영상 출력조건 정보를 기반으로 상기 실시간으로 인코딩된 스트리밍 영상 및 상기 현장영상 데이터의 해상도를 조절하며, 상기 실시간으로 인코딩된 스트리밍 영상 데이터 및 상기 현장영상 데이터를 조절된 해상도로 상기 데이터 엔진으로 전송하는 생산현장 영상에서 데이터를 추출하여 전송하는 장치.
  8. 제 7 항에 있어서,
    상기 영상 분배부는, 상기 실시간으로 인코딩한 스트리밍 영상의 제 1 기준해상도 및 상기 제 1 영상 획득부로부터 획득되는 현장영상 데이터의 제 2 기준해상도가 상기 영상 출력조건 상에서 유지되면서 상기 데이터 엔진으로의 데이터 전송 대역폭이 최소가 되도록 상기 실시간으로 인코딩된 스트리밍 영상 및 상기 현장영상 데이터의 해상도를 결정하는 생산현장 영상에서 데이터를 추출하여 전송하는 장치.
  9. 제 3 항에 있어서,
    상기 영상분석부 및 상기 영상분배부를 제어하는 콘트롤러는 상기 실시간으로 인코딩된 스트리밍 영상 데이터, 상기 추출된 데이터 및 상기 현장영상 데이터의 적어도 일부는 큐(queue)에 기록되면서 상기 데이터 엔진으로 중계되도록 제어하되,
    상기 콘트롤러는, 상기 데이터 엔진으로부터 주기적으로 수신되는 상태 보고를 기반으로, (i) 상기 데이터 엔진으로 상기 실시간으로 인코딩된 스트리밍 영상 데이터, 상기 추출된 데이터 및 상기 현장영상 데이터를 중계하는 중계 모드 및 (ii) 로컬 스토리지에 상기 실시간으로 인코딩된 스트리밍 영상 데이터, 상기 추출된 데이터 및 상기 현장영상 데이터를 저장하는 기록 모드 중 하나로 동작 모드를 스위칭하는 스위칭부를 포함하는 생산현장 영상에서 데이터를 추출하여 전송하는 장치.
  10. 제 9 항에 있어서, 상기 스위칭부는,
    상기 데이터 엔진으로부터의 상태 보고의 무응답 시점을 기준으로 큐로부터 버퍼링된 상기 실시간으로 인코딩된 스트리밍 영상 데이터, 상기 추출된 데이터 및 상기 현장영상 데이터가 상기 로컬 스토리지에 기록되도록 동작 모드를 스위칭하는 생산현장 영상에서 데이터를 추출하여 전송하는 장치.
  11. 제 10 항에 있어서, 상기 스위칭부는,
    주기적으로 상기 데이터 엔진으로부터 상태 보고를 수신하면서, 상기 데이터 엔진으로부터의 보고 시간을 측정하여 평균 보고 수신 시간을 계산하고, 상기 데이터엔진으로부터의 상기 상태 보고의 수신 시간과 임계시간을 비교하여 녹화 장애 발생 여부를 판단하며, 상기 판단 결과에 따라 상기 중계 모드 또는 상기 기록 모드로의 스위칭을 수행하되,
    상기 장애 발생 여부의 판단은 상기 측정된 평균 보고 수신 시간 및 최대 버퍼링 가능 시간 중 적어도 하나를 고려하여 측정된 보고 지연 시간을 기반으로 판단하는 생산현장 영상에서 데이터를 추출하여 전송하는 장치.
  12. 제 1 항에 있어서,
    상기 설비운영 시스템은 제 1 망(a first network) 기반의 시스템이고,
    상기 데이터 엔진은 제 2 망(a second network) 기반의 장치인 생산현장 영상에서 데이터를 추출하여 전송하는 장치.
  13. 제 1 항에 있어서,
    상기 영상 분석부는 실시간으로 인코딩되는 제 1 스트리밍 영상과 상기 제 1 스트리밍 영상에 후속하는 제 2 스트리밍 영상 간의 윈도우(window) 기간 내의 변화와 연관된 정보를 기반으로 영상전송 프레임 레이트(frame rate)를 결정하는, 생산현장 영상에서 데이터를 추출하여 전송하는 장치.
  14. 생산현장 영상에서 데이터를 추출하여 전송하는 방법에 있어서,
    생산현장의 설비운영 시스템의 모니터 디스플레이 화면의 스트리밍(streaming) 영상을 상기 설비운영 시스템으로부터 수신하여 실시간으로 인코딩하는 단계;
    상기 실시간으로 인코딩된 스트리밍 영상을 수신하여 영상 분석 알고리즘을 통해 상기 실시간으로 인코딩된 스트리밍 영상 내에 존재하는 데이터 표출 위치를 파악하여 태깅(tagging)함으로써 데이터를 추출하는 단계; 및
    상기 실시간으로 인코딩된 스트리밍 영상 및 상기 영상 분석 모듈에서 추출된 데이터를 데이터 엔진(data engine)으로 전송하는 단계를 포함하는 생산현장 영상에서 데이터를 추출하여 전송하는 방법.
  15. 생산현장 영상에서 추출된 데이터를 수신하는 장치에 있어서,
    제 1 단말로부터, 생산현장의 설비운영 시스템의 모니터 디스플레이 화면의 스트리밍(streaming) 영상을 실시간으로 인코딩한 스트리밍 영상 데이터 및 상기 스트리밍 영상 데이터에서 추출된 데이터를 수신하는 수신부;
    상기 수신된 스트리밍 영상 데이터를 디코딩하는 디코더(decoder); 및
    상기 디코딩된 스트리밍 영상 데이터와 상기 추출된 데이터를 시간정보를 기반으로 동기화하여 저장하는 로컬 스토리지를 포함하는 생산현장 영상에서 추출된 데이터를 수신하는 장치.
  16. 제 15 항에 있어서,
    상기 스트리밍 영상 데이터는 생산자동화 프로세스(process)에서, 센싱/제어 레벨, PLC(Programmable Logic Controller) 및 SCADA(Supervisory Control and Data Acquisition) 중 적어도 하나 기반의 영상 데이터인 생산현장 영상에서 추출된 데이터를 수신하는 장치.
  17. 제 16 항에 있어서,
    상기 수신부는 통신망을 통해 제 2 단말로부터 생산자동화 프로세스의 제조실행 도메인 및 기업 자원과 계획과 관련된 비즈니스 도메인 중 적어도 하나와 연관된 생산지시 데이터를 수신하되,
    상기 추출된 데이터와, 상기 생산지시 데이터를 비교하는 데이터비교부를 더 포함하는 생산현장 영상에서 추출된 데이터를 수신하는 장치.
  18. 제 17 항에 있어서,
    상기 생산지시 데이터는 MES(Manufacturing Execution Systems) 및 ERP(Eenterprise Resource Planning) 중 적어도 하나를 포함하는 생산현장 영상에서 추출된 데이터를 수신하는 장치.
  19. 생산현장 영상에서 추출된 데이터를 수신하는 방법에 있어서,
    생산현장의 설비운영 시스템의 모니터 디스플레이 화면의 스트리밍(streaming) 영상을 실시간으로 인코딩한 스트리밍 영상 데이터 및 상기 스트리밍 영상 데이터에서 추출된 데이터를 수신하는 단계;
    상기 수신된 스트리밍 영상 데이터를 디코딩하는 단계; 및
    상기 디코딩된 스트리밍 영상 데이터와 상기 추출된 데이터를 시간정보를 기반으로 동기화하여 저장하는 단계를 포함하는 생산현장 영상에서 추출된 데이터를 수신하는 방법.
  20. 생산현장 영상에서 추출된 데이터를 송수신하는 시스템에 있어서,
    생산현장의 설비운영 시스템의 모니터 디스플레이 화면의 스트리밍(streaming) 영상을 상기 설비운영 시스템으로부터 수신하여 실시간으로 인코딩하고, 상기 실시간으로 인코딩된 스트리밍 영상에 대해 영상 분석 알고리즘을 통해 상기 실시간으로 인코딩된 스트리밍 영상 내에 존재하는 데이터 표출 위치를 파악하여 태깅(tagging)함으로써 데이터를 추출하며, 상기 실시간으로 인코딩된 스트리밍 영상 및 상기 추출된 데이터를 데이터 엔진(data engine)으로 전송하는 데이터 전송 장치; 및
    상기 실시간으로 인코딩한 스트리밍 영상 데이터 및 상기 추출된 데이터를 수신하고, 상기 수신된 스트리밍 영상 데이터를 디코딩하여, 상기 디코딩된 스트리밍 영상 데이터와 상기 추출된 데이터를 시간정보를 기반으로 동기화하여 저장하는 데이터 엔진을 포함하는 생산현장 영상에서 추출된 데이터를 송수신하는 시스템.
KR1020180128940A 2018-04-18 2018-10-26 생산현장 영상에서 데이터를 추출하여 전송하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 수신하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 송수신하는 시스템 KR20190121680A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/386,268 US11039104B2 (en) 2018-04-18 2019-04-17 Apparatus and method to transmit data by extracting data in shop floor image, apparatus and method to receive data extracted in shop floor image, and system to transmit and receive data extracted in shop floor image
JP2019078592A JP2019197541A (ja) 2018-04-18 2019-04-17 生産現場映像でデータを抽出して送信する装置及び方法、生産現場映像で抽出されたデータを受信する装置及び方法、生産現場映像で抽出されたデータを送受信するシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180045135 2018-04-18
KR1020180045135 2018-04-18

Publications (1)

Publication Number Publication Date
KR20190121680A true KR20190121680A (ko) 2019-10-28

Family

ID=68422074

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180128940A KR20190121680A (ko) 2018-04-18 2018-10-26 생산현장 영상에서 데이터를 추출하여 전송하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 수신하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 송수신하는 시스템

Country Status (2)

Country Link
JP (1) JP2019197541A (ko)
KR (1) KR20190121680A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021096934A1 (en) * 2019-11-11 2021-05-20 Aveva Software, Llc Visual artificial intelligence in scada systems
WO2023200130A1 (ko) * 2022-04-12 2023-10-19 (주)심플랫폼 Rpa를 활용한 장비 및 시설 데이터 수집 시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06121315A (ja) * 1992-10-05 1994-04-28 Toshiba Corp 監視制御装置
JP2000350197A (ja) * 1999-06-02 2000-12-15 Hitachi Ltd 映像伝送方法とそれを用いた監視システム
JP3446891B2 (ja) * 2000-12-14 2003-09-16 横河電機株式会社 監視システム
JP2004320513A (ja) * 2003-04-17 2004-11-11 Casio Comput Co Ltd 情報管理システムおよびプログラム
US20050162268A1 (en) * 2003-11-18 2005-07-28 Integraph Software Technologies Company Digital video surveillance
JP2010271758A (ja) * 2009-05-19 2010-12-02 Toppan Printing Co Ltd データ集約型ｐｌｃ
JP2011081715A (ja) * 2009-10-09 2011-04-21 Toshiba Corp 監視システム及び監視方法
JP2015133561A (ja) * 2014-01-10 2015-07-23 株式会社日立製作所 計算機システム
KR101655706B1 (ko) * 2015-11-24 2016-09-07 남규태 트랜스코딩 기법을 이용한 원격관리시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021096934A1 (en) * 2019-11-11 2021-05-20 Aveva Software, Llc Visual artificial intelligence in scada systems
WO2023200130A1 (ko) * 2022-04-12 2023-10-19 (주)심플랫폼 Rpa를 활용한 장비 및 시설 데이터 수집 시스템 및 방법

Also Published As

Publication number Publication date
JP2019197541A (ja) 2019-11-14

Similar Documents

Publication Publication Date Title
US11039104B2 (en) Apparatus and method to transmit data by extracting data in shop floor image, apparatus and method to receive data extracted in shop floor image, and system to transmit and receive data extracted in shop floor image
KR101570516B1 (ko) 산업용 비전통합 공정 관리 시스템
JP4508981B2 (ja) モニタディスプレイ装置及びそれを用いた監視システム
KR102117588B1 (ko) 차량 관련 데이터 수집 장치 및 방법
KR20190121680A (ko) 생산현장 영상에서 데이터를 추출하여 전송하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 수신하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 송수신하는 시스템
CN103369402A (zh) 一种进行多种机顶盒功能一致性比对的方法及系统
US10306173B2 (en) Imaging apparatus, imaging method, and program
CN108268329B (zh) 一种灌浆记录仪网络终端的数据处理方法及装置
JP4589074B2 (ja) 射出成形機の遠隔監視システム
KR101655706B1 (ko) 트랜스코딩 기법을 이용한 원격관리시스템
KR101611956B1 (ko) 다채널용 카메라 장치
CN104243932A (zh) 一种用于大屏镜像传输的视频镜像编码系统
CN102118605A (zh) 网络视频监控系统及方法
CN102694845A (zh) 三网融合手机防盗监控系统
KR101887595B1 (ko) 원격 제어 지원을 위한 송신기, 수신기, 그의 동작 방법, 및 원격제어 시스템
CN101304516A (zh) 堆垛机ip网络视频监控管理系统
JP2006041770A (ja) 画像配信方法、画像表示方法及びそれらを用いた広域監視方法と画像配信装置、画像表示装置及びそれらを用いた広域監視システム
CN110392267A (zh) 一种低成本矿山生产现场自动化集中监控方法
US20200068177A1 (en) Plant operating state analysis system
CN211178591U (zh) 粮情远程监管云平台
KR20210106855A (ko) 실시간 차량 관련 데이터 수집 장치 및 방법
CN114007040A (zh) 基于边缘智能计算的油气视频安全监控方法及装置
CN204086959U (zh) 预测控制实现油田生产井网智能管控系统
CN204316654U (zh) 一种用于大屏镜像传输的视频镜像编码系统
JP6554200B1 (ja) 遠隔制御サポートのための送信機、受信機、その動作方法、及び遠隔制御システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application