KR101570516B1 - 산업용 비전통합 공정 관리 시스템 - Google Patents

Abstract

본 발명은 산업용 비전통합 공정 관리 시스템에 관한 것으로서, 특히 관제 대상 지역에 산재되어 다수 개가 설치되고, 각 공정 현황에 대한 실시간 공정상태 영상정보를 전송하는 비젼(Vision) 장비; 상기 비젼 장비와 네트워크를 통해 접속하고, 서로 다른 비젼 장비의 연결을 통합 지원하는 디바이스 플러그-인(Device Plug-in) 프레임워크(Framework)를 제공하며, 상기 비젼 장비의 연결 요청시 상기 디바이스 플러그-인 프레임워크를 통해 각 비젼 장비에 맞는 프로토콜을 사용하여 연결한 후 다수의 비젼 장비로부터 실시간으로 공정상태 영상정보를 수집하여 저장하고, 상기 수집된 공정상태 영상정보를 영상 처리하여 공정 상황을 화면 출력하며, 각 비젼 장비를 원격 제어하는 통합 운영 서버; 및 상기 통합 운영 서버와 네트워크를 통해 접속하여 상기 공정상태 영상정보를 수신하여 관리 정책에 따른 이벤트 정보를 추출하고, 상기 이벤트 정보별 알람을 통지하며, 상기 비젼장비에 관한 정보를 설정하고, 상기 공정상태 영상정보의 이력 관리 기능, 관리자 관리 기능, 구성 관리 기능, 성능 관리 기능, 장애 관리 기능 및 정보 조회기능을 수행하며, 상기 공정상태 영상 정보를 기초로 각 공정별 관제를 수행하는 중앙 관제실를 포함한다. 따라서, 본 발명은 디바이스 플러그-인 프레임워크(Device Plug-in Framework)를 통해 제조사별 비젼 장비에 맞는 API(Application Program Interface )와 통신 프로토콜을 지원하여 이기종 비젼 장비의 연결 및 제어에 대한 모든 통합 관리를 지원하여 우수한 호환 성능을 제공하고, 메가픽셀급 영상을 실시간 처리할 수 있는 디코딩 및 렌더링 기능을 제공하며, 각 비젼 장비에서 전송되는 대용량의 영상 데이터를 병목 현상없이 하드디스크에 빠른 속도로 저장하는 고성능 녹화 기술을 제공할 수 있다.

Description

산업용 비전통합 공정 관리 시스템{TOTAL MONITORING AND CONTROLLING SYSTEM FOR INDUSTRIAL MACHINE VISION}

본 발명은 산업용 비전통합 공정 관리 시스템에 관한 것으로, 보다 상세하게는 이기종 비젼 장비 또는 감시 분석 장비를 동시에 연결하여 각각의 장비에서 전송되는 메가픽셀급 영상이나 분석 데이터의 수집, 디코딩 및 렌더링을 수행하여 고성능 녹화 방식을 제공하고, 불량 또는 품질에 영향을 주는 주요 요인을 분석 및 파악할 수 있는 산업용 비전통합 공정 관리 시스템에 관한 것이다.

종래의 필드버스를 사용하는 자동화 생산 현장에서 국제표준에 따른 고속의 실시간 전송이 가능한 네트워크 기술이 도입 및 활용되고 있다. 특히, 대규모 제조시설과 같은 산업현장에서는 제품 생산에서부터 제조 설비관리, 제품 운송을 위한 물류 관리 등이 이루어지고 있다.

크레인, 이송차량, 작업자 등 산업현장의 구성요소 하나하나에 유비쿼터스 센서를 구성하여 네트워크로 연결하는 유비쿼터스 센서 네트워크를 활용한 다양한 기법들이 연구 및 발표되고 있으나, 대부분 무선 센서를 이용한 위험요소 센싱 및 모니터링 기능만을 제시하고 있는 실정이다.

한편, 반도체 및 자동차 등의 제조업체들은 공정 라인마다 공정 현황을 확인 및 감시하기 위한 공정 감시 시스템을 구비할 수 있는데, 이 공정 감시 시스템은 현장에 다수의 카메라를 설치하고, 종합관제실에서 카메라에 맞는 다수의 디지탈 비디오 레코더, 디지탈 비디오 레코더를 제어할 수 있는 제어 단말 및 다수의 모니터를 설치한다.

대부분의 제조업체들은 대규모 제조 설비를 갖추고 있기 때문에 다수의 카메라에서 전송되는 영상들을 녹화하는 디지탈 비디오 레코더는 대용량 저장 기능을 구현해야 한다. 따라서, 종래의 공정 감시 시스템은 많은 디지털 비디오 레코더, 매트릭스 장비, 장비제어용 시스템이 요구될 뿐만 아니라 수백대 이상으로 구성되는 시스템의 경우에 종합관제실 구성에 매우 어려움이 있으며, 관제 지역의 거리상 제약을 받게 되는 문제점이 있다.

또한, 이기종의 카메라 증설시 종합 관제실의 영상 채널에 여유가 없을 경우 추가 장비 구입이 필요하며, 새롭게 추가되는 이기종 카메라와의 연결 및 제어를 위해 별도의 프로그램이 필요한 문제점이 있다.

반도체 및 자동차 등의 제조업체는 대규모 생산라인을 형성하고 있고, 각 생산라인마다 IP 카메라 등의 다수 개의 비젼 장비를 설치하여 각 공정별 불량률이나 품질 검사를 수행한다.

그러나, 기존의 공정 감시 시스템은 각 공정별 불량제품 판별 결과를 문서 등의 방식으로 수동 연계하고 있어 재료비 및 노무비가 증가하고, 공정 데이터 추출이 어려워 외부 업체나 해외 시장 등에서 공정 데이터 요청시 보고할 공정 데이터가 없으며, 이기종 비젼 장비들의 통합 관리할 수 있는 소프트웨어가 존재하지 않아 상이한 품질 검사가 이루어지고 있다.

본 발명은 디바이스 플러그-인 프레임워크(Device Plug-in Framework)를 통해 제조사별 비젼 장비 또는 감시 분석 장비에 맞는 API(Application Program Interface)와 통신 프로토콜을 지원하여 이기종 비젼 장비 또는 감시 분석 장비의 연결 및 제어에 대한 모든 통합 관리를 지원하여 우수한 호환 성능을 제공할 수 있는 산업용 비전 통합 공정 관리 시스템을 제공한다.

또한, 본 발명은 메가픽셀급 영상과 다량의 분석 데이터를 실시간 처리할 수 있는 디코딩 및 렌더링 기능을 제공하며, 각 비젼 장비에서 전송되는 대용량의 영상 데이터를 병목 현상없이 하드디스크에 빠른 속도로 저장하는 고성능 녹화 기술을 제공하고, 불량 또는 품질에 영향을 많이 주는 주요 요인을 분석하여 품질과 생산량을 향상시킬 수 있는 산업용 비전 통합 공정 관리 시스템을 제공한다.

실시예들 중에서, 산업용 비전 통합 공정 관리 시스템은, 관제 대상 지역에 산재되어 다수 개가 설치되고, 각 공정 현황에 대한 실시간 공정상태 영상정보를 전송하는 비젼(Vision) 장비; 상기 비젼 장비와 네트워크를 통해 접속하고, 서로 다른 비젼 장비의 연결을 통합 지원하는 디바이스 플러그-인(Device Plug-in) 프레임워크(Framework)를 제공하며, 상기 비젼 장비의 연결 요청시 상기 디바이스 플러그-인 프레임워크를 통해 각 비젼 장비에 대응되는 프로토콜을 사용하여 연결한 후 다수의 비젼 장비로부터 실시간으로 공정상태 영상정보를 수집하여 저장하고, 상기 수집된 공정상태 영상정보를 영상 처리하여 공정 상황을 화면 출력하며, 각 비젼 장비를 원격 제어하는 통합 운영 서버; 및 상기 통합 운영 서버와 네트워크를 통해 접속하여 상기 공정상태 영상정보를 수신하여 관리 정책에 따른 이벤트 정보를 추출하고, 상기 이벤트 정보별 알람을 통지하며, 상기 비젼장비에 관한 정보를 설정하고, 상기 공정상태 영상정보의 이력 관리 기능, 관리자 관리 기능, 구성 관리 기능, 성능 관리 기능, 장애 관리 기능 및 정보 조회기능을 수행하며, 상기 공정상태 영상 정보를 기초로 각 공정별 관제를 수행하는 중앙 관제실를 포함한다.

상기 산업용 비전 통합 공정 관리 시스템은, 상기 공정상태 영상정보를 수신 및 분석하여 각 공정 현황을 모니터링하고, 각 공정에서 발생하는 생산량 및 불량률을 체크하며, 상기 각 공정 현황에 대한 통계 및 보고서를 작성하는 관리자 단말기를 더 포함할 수 있다.

상기 관리자 단말기는 사전에 설정된 관리 등급에 따라 모니터링 정보, 각 공정 현황의 참여 정도 또는 통계 및 보고서 작성 레벨이 설정될 수 있다.

일 실시예에서, 상기 디바이스 플러그인 프레임워크는, 네트워크 계층 및 어플리케이션 계층을 포함하고, 상기 네트워크 계층과 어플리케이션 계층 사이에 위치하여 서로 다른 비젼 장비를 동시에 연결하여 서로 다른 포맷의 데이터를 압축하고, 상기 압축된 공정상태 영상정보를 디코딩 및 렌더링하여 영상 출력하며, 실시간 대용량의 상기 공정상태 영상정보를 저장하도록 하는 디바이스 플러그인 매니저를 제공할 수 있다.

상기 디바이스 플러그인 프레임워크는, 상기 서로 다른 비젼 장비에 연결되고, 상기 디바이스 플러그인 매니저의 명령을 해당 비젼 장비의 포맷에 맞게 변경하여 각 비젼 장비에 전송하며, 각 비젼 장비로부터 전송되는 공정상태 영상정보 및 각종 응답 데이터를 상기 디바이스 플러그인 매니저에 전송하는 디바이스 플러그인 모듈; 상기 공정상태 영상정보를 디코딩하는 각 비젼 장비의 압축 방식에 따라 다수 개의 디코더를 보유하고, 상기 공정상태 영상정보를 디코딩하는 코덱 모듈; 및 상기 공정상태 영상정보를 렌더링 영역에 맞게 자동으로 영상 크기를 조절하여 HD급 고품질 영상을 실시간 처리할 수 있는 렌더링 속도를 제공하는 렌더 모듈을 포함할 수 있다.

이때, 상기 어플리케이션 계층이 상기 렌더 모듈을 활성화시키면, 상기 디바이스 플러그인 매니저는 상기 코덱 모듈 및 상기 렌더 모듈을 통해 자동으로 디코딩 및 렌더링 동작을 수행하도록 할 수 있다.

상기 통합 운영 서버는, 상기 공정상태 영상정보를 대용량 저장하는 외장 스토리지(Storage)를 지원할 수 있다.

또한, 상기 통합 운영 서버는, 상기 각 비젼장비에서 전송되는 공정상태 영상정보를 하드디스크의 최대 쓰기(Writing) 속도로 상기 하드디스크에 접근하여 녹화하는 녹화지원모듈; 상기 공정상태 영상 정보를 저장하는 데이터베이스; 및 상기 디바이스 플러그인 프레임워크를 모니터링 및 제어하고, 상기 녹화지원모듈과 데이터베이스의 동작을 제어하여 상기 공정상태 영상정보에 대한 통합 운영 및 관리를 수행하는 제어모듈을 더 포함할 수 있다.

상기 녹화지원모듈은, 상기 디바이스 플러그인 프레임워크를 통해 연결된 비젼 장비의 개수에 따라 채널 그룹 단위를 계산하여 상기 공정상태 영상정보에 대한 버퍼 및 파일을 그룹 단위의 데이터로 생성하는 스마트 그룹핑(Smart grouping) 알고리즘 및 상기 버퍼 생성시에 수신되는 데이터 용량에 따라 버퍼의 크기를 최적값으로 조절하여 하드디스크의 기록 성능을 최대치로 하여 상기 그룹 단위로 생성된 데이터를 처리하는 동적 버퍼링(Dynamic buffering) 알고리즘을 수행할 수 있다.

상기 중앙 관제 센터는, 상기 비젼 장비의 정보 및 그룹을 설정하고, 상기 공정상태 영상정보를 통합 관리하는 대시보드(Dash board)를 제공하며, 화면 분할/통합, 녹화 영상과 실시간 영상 확인, 북마크, 프리뷰 및 이미지 저장 기능을 제공하는 인터페이스 모듈을 포함할 수 있다.

상기 통합 운영 서버는, 사용자 인증을 통해 다수의 PC, 스마트 기기 및 이동통신 단말기를 포함한 멀티미디어 단말기 중 적어도 하나 이상의 멀티미디어 단말기와 네트워크를 통해 연결되고, 네트워크 상황을 고려하여 상기 공정상태 영상정보를 송출하는 영상 채널의 수를 관리 및 분배하는 채널 관리 모듈을 더 포함할 수 있다.

또한, 상기 통합 운영 서버는, 상기 공정상태 영상공정상태 영상공정상태 영상보를 추출하여 저장하고, 상기 중앙 관제실 또는 관리자 단말기로 상기 이상상황 발생정보에 대한 경보메시지를 전송하는 경보매니저; 및 상기 중앙 관제실 또는 관리자 단말기에서 수동으로 입력된 원격 제어명령 또는 스케줄에 의한 자동 원격 제어명령을 수신하여 상기 원격 제어명령에 따라 해당 비젼 장비를 제어하고, 상기 제어 정보를 저장하는 원격제어 매니저를 더 포함할 수 있다.

상기 통합 운영 서버는, 서로 다른 IP 주소를 가지고, 각 공정에서 발생하는 공정 데이터들을 수집 및 감시하며, 상기 수집된 공정 데이터를 분석하여 불량 정보 및 품질 정보를 포함한 분석 데이터를 전송하는 적어도 하나 이상의 감시 분석 장비와 네트워크 연결될 수 있다.

상기 통합 운영 서버는, 상기 비젼 장비에서 전송되는 공정상태 영상정보와 상기 감시 분석 장비에서 전송되는 분석 데이터를 통합하여 공정간 연계를 통해 공정 상태 판정, 불량 원인 분석 및 품질 편차 분석을 수행함으로써 불량 또는 품질 편차의 영향 요인을 파악하고, 품질 이력 관리/추적 데이터 및 설비상태 예지 데이터를 추출하는 데이터 분석 모듈을 더 포함할 수 있다.

본 발명의 산업용 비전 통합 공정 관리 시스템은 디바이스 플러그-인 프레임워크(Device Plug-in Framework)를 통해 제조사별 비젼 장비 또는 감시 분석 장비에 맞는 API(Application Program Interface )와 통신 프로토콜을 지원하도록 이기종 비젼 장비와 감시 분석 장비의 서로 다른 연결 방식 및 프로토콜을 모두 수용하고, 각 비젼 장비 및 감시 분석 장비에 맞는 제어 명령을 통해 장비의 수동 제어 또는 원격 제어를 수행할 수 있어 우수한 호환 성능 및 사용자 편의성을 제공할 수 있는 효과가 있다.

또한, 본 발명의 산업용 비전 통합 공정 관리 시스템은 디바이스 플러그-인 프레임워크(Device Plug-in Framework)를 쓰레드로 나누어 어플리케이션의 부하를 줄이면서 안정된 성능을 제공할 수 있고, 메가픽셀급 영상을 실시간 처리할 수 있는 디코딩 및 렌더링 기능을 통해 고품질의 선명한 영상을 제공할 수 있으며, 스마트 그룹핑 알고리즘과 동적 버퍼링 알고리즘을 적용하여 각 비젼 장비에서 전송되는 대용량의 영상 데이터를 병목 현상없이 하드디스크에 빠른 속도로 저장하는 고성능 녹화/재생 기술을 제공할 수 있는 효과가 있다.

또한, 본 발명의 산업용 비전 통합 공정 관리 시스템은 비젼 장비와 감시 분석 장비에서 전송되는 데이터들을 수집 및 감시하여 불량 또는 품질에 영향을 많이 주는 주요 요인을 분석함으로써 품질 이력 관리/추적, 품질의 영향 요인으로 판명된 주요 설비에 대한 원인 분석, 향후 설비에 대한 예지데이터 생성, 및 품질과 생산량을 향상시킬 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 산업용 통합 공정 관리 시스템의 전체 구성을 설명하는 도면
도 2는 도 1의 통합 운영 서버의 디바이스 플러그인 프레임 워크의 계층 구조를 설명하는 도면
도 3은 도 1의 통합 운영 서버의 구성을 설명하는 블록도
도 4는 일반적인 하드디스크 녹화 방식을 설명하는 도면
도 5는 도 3의 녹화지원모듈의 하드디스크 녹화방식을 설명하는 도면

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다. "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

도 1은 본 발명의 일 실시예에 따른 산업용 비전 통합 공정 관리 시스템의 전체 구성을 설명하는 도면이다. 도 1을 참고하면, 산업용 통합 공정 관리 시스템(100)은 다수 개의 비젼 장비(110), 통합 운영 서버(120), 중앙 관제실(130), 관리자 단말기(140) 및 다수 개의 감시 분석 장비(160)를 포함한다.

비젼 장비(110)는 관제 대상 지역의 공정 라인에 산재되어 다수 개가 설치되고, 각 공정 현황에 대한 실시간 공정상태 영상정보를 전송한다. 비젼 장비(110)는 제조사별 지원하는 API(Application Programming Interface) 및 통신 프로토콜이 SDK 방식, RTSP 방식, HTTP CGI 방식 및 TCP/IP 방식 등 서로 상이하다.

통합 운영 서버(120)는 서로 다른 비젼 장비(110)와 네트워크를 통해 접속하고, 서로 다른 비젼 장비의 연결을 통합 지원하는 디바이스 플러그-인(Device Plug-in) 프레임워크(Framework)(200)를 제공함으로써 비젼 장비(110)의 연결 요청시 디바이스 플러그-인 프레임워크(200)를 통해 각 비젼 장비(110)에 대응되는 프로토콜을 사용하여 연결한 후 이기종의 비젼 장비(110)로부터 실시간으로 공정상태 영상정보를 수집하여 데이터베이스(330)에 저장한다. 통합 운영 서버(120)는 데이터베이스(330) 저장된 공정상태 영상정보를 영상 처리하여 각 공정 현황을 화면 출력하며, 각 비젼 장비(110)를 원격 제어한다.

중앙 관제실(130)은 통합 운영 서버(120)와 네트워크를 통해 접속하여 공정상태 영상정보를 수신하고, 공정상태 영상정보에서 관리 정책에 따른 이벤트 정보를 추출하고, 이상상황 발생이나 장애 발생 등의 이벤트 정보별 알람을 통지하며, 비젼장비(110)에 관한 정보를 설정하고, 공정상태 영상정보의 이력 관리 기능, 관리자 관리 기능, 구성 관리 기능, 성능 관리 기능, 장애 관리 기능 및 정보 조회기능을 수행하며, 공정상태 영상 정보를 기초로 각 공정별 관제를 수행한다.

중앙 관제실(130)은 각 비젼 장비(110)의 정보 및 그룹을 설정하고, 공정상태 영상정보를 통합 관리하도록 설정 이벤트에 따른 상황을 표시하는 대시보드(Dash board)(131)를 제공하며, 화면 분할/통합, 녹화 영상과 실시간 영상 확인, 북마크, 프리뷰 및 이미지 저장 기능을 제공하며, 사용자 즐겨찾기 등의 개인화 기능 및 이맵(eMAP) 기능을 제공하는 인터페이스 모듈(도시되지 않음)을 포함한다.

관리자 단말기(140)는 통합 운영 서버(120)로부터 공정상태 영상정보를 전송받아 분석하여 각 공정 현황을 모니터링하고, 각 공정에서 발생하는 생산량 및 불량률을 체크하며, 각 공정 현황에 대한 통계 및 보고서를 작성할 수 있다.

이때, 관리자 단말기(140)는 각 공정 라인별 담당자 PC 또는 중역실 PC가 될 수 있고, 사전에 설정된 관리 등급에 따라 모니터링 정보, 각 공정 현황의 참여 정도 또는 통계 및 보고서 작성 레벨이 설정된다.

예를 들어, 관리자 단말기(140)가 담당자 PC인 경우에, 해당 공정라인의 공정 현황을 모니터링할 수 공정상태 영상정보가 전송되고, 공정상태 영상정보를 분석하여 불량률을 체크한 후에 공정 현황에 대한 통계 및 보고서를 작성한다.

관리자 단말기(140)가 중역실 PC인 경우에, 담당자 PC로부터 전송받은 통계 및 보고서와 통합 운영 서버(120)로부터 전송받은 각 공정라인의 공정상태 영상정보를 기초로 현재 생산량 및 각 공정별 불량률을 모니터링하고, 모니터링을 통해 특정 공정에 대한 작업지시를 담당자 PC로 전송할 수 있다.

한편, 통합 운영 서버(120)는 사전에 등록된 번호이거나 사용자 인증을 통해 다수의 PC, 스마트폰, 스파트 패드 및 태블릿 PC 등의 스마트 기기, 핸드폰, PDA, 노트북 등의 이동통신 단말기를 포함한 멀티미디어 단말기(150) 중 적어도 하나 이상의 멀티미디어 단말기(150)와 네트워크를 통해 연결된다.

통합 운영 서버(120)는 MPEG-2, MPEG-4, MJPEG, H.264 영상 등의 상이한 포맷에 대한 녹화 및 실시간 동시 표출 기능을 수행할 수 있어, 적어도 하나 이상의 멀티미디어 단말기(150)는 공정상태 영상정보를 전송받아 각 공정현황을 모니터링하거나 불량률을 체크할 수 있다.

이기종의 감시 분석 장비(160)는 통합 운영 서버(120)와 네트워크를 통해 연결되고, 서로 다른 IP 주소를 가지며, 각 공정에서 발생하는 공정 데이터들을 수집 및 감시하고, 수집된 공정 데이터를 분석하여 불량 정보 및 품질 정보를 포함한 분석 데이터를 생성하여 통합 운영 서버(120)에 전송한다.

통합 운영 서버(120)는 비젼 장비(110)와 마찬가지로 디바이스 플러그-인 프레임워크(200)를 통해 이기종의 감시 분석 장비(160)의 연결을 통합 지원한다.

도 2는 도 1의 통합 운영 서버의 디바이스 플러그인 프레임 워크의 계층 구조를 설명하는 도면이다.

도 2를 참고하면, 디바이스 플러그인 프레임워크(200)는 네트워크 계층(230), 어플리케이션 계층(210), 디바이스 플러그인 매니저(220), 다비이스 플러그인 모듈(231), 코덱 모듈(232) 및 렌더 모듈(233)을 포함한다.

네트워크 계층(230)은 RTSP(Real-Time Streaming Protocol), HTTP(Hypertext Transfer Protocol), TCP/IP(Transmission Control Protocol/Internet Protocol), RTP/RTCP(Real-Time Transport Protocol/RTP Control Protocol), UDP(User Datagram Protocol) 중 적어도 하나 이상의 표준 프로토콜을 지원한다.

어플리케이션 계층(210)은 서로 다른 비젼 장비(110)의 통합 관리를 수행하는 어플리케이션을 위한 프로그램이 등록된다. 디바이스 플러그인 매니저(220)는 네트워크 계층(230)과 어플리케이션 계층(210) 사이에 위치하여 어플리케이션 계층(210)과 디바이스 플러그인 모듈(231)을 조율하는 역할을 담당한다. 디바이스 플러그인 매니저(220)는 서로 다른 비젼 장비(110)를 동시 연결하여 서로 다른 포맷의 데이터를 압축하고, 압축된 공정상태 영상정보를 디코딩 및 렌더링하여 영상 출력하며, 실시간 대용량의 공정상태 영상정보를 데이터베이스(330)에 저장하도록 한다.

디바이스 플러그인 모듈(231)은 서로 다른 비젼 장비(110)에 직접 연결되고, 디바이스 플러그인 매니저(220)의 명령을 해당 비젼 장비(110)의 포맷에 맞게 변경하여 각 비젼 장비(110)에 전송하며, 각 비젼 장비(110)로부터 전송되는 공정상태 영상정보 및 각종 응답 데이터를 디바이스 플러그인 프레임워크(200)에 맞는 형태로 변경하여 디바이스 플러그인 매니저(220)에 전송한다.

코덱 모듈(232)은 공정상태 영상정보를 디코딩하는 각 비젼 장비(110)의 압축 방식에 따라 다수 개의 디코더(FFMPEG, XVID, 제조사별 독자 코덱 등)를 보유하고 있어 공정상태 영상정보를 디코딩한다. 이러한 코덱 모듈(232)은 메가픽셀급의 영상을 실시간 처리할 수 있도록 구현되고, 다른 디코더를 추가 지원할 수 있는 확장 구조로 설계된다. 따라서, 통합 운영 서버(120)에서 전송되는 공정상태 영상 정보는 메가픽셀 영상 출력이 가능하므로 고품질 해상도로 가지고, 싱글 화면 확대 및 디지털 줌 기능 적용시에도 고품질의 선명한 영상을 출력할 수 있으며, 원격 전송시에도 동일한 고품질 해상도로 영상이 출력될 수 있다.

렌더 모듈(233)은 다이렉트드로우(DirectDraw)를 사용하여 공정상태 영상정보를 렌더링 영역에 맞게 자동으로 영상 크기를 조절하여 HD급 고품질 영상을 실시간 처리할 수 있는 렌더링 속도를 제공한다.

어플리케이션 계층(210)이 렌더 모듈(233)을 활성화시키면, 디바이스 플러그인 매니저(220)는 코덱 모듈(232) 및 렌더 모듈(233)을 통해 자동으로 디코딩 및 렌더링 동작을 수행할 수 있어 담당자가 오디도/비디오 데이터의 디코딩 및 렌더링 동작에 관여할 필요가 없다.

디바이스 플러그인 프레임워크(200)는 쓰레드(Thread)로 나뉘어져 있어 어플리케이션 계층(210)의 부하를 줄일 수 있으며, 하이퍼-쓰레드(Hyper-Thread)를 사용하는 PC 또는 단말기에서 안정된 성능을 제공할 수 있다.

도 3은 도 1의 통합 운영 서버의 구성을 설명하는 블록도이다. 도 3을 참고하면, 통합 운영 서버(120)는 녹화지원모듈(310), 채널 관리 모듈(320), 데이터베이스(330), 제어모듈(340), 외장 스토리지(350), 경보 매니저(360), 원격제어 매니저(370) 및 데이터 분석 모듈(390)을 포함한다.

녹화지원모듈(310)은 각 비젼장비(110)에서 전송되는 공정상태 영상정보를 하드디스크의 최대 쓰기(Writing) 속도로 하드디스크에 접근하여 녹화하도록 하는데, 서로 다른 압축 포맷으로 제작되어 있는 공정상태 영상 정보를 동시 녹화할 수 있다.

녹화지원모듈(310)은 스마트 그룹핑(Smart grouping) 알고리즘과 동적 버퍼링(Dynamic buffering) 알고리즘을 적용하여 36채널 기준에서 전채널 30fps 녹화 가능하며, 총 320mbps(40MB/sec)의 녹화 속도와 최대 5 메가픽셀(25601600) 해상도의 영상 녹화를 지원하여 최고의 녹화 성능을 구현하도록 한다.

스마트 그룹핑 알고리즘은 디바이스 플러그인 프레임워크(200)를 통해 연결된 비젼 장비(110)의 개수에 따라 채널 그룹 단위를 계산하여 공정상태 영상정보에 대한 버퍼 및 파일을 그룹 단위의 데이터로 생성한다.

동적 버퍼링 알고리즘은 버퍼 생성시에 수신되는 데이터 용량에 따라 버퍼의 크기를 최적값으로 조절하여 하드디스크의 기록 성능을 최대치로 하여 그룹 단위로 생성된 데이터를 처리한다.

도 4는 일반적인 하드디스크 녹화 방식을 설명하는 도면이고, 도 5는 도 3의 녹화지원모듈의 하드디스크 녹화방식을 설명하는 도면이다.

도 4를 참고하면, 일반적인 하드디스크 녹화 방식은 각 IP 카메라마다 하나의 버퍼 및 파일을 생성하여 일대일로 하드디스크에 접근하여 녹화하고, 다수의 영상채널의 데이터를 동시에 처리하기 위해 하드디스크에 접근할 경우에 병목 현상을 일으키게 되어 하드디스크 액세스 횟수가 증가하며, 결국 하드디스크의 데이터를 읽고 쓰는 헤드의 검색 속도가 저하되고, 하드디스크의 최대 쓰기 속도와 비교하여 40~50% 정도만 기록 가능해진다.

또한, 일반적인 하드디스크 녹화 방식은 대용량 파일의 경우에, 쓰기 속도의 저하가 더욱 심해져 녹화를 못하고 버려지는 데이터가 발생하거나 프로그램이 다운되는 현상까지 발생할 수 있다.

도 5를 참고하면, 녹화지원모듈(310)은 스마트 그룹핑 알고리즘을 적용하여 하드디스크에 액세스하는 횟수를 줄이고 병목 현상을 최소화하고, 동적 버퍼링 알고리즘을 적용하여 하드디스크에 기록하는 데이터값을 최적화함으로써 최대의 쓰기 속도를 얻을 수 있다.

또한, 녹화지원모듈(310)은 메기픽셀급의 비젼 장비(110)로부터 수신되는 대용량의 공정상태 영상정보를 저장할 경우에, 하드디스크의 효율을 최대한 높여주어 저장하고자 하는 다수의 영상 채널 및 대용량의 데이터 처리를 가능하게 한다.

녹화지원모듈(310)은 동시에 하드디스크에 접근하는 횟수와 데이터 량을 최적 상태로 관리함으로써 하드디스크의 최대 쓰기 속도의 85~90%까지 저장 성능을 향상시킬 수 있으며, 스마트 그룹핑 알고리즘과 동적 버퍼링 알고리즘을 녹화 방식에 적용하여 실시간 전송되는 공정상태 영상정보를 36채널 기준 HD급 해상도까지 전 영상채널 30프레임 녹화가 가능하다.

기존의 공정 감시 시스템은 아날로그 카메라로부터 수신된 영상을 캡쳐보드나 코덱칩을 이용해 하나의 포맷으로 압축하여 하드디스크에 저장하고, 최대 영상 해상도는 D1(704480)이며, 메가픽셀급 대용량 영상의 저장이 불가능하였다.

그러나, 본 발명의 일실시예에 따른 산업용 통합 공정 관리 시스템은 기존의 공정 감시 시스템에 비해 4~6배나 큰 대용량 영상 데이터의 녹화 및 멕가픽셀급의 대용량 영상 저장이 가능하고, 최대 5메가픽셀(25601600) 해상도 영상을 제공할 수 있다.

다시 도 3을 참고하면, 채널 관리 모듈(320)은 네트워크 상황을 고려하여 공정상태 영상정보를 송출하는 영상 채널의 수를 관리 및 분배한다.

데이터베이스(330)는 공정상태 영상 정보를 저장하고, 그 외에 비젼 장비(110), 중앙 관제실(130), 관리자 단말기(140) 및 감시 분석 장비(160)에서 산출되는 각종 제어정보와 응답 데이터들을 저장할 수 있다.

제어 모듈(340)은 디바이스 플러그인 프레임워크(200)의 각 구성요소를 모니터링 및 제어하고, 녹화지원모듈(310), 채널 관리 모듈(320) 및 데이터베이스(330)의 동작을 제어하여 공정상태 영상정보에 대한 통합 운영 및 관리를 수행한다.

또한, 제어 모듈(340)은 공정상태 영상정보를 대용량 저장하는 다양한 외장 스토리지(Storage)(예를 들어, NAS, eSATA, SAS 등)를 지원할 수 있다.

경보 매니저(360)는 공정상태 영상정보를 통해 이상상황 발생정보를 추출하여 데이터베이스(330)에 저장하고, 중앙 관제실(130) 또는 관리자 단말기(140)로 이상상황 발생정보에 대한 경보메시지를 전송한다.

원격제어 매니저(370)는 중앙 관제실(130) 또는 관리자 단말기(140)에서 수동으로 입력된 원격 제어명령 또는 스케줄에 의한 자동 원격 제어명령을 수신하여 원격 제어명령에 따라 해당 비젼 장비(110)를 제어하고, 제어 정보를 데이터베이스(330)에 저장한다. 원격 제어명령은 프리셋(Preset) 설정/제어, 투어(Tour) 설정/제어, 릴레이(Relay) 설정 제어 등을 포함한다.

통합 운영 서버(120)는 공정상태 영상정보를 통합 관리하기 위해 이미지 매칭 매니저(Image Matching Manager)(381), 액세스 매니저(Access Manager)(382), 프로파일 매니저(Profile Manager)(383), 트레이싱 매니저(Tracing Manager)(384), 리소스 매니저(Resource Manager)(385), 어플리케이션 인터페이스 매니저(Application Interface Manager)(386)를 포함한다.

이미지 매칭 매니저(381)는 채널의 내가티브(Native) API를 이용한 이벤트 정보의 네트워크 전송 및 데이터베이스 정보화, 대시보드(131)의 상태표시 및 알람, 비젼 내가티브 API를 이용한 컴페어 뷰어(Compare Viewer)를 설계할 수 있다.

액세스 매니저(382)는 채널 관리 기능 및 관제 데몬과의 통신 기능을 구현하고, 상태 정보를 네트워크 전송하며, 채널 추가/변경시 확장성 보장 설계할 수 있다.

트레이싱 매니저(383)는 관리 정책에 따른 이벤트 정보 확인 및 제어정보의 데이터베이스(330) 저장/관리, 수집된 이력정보 조회 및 시스템 사용 이력 추적 기능을 실행한다.

프로파일 매니저(384)는 관리 채널정보(위치정보, 제조사, 사양등)를 관리하고, 직관적인 사용자 인터페이스 제공을 통한 디바이스 추가 및 변경 관리를 실행한다.

리소스 매니저(385)는 API를 사용한 에이전트를 개발하고, 관제 데몬과 리소스 정보 전송을 위한 네트워크 정보를 전송한다.

어플리케이션 인터페이스 매니저(386)는 채널의 데이터베이스(330) 관리, 개별 채널의 영상정보 통신을 진원하는 통합 관계 응용 API 개발, 멀티쓰레드 기반의 다충 채널 통신을 지원할 수 있다.

데이터 분석 모듈(390)은 다수의 비젼 장비(110)에서 전송되는 각각의 공정상태 영상정보와 다수의 감시 분석 장비(160)에서 전송되는 각각의 분석 데이터를 통합하여 공정간 연계를 통해 공정 상태 판정, 불량 원인 분석 및 품질 편차 분석을 수행함으로써 불량 또는 품질 편차의 영향 요인을 파악하고, 품질 이력 관리/추적 데이터 및 설비상태 예지 데이터를 추출한다.

제어모듈(340)은 각 공정 스텝별 품질 실적 데이터와 품질 검사 결과 데이터를 데이터베이스(330)에 저장한다. 데이터 분석 모듈(390)은 데이터베이스(330)에 저장된 품질 실적 데이터와 품질 검사 결과 데이터를 기초로 하여 분석 마스터 생성 및 데이터 탐색 과정, 모델링 수립 과정 및 원인 분석 과정을 수행하고, 품질 검사 결과에 영향을 주는 주요 특성치에 대한 영향 요인과 불량 또는 품질 편차에 영향을 주는 변동 요인을 동시에 확인함으로써 향후 이에 대한 원인분석을 통해 품질 편차를 감소할 수 있고, 불량 원인을 탐지할 수 있다.

이와 같이, 본 발명의 일 실시예에 따른 산업용 통합 공정 관리 시스템은 중앙 집중식 제어와 관리를 통해 생산성 증대와 효율적인 품질 관리를 극대화할 수 있고, 반도체, 제약, 보안, 제조 및 생산 부분의 비젼 장비의 운용 분야, 철도, 교통, 공항 등의 사회 인프라 부분의 관제센터 운용 분야에 응용될 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 산업용 통합 공정 관리 시스템 110 : 비젼 장비
120 : 통합 운영 서버 130 : 중앙 관제실
140 : 관리자 단말기 150 : 멀티미디어 단말기
160 : 감시 분석 장비
200 : 디바이스 플러그인 프레임워크

Claims (14)

1. 다수개의 이기종 비젼장비(110), 통합운영서버(120), 중앙 관제실(130), 관리자 단말기(140), 멀티미디어 단말기(150) 및 다수개의 감시분석장비(160)를 포함하고,
   상기 다수개의 이기종 비젼장비(110)는 제조사별로 지원하는 API 및 통신프로토콜이 서로 상이하며, 관제 대상 지역의 공정라인에 산재되어 다수개가 설치되어지고, 각 공정 현황에 대한 실시간 공정상태의 영상정보를 통합운영서버에 전달하며,
   상기 통합운영서버(120)는 상기 이기종 비젼장비와 네트워크를 통해서 연결되어지며, 상기 다수의 이기종 비젼장비의 연결 요청이 있는 경우 각 이기종 비젼장비(110)에 대응되는 프로토콜을 사용하여 연결되어지도록 서로 상이한 비젼장비의 연결을 통합지원하는 디바이스 플러그인 프레임워크가 제공되어지며,
   상기 중앙 관제실(130)은 통합운영서버(120)와 네트워크를 통해 접속하여 공정상태 영상정보를 수신하고, 다수개의 이기종 비젼장비(110)에 관한 정보를 설정하며, 공정상태 영상정보를 기초로 각 공정별 관제를 수행하고,
   상기 관리자 단말기(140)는 통합운영서버(120)와 접속하여 공정상태 영상정보를 전송받아 분석하여 각 공정현황을 모니터링하고, 각 공정 현황에 대한 통계 및 보고서를 작성하며,
   상기 멀티미디어 단말기(150)는 네트워크를 통해 통합 운영서버(120)와 연결되어지는 이기종 비젼장치를 통합지원하는 산업용 공정관리 시스템에 있어서,
   상기 통합운영서버(120)의 디바이스 플러그인 프레임워크(200)는,
   RTSP(Real-Time Streaming Protocol), HTTP(Hypertext Transfer Protocol), TCP/IP(Transmission Control Protocol/Internet Protocol), RTP/RTCP(Real-Time Transport Protocol/RTP Control Protocol), UDP(User Datagram Protocol) 중 적어도 하나 이상의 표준 프로토콜을 지원하는 네트워크 계층(230)과,
   서로 다른 비젼 장비(110)의 통합 관리를 수행하는 어플리케이션을 위한 프로그램이 등록되는 어플리케이션 계층(210)과,
   네트워크 계층(230)과 어플리케이션 계층(210) 사이에 위치되어지며, 어플리케이션 계층(210)과 디바이스 플러그인 모듈(231)을 조율하는 디바이스 플러그인 매니저(220)와,
   서로 다른 이기종 비젼 장비(110)에 직접 연결되어지고, 디바이스 플러그인 매니저(220)의 명령을 해당되는 이기종 비젼장비(110)의 포맷에 맞게 변경하여 각 이기종 비젼 장비(110)에 전송하며, 각 이기종 비젼 장비(110)로부터 전송되는 공정상태 영상정보 및 각종 응답 데이터를 디바이스 플러그인 프레임워크(200)에 맞는 형태로 변경하여 디바이스 플러그인 매니저(220)에 전송하는 디바이스 플러그인 모듈(231)과,
   공정상태 영상정보를 디코딩하는 각 이기종 비젼 장비(110)의 압축 방식에 따라 다수 개의 디코더(FFMPEG, XVID, 제조사별 독자 코덱 등)를 보유하고 있어 공정상태 영상정보를 디코딩하기 위한 코덱 모듈(232)과,
   다이렉트드로우(DirectDraw)를 사용하여 공정상태 영상정보를 렌더링 영역에 맞게 자동으로 영상 크기를 조절하여 HD급 고품질 영상을 실시간 처리할 수 있는 렌더링 속도를 제공하기 위한 렌더 모듈(233)로 이루어지며,
   어플리케이션 계층(210)이 렌더 모듈(233)을 활성화시키면, 디바이스 플러그인 매니저(220)는 코덱 모듈(232) 및 렌더 모듈(233)을 통해 자동으로 디코딩 및 렌더링 동작을 수행하게 되며,
   상기 통합 운영 서버(120)는,
   채널의 네가티브(Native) API를 이용한 이벤트 정보의 네트워크 전송 및 데이터베이스 정보화, 대시보드(131)의 상태표시 및 알람, 비젼 네가티브 API를 이용한 컴페어 뷰어(Compare Viewer)를 설계하기 위한 이미지 매칭 매니저(381)와,
   채널 관리 기능 및 관제 데몬과의 통신 기능을 구현하고, 상태 정보를 네트워크 전송하며, 채널 추가/변경시 확장성 보장 설계하기 위한 액세스 매니저(382)와,
   이벤트 정보 확인 및 제어정보의 데이터베이스(330) 저장/관리, 수집된 이력정보 조회 및 시스템 사용 이력 추적 기능을 실행하는 트레이싱 매니저(383)와,
   관리 채널정보(위치정보, 제조사, 사양등)를 관리하고, 직관적인 사용자 인터페이스 제공을 통한 디바이스 추가 및 변경 관리를 실행하는 프로파일 매니저(384)와,
   API를 사용한 에이전트를 개발하고 관제 데몬과 리소스 정보 전송을 위한 네트워크 정보를 전송하기 위한 리소스 매니저(385)와,
   채널의 데이터베이스(330) 관리, 개별 채널의 영상정보 통신을 진원하는 통합 관계 응용 API 개발, 멀티쓰레드 기반의 다충 채널 통신을 지원하는 어플리케이션 인터페이스 매니저(386)를 포함하는 것을 특징으로 하는 이기종 비젼장치를 통합지원하는 산업용 공정관리 시스템
2. 제 1 항에 있어서, 각 공정 스텝별 품질 실적 데이터와 품질 검사 결과 데이터를 데이터베이스(330)에 저장하는 제어모듈(340)과,
   다수의 이기종 비젼 장비(110)에서 전송되는 각각의 공정상태 영상정보와 다수의 감시 분석 장비(160)에서 전송되는 각각의 분석 데이터를 통합하여 공정간 연계를 통해 공정 상태 판정, 불량 원인 분석 및 품질 편차 분석을 수행함으로써 불량 또는 품질 편차의 영향 요인을 파악하고, 품질 이력 관리/추적 데이터 및 설비상태 예지 데이터를 추출하는 데이터 분석 모듈(390)을 추가적으로 포함하는 것을 특징으로 하는 이기종 비젼장치를 통합지원하는 산업용 공정관리 시스템
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제

Images