KR101917622B1 - 배경모델링 기법을 이용한 영상 내 누수 감지 방법 - Google Patents
배경모델링 기법을 이용한 영상 내 누수 감지 방법 Download PDFInfo
- Publication number
- KR101917622B1 KR101917622B1 KR1020170147247A KR20170147247A KR101917622B1 KR 101917622 B1 KR101917622 B1 KR 101917622B1 KR 1020170147247 A KR1020170147247 A KR 1020170147247A KR 20170147247 A KR20170147247 A KR 20170147247A KR 101917622 B1 KR101917622 B1 KR 101917622B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- image
- event
- analog
- digital
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000010191 image analysis Methods 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 239000000203 mixture Substances 0.000 claims abstract description 6
- 238000003703 image analysis method Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 abstract description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000004397 blinking Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010028347 Muscle twitching Diseases 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M3/00—Investigating fluid-tightness of structures
- G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
- G01M3/26—Investigating fluid-tightness of structures by using fluid or vacuum by measuring rate of loss or gain of fluid, e.g. by pressure-responsive devices, by flow detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M3/00—Investigating fluid-tightness of structures
- G01M3/40—Investigating fluid-tightness of structures by using electric means, e.g. by observing electric discharges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 배경모델링 기법을 이용한 영상 내 누수 감지 방법에 관한 것으로, GMM(Gaussian Mixture Model)을 포함하는 영상 분석 방법을 이용하여 입력 영상의 객체를 분석하고, 상기 객체가 설정된 조건에 부합하는지 여부를 판단하여 부합하면 이벤트가 발생된 것으로 판단하는 영상 분석 단계; 상기 영상 분석 단계에 의해 이벤트가 발생된 것으로 판단되면 이벤트 영상 및 이벤트 정보를 저장하여 데이터베이스화하는 이벤트 저장 단계; 상기 이벤트 정보와 이벤트 영상을 중앙 관제 센터에 전송하여 표출하는 이벤트 경보 단계;를 포함하되, 상기 영상 분석 단계는, 입력 영상의 객체와 배경을 분리하고, 노이즈를 제거하는 과정으로써 미디언 필터링 방법을 적용하고, 상기 영상 분석 단계는, 카메라의 유동으로 발생된 전경의 객체 검출 오류를 방지하기 위하여, 전경 대비 화면 크기가 지정된 비율 이상인 경우 장면 전환으로 판단하고, 추적 중인 객체의 정보를 초기화하고, 상기 영상 분석 단계는, 입력된 영상의 색공간을 변경하고, GMM을 이용하여 배경 모델링을 수행하여 객체를 추출하고, 영상에서의 객체 노이즈를 미디언 필터링 방법을 적용하여 제거하고, 객체의 윤곽선 검출 및 바운딩 박스로 생성하여 객체를 추적하며, 추적된 객체가 설정된 조건에 부합하는지 여부를 판단하여 부합하면 이벤트가 발생된 것으로 판단하는 것을 특징으로 하는 배경모델링 기법을 이용한 영상 내 누수 감지 방법에 관한 기술을 개시한다.
Description
본 발명은 가우시안 혼합 모델(Gaussian Mixture Model, 이하, GMM)을 이용하여 영상내의 누수를 감지하는 방법에 관한 것이다.
영상을 압축하여 처리하는 보드로는 영상 데이터는 다른 미디어 데이터에 비해 그 크기가 매우 크기 때문에 압축을 한 후에 처리해야 하며, 압축방식으로는 웨이브릿 변환이나 M-JPEG, MPEG등의 방식으로 영상을 표준적으로 압축하여 처리하는 영상압축처리보드 기술이 있으며, 영상처리보드는 DSP칩, 메모리, 외부저장장치, MCU, TCP/IP칩 등으로 구성되며, DSP칩은 신호처리를 전문적으로 처리하기 위한 구조로 설계된 칩이다. 외부저장장치는 외부기기의 데이터를 저장하여 데이터베이스(DATABASE)로 저장하여 이를 그래프 형식의 데이터 트렌드로 표출할 수 있는 저장 메모리이다. MCU는 외부입출력 데이터를 전 처리하여 영상과 함께 데이터 문자 및 트렌드가 표출될 수 있도록 CPU에 전달하는 역할을 한다.
최근, 영상감시장치는 영상을 표시하는 기능뿐만 아니라, 영상 모니터에 압력, 수위, 수질 등 각종 데이터를 실시간으로 표시해주는 기능을 요구하고 있는 추세이다. 멀티미디어의 사용이 증가함에 따라 인터넷과 디지털 기기에 사용되는 이미지 또한 고품질의 화질을 요구하게 되었다. 또한, 영상표시기능과 부저, PLC,방송장치 등의 외부 기기를 제어하는 기능을 카메라 보드에서 처리하는 영상처리보드는 없으며, 외부기기가 연결된 중간 매개체를 카메라에 연결 또는 외부기기가 직접 연결되어 외부기기의 데이터를 저장하고 이를 데이터 트렌드로 표출할 수 있는 영상처리보드는 없는 실정이다.
한편, 교량, 땜, 터널을 포함하는 모든 구조물은 자연적, 환경적 요인 등으로 인하여 시간이 경과하면 열화 및 손상이 생기게 된다. 이렇게 노후화되는 구조물의 기능을 유지하고 수명을 연장시키기 위해서는 구조물에 대한 지속적이고 효율적인 점검 및 진단을 실시하여야 한다.
이러한 점검 및 진단을 수행하는데 있어서 가장 기본적인 조사항목이라고 할 수 있는 것은 외관조사이다.
외관조사 중 특히 콘크리트의 균열에 대한 조사는 구조물 내부와 외부의 상태를 평가하고, 다음 단계의 국부적인 정밀 안전진단 수행 항목과 절차 및 방법 등을 결정하는데 있어서 매우 중요한 요소로 작용한다.
콘크리트 균열에 대한 기존의 대표적인 외관조사 방법은 인력에 의한 육안 조사 방법이다.
육안검사는 그 결과를 정성적으로 표현할 수밖에 없어서 다른 검사 결과와 비교할 수 없으므로 개인적인 지식과 경험에 의존하기 때문에 객관성이 결여된다. 또한 주변조건의 이력 뿐만 아니라, 현재의 상태를 정확하게 파악할 수 없으므로 과거의 검사결과와 비교할 수 없을 뿐 아니라, 콘크리트의 내부와 같이 보이지 않는 부위나 인력으로 접근하기 어려운 부위의 하자는 경험이 풍부한 기술자라도 발견할 수 없다.
특히, 콘크리트 균열의 경우 일반적으로 정량적 판단이 가능한 측정기기를 사용하지 않고 육안으로 확인하는 경우가 대부분이므로 객관적인 데이터의 확보가 불가능하며, 대단면의 터널이나 대형 구조물의 경우 전단면에 대한 검사를 실시하 는 것은 거의 불가능하다.
따라서, 구조물의 유지관리는 육안관찰 뿐만 아니라, 자동화 영상화 기법을 사용한 첨단 탐사장비의 개발로 구조물의 객관적인 유지관리를 실시하는 것이 바람직하다.
본 발명은 GMM을 이용하여 영상내의 누수를 감지하는 방법의 제공을 목적으로 하며, 이를 위한 다음의 영상 감시 시스템의 제공을 목적으로 한다.
외부 입출력 포트, 즉, 디지털 입력((Digital Input), 디지털 출력(Digital Output), 아날로그 입력(Analoge Input:4-20mA입력 등) 통신포트를 RS-485 통신포트, RS-232 통신포트, 랜(LAN)포트, 오디오포트 등을 카메라부에서 직접 처리할 수 있는 영상 감시 시스템.
외부 입출력 포트에 입력된 데이터를 카메라부의 메모리에 직접적으로 데이터베이스(DATABASE)화하여 이를 모니터에 영상으로 표출시 그래프 형식의 데이터 트렌드가 함께 표출되도록하는 영상 감시 시스템.
현장의 센서들에 대한 계측치 변환을 위한 변환계수 설정, 아날로그 데이터 및 디지털 데이터 이벤트 검출을 위한 이벤트 검출 기준 설정, 영상 표출 기준 설정을 원격지에서 설정할 수 있는 영상 감시 시스템.
상기와 같은 본 발명의 목적들을 달성하기 위한 배경모델링 기법을 이용한 영상 내 누수 감지 방법은 GMM을 포함하는 영상 분석 방법을 이용하여 입력 영상의 객체를 분석하고, 상기 객체가 설정된 조건에 부합하는지 여부를 판단하여 부합하면 이벤트가 발생된 것으로 판단하는 영상 분석 단계와; 상기 영상 분석 단계에 의해 이벤트가 발생된 것으로 판단되면 이벤트 영상 및 이벤트 정보를 저장하여 데이터베이스화하는 이벤트 저장 단계와; 상기 이벤트 정보와 이벤트 영상을 중앙 관제 센터에 전송하여 표출하는 이벤트 경보 단계;를 포함한다.
여기서, 영상 분석 단계는 입력 영상의 객체와 배경을 분리하고, 노이즈를 제거하는 과정으로써 미디언 필터링 방법을 적용하는 것일 수 있다.
또한, 상기 영상 분석 단계는 카메라의 유동으로 발생된 전경의 객체 검출 오류를 방지하기 위하여, 전경 대비 화면 크기가 지정된 비율 이상인 경우 장면 전환으로 판단하고, 추적 중인 객체의 정보를 초기화하는 것일 수 있다.
본 발명의 목적들을 달성하기 위한 영상 감시 시스템은 아날로그 센서, 외부 계측 기기로부터 각각 아날로그 데이터와 디지털 데이터를 수신하는 데이터 수집부, 영상 데이터를 수집하는 카메라 모듈부, 상기 영상 데이터 처리 및 처리된 영상 데이터와 상기 아날로그 데이터와 디지털 데이터를 합성하여 출력하는 데이터 처리부 및 상기 데이터 처리부에 의해 합성된 데이터를 중앙 관리 센터로 전송하기 위한 통신부를 포함하는 카메라부와; 상기 통신부를 통해 아날로그 데이터, 디지털 데이터, 영상 데이터 및 합성 데이터를 수신하여 모니터링하고, 합성 데이터 출력을 위해 데이터 수집부, 카메라 모듈부, 데이터 처리부의 설정 관리를 위한 뷰어소프트웨어가 구비된 중앙 관제 센터;를 포함한다.
여기서, 상기 뷰어소프트웨어는 아날로그 데이터의 계측치 변환 설정을 위한 변환계수 설정 기능을 포함할 수 있다.
또한, 상기 뷰어소프트웨어는 아날로그 데이터 이벤트 검출 및 디지털 이벤트 검출을 위한 이벤트 검출 기준 설정 기능을 포함할 수 있다.
또한, 상기 뷰어소프트웨어는 영상 데이터에 합성될 아날로그 데이터 및 디지털 데이터 표출 이미지 생성과, 영상 데이터에 합성될 아날로그 데이터 이벤트 및 디지털 데이터 이벤트 표출 이미지 생성을 위한 영상 표출 기준 설정 기능을 포함할 수 있다.
또한, 상기 뷰어소프트웨어는 영상 데이터에 합성될 상기 아날로그 데이터 및 디지털 데이터의 그래프 이미지 생성을 위한 그래프 표출 기준 설정 기능을 포함할 수 있다.
또한, 상기 뷰어소프트웨어는 영상 데이터에 합성될 아날로그 데이터 및 디지털 데이터 표출 이미지 생성과, 영상 데이터에 합성될 아날로그 데이터 이벤트 및 디지털 데이터 이벤트 표출 이미지 생성을 위한 영상 표출 기준 설정 기능을 포함하고, 상기 영상 데이터에 합성될 상기 아날로그 데이터 및 디지털 데이터의 그래프 이미지 생성과, 상기 영상 표출 기준 설정 기능에 의한 영상 표출 기준에 따라 상기 아날로그 데이터 이벤트 및 디지털 데이터 이벤트 표출 이미지 생성은 동기화시키는 것일 수 있다.
한편, 영상 감시 시스템의 데이터 수집부는 아날로그 센서의 신호를 디지털 신호로 변환하는 ADC 컨버터와; 뷰어소프트웨어와 연동되어 전기적 입력을 받거나 출력으로 외부 센서를 제어하기 위한 GPIO 포트와; 상기 외부 계측 기기로부터 디지털 데이터를 수신하기 위한 RS485 포트와; 상기 데이터 처리부와의 통신과, 상기 뷰어소프트웨어와의 통신을 위한 RS232 포트; 및 상기 ADC 컨버터, GPIO 포트, RS485 포트, RS232 포트와 연결되어 데이터를 처리하고, 뷰어소프트웨어의 제어 명령을 수행하는 MCU;를 포함할 수 있다.
또한, 상기 데이터 처리부는 상기 아날로그 데이터 및 디지털 데이터를 수신하거나, 뷰어소프트웨어의 제어명령을 전달하기 위한 RS232 포트; 영상 처리를 위한 CMOS 및 ISP; 데이터 저장 및 뷰어소프트웨어의 설정 정보를 저장하기 위한 메모리; 영상 데이터의 압축 기능을 포함하는 엔코더; 상기 아날로그 데이터 및 디지털 데이터와 영상 데이터를 합성하는 GPU; 상기 RS232 포트, ISP, 메모리, 엔코더, GPU와 연결되어 뷰어소프트웨어의 제어명령에 따라 아날로그 데이터 및 디지털 데이터와 영상 데이터의 합성 수행을 위한 CPU;를 포함할 수 있다.
본 발명에 의하면, 누수 이벤트 검지시 화면 표출과 연계하여 누수 이벤트 상황을 표출하고 있어, 육안 검사 대비 신속한 검출이 가능하므로 초동 대처에 효과적이다.
또한, 이벤트 발생내역과 함께 해당 이벤트에 대한 비디오를 데이터베이스에 저장하고 있어, 저장된 이벤트 데이터에 대한 검색 및 조회를 통해 이벤트 발생상황에 대한 사후 관리가 가능하다.
또한, 인력에 의한 육안검사 대비 정확성과 자동화에 따른 효율성이 증가하며 균열상황을 분석하여 구조물의 안전성이 확보되고, 점검자에 의존하지 않는 객관적인 데이터를 수집할 수 있으며 교통 통제 등의 시간적 제약과 인력으로 접근이 어려운 공간적인 제약에서 벗어나는 효과를 가져올 수 있다.
도 1은 본 발명에 따른 배경모델링 기법을 이용한 영상 내 누수 감지 방법의 순서도,
도 2는 본 발명에 따른 배경모델링 기법을 이용한 영상 내 누수 감지 방법에서 객체 검출 과정을 나타낸 도면,
도 3은 본 발명에 따른 배경모델링 기법을 이용한 영상 내 누수 감지 방법에서 객체 분류시 노이즈 제거 과정을 나타낸 도면,
도 4는 본 발명에 따른 영상 감시 시스템의 구성도,
도 5는 본 발명에 따른 아날로그 센서 데이터에 대한 영상 통합 및 표출을 위한 데이터 처리 과정을 나타낸 도면,
도 6은 본 발명에 따른 아날로그 센서 데이터에 대한 영상 통합 및 표출을 위한 기준 설정 과정을 나타낸 도면,
도 7은 본 발명에 따른 아날로그 센서 데이터에 대한 영상 통합 및 표출을 위한 뷰어소프트웨어의 사용자 인터페이스를 나타낸 도면,
도 8은 본 발명에 따른 아날로그 센서 데이터의 변화 추이에 대한 영상 통합 및 표출을 위한 데이터 처리 과정을 나타낸 도면,
도 9는 본 발명에 따른 아날로그 센서 데이터의 변화 추이에 대한 영상 통합 및 표출을 위한 기준 설정 과정을 나타낸 도면,
도 10은 본 발명에 따른 아날로그 센서 데이터의 변화 추이에 대한 영상 통합 및 표출을 위한 뷰어소프트웨어의 사용자 인터페이스를 나타낸 도면.
도 2는 본 발명에 따른 배경모델링 기법을 이용한 영상 내 누수 감지 방법에서 객체 검출 과정을 나타낸 도면,
도 3은 본 발명에 따른 배경모델링 기법을 이용한 영상 내 누수 감지 방법에서 객체 분류시 노이즈 제거 과정을 나타낸 도면,
도 4는 본 발명에 따른 영상 감시 시스템의 구성도,
도 5는 본 발명에 따른 아날로그 센서 데이터에 대한 영상 통합 및 표출을 위한 데이터 처리 과정을 나타낸 도면,
도 6은 본 발명에 따른 아날로그 센서 데이터에 대한 영상 통합 및 표출을 위한 기준 설정 과정을 나타낸 도면,
도 7은 본 발명에 따른 아날로그 센서 데이터에 대한 영상 통합 및 표출을 위한 뷰어소프트웨어의 사용자 인터페이스를 나타낸 도면,
도 8은 본 발명에 따른 아날로그 센서 데이터의 변화 추이에 대한 영상 통합 및 표출을 위한 데이터 처리 과정을 나타낸 도면,
도 9는 본 발명에 따른 아날로그 센서 데이터의 변화 추이에 대한 영상 통합 및 표출을 위한 기준 설정 과정을 나타낸 도면,
도 10은 본 발명에 따른 아날로그 센서 데이터의 변화 추이에 대한 영상 통합 및 표출을 위한 뷰어소프트웨어의 사용자 인터페이스를 나타낸 도면.
이하, 본 발명의 양호한 실시예를 도시한 첨부 도면들을 참조하여 상세히 설명한다.
본 발명은 배경모델링 기법을 이용한 영상 내 누수 감지 방법에 관한 것이다. 상기 방법은 GMM을 포함하는 영상 분석 방법을 이용하여 입력 영상의 객체를 분석하고, 상기 객체가 설정된 조건에 부합하는지 여부를 판단하여 부합하면 이벤트가 발생된 것으로 판단하는 영상 분석 단계와, 상기 영상 분석 단계에 의해 이벤트가 발생된 것으로 판단되면 이벤트 영상 및 이벤트 정보를 저장하여 데이터베이스화하는 이벤트 저장 단계와, 상기 이벤트 정보와 이벤트 영상을 중앙 관제 센터에 전송하여 표출하는 이벤트 경보 단계를 포함한다.
상기 영상 분석 단계는 입력 영상의 객체와 배경을 분리하고, 노이즈를 제거하는 과정으로써 미디언 필터링 방법을 적용할 수 있다.
또한 영상 분석 단계는 카메라의 유동으로 발생된 전경의 객체 검출 오류를 방지하기 위하여, 전경 대비 화면 크기가 지정된 비율 이상인 경우 장면 전환으로 판단하고, 추적 중인 객체의 정보를 초기화할 수 있다.
도 1 내지 도 3을 참조하여 구체적으로 살펴보면,
< 영상 입력 및 색공간 변경 >
영상 분석을 위한 이미지는 조도에 영향을 줄이거나 객체 검출의 용이함 등을 위해 입력된 영상의 픽셀에 대한 전처리 과정을 거친다. 조도의 영향을 덜 받게 하는 방법으로 RGB 색공간을 정규화 하거나 Lab 색공간으로 변환는 과정을 거친다.
객체 검출에 있어 색상의 히스토그램을 이용하는 방법을 적용할 경우 HSV 색공간을 적용하기도 한다. 영상 분석 보드에서는 Packed YUYV 형식의 BT1120 데이터를 원본 데이터로 수신 받는 관계로 Packed YUYV를 Planner YUV로 변경하는 과정을 거쳤으며 영상 분석은 Planner YUV 형식의 이미지를 사용하게 된다.
이동 물체의 검출은 조도의 영향으로 인한 오검출의 영향을 최소화하기 위해 입력 영상에 대한 조명 정규화 과정을 거친다. 조명 정규화 과정은 원본 이미지에서 휘도 성분을 추출한 후 로우 패스 필터를 통과시켜 조명 성분을 구한 이후 반전시킨 조명 성분을 원본과 합성하는 방식으로 이루어진다.
< GMM(가우시안 혼합 모델)에 의한 배경 모델링 >
데이터의 분포 특성을 알기 위해서 적절한 확률밀도함수를 가정하여 데이터 분포에 대한 모델을 만드는 것을 확률 모델이라 하며 가장 대표적으로 사용되는 확률 모델로 가우시안 확률 모델이 있다.
가우시안 확률 모델은 하나의 클래스로 관찰된 전체 데이터 집합이 평균을 중심으로 하여 뭉쳐져 있는 분포 형태를 표현하는데 적합한 확률 모델이지만 데이터들이 평균을 중심으로 하나의 그룹으로 뭉쳐있는 unimodal한 형태만을 표현가능하다는 제약이 있다.
이러한 제약을 피하기 위해 여러 개의 가우시안을 합하여 만들어지는 모델을 가우시안 혼합 모델이라고 한다.
가우시안 혼합 모델을 사용하면 이미지 픽셀에 대한 시간축의 확률 모델을 얻을 수 있고 확률 모델을 토대로 전경과 배경 여부를 분리하면 보다 강인한 전경 검출 결과를 얻을 수 있다. 예를들어 나뭇가지의 흔들림이나 출렁거리는 물결과 같이 잠시 동안 나타나는 전경으로 분리되는 오류를 현저히 줄일 수 있다.
< 노이즈 제거 >
생성된 전경 영상은 배경이 분리된 영상이지만 일부 전경으로 분리된 노이즈가 섞여 있다. 노이즈는 한 두개의 작은 단위 픽셀의 집합으로 이러한 노이즈를 Salt-and-Pepper 노이즈라고 한다.
또한 전경을 구성하는 물체가 작은 조각으로 분리되면 영상으로부터 객체를 추출해 내는 과정에서 하나의 객체가 여러개로 분리되는 오류가 발생할 수 있다.
노이즈 제거를 위해 사용하는 대표적인 방법으로 침식 연산과 팽창 연산을 사용하는 모폴로지 기법과 미디언 필터링 방법을 들 수 있다.
모폴로지 방법의 시험 결과가 미디언 필터링 방법보다 우수하였으나 결과에 비래 연산량이 많은 단점이 있었다. 본 발명에서는 미디언 필터링 방법을 적용하였으며 연산량과 실용성 측면에 있어서도 모폴로지 방법보다는 효과적이다.
< 윤곽선 검출 >
전경 이미지에서 객체를 추출하는 과정은 폐쇄된 영역의 외곽을 탐색하는 윤곽선 검출 알고리즘을 적용하였다.
미디언 필터가 적용된 후의 전경 영상은 움직이는 물체를 폐쇄된 영역으로 표시한다. 폐쇄된 영역은 물체로 간주할 수 있기 때문에 폐쇄된 영역의 윤곽을 찾는 방법만으로 객체의 추출이 가능하다. 검출된 윤곽선은 화면상의 좌표를 포함하는 벡터 정보이기 때문에 이 정보를 토대로 객체에 대한 수치 정보를 생성해 낼 수 있다.
< 장면 전환 검출 >
카메라의 흔들림이나, 회전 등으로 급작스러운 장면 변화가 발생하면 영상 전체가 전경으로 분류되는 오류가 발생할 수 있다.
검출된 전경의 크기와 화면의 크기를 비교하여 그 비율이 지정된 비율 이상일 경우 장면 전환으로 간주하였다. 보다 정교한 장면 변화 검출을 위해서는 급스럽게 나타나는 전경 객체를 찾아내는 방법이 필요하나 연산량을 고려하여 이 방법을 적용하지 않았다.
장면 전환이 검출되면 추적 중인 모든 객체 정보를 초기화 하고 배경학습을 시작함으로써 객체 검출의 오동작을 방지한다.
장면 전환 검출은 카메라 가림 등과 같은 현상을 검출할 수 있기 때문에 보안용으로 사용될 경우 장면 전환 자체를 이벤트로 활용할 수 있다.
< 바운딩 박스 생성>
찾아진 윤곽선 정보는 좌표 데이터량이 많고 추적을 위한 계산과정이 복잡해지기 때문에 윤곽선에 외접하는 바운딩 박스를 추적용 객체로 단순화 한다.
물체 내부에 배경과 유사한 패턴이 포함되어 있는 경우 전경 검출 이미지에서 동일한 물체가 잘라진 영역으로 표시되는 경우가 발생한다. 이 경우 검출된 외곽선도 분리되기 때문에 동일한 객체가 여러 개로 분리되는 문제가 발생한다. 또한 객체 내부에 폐쇄된 영역이 중복으로 존재할 경우에도 마찬가지 현상이 발생한다.
분리된 객체에 대한 크기 정보를 토대로 병합과 제거 알고리즘을 적용하여 문제를 완화하였다. 객체 내부에 포함하는 객체는 제거 대상으로 판별하고 가깝게 인접한 객체가 분산되어 있을 경우 병합 대상으로 분류하였다.
병합 되지 않아야 할 대상이 병합되는 경우를 줄이기 위해 이미 추적중인 객체의 바운딩 박스와 비교하여 동일 영역에 해당할 경우 병합을 잠시 보류하도록 임시 큐에 객체를 등록한 후 일정 시간 이후에도 동일한 크기 정보일 경우 신규 객체로 등록하고 아닐 경우는 병합 대상이 되도록 하였다.
< 추적 대상 객체의 필터링 >
추적 대상 객체의 가로, 세로의 길이와 종횡비를 비교하여 추적 대상 물체 유형을 분류한다.
분류된 물체는 사용자에 의해 설정된 물체 필터링 조건과 비교한 후 추적 대상에 포함시키거나 제외시킨다.
< 이동 객체의 추적 >
객체 추적은 연속되는 프레임에서 원하는 객체의 변화를 감시하고 이를 추적하는 것을 의미하며 동일한 객체를 지속적으로 추적하기 위한 특징을 활용한다.
가장 널리 사용되는 특징은 모션(Motion),공간 위치(Spaceposition),형상(Shape),색상(Color),명암도(Intensity),히스토그램(Histogram),특징점(Feature point)등을 들 수 있는데 이 방법을 단독으로 사용하거나 결합하여 추적의 성능을 개선한다.
추적의 정확도 대비 연산량 절감을 한 실용성 확보 차원에서 다양한 객체 추적방법을 적용하였다.
단계1. 추출된 객체에 대한 바운딩 박스 정보로 탐색 윈도우의 초기 위치 및 크기를 정한다.
단계2. 바운딩 박스 정보의 크기와 겹침을 비교하여 1차로 동일 객체를 분리한다.
단계3. 1차로 분리되지 못한 객체애 대해 블록매칭 방법을 적용하여 2차로 동일 객체를 분리한다.
단계4. 2차로 분리되지 못한 객체에 대해서는 큐에 저장되어있는 객체정보와 비교하여 놓친 물체에 대한 되찾기를 수행한다.
단계5. 단계4를 통해서도 분리되지 못한 객체는 새로운 객체로 큐에 등록한다.
단계6. 단계2에서 단계4의 과정을 반복한다.
< 이벤트 검출 >
추적대상 물체에서 주어진 조건과 일치하는 변화가 발생하면 이벤트를 검출하는 방법으로 알고리즘을 구현하였다. 누수의 경우 이동 물체가 급작스럽게 나타나 일정 시간 물체의 이동이 지속되는 상황을 검출하는 방법으로 확인할 수 있다.
< 이벤트 저장 및 알람 생성 >
이벤트 검지시 화면 표출과 연계하여 이벤트 상황을 표출 할 수 있으며 이벤트 발생내역과 함께 해당 이벤트에 대한 비디오를 데이터베이스에 저장할 수 있도록 하였다. 저장된 이벤트 데이터에 대한 검색 및 조회를 통해 이벤트 발생상황에 대한 사후관리가 가능하다.
이하에서는 아날로그 센서 데이터의 영상 통합 표출을 위한 영상 감시 시스템의 양호한 실시예를 도시한 첨부 도면들을 참조하여 상세히 설명한다.
본 발명에 따른 아날로그 센서 데이터의 영상 통합 표출을 위한 영상 감시 시스템(이하, 영상 감시 시스템)은 아날로그 센서(1), 외부 계측 기기(20)로부터 각각 아날로그 데이터와 디지털 데이터를 수신하는 데이터 수집부(10), 영상 데이터를 수집하는 카메라 모듈부와, 상기 영상 데이터 처리 및 처리된 영상 데이터와 상기 아날로그 데이터와 디지털 데이터를 합성하여 출력하는 데이터 처리부(30) 및 상기 데이터 처리부(30)에 의해 합성된 데이터를 중앙 관리 센터로 전송하기 위한 통신부(37)를 포함하는 카메라부(40)와, 상기 통신부(37)를 통해 아날로그 데이터, 디지털 데이터, 영상 데이터 및 합성 데이터를 수신하여 모니터링하고, 합성 데이터 출력을 위해 데이터 수집부(10), 카메라 모듈부, 데이터 처리부(30)의 설정 관리를 위한 뷰어소프트웨어(51)가 구비된 중앙 관제 센터(50)를 포함한다.
카메라부(40)는 수위, 온도, 수질, 압력 센서 등이 설치된 현장의 인근에 설치될 수 있으며, 중앙 관제 센터(50)는 현장을 기준으로 원격에 위치될 수 있다. 또한 카메라부(40)는 다른 현장의 수위, 온도, 수질, 압력을 체크하기 위해 복수개로 구비될 수 있으며, 이때 카메라부(40)들 각각에 연결된 센서들은 상이할 수 있다.
상기 뷰어소프트웨어(51)는 아날로그 데이터의 계측치 변환 설정을 위한 변환계수 설정 기능, 아날로그 데이터 이벤트 검출 및 디지털 이벤트 검출을 위한 이벤트 검출 기준 설정 기능, 영상 데이터에 합성될 아날로그 데이터 및 디지털 데이터 표출 이미지 생성과 영상 데이터에 합성될 아날로그 데이터 이벤트 및 디지털 데이터 이벤트 표출 이미지 생성을 위한 영상 표출 기준 설정 기능, 영상 데이터에 합성될 상기 아날로그 데이터 및 디지털 데이터의 그래프 이미지 생성을 위한 그래프 표출 기준 설정 기능을 포함할 수 있다.
또한, 상기 뷰어소프트웨어(51)는 영상 데이터에 합성될 아날로그 데이터 및 디지털 데이터 표출 이미지 생성과, 영상 데이터에 합성될 아날로그 데이터 이벤트 및 디지털 데이터 이벤트 표출 이미지 생성을 위한 영상 표출 기준 설정 기능을 포함하고, 상기 영상 데이터에 합성될 상기 아날로그 데이터 및 디지털 데이터의 그래프 이미지 생성과, 상기 영상 표출 기준 설정 기능에 의한 영상 표출 기준에 따라 상기 아날로그 데이터 이벤트 및 디지털 데이터 이벤트 표출 이미지 생성은 동기화시킬 수 있다.
상기 데이터 수집부(10)는 아날로그 센서의 신호를 디지털 신호로 변환하는 ADC 컨버터(11)와, 뷰어소프트웨어(51)와 연동되어 전기적 입력을 받거나 출력으로 외부 센서를 제어하기 위한 GPIO 포트(12)와, 상기 외부 계측 기기(20)로부터 디지털 데이터를 수신하기 위한 RS485 포트(13)와, 상기 데이터 처리부(30)와의 통신과 상기 뷰어소프트웨어(51)와의 통신을 위한 RS232 포트(14) 및 상기 ADC 컨버터(11), GPIO 포트(12), RS485 포트(13), RS232 포트(14)와 연결되어 데이터를 처리하고 뷰어소프트웨어(51)의 제어 명령을 수행하는 MCU(15)를 포함할 수 있다.
상기 데이터 처리부(30)는 상기 아날로그 데이터 및 디지털 데이터를 수신하거나 뷰어소프트웨어(51)의 제어명령을 전달하기 위한 RS232 포트(31)와, 영상 처리를 위한 CMOS(32) 및 ISP(33)와, 데이터 저장 및 뷰어소프트웨어(51)의 설정 정보를 저장하기 위한 메모리(34)와, 영상 데이터의 압축 기능을 포함하는 엔코더(36)와, 상기 아날로그 데이터 및 디지털 데이터와 영상 데이터를 합성하는 GPU(35)와, 상기 RS232 포트(31), ISP(33), 메모리(34), 엔코더(36), GPU(35)와 연결되어 뷰어소프트웨어(51)의 제어명령에 따라 아날로그 데이터 및 디지털 데이터와 영상 데이터의 합성 수행을 위한 CPU(38)를 포함할 수 있다.
구체적으로, 도 4의 카메라부(40)는 센서(1,2,3)들 및 외부 계측 기기(20)를 제어하기 위한 데이터 출력(data out), 접점 출력, 알람 등을 제어하기 위한 Port, 데이터 입력(data in), 아날로그 입력(Analog Input: 4-20mA입력 등), PLC(Programmable Logic Controller)와 카메라부를 제어하기 위한 RS-485 통신포트, 랜 포트, 오디오포트 등을 두고 있어 외부 입출력기기의 다양한 프로토콜을 지원한다. 즉, 외부 계측 기기 PLC와는 RS485통신, 랜 통신으로 다양한 프로토콜(LS산전 통신 방식, 모드버스(MOD BUS) 등)을 지원하며, 화면 표시내용은 주요 상황에 대하여 글자 색깔만 빨강색, 검정색, 녹색 등의 지정색으로 변하는 경우, 글자만 지정된 색으로 깜빡 깜빡거리는 경우(글자만 플리커링됨), 글자는 지정된 색으로 가만히 있고 화면 전체가 지정된 색으로 깜빡 깜빡거리는 경우(화면전체가 플리커링 됨)로 구분하여 표시할 수 있다.
카메라부(40)에 의한 영상 압축 설계 방법은, (a) 카메라 렌즈에서 받은 신호를 CMOS(32), ISP(33), 엔코더(36)를 이용하여 압축하는 단계, (b) 이를 CPU(38)를 통해 SD(34)에 일시적으로 저장하는 단계, (c) MCU(15)에서는 외부 입출력포트에서 받아들인 아날로그/디지털 데이터를 전처리하여 CPU(38)에 전달해 CPU(38)와 연결된 SD(34)에 데이터베이스를 구축하는 단계, (d) 이러한 데이터베이스를 이용하여 GPU(35) 및 CPU(38)를 통해 영상에 데이터 문자 및 트렌드를 합성하여 중앙 관제 센터의 모티터에 표출하는 단계를 포함할 수 있다.
여기서, ISP(Image Signal Processor, 이미지 시그널 프로세서)는 카메라 동영상 촬영모드에서 두 가지 기능을 수행한다. 상기 두가지 기능 중에서 하나는 CMOS(32)에 의해 센싱된 로우 데이터(Mosaic Raw Data)를 엘씨디(LCD)와 같은 표시장치에 디스플레이하기 위한 RGB 데이터로 변환하는 것이고, 다른 하나는 상기 RGB 데이터를 저장하기 위해 압축 가능한 YCbCr 데이터로 변환한 후 표준 영상 압축 포맷(예: MPEG-4, H.264, H.265 등)으로 변환하는 것이다. CPU(38)는 I2C(Inter-Integrated Circuit)/SPI(Serial Peripheral Interface)를 통해서 ISP(33)를 제어하며, ISP(33)는 입력받은 커맨드(command)에 따라 CMOS(32)를 제어한다. ISP(33)로부터 출력되는 영상 신호는 패러럴 인터페이스(Parallel I/F) 또는 고속 시리얼 인터페이스(serial interface)인 MIPI(Mobile Industry Processor Interface)를 통해서 전송된다. ISP(33) 역시 해당 영상 신호를 처리한 영상 정보를 CPU(38) 또는 베이스밴드 칩으로 패러럴 인터페이스 또는 MIPI를 통해서 전송한다.
또한, ISP(33)는 최근 포스트 프로세싱(post Processing)을 위해 메모리(예를 들어, DRAM)가 칩 내에 스택(stack)하여 구비될 수 있다.. 포스트 프로세싱으로는 예를 들어 Still DIS, Motion DIS, CPS, Face detection, smile/blink detection, digital zoom, thumbnail 및 jpeg을 1개의 Vsync에 상응하도록 전송, image rotation 등이 있으며, 이러한 처리를 위한 프레임 메모리(Frame memory)로서 DRAM이 구비될 수 있다. 최근 CMOS(32)가 8M/12M/13M/16M 화소 등으로 점차 고화소화되면서 일정한 시간에 대용량의 이미지 전송이 가능하도록 하기 위해서 고속 시리얼 인터페이스인 MIPI가 적용될 수 있다.
엔코더(36)는 최근 비디오 코덱 가운데 매우 활발히 사용되며 주목받는 H.264일 수 있다. H.264는 고선명 비디오의 녹화, 압축, 배포를 위한 가장 일반적인 포맷으로 매우 높은 데이터 압축 효율성을 갖추고 있다. ITU-T의 비디오코딩전문가그룹(VCEG, Video Coding Experts Group)과 ISO/IEC의 동화상전문가그룹(MPEG, Moving Picture Experts Group)이 공동으로 조인트 비디오 팀(JVT, Joint Video Team)을 구성하고 표준화를 진행한 결과물로 나온 것이다. 그러므로 ITU-T의 H.264와 ISO/IEC의 MPEG-4 Part 10은 이름만 다르고 기술적으로 완벽하게 동일한 표준안이다.
또한, H.264는 프로파일@레벨 시스템을 사용하고 약 28종류의 프로파일과 약 17종류의 레벨을 사용할 수 있으며 그 종류는 계속 확장되고 있다. 이러한 현상은 차세대 비디오 코덱으로 개발되고 있는 HEVC가 주류로 사용되는 시기까지 계속될 것으로 보인다. 가장 많이 사용되는 것은 모바일 방송과 같은 저전력, 저해상도에 적합한 베이스라인(baseline) 프로파일과, 압축률을 최대한 높이기 위한 기술들로 이루어진 메인(main) 프로파일, 그리고 보다 고품질 영상을 위한 하이(high) 프로파일과 스트리밍 환경에 적합한 기술들이 추가된 확장(extended) 프로파일의 네 가지다.
카메라부(40)를 제어하는 뷰어소프트웨어(51)는 외부기기 제어 접점으로 디지털 값을 입력할 수도 있으며, 아날로그 값으로 데이터를 입력할 수 있다. 가령, 뷰어소프트웨어(51)의 설정(Set-up)화면에서, 잠수교 수위 5m 값이 아날로그 값으로 입력되면, 이 데이터는 카메라부(40) 내의 ADC컨버터(11)에 의하여 디지털 값으로 변화되고 영상신호와 합성되어 중앙 관제 센터(50)의 모니터에 영상과 함께 잠수교 수위 5m 라는 텍스트를 표시하게 된다.
또한, 채널1에 잠수교 수위 High로 되어 알람을 주어야 하는 경우에는 디지털값으로 입력되면, 잠수교 수위 HIGH가 빨간색으로 플리커링되게 한다. 또한, 잠수교 수위는 예로서, H(수위높음 1차 경고), HH(수위높음 2차 경고), L(수위낮음 1차 경고), LL(수위 낮음 2차 경고)로 나누어 경고하고, HH,LL일 경우, 플리커링(flickering, 깜빡거림)을 주고, 관리자 등에서 경고 메시지를 휴대폰으로 송신하는 것도 가능하다. 또한, 플리커링은 화면 전체를 플리커링할 수도 있고, 글자만 플리커링되게 할 수도 있다.
또한, 감시구역의 수집된 영상과 함께 처리된 수위, 온도, 압력 등의 아날로그 또는 디지털 데이터는 SD(34)에 데이터베이스로 저장되어 영상과 함께 데이터베이스가 문자 또는 그래프 형식의 데이터 트렌드로 중앙 관제 센터(50)의 화면에 표시될 수 있다. 화면에 표시되는 내용은 수위, 온도, 압력 등의 각종 상황에 대한 데이터베이스가 영상과 함께 표출되며, 영상에 문자가 표출 될 시 글자의 문구, 문구 값의 단위, 문구의 화면 상 위치, 폰트, 색상등으로 설정될 수 있으며, 경고 시, 표출 문구는 지정된 색으로 깜빡 깜빡거리거나, 글자는 지정된 색으로 가만히 있고 화면 전체가 컬러 또는 흑백의 지정된 색으로 깜빡 깜빡거리는 플리커링(flickering)의 경우 중 어느 하나로 표시되며, 영상에 각종 상황에 대한 데이터베이스를 그래프 형식의 데이터 트렌드로 표출 할 시 데이터의 문구, 단위, 색깔을 관리자가 설정한대로 표출할 수 있다. 또한 영상에 표출된 트렌드의 바를 원하는 시간에 이동하면 이동된 바가 위치한 트렌드의 시간의 값이 나타나고, 데이터의 확인 후 이동바 위에 위치한 데이터 값은 자동으로 사라지며, 경고 시, 표출 문구는 지정된 색으로 깜빡 깜빡거리거나, 글자는 지정된 색으로 가만히 있고 화면 전체가 컬러 또는 흑백의 지정된 색으로 깜빡 깜빡거리는 플리커링(flickering)의 경우 중 어느 하나로 표시되는 기능을 포함한다.
상기 영상에 데이터 문자 및 그래프 형식의 데이터 트렌트를 표출 시 표출 방법을 설정하는 프로그램의 방법은 제너럴, 데이터아날로그(Data Analog), 데이터 디지털 입력(Digital Input), 디지털 출력(Digital Output)으로 구성된다.
제너럴에서 일반적인 설정을 하며, 카메라부(40)는 연결된 카메라부(40)의 종류를 선택하는 것이고, 주소(Address)는 선택된 카메라부(40)의 네트워크 주소, 프로토콜(Protocol)은 LS산전, 모드버스(Modbus), 프로피버스(Profibus) 등 카메라부(50)와 맞는 것으로 선택할 수 있으며, 통신(Communication)은 RS-232, RS485, 랜 통신 중 선택을 할 수 있으며 통신포트(Comm. Port)는 통신포트(Common Port) 단자 선택(COM1, COM2, ... , COM10), IP주소는 카메라의 IP 주소, 히스토리(History)의 트렌드(Trend)는 Live 또는 저장된 이전 데이터를 검색할 히스토리(History) 중 선택, 히스토리는 이전 데이터 검색의 날짜 선택, 주기(Period)는 검색 날짜 기간을 선택할 수 있다.
Analog에서는, 인에이블(Enable)은 표출 데이터의 사용 유무, 스트링(String)은 데이터 명칭, 메저(Measure)은 데이터 단위, X축은 화면에 문자를 표시할 X축의 좌표, Y축은 화면에 문자를 표시할 Y축의 좌표, 사이즈(Size)는 문자의 크기, 컬러(Color)는 문자의 색깔, 디스플레이상태(Display Status)는 Text 또는 트렌드(Trend) 중 선택, 최소범위(Range Min)은 데이터의 최소 수치, 최대범위(Range Max)는 데이터의 최고 수치, 디스플레이시간(Display Time)은 트렌드(Trend) 표출 시 트렌드(Trend) 좌표 중 시간 영역 X좌표를 설정한 시간으로 표출한다.
디지털 입력(Digital Input)의 인에이블(Enable)은 표출 데이터의 사용 유무, 스트링(String)은 데이터 명칭, X축은 화면에 문자를 표시할 X축의 좌표, Y축은 화면에 문자를 표시할 Y축의 좌표, 사이즈(Size)는 문자의 크기, 컬러(Color)는 문자의 색깔, 이펙트(Effect)는 경보의 방법(글자의 빠른 깜빡임, 느린 깜빡임, 화면 깜빡임)을 설정하고, 디스플레이상태(Display Status)는 Text 또는 트렌드(Trend) 중 선택, 디스플레이시간(Display Time)은 트렌드(Trend) 표출 시 트렌드(Trend) 좌표 중 시간 영역 X좌표를 설정한 시간으로 표출한다.
디지털 출력(Digital Output)의 인에이블(Enable)은 표출 데이터의 사용 유무, 스트링(String)은 데이터 명칭, X축은 화면에 문자를 표시할 X축의 좌표, Y축은 화면에 문자를 표시할 Y축의 좌표, 사이즈(Size)는 문자의 크기, 컬러(Color)는 문자의 색깔, 이펙트(Effect)는 경보의 방법(글자의 빠른 깜빡임, 느린 깜빡임, 화면 깜빡임)을 설정하고, 제어상태(Control Status)는 제어시스템의 제어를 온/오프(ON/OFF) 중 선택하는 프로그램을 관리자 임의로 설정할 수 있는 기능을 포함한다.
도 5는 이와 같은 구성의 영상 감시 시스템에서 아날로그 센서 데이터에 대한 영상 통합 및 표출을 위한 데이터 처리 과정을 나타낸 도면이다.
참조하면, 데이터 수신부(10)를 통해 아날로그 및 디지털 데이터가 수신되고, 뷰어소프트웨어(51)에서 설정한 변환 계수에 의해 계측치가 변환(예, 전압 → 측정단위)되며, 외부 계측 기기(20)에 해당하는 통신프로토콜(예, LS산전 프로토콜, Modbus 프로토콜)을 지원하여 데이터를 입력받고, 뷰어소프트웨어(51)에서 설정한 아날로그 및 디지털 데이터 이벤트 검출 기준에 따라 아날로그 및 디지털 데이터 이벤트를 검출하며, 뷰어소프트웨어(51)에서 설정한 영상 표출 기준에 따라 데이터 표출 이미지 생성 및 이벤트 표출 이미지를 생성하고, 카메라부(40)에서 수집한 영상과 상기 데이터 표출 이미지 및 이벤트 표출 이미지를 합성하여 압축하고, 중앙 관제 센터(50)에 전송한다.
도 6은 아날로그 센서 데이터에 대한 영상 통합 및 표출을 위한 기준 설정 과정을 나타낸 도면으로써, 사용자가 뷰어소프트웨어(51)를 이용하여 변환 계수 설정, 데이터 표출 기준 설정, 이벤트 표출 기준을 설정할 수 있다. 설정된 값들은 웹서버를 통해 카메라부(40)에 전달되며, 전달된 설정 값은 CGI 설정 정보 수신 및 데이터 프로세스로 메시지 전송, 설정 데이터 관리 프로세스 설정 수신, 설정 데이터 저장, 센서 및 영상 처리 기준 갱신의 순으로 카메라부(40)에서 처리된다.
도 7은 본 발명에 따른 아날로그 센서 데이터에 대한 영상 통합 및 표출을 위한 뷰어소프트웨어의 사용자 인터페이스를 나타낸 도면으로써, 실시간 영상, 설정모드 등을 제공한다. 설정모드에서는 아날로그 데이터의 계측치 변환 설정을 위한 변환계수 설정 기능, 아날로그 데이터 이벤트 검출 및 디지털 이벤트 검출을 위한 이벤트 검출 기준 설정 기능, 영상 데이터에 합성될 아날로그 데이터 및 디지털 데이터 표출 이미지 생성과, 영상 데이터에 합성될 아날로그 데이터 이벤트 및 디지털 데이터 이벤트 표출 이미지 생성을 위한 영상 표출 기준 설정 기능, 영상 데이터에 합성될 상기 아날로그 데이터 및 디지털 데이터의 그래프 이미지 생성을 위한 그래프 표출 기준 설정 기능을 포함할 수 있다.
또한, 감시구역의 수집된 영상과 함께 처리된 수위, 온도, 압력 등의 아날로그 또는 디지털 데이터는 SD(34)에 데이터베이스로 저장되어 영상과 함께 데이터베이스가 문자 또는 그래프 형식의 데이터 트렌드로 중앙 관제 센터(50)의 화면에 표시될 수 있다. 화면에 표시되는 내용은 수위, 온도, 압력 등의 각종 상황에 대한 데이터베이스가 영상과 함께 표출되며, 영상에 문자가 표출 될 시 글자의 문구, 문구 값의 단위, 문구의 화면 상 위치, 폰트, 색상등으로 설정될 수 있으며, 경고 시, 표출 문구는 지정된 색으로 깜빡 깜빡거리거나, 글자는 지정된 색으로 가만히 있고 화면 전체가 컬러 또는 흑백의 지정된 색으로 깜빡 깜빡거리는 플리커링(flickering)의 경우 중 어느 하나로 표시되며, 영상에 각종 상황에 대한 데이터베이스를 그래프 형식의 데이터 트렌드로 표출 할 시 데이터의 문구, 단위, 색깔을 관리자가 설정한대로 표출할 수 있다. 또한 영상에 표출된 트렌드의 바를 원하는 시간에 이동하면 이동된 바가 위치한 트렌드의 시간의 값이 나타나고, 데이터의 확인 후 이동바 위에 위치한 데이터 값은 자동으로 사라지며, 경고 시, 표출 문구는 지정된 색으로 깜빡 깜빡거리거나, 글자는 지정된 색으로 가만히 있고 화면 전체가 컬러 또는 흑백의 지정된 색으로 깜빡 깜빡거리는 플리커링(flickering)의 경우 중 어느 하나로 표시되는 기능을 포함한다.
도 8은 본 발명에 따른 아날로그 센서 데이터의 변화 추이에 대한 영상 통합 및 표출을 위한 데이터 처리 과정을 나타낸 도면이다. 참조하면, 데이터 수신부(10)를 통해 아날로그 및 디지털 데이터가 수신되고, 뷰어소프트웨어(51)에서 설정한 변환 계수에 의해 계측치가 변환(예, 전압 → 측정단위)되며, 외부 계측 기기(20)에 해당하는 통신프로토콜(예, LS산전 프로토콜, Modbus 프로토콜)을 지원하여 데이터를 입력받고, 이를 시간별/센서별로 데이터를 저장하여 센서 데이터 변화 추이 데이터베이스를 구축하며, 뷰어소프트웨어(51)에서 설정한 그래프 표출 기준에 따라 그래프 이미지를 생성하고, 카메라부(40)에서 수집한 영상과 상기 그래프 이미지를 합성하여 압축하고, 중앙 관제 센터(50)에 전송하는 과정을 포함한다.
도 9는 본 발명에 따른 아날로그 센서 데이터의 변화 추이에 대한 영상 통합 및 표출을 위한 기준 설정 과정을 나타낸 도면이고, 도 10은 본 발명에 따른 아날로그 센서 데이터의 변화 추이에 대한 영상 통합 및 표출을 위한 뷰어소프트웨어의 사용자 인터페이스를 나타낸 도면으로써, 상세 과정은 변환계수 설정, 데이터 표출 기준 설정, 이벤트 표출 기준 설정이 그래프 표준 기준 설정으로 대체되는 것 외에는 전술한 아날로그 센서 데이터에 대한 영상 통합 및 표출을 위한 기준 설정 과정과 유사하다. 뷰어소프트웨어(51)의 그래프 표출 메뉴는 센서별로 별도의 그래프가 표출되거나, 하나의 그래프에 모든 센서의 값들이 표출되도록 설정할 수 있다. 또한 센서별로 화면상에 표출될 위치, 크기, 범례, 제목, 축문자 등을 설정할 수 있다. 또한 아날로그 센서 입력 그래프 표출 기능을 설정할 수 있으며, 이때 표출여부, X축 표시 범위, Y축 표시 범위, 제목 크기, 축문자 크기, 범례 크기, 색상 등을 설정할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능할 것이다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되면 안되고, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10: 디지털 수집부
20: 외부 계측 기기
30: 디지털 처리부
40: 카메라부
50: 중앙 관제 센터
51: 뷰어소프트웨어
20: 외부 계측 기기
30: 디지털 처리부
40: 카메라부
50: 중앙 관제 센터
51: 뷰어소프트웨어
Claims (4)
- 아날로그 센서 데이터의 영상 통합 표출을 위한 영상 감시 시스템은 아날로그 센서(1); 외부 계측 기기(20)로부터 각각 아날로그 데이터와 디지털 데이터를 수신하는 데이터 수집부(10); 영상 데이터를 수집하는 카메라 모듈부와, 상기 영상 데이터 처리 및 처리된 영상 데이터와 상기 아날로그 데이터와 디지털 데이터를 합성하여 출력하는 데이터 처리부(30); 및 상기 데이터 처리부(30)에 의해 합성된 데이터를 중앙 관리 센터로 전송하기 위한 통신부(37)를 포함하는 카메라부(40);와, 상기 통신부(37)를 통해 아날로그 데이터, 디지털 데이터, 영상 데이터 및 합성 데이터를 수신하여 모니터링하고 합성 데이터 출력을 위해 상기 데이터 수집부(10), 카메라 모듈부 및 데이터 처리부(30)의 설정 관리를 위한 뷰어소프트웨어(51)가 구비된 중앙 관제 센터(50);를 포함하되,
상기 뷰어소프트웨어(51)는, 아날로그 데이터의 계측치 변환 설정을 위한 변환계수 설정 기능, 아날로그 데이터 이벤트 검출 및 디지털 이벤트 검출을 위한 이벤트 검출 기준 설정 기능, 영상 데이터에 합성될 아날로그 데이터 및 디지털 데이터 표출 이미지 생성과 영상 데이터에 합성될 아날로그 데이터 이벤트 및 디지털 데이터 이벤트 표출 이미지 생성을 위한 영상 표출 기준 설정 기능, 영상 데이터에 합성될 상기 아날로그 데이터 및 디지털 데이터의 그래프 이미지 생성을 위한 그래프 표출 기준 설정 기능을 포함하고, 상기 영상 데이터에 합성될 상기 아날로그 데이터 및 디지털 데이터의 그래프 이미지 생성과 상기 영상 표출 기준 설정 기능에 의한 영상 표출 기준에 따라 상기 아날로그 데이터 이벤트 및 디지털 데이터 이벤트 표출 이미지 생성은 동기화시키고,
상기 데이터 수집부(10)는 아날로그 센서의 신호를 디지털 신호로 변환하는 ADC 컨버터(11)와, 뷰어소프트웨어(51)와 연동되어 전기적 입력을 받거나 출력으로 외부 센서를 제어하기 위한 GPIO 포트(12)와, 상기 외부 계측기기(20)로부터 디지털 데이터를 수신하기 위한 RS485 포트(13)와, 상기 데이터 처리부(30)와의 통신과 상기 뷰어소프트웨어(51)와의 통신을 위한 RS232 포트(14) 및 상기 ADC 컨버터(11), GPIO 포트(12), RS485 포트(13), RS232 포트(14)와 연결되어 데이터를 처리하고 뷰어소프트웨어(51)의 제어 명령을 수행하는 MCU(15)를 포함하고,
상기 데이터 처리부(30)는 상기 아날로그 데이터 및 디지털 데이터를 수신하거나 뷰어소프트웨어(51)의 제어명령을 전달하기 위한 RS232 포트(31)와, 영상 처리를 위한 CMOS(32) 및 ISP(33)와, 데이터 저장 및 뷰어소프트웨어(51)의 설정 정보를 저장하기 위한 메모리(34)와, 영상 데이터의 압축 기능을 포함하는 엔코더(36)와, 상기 아날로그 데이터 및 디지털 데이터와 영상 데이터를 합성하는 GPU(35)와, 상기 RS232 포트(31), ISP(33), 메모리(34), 엔코더(36), GPU(35)와 연결되어 뷰어소프트웨어(51)의 제어명령에 따라 아날로그 데이터 및 디지털 데이터와 영상 데이터의 합성 수행을 위한 CPU(38)를 포함하는 것을 특징으로 하는 영상 감시 시스템에 의한 배경모델링 기법을 이용한 영상 내 누수 감지 방법에 있어서,
GMM(Gaussian Mixture Model)을 포함하는 영상 분석 방법을 이용하여 입력 영상의 객체를 분석하고, 상기 객체가 설정된 조건에 부합하는지 여부를 판단하여 부합하면 이벤트가 발생된 것으로 판단하는 영상 분석 단계;
상기 영상 분석 단계에 의해 이벤트가 발생된 것으로 판단되면 이벤트 영상 및 이벤트 정보를 저장하여 데이터베이스화하는 이벤트 저장 단계;
상기 이벤트 정보와 이벤트 영상을 중앙 관제 센터에 전송하여 표출하는 이벤트 경보 단계;를 포함하되,
상기 영상 분석 단계는, 입력 영상의 객체와 배경을 분리하고, 노이즈를 제거하는 과정으로써 미디언 필터링 방법을 적용하고,
상기 영상 분석 단계는, 카메라의 유동으로 발생된 전경의 객체 검출 오류를 방지하기 위하여, 전경 대비 화면 크기가 지정된 비율 이상인 경우 장면 전환으로 판단하고, 추적 중인 객체의 정보를 초기화하고,
상기 영상 분석 단계는, 입력된 영상의 색공간을 변경하고, GMM을 이용하여 배경 모델링을 수행하여 객체를 추출하고, 영상에서의 객체 노이즈를 미디언 필터링 방법을 적용하여 제거하고, 객체의 윤곽선 검출 및 바운딩 박스로 생성하여 객체를 추적하며, 추적된 객체가 설정된 조건에 부합하는지 여부를 판단하여 부합하면 이벤트가 발생된 것으로 판단하는 것을 특징으로 하는 배경모델링 기법을 이용한 영상 내 누수 감지 방법.
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170147247A KR101917622B1 (ko) | 2017-11-07 | 2017-11-07 | 배경모델링 기법을 이용한 영상 내 누수 감지 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170147247A KR101917622B1 (ko) | 2017-11-07 | 2017-11-07 | 배경모델링 기법을 이용한 영상 내 누수 감지 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101917622B1 true KR101917622B1 (ko) | 2018-11-13 |
Family
ID=64397796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170147247A KR101917622B1 (ko) | 2017-11-07 | 2017-11-07 | 배경모델링 기법을 이용한 영상 내 누수 감지 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101917622B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554001A (zh) * | 2021-09-18 | 2021-10-26 | 三一汽车制造有限公司 | 搅拌车溢料识别方法、系统、电子设备及搅拌站 |
| KR20220028803A (ko) | 2020-08-31 | 2022-03-08 | 이용준 | 누액감지 시스템 및 방법 |
| KR20220093492A (ko) * | 2020-12-28 | 2022-07-05 | 세종대학교산학협력단 | 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101846576A (zh) * | 2010-05-27 | 2010-09-29 | 王巍 | 一种基于视频的液体泄漏分析预警系统 |
| WO2014176693A1 (en) * | 2013-04-29 | 2014-11-06 | Intelliview Technologies Inc. | Object detection |
-
2017
- 2017-11-07 KR KR1020170147247A patent/KR101917622B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101846576A (zh) * | 2010-05-27 | 2010-09-29 | 王巍 | 一种基于视频的液体泄漏分析预警系统 |
| WO2014176693A1 (en) * | 2013-04-29 | 2014-11-06 | Intelliview Technologies Inc. | Object detection |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220028803A (ko) | 2020-08-31 | 2022-03-08 | 이용준 | 누액감지 시스템 및 방법 |
| KR20220093492A (ko) * | 2020-12-28 | 2022-07-05 | 세종대학교산학협력단 | 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법 |
| KR102481896B1 (ko) * | 2020-12-28 | 2022-12-27 | 세종대학교산학협력단 | 이미지 스티칭을 이용한 구조물 외관 조사망도 구축 시스템 및 방법 |
| CN113554001A (zh) * | 2021-09-18 | 2021-10-26 | 三一汽车制造有限公司 | 搅拌车溢料识别方法、系统、电子设备及搅拌站 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101942808B1 (ko) | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 | |
| JP4870803B2 (ja) | ビデオモーション検出方法 | |
| US8922674B2 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras | |
| US8675065B2 (en) | Video monitoring system | |
| KR101917622B1 (ko) | 배경모델링 기법을 이용한 영상 내 누수 감지 방법 | |
| US20120275524A1 (en) | Systems and methods for processing shadows in compressed video images | |
| AU2012340862A1 (en) | Geographic map based control | |
| CN105791774A (zh) | 一种基于视频内容分析的监控视频传输方法 | |
| CN107222660B (zh) | 一种分布式网络视觉监控系统 | |
| US20100124356A1 (en) | Detecting objects crossing a virtual boundary line | |
| US20110221895A1 (en) | Detection of Movement of a Stationary Video Camera | |
| CN113660427A (zh) | 一种应用于视频监控测试仪的图像分析系统及其分析方法 | |
| CN107018352A (zh) | 一种视频图像处理方法、装置及系统 | |
| JP3486229B2 (ja) | 画像変化検出装置 | |
| CN111601011A (zh) | 一种基于视频流图像的自动告警方法及系统 | |
| CN109905670A (zh) | 一种多级平台监控系统 | |
| KR102127276B1 (ko) | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 | |
| CN115761571A (zh) | 基于视频的目标检索方法、装置、设备以及存储介质 | |
| CN112866654B (zh) | 一种智能视频监控系统 | |
| KR101395666B1 (ko) | 비디오 영상의 변화를 이용한 도난 감시 장치 및 방법 | |
| JP5710230B2 (ja) | 監視システムおよび監視方法 | |
| CN111147815A (zh) | 一种视频监控系统 | |
| CN111145234A (zh) | 基于双目视觉的火灾烟雾探测方法 | |
| CN115880365A (zh) | 一种双工位自动螺丝拧装检测方法、系统及装置 | |
| JPWO2019058863A1 (ja) | ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |