KR200409994Y1 - 영상을 이용한 액체 높이 측정 장치 - Google Patents

영상을 이용한 액체 높이 측정 장치 Download PDF

Info

Publication number
KR200409994Y1
KR200409994Y1 KR2020050035390U KR20050035390U KR200409994Y1 KR 200409994 Y1 KR200409994 Y1 KR 200409994Y1 KR 2020050035390 U KR2020050035390 U KR 2020050035390U KR 20050035390 U KR20050035390 U KR 20050035390U KR 200409994 Y1 KR200409994 Y1 KR 200409994Y1
Authority
KR
South Korea
Prior art keywords
image
liquid
height
camera
water level
Prior art date
Application number
KR2020050035390U
Other languages
English (en)
Inventor
김원
김치영
김동구
이찬주
황석환
Original Assignee
한국건설기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원 filed Critical 한국건설기술연구원
Priority to KR2020050035390U priority Critical patent/KR200409994Y1/ko
Application granted granted Critical
Publication of KR200409994Y1 publication Critical patent/KR200409994Y1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01FMEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F23/00Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
    • G01F23/02Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by gauge glasses or other apparatus involving a window or transparent tube for directly observing the level to be measured or the level of a liquid column in free communication with the main body of the liquid
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D13/00Component parts of indicators for measuring arrangements not specially adapted for a specific variable
    • G01D13/02Scales; Dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Fluid Mechanics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Levels Of Liquids Or Fluent Solid Materials (AREA)

Abstract

본 고안은 영상을 이용한 액체 높이 측정 장치에 관한 것으로서, 더 구체적으로는 측정하고자 하는 액체 등에서 일정 거리 떨어져 위치하는 카메라 등의 영상 취득 장치를 이용하여 수위표가 설치된 액체 근방을 촬영하여 그 촬영 영상을 분석함으로써 액체의 높이를 정확하고 자동적으로 측정할 수 있는 영상을 이용한 액체 높이 측정 장치에 관한 것이다. 본 고안에 따른 액체 높이 측정 장치는 측정 대상이 되는 액체에 설치되는 수위표와, 상기 수위표가 설치된 곳으로부터 일정 간격 떨어져 장착되어 상기 수위표가 설치된 상기 액체 근방을 촬영하여 영상을 취득하는 영상취득장치와, 상기 영상취득장치를 영상 취득을 제어하는 높이인식장치로서 상기 영상취득장치가 취득한 영상을 수신하여 상기 액체의 높이를 결정하는 높이인식장치를 포함한다.

Description

영상을 이용한 액체 높이 측정 장치{SYSTEM FOR MEASURING LIQUID LEVEL BY IMAGE}
도 1은 본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 장치의 개요도를 나타내는 도면.
도 2는 본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 장치의 영상취득장치와 높이인식장치를 블록도로 나타낸 도면.
도 3은 본 고안에 일 실시예에 따른 영상을 이용한 액체 높이 측정 장치의 수위표의 일례를 나타낸 도면.
도 4는 도 3의 수위표가 측정 대상이 되는 액체에 설치되어 있는 예시적인 모습을 도식적으로 도시한 도면.
도 5a는 비교 대상이 되는 예시적인 표준적인 영상을 도식적으로 나타낸 도면.
도 5b는 수위표가 설치된 임의의 영역에 대해 미리 설정된 촬영 영역에 대해 카메라에 의해 촬영된 예시적인 실제 촬영 영상을 도식적으로 나타낸 도면.
도 5c는 카메라의 틸팅 후 재 촬영한 영상을 도식적으로 나타낸 도면.
도 6은 본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 과정을 순서도로 나타낸 도면.
도 7은 도 6의 영상 취득 단계의 구체적인 과정을 순서도로 나타낸 도면.
도 8은 도 6의 액체 높이 결정 단계의 구체적인 과정을 순서도로 나타낸 도면.
<도면 주요 부분에 대한 부호의 설명>
101 : 수위표 102 : 영상취득장치
103 : 높이인식장치 104 : 중앙관리장치
201 : 주제어부 202 : 촬영신호 제어모듈
203 : 영상수신장치 204 : 전송 장치
205 : 카메라 206 : 팬틸트
207 : 조명장치 208 : 렌즈 제어 모듈
본 고안은 영상을 이용한 액체 높이 측정 장치에 관한 것으로서, 더 구체적으로는 측정하고자 하는 액체 등에서 일정 거리 떨어져 위치하는 카메라 등의 영상 취득 장치를 이용하여 수위표가 설치된 액체 근방을 촬영하여 그 촬영 영상을 분석함으로써 액체의 높이를 정확하고 자동적으로 측정할 수 있는 영상을 이용한 액체 높이 측정 장치에 관한 것이다.
기존의 액체 저장 탱크, 댐의 수위 또는 하천의 수위 등 액체의 높이를 측정하는 장치는 여러 가지가 있는데, 그 중 가장 단순한 것으로서 눈금이 표시된 목자 판을 액체 속에 위치시켜 눈으로 그 높이를 직접 확인하는 장치가 있다. 그런데, 이러한 장치는 사람의 육안으로 직접 그 높이를 확인할 수 있는 장점이 있으나, 그 높이를 사람의 육안으로 직접 확인하여야 하므로 그 정확도를 확신할 수 없으며, 또한 자동 측정을 이룰 수 없는 단점이 있다.
육안으로 액체의 높이를 직접 확인하는 장치 이외에 자동으로 액체의 높이를 측정하는 장치 중의 하나로서 압력 센서를 이용하는 장치가 있다. 압력 센서를 이용한 액체의 높이 측정 장치는 액체 속에 압력 센서를 위치시키고 액체에 의한 압력을 측정하여 그러한 액체에 의한 센서에 미치는 압력을 액체의 높이로 환산하는 방식을 취하고 있다. 그러나, 이러한 압력 센서를 이용한 액체의 높이 측정은 액체 속에 압력 센서를 위치시킴으로써 측정 대상이 되는 액체의 흐름으로 인한 압력 센서의 이동, 액체로 인한 센서의 오염, 액체 표면의 변화에 대한 센서 민감도 저하로 인한 오차의 발생 등 여러 가지 문제점을 안고 있다.
육안으로 액체의 높이를 직접 확인하는 장치 이외에 자동적으로 액체의 높이를 측정하는 또 다른 장치는 초음파나 레이더 센서 등을 이용하는 것이다. 그러나, 이러한 장치는 액체의 높이를 자동적으로 측정할 수 있는 장점이 있긴 하지만, 액체 표면이 불규칙하게 변화하거나 또는 액체의 온도 변화가 있는 경우에는 센서의 오차가 증가하여 그 정확도가 떨어지는 단점이 있다.
기존의 또 다른 액체 높이 측정 장치로는 액체의 안정을 위해서 관과 같은 구조물을 설치하고 그러한 구조물 내에 부표 등을 띄어 액체의 높이를 측정하는 장치가 있다. 이러한 장치는 액체 표면이 안정적이어서 비교적 정확하게 액체의 높이 를 측정할 수 있는 반면, 구조물이나 관내에 발생하는 이물질로 인해 액체의 높이 변화를 민감하게 반영하지 못하는 단점이 있다.
이처럼 기존의 액체의 높이를 측정하는 장치들은 액체 내에 센서나 구조물을 설치해야 하는 단점을 지니고 있고, 액체 내에 위치하는 센서나 기계 장치의 고장이나 오작동의 빈도가 잦은 한계를 지니고 있다.
또한, 이러한 기존의 액체 측정 장치는 측정 수치를 확인하는 중앙통제소 등이 원격지에 위치하는 경우 측정 대상이 되는 액체의 상황을 직접 육안 등으로 확인할 수 없으므로 측정되는 액체의 높이에 대한 정확도를 확인할 수 없는 단점도 있다.
따라서, 이와 같은 기존의 액체 높이 측정 장치의 단점을 수정 또는 보안하여 더 정확하면서도 안정적으로 액체의 높이를 측정할 수 있는 장치의 필요성이 존재한다.
본 고안의 목적은 그 높이를 측정하고자 하는 액체 등에서 일정 거리 떨어져 위치하는 카메라 등의 영상 취득 장치를 이용하여 수위표가 설치된 액체 근방을 촬영하여 그 촬영 영상을 분석함으로써 액체의 높이를 정확하고 자동적으로 측정할 수 있는 영상을 이용한 액체 높이 측정 장치를 제공하는 것이다.
본 고안의 또 다른 목적은 중앙관리장치에서 측정된 액체 높이와 함께 액체의 현 상태를 확인할 수 있는 영상을 동시에 전송 받아 측정된 액체의 높이의 정확도를 검증할 수 있는 영상을 이용한 액체 높이 측정 장치를 제공하는 것이다.
본 고안의 목적은, 액체에 설치되는 수위표와, 상기 수위표가 설치된 곳으로부터 일정 간격 떨어져 장착되어 상기 수위표가 설치된 상기 액체 근방을 촬영하여 영상을 취득하는 영상취득장치와, 상기 영상취득장치를 영상 취득을 제어하는 높이인식장치로서 상기 영상취득장치가 취득한 영상을 수신하여 상기 액체의 높이를 결정하는 높이인식장치를 포함하는 영상을 이용한 액체 높이 측정 장치에 의해 달성된다.
상기 영상취득장치는 상기 수위표가 설치된 상기 액체 근방을 촬영하는 카메라와 상기 카메라를 상하좌우로 이동시키는 팬틸트(fan-tilt)를 포함하고, 상기 높이인식장치는 상기 카메라에서 촬영한 영상을 수신하는 영상수신장치(image grabber)와, 상기 영상수신장치로부터 상기 촬영 영상을 전송 받아 상기 액체의 높이를 결정하는 주제어부와, 상기 주제어부의 제어에 따라 상기 카메라에 촬영 신호(trigger signal)를 제공하고 상기 팬틸트의 틸팅 신호(tilting signal)를 제공하는 촬영신호 제어 모듈을 포함한다.
상기 주제어부는 상기 영상수신장치로부터 상기 카메라가 촬영한 영상 신호를 수신하여 상기 촬영 영상의 색농도의 변화량을 결정하고 미리 설정된 색농도 변화량의 제 1 임계치와 비교하여, 만일 상기 촬영 영상의 색농도 변화량이 상기 제 1 임계치보다 작으면 상기 촬영신호 제어모듈을 통해 상기 팬틸트를 제어하여 상기 카메라를 이동시킨 후 상기 카메라에 촬영 신호를 다시 제공한다.
또한, 상기 주제어부는 상기 영상수신장치로부터 상기 카메라가 촬영한 영상 을 전송 받아 상기 영상으로부터 색농도에 따른 수치화된 영상을 생성하여 액체 표면을 인식하고, 상기 수치화된 영상으로부터 상기 수위표에 새겨진 숫자를 인식하여 상기 인식된 숫자 중 최소값을 결정하고, 상기 액체 표면으로부터 상기 최소값에 해당하는 숫자까지의 수직방향으로의 픽셀을 수를 인식하여 상기 수치화된 영상으로부터 결정된 최소값으로부터 액체 표면까지의 거리를 연산하고, 상기 최소값으로부터 상기 연산된 거리를 차감하여 상기 액체의 높이를 결정한다.
상기 주제어부는 상기 색농도에 따른 수치화된 영상을 미리 설정된 제 2 임계치와 비교하여 상기 제 2 임계치를 초과하는 경계 부분을 액체 표면으로 인식하게 되며, 상기 주제어부는 상기 수치화된 영상에서 일정 범위 이내의 수치값을 갖는 연속된 수치값의 영역을 분리하여 상기 연속된 수치값의 폰트를 미리 저장된 폰트 데이터와 비교하여 숫자를 인식하게 된다.
상기 주제어부는 상기 촬영신호 제어모듈을 제어하여 상기 카메라가 적어도 3개의 연속된 숫자를 촬영하도록 제어하며, 상기 주제어부는 상기 수치화된 영상으로부터 인식된 숫자가 연속된 적어도 3개의 숫자가 아닌 경우에는 오류로 인식하여 상기 촬영신호 제어모듈을 통해 상기 카메라로 하여금 다시 촬영하도록 하는 것이 바람직하다.
또한, 상기 주제어부는 상기 수치화된 영상으로부터 인식한 액체 표면으로부터 상기 최소값에 해당하는 숫자까지의 수직방향으로의 픽셀의 수를 상기 수위표의 인접 숫자 사이의 픽셀의 수와 비교하여 상기 최소값으로부터 상기 액체 표면까지의 거리를 연산하게 된다.
또한, 상기 영상취득장치는 상기 촬영신호 제어모듈의 제어를 받는 조명장치를 더 포함하는 것이 바람직하고, 상기 제어부는 상기 영상수신장치로부터 수신한 영상의 색농도가 미리 설정된 기준값 이하일 경우에 상기 촬영신호 제어모듈을 제어하여 상기 조명장치를 작동시킨 후 상기 카메라에 재촬영 신호를 전송하는 것이 바람직하다.
또한, 상기 수위표는 수위를 나타내는 상기 숫자 이외에 상기 숫자 사이에 보조 눈금이 형성되어 있어, 상기 카메라가 촬영한 영상으로부터 육안으로 액체 높이를 판별할 수 있는 것이 바람직하며, 상기 높이인식장치는 상기 제어부의 제어를 받는 전송 장치를 더 포함하여 상기 제어부의 제어에 따라 상기 전송 장치는 상기 카메라가 촬영한 영상과 상기 제어부에서 결정된 액체 높이를 원격지에 위치하는 중앙관리장치로 전송하는 것이 바람직하다.
상기 액체 높이는, 다음 예시한 것에 국한되는 것은 아니지만, 액체 저장 탱크의 높이와 댐의 수위 및 하천의 수위 중 어느 하나일 수 있다.
지금부터 단지 예시로서 본 고안에 따른 바람직한 실시예를 첨부도면을 참조하여 상세히 설명한다.
도 1은 본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 장치의 개요도를 나타내는 도면이다.
도 1에 도시된 바와 같이 본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 장치는 액체(105)에 설치되며 액체의 높이를 인식할 수 있는 주 눈금인 숫자 및 보조 눈금이 새겨져 있는 수위표(101)와, 수위표(101)와 일정 간격 떨어져 지지대(107) 등에 의해 장착되어 수위표(101)가 설치된 액체 표면의 근방(106)을 촬영하여 영상을 취득하는 영상취득장치(102)와, 영상취득장치(102)와 연결되어 영상취득장치(102)의 영상 취득을 제어하고 영상취득장치(102)가 취득한 영상을 수신하여 액체(105)의 높이를 결정하는 높이인식장치(103)를 포함한다.
또한, 도 1에 도시된 바와 같이 본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 장치은, 유무선 등의 전송 장치를 통해 높이인식장치(103)에서 인식한 액체(105)의 높이 및 영상취득장치(102)에서 취득한 영상을 수신하는 원격지에 위치하는 중앙관리장치(104)를 포함할 수 있다.
도 2는 본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 장치의 영상취득장치(102)와 높이인식장치(103)의 블록도를 나타낸 것이다.
도 2에 도시된 바와 같이 영상취득장치(102)는 수위표(101)가 설치된 액체의 근방(106)을 촬영하는 카메라(205)와 카메라(205)를 상하좌우로 이동시키는 팬틸트(fan-tilt)(206)를 포함하며, 또한 카메라(205)의 줌(zoom) 및 초점(focus)을 맞추기 위한 렌즈 제어 모듈(208) 및 촬영 부근의 조도를 맞추기 위한 조명장치(207)를 포함한다.
또한, 도 2에 도시된 높이인식장치(103)는 카메라(205)에서 촬영한 영상을 수신하는 영상수신장치(image grabber)(203)와, 영상수신장치(203)에서 카메라(205)가 촬영한 영상을 전송 받아 측정 대상이 되는 액체의 높이를 결정하는 주제어부(201)와, 주제어부(201)의 제어에 따라 카메라(205)에 촬영 신호(trigger signal)를 제공하고 팬틸트(206)에 카메라(205)를 상하좌우로 이동시키기 위한 틸 팅 신호(tilting signal)를 제공하며 수위표(101)가 설치된 액체 근방(106)을 정확히 촬영하기 위해 카메라의 렌즈를 제어하는 렌즈 제어 모듈(208)에 제어 신호를 제공하는 촬영신호 제어모듈(202)과, 주제어부(204)로부터 촬영 영상과 액체 높이 데이터를 중앙관리장치(104)로 전송하는 전송 장치(204)를 포함한다.
도 3은 본 고안에 일 실시예에 따른 영상을 이용한 액체 높이 측정 장치의 수위표의 일례를 나타낸 것이다.
도 3에 도시된 바와 같이 액체에 설치되는(일반적으로 액체에 수직으로 잠기도록 설치됨) 수위표(101)는 주눈금인 숫자(301)와 보조눈금(302)으로 구성되며, 각 숫자의 위와 아래로는 경계표식(303)이 새겨져 있다. 경계표식(303) 사이의 거리는 미리 정해진 거리, 예를 들면 10cm 등일 수 있다. 또한, 수위표에 새겨져 있는 주눈금인 숫자(301)는 높이인식장치(103)의 주제어부(201)가 바로 인식할 수 있는 특정 폰트로 구성되어 있는 것이 바람직하다.
도 4는 도 3에 도시되어 있는 수위표(101)가 액체(105)에 설치되어 있는 모습을 도시한 것으로서, 이처럼 수위표(101)는 그 측정 오차를 줄이기 위하여 높이 측정 대상이 되는 액체(105)에 수직으로 잠겨 설치되는 것이 바람직하다.
이제, 본 고안의 일 실시예에 따른 영상을 이용한 액체의 높이 측정 장치의 영상 취득에서부터 액체의 높이를 결정하는 과정을 설명하면 다음과 같다.
높이인식장치(103)의 주제어부(201)는 촬영신호 제어모듈(202)을 제어하여 영상취득장치(102)의 카메라(205)에 촬영 신호(trigger signal)를 제공하면, 카메라(205)는 수위표(101)가 설치된 임의의 영역에 대해 미리 설정된 촬영 영역에 대 해 촬영을 수행한다. 카메라(205)는 이렇게 촬영한 영상을 영상수신장치(203)에 취득 영상 데이터를 전송하고, 다시 영상수신장치(203)는 주제어부(201)에 카메라(205)로부터 전송 받은 취득 영상 데이터를 전송한다.
주제어부(201)는 영상수신장치(203)로부터 수신한 카메라(205)의 취득 영상 데이터를 분석하게 된다. 즉, 주제어부(201)는 카메라(205)가 촬영한 촬영 영상의 전체적인 색농도의 변화량을 결정한다.
도 5a는 주제어부(201)에 저장되어 있는 예시적인 표준적인 영상을 나타내고, 도 5b는 수위표(101)가 설치된 임의의 영역에 대해 미리 설정된 촬영 영역에 대해 카메라(205)가 촬영한 예시적인 실제 촬영 영상을 나타낸 것이다.
주제어부(201)는, 도 5b에 도시된 것과 같은 카메라(205)가 촬영한 실제 촬영 영상을 분석하기 전에, 도 5a에 도시되어 있는 표준적인 영상의 각 픽셀(pixel)에 대해 X방향 및 Y방향의 색농도 변화량을 미리 결정하여, 그러한 영상에 대한 표준적인 X방향 및 Y방향에 대한 각 픽셀의 색농도 변화량의 허용 가능한 임계치 또는 임계치의 범위를 설정하여 둔다. 이러한 색농도 변화량의 임계치나 임계치의 범위는 각 픽셀의 X방향 및 Y방향에 대해 테이블의 형태로 주제어부(201)에 저장될 수도 있을 것이다.
주제어부(201)는 도 5b와 같은 실제 촬영 영상을 영상수신장치(203)로부터 수신하여 그러한 실제 촬영 영상을 분석한다. 즉, 주제어부(201)는 도 5b에 도시된 실제 촬영 영상의 각 픽셀에 대한 X방향 및 Y방향의 색농도를 변화량을 결정하고 도 5a에 대한 표준적인 영상에 대해 미리 설정하여 둔 색농도 변화량의 임계치와 서로 비교한다. 만일, 이러한 영상 분석에서 실제 촬영된 영상의 분석 데이터가 미리 설정하여 둔 색농도 변화량의 임계치를 벗어나는 경우에, 주제어부(201)는 실제 촬영 영상의 색농도 변화량과 미리 설정하여 둔 임계치를 비교하여 그 임계치 내에 들어갈 수 있도록 2차원 영상의 X방향 및 Y방향의 이동 변위를 결정한다. 그리고 나서 그러한 X방향 및 Y방향의 2차원 영상의 이동 변위를 얻기 위한 카메라(205)의 3차원 이동 범위를 결정한다. 여기서, 카메라(205)의 3차원 이동 변위는 상하좌우로의 회전 운동을 포함할 수 있다.
이렇게 카메라(205)에서 임의로 촬영한 영상에 대한 그러한 분석이 끝나면, 앞서 결정된 2차원 영상의 X방향 및 Y방향의 이동 변위에 따른 카메라(205)의 3차원적인 이동을 제어하기 위하여 주제어부(201)는 촬영신호 제어모듈(202)을 통해 앞서 결정된 바와 같이 카메라(205)가 이동하도록 팬틸트(206)를 제어한다.
아울러, 주제어부(201)는 촬영 영상의 조도가 낮아 촬영 영상의 색농도가 미리 설정된 기준값 이하일 경우에도 촬영신호 제어모듈(202)을 통해 조명장치(207)의 점멸과 그 조명의 세기를 제어한다. 따라서, 본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 장치의 조명장치는 그 조도의 세기를 조절할 수 있는 것이 바람직하다.
이러한 식으로 재촬영에 대한 설정이 이루어지면, 주제어부(201)는 촬영신호 제어모듈(202)을 통해 카메라(205)에 재촬영 신호를 보내게 되고, 카메라(205)는 그렇게 설정된 영역에 대해 재촬영을 하게 되고, 이후 영상수신장치(203)를 통해 촬영한 영상을 주제어부(201)에 전달하며, 주제어부(201)는 그렇게 다시 수신한 영 상 데이터를 앞서 설명한 과정을 통해 다시 도 5a에 도시된 표준 영상과 비교하여 카메라(205)의 재촬영 여부를 결정하게 된다. 도 5c는 그렇게 팬틸트(206)를 작동시켜 카메라(205)를 이동시킨 후 재촬영한 영상의 일례를 나타낸 것이다. 만일, 재촬영한 영상이 도 5a 도시된 표준 영상의 색농도의 임계치 이내에 들어오게 되면, 주제어부(201)는 액체의 높이를 결정하기 위한 과정을 거치게 된다.
구체적으로 주제어부(201)는 재촬영한 영상이 도 5a 도시된 표준 영상의 색농도의 임계치 이내에 들어왔다고 판단하면, 우선 주제어부(201)는 카메라(205)가 촬영한 영상으로부터 각 픽셀의 색농도에 따라 수치화된 영상을 생성하여 액체의 표면을 인식한다. 도 5c를 참조로 하여 자세히 설명하면, 주제어부(201)는 도 5c의 영상을 참조로 색농도에 따라 각 픽셀의 수치화된 영상을 생성한다. 그리고 Y방향으로의 색농도의 변화(gradient)를 검증하여 미리 정해진 임계치를 초과하기 시작하는 픽셀에 해당하는 부분을 액체의 표면(501)으로 인식한다.
그리고 나서, 주제어부(201)는 앞서 도 5c의 영상을 참조로 하여 색농도에 따라 수치화된 영상으로부터 수위표(101)에 새겨진 숫자를 인식하게 된다. 구체적으로 주제어부(201)는 우선 수치화된 영상에서 일정 범위 이내의 수치값을 갖는 연속된 수치값의 영역을 분리해내게 된다. 도 5c를 참조로 하면, 주제어부(201)는 일정 범위 이내의 수치값을 갖는 연속된 수치값의 영역으로서 숫자 007, 008, 009를 분리해내게 된다. 이렇게 수치화된 영상으로부터 분리해낸 007, 008, 009와 같은 숫자는 주제어부(201)에 미리 저장된 숫자 폰트 데이터와 비교된다. 앞서 간단히 설명하였듯이 수위표(101)에 새겨진 숫자는 특정 폰트를 갖는데, 이 특정 폰트는 이처럼 주제어부(201)에 저장된 숫자 폰트에 따라 작성되는 것이다. 따라서, 주제어부(201)는 수치화된 영상으로부터 분리해낸 숫자를 미리 저장된 숫자 폰트에 따라 판별할 수 있게 된다. 이렇게 수치화된 영상으로부터 숫자가 판별되면 주제어부(201)는 그렇게 판별된 숫자로부터 최소값을 결정한다. 도 5c의 영상에서 최소값은 007이 될 것이다.
그 다음으로 주제어부(201)는 색농도에 따라 수치화된 영상으로부터 최소값에 해당하는, 도 5c에서는 007 아래의 하단의 경계표식(502)을 인식하게 된다. 그와 같은 경계표식(502)의 인식은 앞서 설명한 액체 표면(501)의 인식 방법과 동일한 방식으로 이루어진다. 그와 같이 최소값에 해당하는 숫자의 하단의 경계표식(502)을 인식한 후에는 그 경계표식(502)으로부터 앞서 인식한 액체 표면(501)까지의 픽셀의 수를 카운팅하고, 또한 인식한 숫자 사이의 경계표식 사이의 픽셀의 수를 카운팅한다. 이 경우 영상의 왜곡 등을 고려하면 최소값인 007의 상하 경계표식 사이의 픽셀을 수를 카운팅하는 것이 가장 바람직할 것이다. 이렇게 앞서 언급한 픽셀의 수를 인식한 후에는 경계표식(502)으로부터 액체 표면(501)까지의 픽셀의 수를 숫자 사이의 경계표식의 픽셀의 수와 비교하여 경계표식(502)으로부터 액체표면(501)까지의 거리를 연산한다. 예를 들어, 만일 수위표(101)에서 경계표식 사이의 거리가 10cm이고 앞서 카운팅한 숫자 상하의 경계표식의 픽셀의 수가 100이고 경계표식(502)으로부터 액체 표면(501)의 픽셀의 수가 40이라고 가정하면, 경계표식(502)으로부터 액체표면(501)까지의 거리는 4cm가 된다.
이와 같이 수치화된 영상에서의 최소값과 최소값의 경계표식으로부터 액체표 면까지의 거리가 연산된 후에는 주제어부(201)는 최소값에서 경계표식으로부터 액체표면까지의 거리를 차감하여 카메라가 촬영한 영상으로부터 액체의 높이를 결정하게 된다. 예를 들어, 도 5c의 경우에 액체의 높이는 최소값인 007에서 경계표식으로부터 액체표면까지의 거리인 4cm를 차감하게 되면 64cm의 액체 높이를 얻을 수 있게 된다.
또한, 카메라(205)가 촬영하는 영상에 포함되는 수위표(101)의 숫자는 적어도 3개의 연속된 숫자인 것이 바람직하다. 이와 같은 촬영되는 숫자의 수는 주제어부(201)에서 숫자를 인식하여 촬영된 숫자가 연속된 3개의 숫자 미만인 경우 주제어부(201)는 촬영신호 제어모듈(202)을 통해 렌즈 제어 모듈(208)을 제어하여 촬영되는 수위표(101)의 숫자를 적어도 3개 이상이 되도록 제어할 수 있다. 이렇게 하여 제어부(201)는 수위표(101)에서 3개 이상의 숫자를 촬영하도록 한 이후 촬영 영상으로부터 생성되는 수치화된 영상에서 판독된 숫자가 연속된 적어도 3개 이상의 숫자가 아닌 경우에는 오류로 인식하여 촬영신호 제어모듈(202)을 통해 카메라(203)에 재촬영 신호를 전송하게 된다.
아울러, 앞서 언급한 바와 같이 수위표(101)에는 주눈금인 숫자이외에도 보조눈금이 형성되어 있으므로 카메라(205)가 촬영한 영상으로부터 직접 액체 높이를 판별해 낼 수 있다.
이 경우 앞서 기술한 것과 같이 높이인식장치(103)는 앞의 과정을 통해 얻은 액체 높이 데이터와 카메라(205)가 촬영한 영상을 전송 장치(204)를 통해 원격지에 위치할 수 있는 중앙관리장치(104)로 전송하게 되는데, 중앙관리장치(104)에서는 액체 높이 측정 장치에서 이처럼 전송되는 촬영 영상과 액체 높이 측정 데이터를 비교하여 액체 높이 측정 장치가 오류 없이 액체 높이를 측정해내고 있는지 검증할 수 있게 된다.
본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 장치은, 예시적으로 액체 저장 탱크의 높이, 댐의 수위 또는 하천의 수위를 자동적으로 측정하는데 적용될 수 있을 것이다.
아울러, 앞서 언급한 색농도를 그레이 레벨(gray level)로 대치하고, 색농도에 따른 수치화된 영상을 특정 임계치를 기준으로 생성되는 이진화 영상(binary image)으로 대체하여도 가능할 것이다.
이제 본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 과정을 설명하면 다음과 같다.
도 6은 본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 과정을 순서도로 나타낸 도면이다.
도 6에 도시된 바와 같이 본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 장치의 측정 과정은 측정 대상이 되는 액체에 수위표를 설치하는 단계(S100), 수위표가 설치된 곳으로부터 일정 간격 떨어져 설치된 카메라를 이용하여 수위표가 설치된 카메라를 이용하여 수위표가 설치된 액체 근방을 촬영하여 영상을 취득하는 단계(S200) 및 그렇게 취득된 영상으로부터 측정 대상이 되는 액체의 높이를 결정하는 단계(S300)로 구성된다.
각 단계를 구체적으로 설명하면 다음과 같다.
도 7은 도 6에 도시되어 있는 영상 취득 단계를 구체화한 순서도이다.
도 7에 도시되어 있는 바와 같이 영상을 취득하는 단계는 우선 단계(S201)에서 임의의 영역을 촬영하게 된다. 그리고 나서 단계(S202)에서는 단계(S201)에서 취득한 영상의 색농도 변화량을 결정한 후 그렇게 결정된 색농도 변화량이 미리 설정된 제 1 임계치를 비교하게 된다. 이 단계(202)에서의 미리 설정되는 제 1 임계치는 도 5a에 도시되어 있는 표준 영상을 기준으로 이루어 질 수 있다. 만일, 단계(S202)에서 색농도 변화량이 미리 설정된 제 1 임계치를 넘지 않는다고 판단하면, 단계(S202)는 단계(S203)로 이전하여 카메라를 틸팅하게 되고 다시 단계(S202)는 단계(201)로 이전하여 카메라는 수위표가 액체 표면에 위치하는 근방을 촬영하게 된다. 만일, 단계(S202)에서 촬영 영상의 색농도 변화량이 미리 설정된 제 1 임계치를 넘는다고 판단하면 단계(S202)는 단계(S203)로 이전하여 수위표가 액체 근방에 있는 것으로 판단하여 도 6의 액체 높이 결정 단계(S300)로 이전한다.
도 8은 도6의 액체 높이 결정 단계의 구체적인 과정을 순서도로 나타낸 것이다.
도 8에 도시된 바와 같이 액체 높이 결정 단계(S300)는 단계(301)에서 단계(200)의 취득한 영상으로부터 색농도에 따른 수치화된 영상을 인식하여 액체 표면을 인식하게 된다. 구체적으로 단계(301)에서는 색농도에 따른 수치화된 영상에서 제 2 임계치를 설정하여 이러한 제 2 임계치를 초과하는 경계 부분을 액체 표면으로 인식하게 된다. 이 단계에서는 도 5a에 도시된 표준 영상을 이용하여 제 2 임계치를 설정할 수 있다.
단계(302)에서는 단계(301)에서 색농도에 따라 수치화된 영상으로부터 취득된 영상의 수위표에 새겨진 숫자를 인식하고 최소값을 결정하게 된다. 구체적으로 단계(302)에서는 색농도에 따라 수치화된 영상에서 일정 범위 이내의 수치값을 갖는 연속된 수치값의 영역을 분리하여 연속된 수치값의 폰트를 미리 저장된 폰트 데이터와 비교하여 숫자를 인식하고 그렇게 인식된 숫자 중 최소값을 결정하게 된다.
단계(302)에서 숫자를 인식하여 최소값이 결정되고 나면, 단계(303)에서는 인식된 최소값으로부터 액체 표면까지의 거리를 연산하게 된다. 구체적으로 단계(303)에서는 단계(301)에서 인식한 액체 표면으로부터 단계(302)에서 결정된 최소값에 해당하는 숫자까지의 수직방향으로의 픽셀의 수를 수위표의 인접 숫자 사이의 픽셀의 수와 비교하여 최소값으로부터 액체 표면까지의 거리를 연산하게 된다.
그리고, 단계(S304)에서는 측정 대상이 되는 액체의 높이를 결정하게 되는데, 구체적으로는 단계(302)에서 결정된 최소값에서 단계(S303)에서 연산된 거리를 차감하여 액체의 높이를 결정하게 된다.
도 6의 영상을 취득하는 단계(S200)는 수위표에서 적어도 3개의 연속된 숫자를 촬영하는 단계를 포함하고, 도 8의 숫자 인식 및 최소값 결정 단계(S302)는 색농도에 따라 수치화된 영상으로부터 인식된 숫자가 연속된 적어도 3개의 숫자가 아닌 경우에는 오류로 판단하여 도 6의 영상 취득 단계(S200)로 회귀하는 단계를 포함하는 것이 바람직한데, 이는 액체의 높이 측정 과정에서 발생할 수도 있는 오류를 미리 검증할 필요가 있기 때문이다.
또한, 도 6의 영상 취득 단계(S200)는 조명을 점멸 및 조절하는 단계를 포함 할 수 있는데, 이는 조도가 너무 낮은 경우 색농도의 적절한 수준으로 유지하기 위한 것이다.
아울러 본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 장치의 측정 과정은 단계(S200)에서 취득한 영상과 단계(S304)에서 결정된 액체의 높이를 원격지에 위치할 수 있는 중앙관리장치로 전송하는 단계를 더 포함할 수 있는데, 이는 중앙관리장치에서 본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 장치에 의해 측정된 액체 높이의 정확도를 검증하기 위한 것이다. 즉, 중앙관리장치에서는 이러한 과정에 의해 영상을 통해 육안으로 확인할 수 있는 액체의 높이와 실제 측정된 데이터를 비교하여 본 고안의 일 실시예에 따른 영상을 이용한 액체 높이 측정 장치의 측정 과정에서의 오류 여부를 확인할 수 있게 된다.
지금까지 본 고안에 관한 바람직한 실시예가 설명되었다. 그러나, 이제까지 설명된 바람직한 실시예는 단지 예시로서만 받아들여야 한다. 즉, 본 고안이 속한 기술 분야에서 통상의 지식을 가진 자는 본 고안의 바람직한 실시예를 참조하여 다양한 변형을 도출해 낼 수 있을 것이다. 따라서, 본 고안의 기술적인 권리 범위는 첨부된 청구항에 의해서만 해석되어야 한다.
본 고안은 기존의 액체 높이 측정 장치의 한계로 작용하였던 여러 가지 사항들, 즉 액체 높이 측정에 필요한 센서 또는 구조물로 인해 액체가 영향을 받아 오차가 발생하는 점, 센서 등이 액체 속에 위치하여 발생하는 오차 또는 유지관리 차원의 난점, 원격지 측정에서 현지 측정 기준이 되는 부분을 육안으로 확인할 수 없 는 점 등을 개선하여 액체 표면의 높이를 액체와의 비접촉식으로 정확하게 측정하고, 액체 표면이 위치한 영상의 관리자 등에게 전달하여 발생할 수도 있는 오류를 검증하여 정확하고 안정하게 액체 표면의 높이를 측정할 수 있는 등의 효과가 있다.

Claims (12)

  1. 영상을 이용한 액체 높이 측정 장치으로서,
    상기 액체에 설치되는 수위표와,
    상기 수위표가 설치된 곳으로부터 일정 간격 떨어져 장착되어 상기 수위표가 설치된 상기 액체 근방을 촬영하여 영상을 취득하는 영상취득장치와,
    상기 영상취득장치의 영상 취득을 제어하는 높이인식장치로서, 상기 영상취득장치가 취득한 영상을 수신하여 상기 액체의 높이를 결정하는 높이인식장치를 포함하는,
    영상을 이용한 액체 높이 측정 장치.
  2. 제 1항에 있어서,
    상기 영상취득장치는 상기 수위표가 설치된 상기 액체 근방을 촬영하는 카메라와 상기 카메라를 상하좌우로 이동시키는 팬틸트(fan-tilt)를 포함하고,
    상기 높이인식장치는, 상기 카메라에서 촬영한 영상을 수신하는 영상수신장치(image grabber)와, 상기 영상수신장치로부터 상기 촬영 영상을 전송 받아 상기 액체의 높이를 결정하는 주제어부와, 상기 주제어부의 제어에 따라 상기 카메라에 촬영 신호(trigger signal)를 제공하고 상기 팬틸트의 틸팅 신호(tilting signal)를 제공하는 촬영신호 제어 모듈을 포함하는 것을 특징으로 하는,
    영상을 이용한 액체 높이 측정 장치.
  3. 제 2항에 있어서,
    상기 주제어부는 상기 영상수신장치로부터 상기 카메라가 촬영한 영상 신호를 수신하여 상기 촬영 영상의 색농도의 변화량을 결정하고 미리 설정된 색농도 변화량의 제 1 임계치와 비교하여, 만일 상기 촬영 영상의 색농도 변화량이 상기 제 1 임계치보다 작으면 상기 촬영신호 제어 모듈을 통해 상기 팬틸트를 제어하여 상기 카메라를 이동시킨 후 상기 카메라에 촬영 신호를 다시 제공하는 것을 특징으로 하는,
    영상을 이용한 액체 높이 측정 장치.
  4. 제 2항에 있어서,
    상기 주제어부는 상기 영상수신장치로부터 상기 카메라가 촬영한 영상을 전송 받아 상기 영상으로부터 색농도에 따른 수치화된 영상을 생성하여 액체 표면을 인식하고, 상기 수치화된 영상으로부터 상기 수위표에 새겨진 숫자를 인식하여 상기 인식된 숫자 중 최소값을 결정하고, 상기 액체 표면으로부터 상기 최소값에 해당하는 숫자까지의 수직방향으로의 픽셀을 수를 인식하여 상기 수치화된 영상으로부터 결정된 최소값으로부터 액체 표면까지의 거리를 연산하고, 상기 최소값으로부터 상기 연산된 거리를 차감하여 상기 액체의 높이를 결정하는 것을 특징으로 하는,
    영상을 이용한 액체 높이 측정 장치.
  5. 제 4항에 있어서,
    상기 주제어부는 상기 색농도에 따른 수치화된 영상을 미리 설정된 제 2 임계치와 비교하여 상기 제 2 임계치를 초과하는 경계 부분을 액체 표면으로 인식하는 것을 특징으로 하는,
    영상을 이용한 액체 높이 측정 장치.
  6. 제 4항에 있어서,
    상기 주제어부는 상기 수치화된 영상에서 일정 범위 이내의 수치값을 갖는 연속된 수치값의 영역을 분리하여 상기 연속된 수치값의 폰트를 미리 저장된 폰트 데이터와 비교하여 숫자를 인식하는 것을 특징으로 하는,
    영상을 이용한 액체 높이 측정 장치.
  7. 제 4항에 있어서,
    상기 주제어부는 상기 수치화된 영상으로부터 인식한 액체 표면으로부터 상기 최소값에 해당하는 숫자까지의 수직방향으로의 픽셀의 수를 상기 수위표의 인접 숫자 사이의 픽셀의 수와 비교하여 상기 최소값으로부터 상기 액체 표면까지의 거리를 연산하는 것을 특징으로 하는,
    영상을 이용한 액체 높이 측정 장치.
  8. 제 4항에 있어서,
    상기 주제어부는 상기 촬영신호 제어모듈을 제어하여 상기 카메라가 적어도 3개의 연속된 숫자를 촬영하도록 제어하며, 상기 주제어부는 상기 수치화된 영상으로부터 인식된 숫자가 연속된 적어도 3개의 숫자가 아닌 경우에는 오류로 인식하여 상기 촬영신호 제어 모듈을 통해 상기 카메라로 하여금 다시 촬영하도록 하는 것을 특징으로 하는,
    영상을 이용한 액체 높이 측정 장치.
  9. 제 4항에 있어서,
    상기 영상취득장치는 상기 촬영신호 제어모듈의 제어를 받는 조명장치를 더 포함하고,
    상기 제어부는 상기 영상수신장치로부터 수신한 영상의 색농도가 미리 설정된 기준값 이하일 경우에 상기 촬영신호 제어모듈을 제어하여 상기 조명장치를 작동시킨 후 상기 카메라에 재촬영 신호를 전송하는 것을 특징으로 하는,
    영상을 이용한 액체 높이 측정 장치.
  10. 제 1항 내지 제 5항 중 어느 한 항에 있어서,
    상기 수위표는 수위를 나타내는 상기 숫자 이외에 상기 숫자 사이에 보조 눈금이 형성되어 있어, 상기 카메라가 촬영한 영상으로부터 육안으로 액체 높이를 판별할 수 있는 것을 특징으로 하는,
    영상을 이용한 액체 높이 측정 장치.
  11. 제 1항 또는 제 5항에 있어서,
    상기 높이 인식부는 상기 제어부의 제어를 받는 전송 장치을 더 포함하여, 상기 제어부의 제어에 따라 상기 전송 장치는 상기 카메라가 촬영한 영상과 상기 제어부에서 결정된 액체 높이를 원격지에 위치하는 중앙관리장치로 전송하는 것을 특징으로 하는,
    영상을 이용한 액체 높이 측정 장치.
  12. 제 1항 내지 제 9항 중 어느 한 항에 있어서,
    상기 액체 높이는 액체 저장 탱크의 높이와 댐의 수위 및 하천의 수위 중 어느 하나인 것을 특징으로 하는,
    영상을 이용한 액체 높이 측정 장치.
KR2020050035390U 2005-12-16 2005-12-16 영상을 이용한 액체 높이 측정 장치 KR200409994Y1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR2020050035390U KR200409994Y1 (ko) 2005-12-16 2005-12-16 영상을 이용한 액체 높이 측정 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR2020050035390U KR200409994Y1 (ko) 2005-12-16 2005-12-16 영상을 이용한 액체 높이 측정 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020050086586A Division KR100778014B1 (ko) 2005-09-16 2005-09-16 영상을 이용한 액체 높이 측정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR200409994Y1 true KR200409994Y1 (ko) 2006-03-03

Family

ID=41760353

Family Applications (1)

Application Number Title Priority Date Filing Date
KR2020050035390U KR200409994Y1 (ko) 2005-12-16 2005-12-16 영상을 이용한 액체 높이 측정 장치

Country Status (1)

Country Link
KR (1) KR200409994Y1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100661487B1 (ko) * 2006-06-30 2006-12-27 제아정보통신(주) 영상정보를 이용한 수위 계측 장치 및 방법
KR101548077B1 (ko) 2014-05-09 2015-08-27 (주)태성로직스 영상 적설량 측정 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100661487B1 (ko) * 2006-06-30 2006-12-27 제아정보통신(주) 영상정보를 이용한 수위 계측 장치 및 방법
KR101548077B1 (ko) 2014-05-09 2015-08-27 (주)태성로직스 영상 적설량 측정 장치 및 방법

Similar Documents

Publication Publication Date Title
KR100778014B1 (ko) 영상을 이용한 액체 높이 측정 장치 및 방법
KR102039955B1 (ko) 지능형 영상분석을 이용한 기상정보 측정장치
KR100998885B1 (ko) 영상의 시간적 픽셀의 농도 분포 변화를 이용한 액체 경계면 인식방법 및 이를 이용하여 액체높이를 인식하는 액체높이인식장치
KR100933982B1 (ko) 선박 감시 시스템
KR100661487B1 (ko) 영상정보를 이용한 수위 계측 장치 및 방법
JP5590533B2 (ja) 傾斜変化量監視システム及び傾斜変化量監視方法
KR101355466B1 (ko) 상관 계수 분석을 적용한 수위 계측 장치 및 방법
KR100939079B1 (ko) 적설량 관측 시스템 및 적설량 원격 측정 방법
KR101666466B1 (ko) 단안 카메라를 이용한 해상 객체 거리측정 시스템을 이용한 해상 위험관리 시스템 및 해상 위험 관리방법
US20190246000A1 (en) Apparatus and method for processing three dimensional image
CN108731819B (zh) 热像检测装置
KR200409994Y1 (ko) 영상을 이용한 액체 높이 측정 장치
KR102061461B1 (ko) 가변 초점거리 렌즈를 이용하는 스테레오 카메라 시스템 및 그 작동 방법
JP2015059768A (ja) 段差計測装置、段差計測方法及びプログラム
KR102016037B1 (ko) 식별표지를 이용한 수위 측정 장치
KR101600820B1 (ko) 카메라의 픽셀 당 수직각을 이용한 해상객체의 거리 측정방법 및 해상객체의 거리 측정시스템.
JP2011069797A (ja) 変位量測定装置及び変位量測定方法
JP7504688B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101319011B1 (ko) 레이저 스캐너를 이용한 폭 및 직경 측정장치 및 측정방법
KR101236845B1 (ko) 계측 시스템 및 이를 이용한 계측방법
CN111060015A (zh) 一种堆垛机运动垂直方向的小幅度位移检测装置
KR102421085B1 (ko) IoT를 이용한 수위측정 시스템 및 이를 이용한 수위 측정 방법
JP2014095631A (ja) 3次元計測装置および3次元計測方法
CN105526993A (zh) 机器视觉料位计及其测量料位的方法
KR20060056572A (ko) 영상에 대한 좌표 인식이 가능한 교량점검 시스템

Legal Events

Date Code Title Description
U107 Dual application of utility model
REGI Registration of establishment
T201 Request for technology evaluation of utility model
T701 Written decision to grant on technology evaluation
G701 Re-publication after modification of scope of protection [utility model]
EXTG Ip right invalidated