KR101614697B1 - 패턴매칭을 이용한 해양플랜트 영상감시시스템 및 영상감시방법 - Google Patents

패턴매칭을 이용한 해양플랜트 영상감시시스템 및 영상감시방법 Download PDF

Info

Publication number
KR101614697B1
KR101614697B1 KR1020150048148A KR20150048148A KR101614697B1 KR 101614697 B1 KR101614697 B1 KR 101614697B1 KR 1020150048148 A KR1020150048148 A KR 1020150048148A KR 20150048148 A KR20150048148 A KR 20150048148A KR 101614697 B1 KR101614697 B1 KR 101614697B1
Authority
KR
South Korea
Prior art keywords
image
matching
database
pattern
surf
Prior art date
Application number
KR1020150048148A
Other languages
English (en)
Inventor
이승기
박진렬
김영진
최승환
Original Assignee
(주)주인정보시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)주인정보시스템 filed Critical (주)주인정보시스템
Priority to KR1020150048148A priority Critical patent/KR101614697B1/ko
Application granted granted Critical
Publication of KR101614697B1 publication Critical patent/KR101614697B1/ko

Links

Images

Classifications

    • G06T7/2053—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G06T7/0034—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상장비를 통하여 입력되는 해양플랜트에 대한 실시간 영상프레임을 수신하는 영상수신부; 상기 영상수신부에서 수신되는 실시간 영상프레임을 사용자 지정 시간 간격으로 획득하고 차영상, 모폴로지(Morphology) 열림, 팽창 연산을 통해 물체를 감지하는 물체감지부; 상기 물체감지부에서 감지된 차영상 이미지 및 차영상 이미지에 대한 불변모멘트 특징 기술자 정보와 SURF(Speed Up Robust Features) 특징 기술자 정보를 저장하는 제1데이터베이스(DB1); 상기 제1데이터베이스(DB1)에 기 저장된 차영상 이미지 목록 중에서 감시하고자 선택된 영상패턴 및 영상패턴에 대한 사용자 코멘트를 저장하는 제2데이터베이스(DB2); 및 상기 제1데이터베이스(DB1)에 저장되는 차영상 이미지를 상기 제2데이터베이스(DB2)에 기 저장되어 있는 각 영상패턴과 순차적으로 매칭하되, 각 영상패턴에 대한 매칭 알고리즘으로 할당된 SURF 특징 기술자 정보 또는 불변모멘트 특징 기술자 정보 중 하나 이상을 매칭시키고, 매칭 결과 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 디스플레이부를 통해 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력하는 패턴매칭부를 포함하는 것을 특징으로 하는 패턴매칭을 이용한 해양플랜트 영상감시시스템을 제공한다.

Description

패턴매칭을 이용한 해양플랜트 영상감시시스템 및 영상감시방법{Off-shore plant image monitoring system and method using pattern matching}
본 발명은 패턴매칭을 이용한 해양플랜트 영상감시시스템 및 영상감시방법에 관한 것으로, 보다 상세하게는 심해에서 운용되는 심해자원 생산용 해양플랜트의 상태를 패턴매칭 기법을 이용하여 감시할 수 있는 패턴매칭을 이용한 해양플랜트 영상감시시스템 및 영상감시방법에 관한 것이다.
해양플랜트(off-shore plant)는 바다에 매장되어 있는 석유, 가스와 같은 해양 자원들을 발굴, 시추, 생산해내는 활동을 위한 장비와 설비를 포함한 제반 시설을 의미한다. 용도에 따라 시추용과, 생산용으로 나눌 수 있고, 설치방식에 따라 고정식과 부유식으로 나눌 수 있다.
해양플랜트 시설물은 운용 중 각종 이상 상황이 발생할 수 있다. 이상 상황으로는 해양플랜트의 고장으로 인한 가스 발생, 해저 지진에 의한 해양플랜트의 기울어짐 등이 있다. 이러한 해양플랜트의 이상 상황 감시를 위해서 다양한 방법이 사용되고 있으며, 대수심카메라와 스캐닝소나(초음파카메라)를 이용한 운영자의 해양플랜트 수동 모니터링도 해양플랜트의 이상 상황 감시를 위한 방법으로 사용되고 있다.
이처럼 대수심카메라와 스캐닝소나를 이용하여 해양플랜트를 모니터링하는 경우 운영자가 감시를 원하는 특정 물체가 출현하거나 특정 상황이 발생하는 경우 즉각적인 조치 지시와 알람을 자동으로 발생시킬 수 있는 시스템이 부재하였다.
한편, 운영자가 감시를 원하는 특정패턴이 발견되면 알람신호를 출력하는 감시장치에 관련된 종래 기술로는 등록특허 제10-1155273호(적응적 배경 기반의 터널 감시장치 및 방법)가 있다.
등록특허 제10-1155273호(적응적 배경 기반의 터널 감시장치 및 방법)는 터널 내부에서의 촬영에 의해 얻어진 입력영상을 구성하는 복수의 영상프레임에 대하여 순차적으로 광류 해석 기법에 의해 영상프레임의 각 화소의 움직임을 검출하고, 움직임의 크기가 사전에 설정된 기준크기보다 작은 화소가 배경영상에 포함되도록 반복적으로 갱신함으로써 각각의 영상프레임에 대응하는 배경영상을 생성하는 배경영상 생성부와 복수의 영상프레임 중에서 현재 영상프레임에 시간적으로 앞서는 이전 영상프레임에 대하여 생성된 배경영상과 현재 영상프레임 사이의 차분을 기초로 현재 영상프레임으로부터 객체영역을 검출하는 객체영역 검출부와 사전에 저장된 견본패턴 및 객체영역의 매칭에 의해 산출된 매칭률이 사전에 설정된 유사도보다 크면 객체영역이 견본패턴에 대응하는 객체에 해당하는 것으로 결정하여 제어신호를 출력하는 객체영역 판별부 및 제어신호가 입력되면 이상 상황임을 나타내는 알림신호를 생성하여 출력하는 알림신호 출력부를 포함하는 것으로서, 터널 내부를 촬영하여 얻어진 입력영상으로부터 적응적으로 배경영상을 생성하여 객체영역을 검출하고, 사전에 저장된 견본패턴과의 패턴 매칭을 통해 객체영역이 사람에 해당되는지 여부를 판별하여 이상상황에 해당하는 경우에는 이를 알리기 위한 신호를 출력함으로써 터널 내의 무인감시를 위한 것이다.
상기의 등록특허 제10-1155273호(적응적 배경 기반의 터널 감시장치 및 방법)는 객체영역 판별부가 사전에 저장된 견본패턴 및 객체영역의 매칭에 의해 매칭률을 산출하고, 견본패턴이 사람의 형상일 때 산출된 매칭률이 사전에 설정된 유사도보다 크면 객체영역이 견본패턴에 대응하는 객체에 해당하는 것으로 결정하여 제어신호를 출력하는 구성을 포함하고 있으나, 해저의 환경은 지상과 달리 빛의 굴절이 발생하고, 수중에는 부유물이 많이 존재하는 열악한 상황이기 때문에 패턴 매칭을 통해 특정 물체를 정확히 검출하기 위해서는 상기의 등록특허 제10-1155273호(적응적 배경 기반의 터널 감시장치 및 방법)에서와 같이 일반적인 패턴 매칭 기법을 이용해서는 현실적으로 어려움이 있다.
따라서, 패턴 매칭 기법을 적용하되, 해저환경에 적합하고 해양플랜트의 이상 유무를 정확히 검출할 수 있는 영상감시시스템의 개발이 절실히 필요하다.
본 발명은 상기의 종래 기술의 문제를 해결하기 위한 것으로, 심해의 해양플랜트를 감시하기 위해 종래의 영상장비인 대수심카메라(가시광카메라) 또는 스캐닝소나(초음파카메라)를 사용하고 패턴매칭 기법을 이용하되, 해저환경에 적합하고 특정 물체를 정확히 검출할 수 있는 패턴매칭을 이용한 해양플랜트 영상감시시스템 및 영상감시방법을 제공하고자 함에 발명의 목적이 있다.
또한, 감시를 원하는 특정 패턴에 대한 매칭 알고리즘으로 SURF(Speed Up Robust Features) 알고리즘과 휴의 불변모멘트(Hu’s Invariant Moments) 알고리즘 중 사용자가 선택하여 저장하게 함으로써, 각 영상 패턴마다 더 적합한 매칭 알고리즘을 저장할 수 있고, 이를 통해 해저 환경에서 특정 물체를 더욱 정확하게 검출할 수 있는 패턴매칭을 이용한 해양플랜트 영상감시시스템 및 영상감시방법을 제공하고자 함에 발명의 목적이 있다.
또한, 호모그래피(Homography) 성질을 이용한 7가지 제약조건을 적용하여 수중의 영상장비로부터 수신되는 영상인식의 성공 여부에 따라 각 영상패턴 마다 SURF 알고리즘과 불변모멘트 알고리즘 중 적합한 어느 하나를 선택하여 자동으로 적용함으로써 해저 환경에서 감시하고자 하는 특정 패턴을 더욱 정확하게 검출할 수 있는 패턴매칭을 이용한 해양플랜트 영상감시시스템 및 영상감시방법을 제공하고자 함에 발명의 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 패턴매칭을 이용한 해양플랜트 영상감시시스템은, 영상장비를 이용하여 해양플랜트의 영상을 감시하는 영상감시시스템으로서, 영상장비를 통하여 입력되는 해양플랜트에 대한 실시간 영상프레임을 수신하는 영상수신부; 상기 영상수신부에서 수신되는 실시간 영상프레임을 사용자 지정 시간 간격으로 획득하고 차영상, 모폴로지(Morphology) 열림, 팽창 연산을 통해 물체를 감지하는 물체감지부; 상기 물체감지부에서 감지된 차영상 이미지 및 차영상 이미지에 대한 불변모멘트 특징 기술자 정보와 SURF(Speed Up Robust Features) 특징 기술자 정보를 저장하는 제1데이터베이스(DB1); 상기 제1데이터베이스(DB1)에 기 저장된 차영상 이미지 목록 중에서 감시하고자 선택된 영상패턴 및 영상패턴에 대한 사용자 코멘트를 저장하는 제2데이터베이스(DB2); 및 상기 제1데이터베이스(DB1)에 저장되는 차영상 이미지를 상기 제2데이터베이스(DB2)에 기 저장되어 있는 각 영상패턴과 순차적으로 매칭하되, 각 영상패턴에 대한 매칭 알고리즘으로 할당된 SURF 특징 기술자 정보 또는 불변모멘트 특징 기술자 정보 중 하나 이상을 매칭시키고, 매칭 결과 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 디스플레이부를 통해 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력하는 패턴매칭부를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 패턴매칭을 이용한 해양플랜트 영상감시방법은, 영상장비를 이용하여 해양플랜트의 영상을 감시하는 방법으로서, 영상장비를 통하여 입력되는 해양플랜트에 대한 실시간 영상 프레임을 사용자 지정 시간 간격으로 획득하고 차영상을 통해 물체를 감지하는 제1단계; 모폴로지(Morphology) 열림, 팽창 연산을 통해 잡음 및 객체의 반사빛을 제거하는 제2단계; 감지된 차영상 이미지 및 차영상 이미지에 대한 불변모멘트 특징 기술자 정보와 SURF(Speed Up Robust Features) 특징 기술자 정보를 제1데이터베이스(DB1)에 저장하는 제3단계; 상기 제1데이터베이스(DB1)에 저장되는 차영상 이미지를 제2데이터베이스(DB2)에 기 저장되어 있는 각 영상패턴과 순차적으로 매칭하되, 각 영상패턴에 대한 매칭 알고리즘으로 할당된 SURF 특징 기술자 정보 또는 불변모멘트 특징 기술자 정보 중 하나 이상을 매칭시키는 제4단계; 및 상기 매칭 결과, 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력하는 제5단계를 포함하되, 상기 제2데이터베이스(DB2)에 저장된 각 영상패턴과 영상패턴에 대한 사용자 코멘트는 상기 제5단계 이후, 사용자가 제1데이터베이스(DB1)에 기 저장된 차영상 이미지 목록에서 감시하고자 하는 영상패턴을 선택하고, 선택된 영상패턴에 대한 사용자 코멘트를 제2데이터베이스(DB2)에 저장함으로써 생성된다.
본 발명에 따른 패턴매칭을 이용한 해양플랜트 영상감시시스템 및 영상감시방법에 의하면, 수중의 영상장비를 통해 해저로부터 실시간으로 수신되는 영상에 패턴 매칭 기법을 적용함으로써 사용자가 감시를 원하는 특정 물체의 출현 여부에 대한 감시가 가능하다.
그리고 해저에 설치되어 있는 영상장비인 대수심카메라(가시광카메라) 또는 스캐닝소나(초음파카메라)를 그대로 활용할 수 있기 때문에 해저에 추가적인 장비를 설치할 필요가 없어 시스템의 구성이 간편하고 비용이 절감될 수 있다.
또한, 사용자는 차영상을 통해 감지된 각 영상패턴 마다 알람 등급 및 사용자 코멘트(영상패턴에 대한 설명)를 저장할 수 있으며, 패턴매칭을 통해 해당 영상패턴이 감지되는 경우 저장된 알람 및 사용자 코멘트를 감시화면에 실시간으로 표시할 수 있다.
또한, 사용자는 감시를 원하는 각 영상패턴 마다 SURF(Speed Up Robust Features) 알고리즘과 휴의 불변모멘트(Hu’s Invariant Moments) 알고리즘을 사용자의 선택에 따라 중복 또는 선택적으로 적용할 수 있어 차영상을 통해 검출되는 특정 물체와 해당하는 영상패턴을 더욱 정확하게 매칭시킬 수 있다.
그리고 사용자에 의해 선택되는 수동 모드가 아닌 자동 선택 모드로 운용되는 경우는 호모그래피(Homography) 성질을 이용한 영상인식의 7가지 제약조건을 적용하여 영상인식의 성공 여부에 따라 각 영상패턴 마다 SURF 알고리즘과 불변모멘트 알고리즘 중 적합한 어느 하나를 자동으로 적용할 수 있어, 각 영상패턴에 더욱 정확한 매칭 알고리즘을 적용할 수 있다.
또한, SURF(Speed Up Robust Features) 알고리즘을 적용하는 경우 이와 함께 RANSAC(Random Sample Consensus) 알고리즘 및 호모그래피(Homography) 성질을 이용한 7가지 제약조건을 적용하여 영상인식을 최적화 할 수 있다.
또한, 휴의 불변모멘트(Hu’s Invariant Moments) 알고리즘을 적용하는 경우 7개의 불변모멘트 중 객체의 특성이 가장 잘 나타나는 것으로 확인된 Hu1, Hu2, Hu5를 동시에 적용함으로써 영상인식을 최적화하고, 세가지 모두가 사용자 지정 일치 비율보다 큰 비율로 매칭되는 경우 알람을 발생시킴으로써, 영상패턴을 더욱 정확하게 매칭시킬 수 있다.
도 1은 SURF를 이용한 특징점간의 매칭 이미지의 예를 나타낸 도면.
도 2는 RANSAC 알고리즘의 순서도.
도 3은 RANSAC을 이용하여 특징점간의 오매칭을 제거한 이미지의 예를 나타낸 도면.
도 4는 RANSAC을 이용하여 추출된 이미지의 예를 나타낸 도면.
도 5는 종류별 불변모멘트 차이값의 예를 나타낸 도면.
도 6은 본 발명의 일 실시 예에 따른 패턴매칭을 이용한 해양플랜트 영상감시시스템의 블록도.
도 7은 패턴매칭을 이용한 해양플랜트 영상감시시스템의 설정화면의 예시도.
도 8은 패턴매칭을 이용한 해양플랜트 영상감시시스템의 검색화면의 예시도.
도 9는 본 발명의 또 다른 실시 예에 따른 패턴매칭을 이용한 해양플랜트 영상감시방법의 순서도.
이하에서는, 첨부도면을 참고하여 본 발명에 따른 실시 예를 보다 상세하게 설명한다.
도 6을 참고하면, 본 발명인 패턴매칭을 이용한 해양플랜트 영상감시시스템(100)은 영상수신부(110), 물체감지부(120), 패턴매칭부(130) 및 제1데이터베이스(DB1), 제2데이터베이스(DB2)를 포함하며, 알고리즘설정부(140), 사용자설정부(150), 사용자검색부(160)를 포함할 수 있다.
영상수신부(110)는 대수심카메라(가시광카메라) 또는 스캐닝소나(초음파카메라) 등의 영상장비(200)를 통하여 입력되는 해양플랜트에 대한 실시간 영상프레임을 수신한다.
해저 환경 상태는 해수의 탁도는 양호하나, 수온이 낮아 카메라 렌즈에 서리 맺힘이 발생하여 획득한 영상 프레임의 선명도가 낮고, 빛이 없어 별도의 조명장치가 필요하며, 조명장치의 세기와 거리에 따라 영상 프레임의 밝기에 영향을 미치기 때문에 식별 가능한 영상정보의 획득이 어려운 단점이 있다. 따라서 영상정보만을 이용하여 해양플랜트의 이상 현상 감시를 위해서는 식별 가능한 영상프레임의 획득이 우선시 되어야 한다.
영상수신부(110)가 심해의 해양플랜트와 주변 상황을 대수심카메라(가시광카메라) 또는 스캐닝소나(초음파카메라) 등의 영상장비(200)로부터 실시간으로 영상정보를 획득하고, 사용자설정부(150)를 통해 입력된 영상프레임의 최적화를 위해 명암, 선명도 등의 조절을 한다.
운영자가 사용자검색부(160) 또는 디스플레이부(미도시)를 통해 실시간 영상프레임의 밝기와 선명도를 파악 후 사용자설정부(150)를 통해 명암과 선명도 설정값을 가변적으로 조절하면서 해저 환경 상태에 최적화 된 영상프레임을 획득한다.
심해의 해양플랜트에서 발생할 수 있는 대표적인 이상 현상으로는 해저 플랜트 구조물의 기울기 변화 및 찌그러짐 감시, 오일 및 가스 누출 그리고 연기 감시 등이 있다.
물체감지부(120)는 영상수신부(110)에서 수신되는 실시간 영상프레임을 사용자 지정 시간 간격(예를 들어 5분 간격)으로 획득하고 차영상, 모폴로지(Morphology) 열림, 팽창 연산을 통해 물체를 감지한다. 구체적으로, 기준 영상프레임과 이후 영상프레임을 뺄셈 연산을 사용하여 차영상 이미지를 추출한 후 모폴로지 열기(Open) 연산을 사용하여 잡음을 제거하고 팽창(Dilation) 연산을 사용하여 광원에 따른 객체의 반사빛을 제거한다. 추출된 차영상 이미지의 외곽선을 사용하여 불변모멘트를 계산하며, 차영상 이미지에 대한 특징점을 추출하여 SURF 기술자를 생성한다.
제1데이터베이스(DB1)는 물체감지부(120)에서 감지된 차영상 이미지 및 차영상 이미지에 대한 불변모멘트 특징 기술자 정보와 SURF 특징 기술자 정보를 저장한다. 제1데이터베이스(DB1)에는 사용자 지정 시간 간격으로 획득된 영상프레임 중 변화가 있는 영상 이미지 및 영상 이미지에 대한 불변모멘트 및 SURF 특징 기술자 정보를 전부 저장한다.
제2데이터베이스(DB2)는 제1데이터베이스(DB1)에 기 저장된 차영상 이미지 목록 중에서 감시하고자 선택된 영상패턴 및 영상패턴에 대한 사용자 코멘트를 저장한다.
운영자는 사용자검색부(160)를 통해 제1데이터베이스(DB1)에서 기 저장된 차영상 이미지 목록을 검색할 수 있으며, 이 중에서 감시하고자 하는 영상패턴을 선택하고 해당 영상패턴에 대한 사용자 코멘트 및 알람 등급을 제2데이터베이스(DB2)에 저장할 수 있다. 감시하고자 하는 영상패턴의 예로서, 기포, 물고기, 해양플랜트 기울기 등이 해당될 수 있으며, 물고기의 경우는 알람 등급을 ‘그린’으로 설정하고, 사용자 코멘트로서 ‘물고기가 출현하였습니다’와 같은 코멘트가 저장될 수 있고, 기포의 경우는 알람 등급을 ‘황색’으로 설정하고, 사용자 코멘트로서 ‘기포가 발생하였습니다. 즉시 현장 확인 바랍니다’와 같은 코멘트가 저장될 수 있으며, 해양플랜트가 기울어진 경우는 알람 최고 등급인 ‘적색’으로 설정하고, 사용자 코멘트로서 ‘해양플랜트 시설물이 기울어졌습니다. 관리자는 확인 후 조치를 바랍니다’와 같은 코멘트가 저장될 수 있다. 물론, 알람 등급에 따른 알람 소리를 다르게 하여 설정할 수도 있다.
또한, 운영자는 사용자검색부(160)를 통해 각 영상패턴에 대한 매칭 알고리즘으로 SURF 또는 불변모멘트 중 선택된 하나 이상의 매칭 알고리즘을 제2데이터베이스(DB2)에 저장할 수 있다. 매칭 알고리즘으로서 SURF 또는 불변모멘트 중 어느 하나가 선택될 수 있고, 둘 다 선택될 수도 있다. 둘 다 선택되는 경우는 차영상 이미지에 대해 두 개의 알고리즘을 모두 사용하여 매칭한 결과를 출력하게 된다.
위에서 살펴본 사용자에 의해 선택된 매칭 알고리즘을 저장하는 방식(수동저장 방식)이 아닌, 매칭 알고리즘 자동 저장모드에 대해 설명하면 다음과 같다.
제2데이터베이스(DB2)는 각 영상패턴에 대한 매칭 알고리즘으로 호모그래피(Homography) 성질을 포함하는 영상인식의 7가지 제약조건을 확인하여 영상인식에 성공하는 경우 SURF 알고리즘을 적용하도록 하고, 영상인식에 실패하는 경우 불변모멘트 알고리즘을 적용하도록 매칭 알고리즘을 자동 저장할 수 있다.
영상인식의 7가지 제약조건에 대해서는 아래의 [표 1]을 참고하여 자세하게 설명한다.
Figure 112015033276809-pat00001
[표 1]
[표 1]은 호모그래피 부분행렬식의 값 D가 0 이하일 경우 사각형이 뒤틀림이 있음을 확인하였고, x축과 y축에 대한 크기 인자는 0.09이상, 3 이하의 값으로 나타났으며, 원근 변환은 0.003이하일 경우 패턴 이미지들을 잘 표현하였고, 사각형의 면적은 패턴이미지의 1/12배 이상, 1.5배 이하의 값을 얻을 수 있었다. 또한, 사각형 선분에 대한 교차 판단을 하여 교차가 되지 않는 사각형만을 판별하였고, 대각선의 비율은 0.25 이상, 2 이하의 값으로 나타났다.
구체적으로, 운영자가 제2데이터베이스(DB2)에 감시하고자 선택된 영상패턴을 저장할 때 해당 영상패턴에 대한 매칭 알고리즘으로 SURF 또는 불변모멘트 중 선택된 하나 이상의 매칭 알고리즘을 제2데이터베이스(DB2)에 저장하며, 운영자가 사용자검색부(160)를 통해 선택된 영상패턴을 저장할 때 SURF 또는 불변모멘트 중 어느 것도 선택하지 않거나, 자동 선택 기능이 설정되어 있는 경우는 영상인식의 7가지 제약조건을 확인하여 영상인식의 성공 여부에 따라 성공하는 경우는 SURF 알고리즘을 적용하도록 하고, 실패하는 경우는 불변모멘트 알고리즘을 적용하도록 매칭 알고리즘을 자동 저장할 수 있다. 영상인식의 7가지 제약조건에 대해서는 아래에서 다시 설명한다.
크기, 회전, 밝기, 시점 등의 환경변화에 불변하는 특징 기술자를 사용하는 SURF 알고리즘은 특징점(Key Point)을 찾는 부분, 특징점에 대한 기술자(Descriptor)를 추출하는 부분, 특징점간 매칭(Matching)하는 부분으로 구성하였으며, 특징점 추출에서는 속도 향상을 위한 적분 이미지를 적용하고, 헤이시안 행렬식 기반인 근사화된 헤이시안 검출기를 사용하고, 가우시안 2차 미분 필터를 근사화한 사각필터와 적분영상을 이용하여 특징점을 추출한다.
도 1을 참고하면, SURF를 이용하여 이미지 사이에 특징점 매칭시 대응점을 분석한 결과 적절하지 않은 대응점도 함께 검출되는 것을 볼 수 있다.
이미지간 특징점 중 오매칭 부분을 제거하기 위하여 RANSAC 알고리즘을 적용하였으며, 오차를 포함한 입력 데이터에서 반복적인 작업을 통해 최적의 데이터를 도출하도록 한다.
도 2는 RANSAC 알고리즘의 절차를 나타낸 것으로 입력된 데이터(Input Data)는 오매칭을 포함한 모든 매칭점을 의미하며, 입력 데이터에서 호모그래피를 만들 수 있는 매칭점을 무작위로 선택한 후 매칭점을 이용하여 호모그래피를 예측(Hyphothesis Generation)한다. 예측된 호모그래피가 옳은지 판단하고(Verification), 옳지 않을 경우는 반복적으로 호모그래피를 예측하여 최적의 데이터(Output Data)를 추출하게 된다. 도 3은 RANSAC을 이용하여 특징점간의 오매칭을 제거한 이미지이다.
도 4에서 RANSAC을 이용하여 추출된 이미지를 분석한 결과 오매칭이 이뤄졌거나 RANSAC이 실패한 경우 뒤틀림 현상, 오목 현상 등이 발생하는 것을 알 수 있다. 이를 해결하기 위하여 호모그래피 행렬을 통해 검사를 진행한다.
호모그래피 행렬(Homography Matrix)은 RANSAC을 이용하여 추출된 대응점이 4개 이상인 경우 구할 수 있으며, homogeneous 좌표계에서 정의되는 호모그래피 일반식으로 표현이 된다. 호모그래피 행렬식은 당업자에게 잘 알려져 있는 사항이므로, 구체적인 설명은 생략한다.
패턴매칭부(130)는 제1데이터베이스(DB1)에 저장되는 차영상 이미지를 제2데이터베이스(DB2)에 기 저장되어 있는 각 영상패턴과 순차적으로 매칭하되, 각 영상패턴에 대한 매칭 알고리즘으로 할당된 SURF 특징 기술자 정보 또는 불변모멘트 특징 기술자 정보 중 하나 이상을 매칭시키고, 매칭 결과 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 디스플레이부 또는 사용자검색부(160)를 통해 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력한다. 불변모멘트와 SURF 특징 기술자 정보에 대한 사용자 지정 일치 비율은 사용자 설정부(150)를 통해 조회 및 수정이 가능하다. 예를 들어, 사용자 지정 일치 비율은 80~90% 정도로 설정될 수 있으며, 불변모멘트와 SURF 특징 기술자 정보에 대해 각각 다른 비율로 설정될 수 있다.
패턴매칭부(130)는 SURF 특징 기술자 정보를 이용하여 매칭하는 경우 SURF 알고리즘을 이용하여 특징점을 추출 후 RANSAC(Random Sample Consensus) 알고리즘을 이용하여 특징점을 정제하고, 호모그래피(Homography) 성질을 포함하는 영상인식의 7가지 제약조건을 적용하여 뒤틀림 또는 오목현상이 확인되는 경우 필터링 함으로써 영상인식을 최적화 할 수 있다.
구체적으로, 영상인식의 7가지 제약조건은 호모그래피 부분행렬의 행렬값(D = h11h22 - h12h21), x축 스케일 팩터(SX), y축 스케일 팩터(SY), 원근변화(P)와 호모그래피로 만들어진 사각형의 교차판단(C), 사각형의 면적(A) 및 대각선의 비율(R)을 포함하며, 7가지 제약조건을 구성하는 각 조건의 범위는 사용자검색부(160)를 통해 조회 및 설정이 가능하다. D<0 인 경우는 점들 사이의 회전 순서가 지켜지지 않았음을 의미하며 뒤집힘 또는 뒤틀림이 발생했음을 의미한다. SX는 처음 2×2 부분행렬에 의해 x축 단위 벡터의 길이가 얼마나 변했는지를 나타내며, SY는 y축 단위벡터의 길이(scale) 변화를 나타낸다. SX 및 SY는 0.09이상, 3이하의 값으로 나타났으며 P는 0.003 이하일 경우 패턴이미지들을 잘 표현하였다. A는 패턴이미지의 1/12 배 이상, 1.5 배 이하의 값을 얻을 수 있었다. 또한, 사각형 선분에 대한 교차판단을 하여 교차가 되지 않는 사각형만 판별하였고, 대각선의 비율은 0.25이상, 2이하의 값으로 정의하였다.
상기의 7가지 제약조건에 대해 [표 1]을 참고하는 경우 7가지 제약조건 중 어느 하나라도 설정 범위를 벗어나게 되는 경우 비정상적인 변환으로 판단하여 뒤틀림 또는 오목현상이 있는 것으로 판단되어 영상인식의 실패로 판단하고 불변모멘트 알고리즘을 적용하며, 7가지 제약조건 모두가 설정 범위를 만족하는 경우 영상인식의 성공으로 판단하여 SURF 알고리즘을 적용한다. [표 1]의 7가지 제약조건은 예시이며, 운영자에 의해 변경이 가능하다.
패턴매칭부(130)에서 불변 모멘트 특징 기술자 정보를 이용하여 매칭하는 경우 Hu에 의해 제안된 7개의 불변모멘트 중 영상에 대한 특성값을 가장 잘 나타내는 것으로 확인된 Hu1, Hu2, Hu5를 이용하여 매칭하며, Hu1, Hu2, Hu5의 세가지 모두가 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력할 수 있다. 결론적으로, 휴의 불변모멘트 중 Hu1, Hu2, Hu5에서 해저영상에 대한 특성값을 가장 잘 나타내는 것으로 확인하였으며, 이를 실시간 영상패턴 인식에 적용함으로써 인식 시간을 단축할 수 있다.
도 5를 참고하면, 한 종류의 불변모멘트를 기준으로 다른 세 종류의 객체에 대한 불변모멘트 차이값을 나타냈고, Hu1과 Hu2가 종류별 객체를 잘 나타내는 것을 알 수 있다.
Figure 112015033276809-pat00002
[표 2]
[표 2]에서 알 수 있듯이, Hu3~Hu7은 기준 객체 불변모멘트의 최대, 최소값에 포함되는 오류를 분석한 결과, 불변모멘트 오류는 Hu7이 가장 많이 나타나며 Hu3, Hu4, Hu6도 확인할 수 있다. 따라서, 불변 모멘트 Hu1, Hu2, Hu5가 객체를 가장 잘 나타내는 것을 확인할 수 있다.
도 7을 참고하면, 본 발명인 패턴매칭을 이용한 해양플랜트 영상감시시스템(100)의 사용자 설정화면의 실시 예를 볼 수 있다.
사용자 설정화면은 사용자설정부(150)의 실시 예이며, 차영역의 개수 및 범위를 설정할 수 있고, 휴의 불변모멘트 중 Hu1, Hu2, Hu5의 값 및 threshold 값을 설정할 수 있다. 차영역의 개수는 사용자 지정 시간 간격으로 이전 영상프레임과 실시간 영상프레임을 비교하여 차이가 있는 영상(즉, 차영상)의 레이블링 된 개수를 말한다. 레이블링은 인접한 화소에 모두 같은 번호(Label)를 붙이고 연결되지 않은 다른 화소에는 다른 번호를 붙이는 것을 말한다.
제1데이터베이스(DB1)에 저장된 차영상 이미지 및 차영상 이미지에 대한 정보 중 사용자에 의해 설정된 차영역의 개수 및 차영역의 범위값 이상에 해당하는 것만 조회된다. 차영역의 범위는 픽셀 개수를 말한다. 예를 들어, 차영역의 개수를 2, 차영역의 범위를 3000으로 설정하면, 사용자검색부(160)에서 검색할 때 제1데이터베이스(DB1)에 저장된 차영상의 정보 중 차영역의 개수가 2개 이상이고, 픽셀 개수가 3000 이상에 해당하는 차영상의 정보들만 조회된다.
물속 또는 공기 중과 같이 사용환경에 따라 Hu1, Hu2 및 Hu5의 값의 설정은 적절하게 바뀔 수 있다. 패턴매칭부(130)에서 불변 모멘트 특징 기술자 정보를 이용하여 매칭하는 경우 Hu에 의해 제안된 7개의 불변모멘트 중 Hu1, Hu2, Hu5 비교값(차이값)이 사용자설정부(150)에서 설정된 Hu1, Hu2, Hu5 설정값 이하일 때만 일치하는 것으로 설정할 수 있다.
또한, ‘LAB ColorSpace’ 항목은 불변모멘트를 잘 뽑아내기 위한 것으로서 최외곽선을 더 잘 뽑아내기 위해서 그라데이션(gradation)을 제거하기 위한 기능이다. 사용자의 설정에 따라 ‘LAB ColorSpace’를 활성 또는 비활성화시킬 수 있다.
또한, 대수심카메라의 IP 주소와 포트 번호를 설정할 수 있으며, 대수심카메라와 웹캡 중에서 카메라를 선택할 수 있다.
도 8을 참고하면, 본 발명인 패턴매칭을 이용한 해양플랜트 영상감시시스템(100)의 사용자 검색화면의 실시 예를 볼 수 있다.
사용자 검색화면은 사용자검색부(160)의 실시 예이며, 날짜 및 시간별 알람의 조회 및 패턴 조회가 가능하다. 알람 발생시간과 차이개수 및 영역개수가 표시된다.
날짜 및 시간을 지정하여 ‘조회’ 버튼을 클릭하면 사용자검색부(160)는 제1데이터베이스(DB1)에 저장되어 있는 날짜별 알람리스트를 출력하며, 여러 개의 알람리스트 중 하나를 선택시 해당 알람의 차영역의 개수(레이블링 개수)만큼의 알람리스트가 별도로 표시된다. 표시되는 정보에는 패턴저장 유무가 ‘SAVE’ 또는 ‘NULL’로 표시된다. 저장된 패턴에 해당하는 경우 ‘SAVE’로 표시되고, 저장되지 않은 경우는 ‘NULL’로 표시된다. ‘패턴조회’ 버튼을 클릭하면 사용자검색부(160)는 패턴저장 유무가 ‘SAVE’로 된 것만 출력한다.
또한, 날짜별 알람리스트 중 선택된 알람리스트의 이전화면, 이후화면, 차이화면을 보여주며, 패턴의 알람 등급 설정 및 패턴에 대한 사용자 코멘트 정보를 입력할 수 있다. 사용자 코멘트는 위에서 이미 살펴본 바와 같이 패턴에 대한 설명 및 사용자 조치사항 등을 포함한다. 또한, 휴의 불변모멘트 중 Hu1, Hu2, Hu5의 값을 확인할 수 있다. 휴의 불변모멘트값(Hu1, Hu2, Hu5) 확인 기능은 저장되는 패턴에 대한 휴 모멘트 값을 확인할 수 있는 기능이다.
도 9를 참조하여 본 발명의 또 다른 실시 예인 패턴매칭을 이용한 해양플랜트 영상감시방법에 대해서 설명한다.
패턴매칭을 이용한 해양플랜트 영상감시방법은
먼저, [제1단계] 영상장비(200)를 통하여 입력되는 해양플랜트에 대한 실시간 영상 프레임을 사용자 지정 시간 간격으로 획득하고 차영상을 통해 물체를 감지한다(S310).
[제2단계] 모폴로지(Morphology) 열림, 팽창 연산을 통해 잡음 및 객체의 반사빛을 제거한다(S320).
[제3단계] 감지된 차영상 이미지 및 차영상 이미지에 대한 불변모멘트 특징 기술자 정보와 SURF(Speed Up Robust Features) 특징 기술자 정보를 제1데이터베이스(DB1)에 저장한다(S330).
[제4단계] 제1데이터베이스(DB1)에 저장되는 차영상 이미지를 제2데이터베이스(DB2)에 기 저장되어 있는 각 영상패턴과 순차적으로 매칭하되, 각 영상패턴에 대한 매칭 알고리즘으로 할당된 SURF 특징 기술자 정보 또는 불변모멘트 특징 기술자 정보 중 하나 이상을 매칭시킨다(S340).
SURF 특징 기술자 정보를 이용하여 매칭하는 경우 SURF 알고리즘을 이용하여 특징점을 추출 후 RANSAC(Random Sample Consensus) 알고리즘을 이용하여 특징점을 정제하고, 호모그래피(Homography) 성질을 포함하는 영상인식의 7가지 제약조건을 적용하여 뒤틀림 또는 오목현상이 확인되는 경우 필터링하며, 상기 영상인식의 7가지 제약조건은 호모그래피 부분행렬의 행렬값(D), x축 스케일 팩터(SX), y축 스케일 팩터(SY), 원근변화(P)와 호모그래피로 만들어진 사각형의 교차판단(C), 사각형의 면적(A) 및 대각선의 비율(R)을 포함하며, 상기 7가지 제약조건을 구성하는 각 조건의 범위는 사용자에 의해 설정 가능하다.
또한, 불변 모멘트 특징 기술자 정보를 이용하여 매칭하는 경우 Hu에 의해 제안된 7개의 불변모멘트 중 Hu1, Hu2, Hu5를 이용하여 매칭한다.
[제5단계] 상기 매칭 결과, 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력한다(S350). 상기 제4단계에서 불변모멘트를 이용하여 매칭하는 경우 Hu1, Hu2, Hu5의 세가지 모두가 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력한다.
그리고, 상기 제2데이터베이스(DB2)에 저장된 각 영상패턴과 영상패턴에 대한 사용자 코멘트는 제5단계(S350) 이후, 즉 제5단계에서 매칭이 이루어지지 않은 경우 사용자가 제1데이터베이스(DB1)에 기 저장된 차영상 이미지 목록에서 감시하고자 하는 영상패턴을 선택하고, 선택된 영상패턴에 대한 사용자 코멘트를 제2데이터베이스(DB2)에 저장함으로써 생성된다.
상기 제2데이터베이스(DB2)에 저장되는 각 영상패턴에 대한 매칭 알고리즘으로 SURF 또는 불변모멘트 중 사용자에 의해 선택된 하나 이상의 매칭 알고리즘이 할당되어 저장된다.
또한, 상기 제2데이터베이스(DB2)에 저장되는 각 영상패턴에 대한 매칭 알고리즘으로 호모그래피(Homography) 성질을 포함하는 영상인식의 7가지 제약조건을 확인하여 영상인식에 성공하는 경우 SURF 알고리즘을 적용하도록 하고, 영상인식에 실패하는 경우 불변모멘트 알고리즘을 적용하도록 매칭 알고리즘을 자동 저장할 수 있다. 구체적으로는, 상기 제2데이터베이스(DB2)에 감시하고자 선택된 영상패턴을 저장할 때 해당 영상패턴에 대한 매칭 알고리즘으로 SURF 또는 불변모멘트 중 선택된 하나 이상의 매칭 알고리즘을 제2데이터베이스(DB2)에 저장하며, SURF 또는 불변모멘트 중 어느 것도 선택되지 않거나 자동 선택 기능이 설정되어 있는 경우는 상기와 같이 영상인식의 성공 여부에 따라 SURF 알고리즘과 불변모멘트 알고리즘 중 선택된 알고리즘을 적용하도록 매칭 알고리즘을 자동 저장한다.
그 밖에 구체적인 설명에 대해서는 도 1 내지 도 8을 참조하여 설명하였으므로, 자세한 설명은 생략하였다.
본 발명에 의하면, 수중의 영상장비를 통해 해저로부터 실시간으로 수신되는 영상에 패턴 매칭 기법을 적용함으로써 사용자가 감시를 원하는 특정 물체의 출현 여부에 대한 감시가 가능하다.
또한, 사용자는 감시를 원하는 각 영상패턴 마다 SURF(Speed Up Robust Features) 알고리즘과 휴의 불변모멘트(Hu’s Invariant Moments) 알고리즘을 사용자의 선택에 따라 중복 또는 선택적으로 적용할 수 있어 차영상을 통해 검출되는 특정 물체와 해당하는 영상패턴을 더욱 정확하게 매칭시킬 수 있다.
그리고 사용자에 의해 선택되는 수동 모드가 아닌 자동 선택 모드로 운용되는 경우는 호모그래피(Homography) 성질을 이용한 영상인식의 7가지 제약조건을 적용하여 영상인식의 성공 여부에 따라 각 영상패턴 마다 SURF 알고리즘과 불변모멘트 알고리즘 중 적합한 어느 하나를 자동으로 적용할 수 있어, 각 영상패턴에 더욱 정확한 매칭 알고리즘을 적용할 수 있다.
본 발명은 상기한 특정의 바람직한 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 되는 것임은 자명하다.
100: 패턴매칭을 이용한 해양플랜트 영상감시시스템
110: 영상수신부 120: 물체감지부
130: 패턴매칭부 140: 알고리즘설정부
150: 사용자설정부 160: 사용자검색부
200: 영상장비

Claims (14)

  1. 영상장비를 이용하여 해양플랜트의 영상을 감시하는 영상감시시스템으로서,
    영상장비를 통하여 입력되는 해양플랜트에 대한 실시간 영상프레임을 수신하는 영상수신부;
    상기 영상수신부에서 수신되는 실시간 영상프레임을 사용자 지정 시간 간격으로 획득하고 차영상, 모폴로지(Morphology) 열림, 팽창 연산을 통해 물체를 감지하는 물체감지부;
    상기 물체감지부에서 감지된 차영상 이미지 및 차영상 이미지에 대한 불변모멘트 특징 기술자 정보와 SURF(Speed Up Robust Features) 특징 기술자 정보를 저장하는 제1데이터베이스(DB1);
    상기 제1데이터베이스(DB1)에 기 저장된 차영상 이미지 목록 중에서 감시하고자 선택된 영상패턴 및 영상패턴에 대한 사용자 코멘트를 저장하는 제2데이터베이스(DB2); 및
    상기 제1데이터베이스(DB1)에 저장되는 차영상 이미지를 상기 제2데이터베이스(DB2)에 기 저장되어 있는 각 영상패턴과 순차적으로 매칭하되, 각 영상패턴에 대한 매칭 알고리즘으로 할당된 SURF 특징 기술자 정보 또는 불변모멘트 특징 기술자 정보 중 하나 이상을 매칭시키고, 매칭 결과 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 디스플레이부를 통해 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력하는 패턴매칭부를 포함하되,
    상기 제2데이터베이스(DB2)는 각 영상패턴에 대한 매칭 알고리즘으로 호모그래피(Homography) 성질을 포함하는 영상인식의 7가지 제약조건을 확인하여 영상인식에 성공하는 경우 SURF 알고리즘을 적용하도록 하고, 영상인식에 실패하는 경우 불변모멘트 알고리즘을 적용하도록 매칭 알고리즘을 자동 저장하는 것을 특징으로 하는 패턴매칭을 이용한 해양플랜트 영상감시시스템.
  2. 제1항에 있어서,
    상기 제2데이터베이스(DB2)는 각 영상패턴에 대한 매칭 알고리즘으로 SURF 또는 불변모멘트 중 사용자에 의해 선택된 하나 이상의 매칭 알고리즘이 할당되어 저장되는 것을 특징으로 하는 패턴매칭을 이용한 해양플랜트 영상감시시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 제2데이터베이스(DB2)에 감시하고자 선택된 영상패턴을 저장할 때 해당 영상패턴에 대한 매칭 알고리즘으로 SURF 또는 불변모멘트 중 선택된 하나 이상의 매칭 알고리즘을 제2데이터베이스(DB2)에 저장하며, SURF 또는 불변모멘트 중 어느 것도 선택되지 않거나 자동 선택 기능이 설정되어 있는 경우는 상기 영상인식의 7가지 제약조건을 확인하여 영상인식의 성공 여부에 따라 SURF 알고리즘과 불변모멘트 알고리즘 중 선택된 알고리즘을 적용하도록 매칭 알고리즘을 자동 저장하는 것을 특징으로 하는 패턴매칭을 이용한 해양플랜트 영상감시시스템.
  5. 영상장비를 이용하여 해양플랜트의 영상을 감시하는 영상감시시스템으로서,
    영상장비를 통하여 입력되는 해양플랜트에 대한 실시간 영상프레임을 수신하는 영상수신부;
    상기 영상수신부에서 수신되는 실시간 영상프레임을 사용자 지정 시간 간격으로 획득하고 차영상, 모폴로지(Morphology) 열림, 팽창 연산을 통해 물체를 감지하는 물체감지부;
    상기 물체감지부에서 감지된 차영상 이미지 및 차영상 이미지에 대한 불변모멘트 특징 기술자 정보와 SURF(Speed Up Robust Features) 특징 기술자 정보를 저장하는 제1데이터베이스(DB1);
    상기 제1데이터베이스(DB1)에 기 저장된 차영상 이미지 목록 중에서 감시하고자 선택된 영상패턴 및 영상패턴에 대한 사용자 코멘트를 저장하는 제2데이터베이스(DB2); 및
    상기 제1데이터베이스(DB1)에 저장되는 차영상 이미지를 상기 제2데이터베이스(DB2)에 기 저장되어 있는 각 영상패턴과 순차적으로 매칭하되, 각 영상패턴에 대한 매칭 알고리즘으로 할당된 SURF 특징 기술자 정보 또는 불변모멘트 특징 기술자 정보 중 하나 이상을 매칭시키고, 매칭 결과 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 디스플레이부를 통해 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력하는 패턴매칭부를 포함하되,
    상기 패턴매칭부는 SURF 특징 기술자 정보를 이용하여 매칭하는 경우 SURF 알고리즘을 이용하여 특징점을 추출 후 RANSAC(Random Sample Consensus) 알고리즘을 이용하여 특징점을 정제하고, 호모그래피(Homography) 성질을 포함하는 영상인식의 7가지 제약조건을 적용하여 뒤틀림 또는 오목현상이 확인되는 경우 필터링하는 것을 특징으로 하는 패턴매칭을 이용한 해양플랜트 영상감시시스템.
  6. 제5항에 있어서,
    상기 영상인식의 7가지 제약조건은 호모그래피 부분행렬의 행렬값(D), x축 스케일 팩터(SX), y축 스케일 팩터(SY), 원근변화(P)와 호모그래피로 만들어진 사각형의 교차판단(C), 사각형의 면적(A) 및 대각선의 비율(R)을 포함하며,
    상기 7가지 제약조건을 구성하는 각 조건의 범위는 사용자에 의해 설정 가능한 것을 특징으로 하는 패턴매칭을 이용한 해양플랜트 영상감시시스템.
  7. 영상장비를 이용하여 해양플랜트의 영상을 감시하는 영상감시시스템으로서,
    영상장비를 통하여 입력되는 해양플랜트에 대한 실시간 영상프레임을 수신하는 영상수신부;
    상기 영상수신부에서 수신되는 실시간 영상프레임을 사용자 지정 시간 간격으로 획득하고 차영상, 모폴로지(Morphology) 열림, 팽창 연산을 통해 물체를 감지하는 물체감지부;
    상기 물체감지부에서 감지된 차영상 이미지 및 차영상 이미지에 대한 불변모멘트 특징 기술자 정보와 SURF(Speed Up Robust Features) 특징 기술자 정보를 저장하는 제1데이터베이스(DB1);
    상기 제1데이터베이스(DB1)에 기 저장된 차영상 이미지 목록 중에서 감시하고자 선택된 영상패턴 및 영상패턴에 대한 사용자 코멘트를 저장하는 제2데이터베이스(DB2); 및
    상기 제1데이터베이스(DB1)에 저장되는 차영상 이미지를 상기 제2데이터베이스(DB2)에 기 저장되어 있는 각 영상패턴과 순차적으로 매칭하되, 각 영상패턴에 대한 매칭 알고리즘으로 할당된 SURF 특징 기술자 정보 또는 불변모멘트 특징 기술자 정보 중 하나 이상을 매칭시키고, 매칭 결과 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 디스플레이부를 통해 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력하는 패턴매칭부를 포함하되,
    상기 패턴매칭부에서 불변 모멘트 특징 기술자 정보를 이용하여 매칭하는 경우 Hu에 의해 제안된 7개의 불변모멘트 중 Hu1, Hu2, Hu5를 이용하여 매칭하며, Hu1, Hu2, Hu5의 세가지 모두가 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력하는 것을 특징으로 하는 패턴매칭을 이용한 해양플랜트 영상감시시스템.
  8. 영상장비를 이용하여 해양플랜트의 영상을 감시하는 방법으로서,
    영상장비를 통하여 입력되는 해양플랜트에 대한 실시간 영상 프레임을 사용자 지정 시간 간격으로 획득하고 차영상을 통해 물체를 감지하는 제1단계;
    모폴로지(Morphology) 열림, 팽창 연산을 통해 잡음 및 객체의 반사빛을 제거하는 제2단계;
    감지된 차영상 이미지 및 차영상 이미지에 대한 불변모멘트 특징 기술자 정보와 SURF(Speed Up Robust Features) 특징 기술자 정보를 제1데이터베이스(DB1)에 저장하는 제3단계;
    상기 제1데이터베이스(DB1)에 저장되는 차영상 이미지를 제2데이터베이스(DB2)에 기 저장되어 있는 각 영상패턴과 순차적으로 매칭하되, 각 영상패턴에 대한 매칭 알고리즘으로 할당된 SURF 특징 기술자 정보 또는 불변모멘트 특징 기술자 정보 중 하나 이상을 매칭시키는 제4단계; 및
    상기 매칭 결과, 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력하는 제5단계를 포함하되,
    상기 제2데이터베이스(DB2)에 저장된 각 영상패턴과 영상패턴에 대한 사용자 코멘트는 상기 제5단계 이후, 사용자가 제1데이터베이스(DB1)에 기 저장된 차영상 이미지 목록에서 감시하고자 하는 영상패턴을 선택하고, 선택된 영상패턴에 대한 사용자 코멘트를 제2데이터베이스(DB2)에 저장함으로써 생성되고,
    상기 제2데이터베이스(DB2)에 저장되는 각 영상패턴에 대한 매칭 알고리즘으로 호모그래피(Homography) 성질을 포함하는 영상인식의 7가지 제약조건을 확인하여 영상인식에 성공하는 경우 SURF 알고리즘을 적용하도록 하고, 영상인식에 실패하는 경우 불변모멘트 알고리즘을 적용하도록 매칭 알고리즘을 자동 저장하는 것을 특징으로 하는 패턴매칭을 이용한 해양플랜트 영상감시방법.
  9. 제8항에 있어서,
    상기 제2데이터베이스(DB2)에 저장되는 각 영상패턴에 대한 매칭 알고리즘으로 SURF 또는 불변모멘트 중 사용자에 의해 선택된 하나 이상의 매칭 알고리즘이 할당되어 저장되는 것을 특징으로 하는 패턴매칭을 이용한 해양플랜트 영상감시방법.
  10. 삭제
  11. 제8항에 있어서,
    상기 제2데이터베이스(DB2)에 감시하고자 선택된 영상패턴을 저장할 때 해당 영상패턴에 대한 매칭 알고리즘으로 SURF 또는 불변모멘트 중 선택된 하나 이상의 매칭 알고리즘을 제2데이터베이스(DB2)에 저장하며, SURF 또는 불변모멘트 중 어느 것도 선택되지 않거나 자동 선택 기능이 설정되어 있는 경우는 상기 영상인식의 7가지 제약조건을 확인하여 영상인식의 성공 여부에 따라 SURF 알고리즘과 불변모멘트 알고리즘 중 선택된 알고리즘을 적용하도록 매칭 알고리즘을 자동 저장하는 것을 특징으로 하는 패턴매칭을 이용한 해양플랜트 영상감시방법.
  12. 영상장비를 이용하여 해양플랜트의 영상을 감시하는 방법으로서,
    영상장비를 통하여 입력되는 해양플랜트에 대한 실시간 영상 프레임을 사용자 지정 시간 간격으로 획득하고 차영상을 통해 물체를 감지하는 제1단계;
    모폴로지(Morphology) 열림, 팽창 연산을 통해 잡음 및 객체의 반사빛을 제거하는 제2단계;
    감지된 차영상 이미지 및 차영상 이미지에 대한 불변모멘트 특징 기술자 정보와 SURF(Speed Up Robust Features) 특징 기술자 정보를 제1데이터베이스(DB1)에 저장하는 제3단계;
    상기 제1데이터베이스(DB1)에 저장되는 차영상 이미지를 제2데이터베이스(DB2)에 기 저장되어 있는 각 영상패턴과 순차적으로 매칭하되, 각 영상패턴에 대한 매칭 알고리즘으로 할당된 SURF 특징 기술자 정보 또는 불변모멘트 특징 기술자 정보 중 하나 이상을 매칭시키는 제4단계; 및
    상기 매칭 결과, 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력하는 제5단계를 포함하되,
    상기 제2데이터베이스(DB2)에 저장된 각 영상패턴과 영상패턴에 대한 사용자 코멘트는 상기 제5단계 이후, 사용자가 제1데이터베이스(DB1)에 기 저장된 차영상 이미지 목록에서 감시하고자 하는 영상패턴을 선택하고, 선택된 영상패턴에 대한 사용자 코멘트를 제2데이터베이스(DB2)에 저장함으로써 생성되고,
    상기 제4단계는
    SURF 특징 기술자 정보를 이용하여 매칭하는 경우 SURF 알고리즘을 이용하여 특징점을 추출 후 RANSAC(Random Sample Consensus) 알고리즘을 이용하여 특징점을 정제하고, 호모그래피(Homography) 성질을 포함하는 영상인식의 7가지 제약조건을 적용하여 뒤틀림 또는 오목현상이 확인되는 경우 필터링하는 것을 특징으로 하는 패턴매칭을 이용한 해양플랜트 영상감시방법.
  13. 제12항에 있어서,
    상기 영상인식의 7가지 제약조건은 호모그래피 부분행렬의 행렬값(D), x축 스케일 팩터(SX), y축 스케일 팩터(SY), 원근변화(P)와 호모그래피로 만들어진 사각형의 교차판단(C), 사각형의 면적(A) 및 대각선의 비율(R)을 포함하며,
    상기 7가지 제약조건을 구성하는 각 조건의 범위는 사용자에 의해 설정 가능한 것을 특징으로 하는 패턴매칭을 이용한 해양플랜트 영상감시방법.
  14. 영상장비를 이용하여 해양플랜트의 영상을 감시하는 방법으로서,
    영상장비를 통하여 입력되는 해양플랜트에 대한 실시간 영상 프레임을 사용자 지정 시간 간격으로 획득하고 차영상을 통해 물체를 감지하는 제1단계;
    모폴로지(Morphology) 열림, 팽창 연산을 통해 잡음 및 객체의 반사빛을 제거하는 제2단계;
    감지된 차영상 이미지 및 차영상 이미지에 대한 불변모멘트 특징 기술자 정보와 SURF(Speed Up Robust Features) 특징 기술자 정보를 제1데이터베이스(DB1)에 저장하는 제3단계;
    상기 제1데이터베이스(DB1)에 저장되는 차영상 이미지를 제2데이터베이스(DB2)에 기 저장되어 있는 각 영상패턴과 순차적으로 매칭하되, 각 영상패턴에 대한 매칭 알고리즘으로 할당된 SURF 특징 기술자 정보 또는 불변모멘트 특징 기술자 정보 중 하나 이상을 매칭시키는 제4단계; 및
    상기 매칭 결과, 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력하는 제5단계를 포함하되,
    상기 제2데이터베이스(DB2)에 저장된 각 영상패턴과 영상패턴에 대한 사용자 코멘트는 상기 제5단계 이후, 사용자가 제1데이터베이스(DB1)에 기 저장된 차영상 이미지 목록에서 감시하고자 하는 영상패턴을 선택하고, 선택된 영상패턴에 대한 사용자 코멘트를 제2데이터베이스(DB2)에 저장함으로써 생성되고,
    상기 제4단계에서 불변 모멘트 특징 기술자 정보를 이용하여 매칭하는 경우 Hu에 의해 제안된 7개의 불변모멘트 중 Hu1, Hu2, Hu5를 이용하여 매칭하며,
    상기 제5단계는 Hu1, Hu2, Hu5의 세가지 모두가 사용자 지정 일치 비율 보다 큰 비율로 매칭되는 경우 알람을 발생시키고, 매칭된 영상패턴에 대한 사용자 코멘트를 출력하는 것을 특징으로 하는 패턴매칭을 이용한 해양플랜트 영상감시방법.
KR1020150048148A 2015-04-06 2015-04-06 패턴매칭을 이용한 해양플랜트 영상감시시스템 및 영상감시방법 KR101614697B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150048148A KR101614697B1 (ko) 2015-04-06 2015-04-06 패턴매칭을 이용한 해양플랜트 영상감시시스템 및 영상감시방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150048148A KR101614697B1 (ko) 2015-04-06 2015-04-06 패턴매칭을 이용한 해양플랜트 영상감시시스템 및 영상감시방법

Publications (1)

Publication Number Publication Date
KR101614697B1 true KR101614697B1 (ko) 2016-04-22

Family

ID=55918461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150048148A KR101614697B1 (ko) 2015-04-06 2015-04-06 패턴매칭을 이용한 해양플랜트 영상감시시스템 및 영상감시방법

Country Status (1)

Country Link
KR (1) KR101614697B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170131257A (ko) * 2016-05-19 2017-11-29 라온피플 주식회사 머신 비전을 위한 영상 분석 방법 및 영상 분석 장치
KR101812994B1 (ko) * 2016-05-25 2017-12-28 (주)주인정보시스템 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이승기, 김승민, "이미지 필터링을 이용한 해저 플랜트 영상 감시 시스템 설계 및 구현", 2014년도 대한전자공학회 하계학술대회, vol.37, no.1, pp.1371-1373, 2014년 6월.*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170131257A (ko) * 2016-05-19 2017-11-29 라온피플 주식회사 머신 비전을 위한 영상 분석 방법 및 영상 분석 장치
KR102447915B1 (ko) * 2016-05-19 2022-09-27 라온피플 주식회사 머신 비전을 위한 영상 분석 방법 및 영상 분석 장치
KR101812994B1 (ko) * 2016-05-25 2017-12-28 (주)주인정보시스템 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
US8237574B2 (en) Above-water monitoring of swimming pools
AU2014325564C1 (en) Anomalous tide level fluctuation sensing device, anomalous tide level fluctuation sensing method, and anomalous tide level fluctuation sensing program
NO20140372A1 (no) Fremgangsmåte og anordning for å finne høyden på en oppstikkende rørdel eller en skjøt mellom to rør i et boremiljø
JP6036824B2 (ja) 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
WO2018056355A1 (ja) 監視装置
CN111027541A (zh) 基于可见光和热成像的火焰检测方法、系统及存储介质
JP2018088630A (ja) 火災監視システム
JP2007300531A (ja) 物体検出装置
JP2011123742A (ja) 侵入物体検知装置
JP5865710B2 (ja) 画像処理装置
KR101614697B1 (ko) 패턴매칭을 이용한 해양플랜트 영상감시시스템 및 영상감시방법
JP2020160804A (ja) 情報処理装置、プログラム及び情報処理方法
CN104657997B (zh) 一种镜头移位检测方法及装置
KR101044903B1 (ko) 영상 감시 시스템에서 은닉 마르코프 모델을 이용한 불 검출방법
JP2013101612A (ja) ビデオ画像シーケンスにおいて移動物体を検出するための方法および装置
KR101395666B1 (ko) 비디오 영상의 변화를 이용한 도난 감시 장치 및 방법
JP2020071698A (ja) 火災検知装置、火災検知方法及び火災監視システム
JP5710230B2 (ja) 監視システムおよび監視方法
KR101590467B1 (ko) 영상을 이용한 배관누설검출시스템의 배관누설검출방법
CN114332682B (zh) 一种海上全景去雾目标识别方法
KR101630264B1 (ko) 거리-도플러 클러스터링 기법
JP2008152717A (ja) 転倒状況検知装置
JP2021190515A (ja) ワーク取り残し判定システム
JP2003240622A (ja) 液面認識処理装置及び液面監視システム
JP7129271B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190410

Year of fee payment: 4