KR102334334B1 - 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법 - Google Patents

상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102334334B1
KR102334334B1 KR1020190139560A KR20190139560A KR102334334B1 KR 102334334 B1 KR102334334 B1 KR 102334334B1 KR 1020190139560 A KR1020190139560 A KR 1020190139560A KR 20190139560 A KR20190139560 A KR 20190139560A KR 102334334 B1 KR102334334 B1 KR 102334334B1
Authority
KR
South Korea
Prior art keywords
rope
image
template
brightness
feature
Prior art date
Application number
KR1020190139560A
Other languages
English (en)
Other versions
KR20210053664A (ko
Inventor
신상원
Original Assignee
현대엘리베이터주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엘리베이터주식회사 filed Critical 현대엘리베이터주식회사
Priority to KR1020190139560A priority Critical patent/KR102334334B1/ko
Publication of KR20210053664A publication Critical patent/KR20210053664A/ko
Application granted granted Critical
Publication of KR102334334B1 publication Critical patent/KR102334334B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B7/00—Other common features of elevators
    • B66B7/12—Checking, lubricating, or cleaning means for ropes, cables or guides
    • B66B7/1207—Checking means
    • B66B7/1215—Checking means specially adapted for ropes or cables
    • B66B7/1238—Checking means specially adapted for ropes or cables by optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/16—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring the deformation in a solid, e.g. by resistance strain gauge

Abstract

본 발명은 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법에 관한 것으로, 상기 장치는 영상 취득 단말로부터 승강기에 연결된 로프를 촬영한 로프 영상을 수신하는 로프 영상 수신부, 상기 로프의 전체 구간에 대해 상기 로프 영상을 기초로 영역별 평균 밝기와 상대 밝기를 산출하여 피처 템플릿을 생성하는 피처 템플릿 생성부, 상기 피처 템플릿과 기준 템플릿 간의 비교를 통해 상기 로프 영상의 영역별 평균 밝기의 일치 여부를 결정하고 상기 일치 여부의 결과를 기초로 상기 피처 템플릿에 대한 오류도를 산출하는 템플릿 오류도 산출부 및 상기 영역별 평균 밝기의 불일치가 결정된 지점을 중심으로 진단 영역을 생성하고 해당 진단 영역에 대한 오류도 변화율을 산출하여 상기 로프의 이상 유무를 결정하는 로프 이상 진단부를 포함한다.

Description

상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법{ELEVATOR ROPE DIAGNOSTIC IMAGE PROCESSING APPARATUS AND METHOD USING RELATIVE BRIGHTNESS TEMPLATE}
본 발명은 승강기 로프 진단을 위한 영상 처리 기술에 관한 것으로, 보다 상세하게는 광원의 밝기 변화에 영향없이 로프 진단을 안전하게 수행할 수 있는 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법에 관한 것이다.
최근 카메라를 통한 영상을 취득한 후 이를 활용하여 기기의 이상 유무를 확인하는 연구가 활발하게 진행되고 있다. 관련하여 엘리베이터 시스템에서 이를 활용하여 로프의 이상 감지, 파손 유무 등을 영상처리를 통하여 진단할 수 있다.
한국공개특허 제10-2018-0113213(2018.10.15)호는 로프 손상 진단 검사 장치에 관한 것으로, 여자 코일 및 검출 소자가, 와이어 로프에 대해서 1개의 외층 스트랜드가 1회전하는 분의 와이어 로프의 길이를 제1 대변의 길이로 하고, 1개의 외층 스트랜드에 포함되는 외층 소선의 직경과 갯수와의 곱을 제2 대변의 길이로 하는 평행 사변형으로 배치되어 있으므로, 컴팩트한 구성에 의해, 와이어 로프의 외주면의 둘레 방향의 일부에만 대향시켜 와이어 로프의 손상의 유무를 검출할 수 있다.
한국등록특허 제10-1292073(2013.07.24)호는 와이어 로프 손상 검출 및 확인장치에 관한 것으로, 카메라가 와이어 로프(wire rope)를 타고 자유자재로 이동하면서 와이어 로프의 손상 여부를 검출하고 그 손상 부위를 촬영하여 중앙 관리부의 통신망에 의해 관리자의 휴대폰 단말기까지 무선으로 전송할 수 있게 하는 기술을 개시하고 있다.
한국공개특허 제10-2018-0113213(2018.10.15)호 한국등록특허 제10-1292073(2013.07.24)호
본 발명의 일 실시예는 광원의 밝기 변화에 영향없이 로프 진단을 안전하게 수행할 수 있는 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 대량의 데이터의 실시간 처리 속도 향상을 위한 영상 세그멘테이션 후 영역의 평균 밝기의 상대 템플릿을 구하여 매칭하는 방법으로 속도를 개선할 수 있는 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 영상 취득 단말의 편차, 광원 환경에 따른 오류 최소화를 위하여 각 구역의 상대 밝기를 구하여 피처 템플릿으로 생성함으로써 주위 환경에 영향을 받지 않고 로프의 이상유무를 판단할 수 있고, 사전에 사고를 예방하여 승객의 안전을 확보할 수 있는 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법을 제공하고자 한다.
실시예들 중에서, 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치는 영상 취득 단말로부터 승강기에 연결된 로프를 촬영한 로프 영상을 수신하는 로프 영상 수신부, 상기 로프의 전체 구간에 대해 상기 로프 영상을 기초로 영역별 평균 밝기와 상대 밝기를 산출하여 피처 템플릿을 생성하는 피처 템플릿 생성부, 상기 피처 템플릿과 기준 템플릿 간의 비교를 통해 상기 로프 영상의 영역별 평균 밝기의 일치 여부를 결정하고 상기 일치 여부의 결과를 기초로 상기 피처 템플릿에 대한 오류도를 산출하는 템플릿 오류도 산출부 및 상기 영역별 평균 밝기의 불일치가 결정된 지점을 중심으로 진단 영역을 생성하고 해당 진단 영역에 대한 오류도 변화율을 산출하여 상기 로프의 이상 유무를 결정하는 로프 이상 진단부를 포함한다.
상기 피처 템플릿 생성부는 상기 로프 영상에 대한 기울임 보정 및 영점 보상을 처리하는 로프 영상 전처리 모듈, 전처리된 상기 로프 영상을 r * c(상기 r 및 c는 자연수)의 고정된 크기로 분할하여 복수의 영상 영역들을 생성하는 영상 세그멘테이션 모듈, 상기 복수의 영상 영역들 각각의 평균 밝기를 영역 피처(feature)로 산출하고 상기 영역 피처를 이용하여 영역별 밝기 차 테이블을 상기 피처 템플릿으로서 생성하는 피처 템플릿 생성 모듈 및 상기 피처 템플릿 생성 모듈에 의해 반복적으로 생성되는 피처 템플릿을 누적시켜 상기 기준 템플릿을 생성하는 기준 템플릿 생성 모듈을 포함할 수 있다.
상기 피처 템플릿 생성 모듈은 상기 복수의 영상 영역들의 개수를 각각 행과 열의 크기로 하는 N * N(상기 N = r * c) 테이블을 상기 밝기 차 테이블로서 생성하고, 밝기 차 기준에 관한 다음의 제1 비교식을 통해 각 테이블 값을 결정할 수 있다.
[제1 비교식]
Bp > Ba + T
(여기에서, Bp: 피 비교대상 밝기, Ba: 비교 대상 밝기, T: 밝기 차 기준)
상기 기준 템플릿 생성 모듈은 상기 피처 템플릿을 누적시키는 과정에서 상기 밝기 차 테이블의 각 테이블 값을 카운트하고 데이터셋 카운트에 관한 다음의 제2 비교식을 통해 상기 기준 템플릿의 각 테이블 값을 결정할 수 있다.
[제2 비교식]
Ct >= Cds - 1
(여기에서, Ct: 각 테이블 값, Cds: 데이터셋 카운트)
상기 로프 이상 진단부는 상기 승강기의 운행 과정에서 연속되어 촬영된 복수의 로프 영상들 각각의 오류도를 기초로 산출되는 오류도 변화율이 특정 임계값을 초과하는 경우 해당 오류도 변화율과 연관된 구간을 이상 구간으로 결정하고 해당 이상 구간에서 상기 진단 영역 내에 존재하는 로프에 대한 이상을 결정할 수 있다.
실시예들 중에서, 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 방법은 영상 취득 단말로부터 승강기에 연결된 로프를 촬영한 로프 영상을 수신하는 단계, 상기 로프의 전체 구간에 대해 상기 로프 영상을 기초로 영역별 평균 밝기와 상대 밝기를 산출하여 피처 템플릿을 생성하는 단계, 상기 피처 템플릿과 기준 템플릿 간의 비교를 통해 상기 로프 영상의 영역별 평균 밝기의 일치 여부를 결정하고 상기 일치 여부의 결과를 기초로 상기 피처 템플릿에 대한 오류도를 산출하는 단계 및 상기 영역별 평균 밝기의 불일치가 결정된 지점을 중심으로 진단 영역을 생성하고 해당 진단 영역에 대한 오류도 변화율을 산출하여 상기 로프의 이상 유무를 결정하는 단계를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법은 대량의 데이터의 실시간 처리 속도 향상을 위한 영상 세그멘테이션 후 영역의 평균 밝기의 상대 템플릿을 구하여 매칭하는 방법으로 속도를 개선할 수 있다.
본 발명의 일 실시예에 따른 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법은 영상 취득 단말의 편차, 광원 환경에 따른 오류 최소화를 위하여 각 구역의 상대 밝기를 구하여 피처 템플릿으로 생성함으로써 주위 환경에 영향을 받지 않고 로프의 이상유무를 판단할 수 있고, 사전에 사고를 예방하여 승객의 안전을 확보할 수 있다.
도 1은 본 발명의 일 실시예에 따른 승강기 로프 진단 영상 처리 시스템을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치의 기능적 구성을 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치에서 수행되는 승강기 로프 진단 영상 처리 과정을 설명하는 순서도이다.
도 4 내지 7은 본 발명의 일 실시예에 따른 승강기 로프 진단 영상 처리 과정을 설명하는 예시도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
승강기는 고층 건물 내에서 사용자가 원하는 행선층으로 이동시킬 수 있는 장치에 해당할 수 있다. 승강기는 작동 방식에 따라 로프식, 유압식, 권동식, 순환식 등으로 분류할 수 있다. 승강기는 승강기 관리 시스템의 제어에 따라 운행될 수 있다. 승강기는 승강기 내부 또는 외부에 적어도 하나의 센서를 포함하여 구현될 수 있고, 승강기 관리 시스템은 적어도 하나의 센서로부터 수집한 정보를 이용하여 승강기의 운행을 제어하거나 또는 사용자에게 유용한 기능을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 승강기 로프 진단 영상 처리 시스템을 설명하는 도면이다.
도 1을 참조하면, 승강기 로프 진단 영상 처리 시스템(100)은 영상 취득 단말(110), 영상 처리 장치(130) 및 데이터베이스(150)를 포함할 수 있다.
영상 취득 단말(110)은 승강기와 연결된 로프에 관한 영상을 생성하는 컴퓨팅 장치에 해당할 수 있고, 기본적으로 영상 촬영이 가능한 적어도 하나의 카메라를 포함하여 구현될 수 있으나, 반드시 이에 한정되지 않고, 카메라를 포함하는 스마트폰, 노트북 및 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 영상 취득 단말(110)은 영상 처리 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 영상 취득 단말(110)들은 영상 처리 장치(130)와 동시에 연결될 수 있다.
영상 처리 장치(130)는 영상 취득 단말(110)로부터 로프 영상을 수신하여 로프 이상을 진단할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 영상 처리 장치(130)는 영상 취득 단말(110)과 블루투스, WiFi, 통신망 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 영상 취득 단말(110)과 데이터를 주고받을 수 있다.
일 실시예에서, 영상 처리 장치(130)는 데이터베이스(150)와 연동하여 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 과정에서 필요한 정보를 저장할 수 있다. 한편, 영상 처리 장치(130)는 도 1과 달리, 데이터베이스(150)를 내부에 포함하여 구현될 수 있다. 또한, 영상 처리 장치(130)는 프로세서, 메모리, 사용자 입출력부 및 네트워크 입출력부를 포함하여 구현될 수 있다.
데이터베이스(150)는 영상 처리 장치(130)가 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 과정에서 필요한 다양한 정보들을 저장할 수 있다. 예를 들어, 데이터베이스(150)는 영상 취득 단말(110)로부터 수신된 로프 영상을 저장할 수 있고, 로프 영상을 기초로 생성된 템플릿에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 로프 영상을 분석하고 로프 이상을 진단하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치의 기능적 구성을 설명하는 블록도이다.
도 2를 참조하면, 영상 처리 장치(130)는 로프 영상 수신부(210), 피처 템플릿 생성부(230), 템플릿 오류도 산출부(250), 로프 이상 진단부(270) 및 제어부(290)를 포함할 수 있다.
로프 영상 수신부(210)는 영상 취득 단말(110)로부터 승강기에 연결된 로프를 촬영한 로프 영상을 수신할 수 있다. 로프 영상 수신부(210)는 승강기 운행 과정에서 촬영된 로프 영상을 실시간으로 수신하여 데이터베이스(150)에 저장할 수 있다. 영상 취득 단말(110)은 내부 저장 장치에 촬영된 로프 영상을 별도로 저장할 수 있고, 이 경우 로프 영상 수신부(210)는 영상 취득 단말(110)로부터 주기적으로 로프 영상을 수신할 수 있다.
피처 템플릿 생성부(230)는 로프의 전체 구간에 대해 로프 영상을 기초로 영역별 평균 밝기와 상대 밝기를 산출하여 피처 템플릿을 생성할 수 있다. 여기에서, 피처 템플릿(feature template)은 로프 영상으로부터 추출된 특징 정보로서 이상 진단을 위해 미리 정의된 형식 또는 구조로 표현될 수 있다. 예를 들어, 피처 템플릿은 로프 영상에 대응되는 위치 정보와 특징 정보를 포함하는 테이블 형태로 구현될 수 있다.
보다 구체적으로, 피처 템플릿 생성부(230)는 대량의 영상 데이터에 대한 실시간 처리 속도 향상을 위하여 영상 세그멘테이션(segmentation)을 수행한 후 각 영역의 평균 밝기를 산출할 수 있다. 피처 템플릿 생성부(230)는 영상 취득 단말(110)의 편차, 광원 환경에 따른 오류 최소화를 위하여 영역별 평균 밝기를 기초로 각 영역의 상대 밝기를 산출하여 피처 템플릿을 생성할 수 있다. 피처 템플릿 생성부(230)는 로프 영상의 경우 로프와 배경의 두가지 밝기로 표현될 수 있다는 점을 활용하여 피처 템플릿을 생성할 수 있다.
일 실시예에서, 피처 템플릿 생성부(230)는 로프 영상에 대한 기울기 보정 및 영점 보상을 처리하는 로프 영상 전처리 모듈, 전처리된 상기 로프 영상을 r * c(상기 r 및 c는 자연수)의 고정된 크기로 분할하여 복수의 영상 영역들을 생성하는 영상 세그멘테이션 모듈, 복수의 영상 영역들 각각의 평균 밝기를 영역 피처(feature)로 산출하고 영역 피처를 이용하여 영역별 밝기 차 테이블을 피처 템플릿으로서 생성하는 피처 템플릿 생성 모듈 및 피처 템플릿 생성 모듈에 의해 반복적으로 생성되는 피처 템플릿을 누적시켜 기준 템플릿을 생성하는 기준 템플릿 생성 모듈을 포함할 수 있다.
로프 영상 전처리 모듈은 로프 영상을 영상 처리를 할 수 있는 형태로 전처리(pre-processing)하는 동작을 수행할 수 있다. 로프 영상 전처리 모듈은 로프 영상에 대한 기울임(skew) 보정 및 영점 보상을 처리할 수 있다.
영상 세그멘테이션 모듈은 로프 영상에 대해 로프를 기준으로 영역을 세그멘테이션(segmentation)할 수 있다. 영상 세그멘테이션 모듈은 로프 영상 전처리 모듈에 의해 전처리된 로프 영상을 r * c(상기 r 및 c는 자연수)의 고정된 크기로 분할하여 복수의 영상 영역들을 생성할 수 있다. 이 때, 고정 크기로서 행의 크기 r과 열의 크기 c는 영상 처리 장치(130)에 의해 사전에 결정될 수 있다.
피처 템플릿 생성 모듈은 영역별 평균 밝기 및 상대 밝기를 계산하여 피처 템플릿(template)을 생성할 수 있다. 보다 구체적으로, 피처 템플릿 생성 모듈은 복수의 영상 영역들 각각의 평균 밝기를 해당 영역의 피처(feature), 즉 영역 피처로 산출하고 영역 피처를 기초로 영역별 밝기 차 테이블을 피처 템플릿으로서 생성할 수 있다. 여기에서, 밝기 차 테이블은 분할된 영역들의 평균 밝기 간의 차이에 관한 정보를 기초로 생성될 수 있고, 가로축이 피 비교대상인 영역들에 대응되고, 세로축이 비교대상인 영역들에 대응될 수 있다.
기준 템플릿 생성 모듈은 피처 템플릿 생성 모듈에 의해 반복적으로 생성되는 피처 템플릿을 누적시켜 기준 템플릿을 생성할 수 있다. 보다 구체적으로, 기준 템플릿 생성 모듈은 로프의 전체 구간을 복수의 구간들로 분할할 수 있고, 복수의 구간들에 대해 반복적으로 생성되는 피처 템플릿을 누적시켜 데이터 중에서 유의미한 데이터만을 추출할 수 있다. 기준 템플릿 생성 모듈은 그 결과로서 로프 이상 진단에 사용될 수 있는 최종 피처 템플릿을 기준 템플릿으로 생성할 수 있다. 따라서, 기준 템플릿은 실시간으로 생성된 피처 템플릿 과의 비교를 통해 이상 여부를 판단할 수 있는 지표로서 활용될 수 있다.
일 실시예에서, 피처 템플릿 생성 모듈은 복수의 영상 영역들의 개수를 각각 행과 열의 크기로 하는 N * N(상기 N = r * c) 테이블을 밝기 차 테이블로서 생성하고, 밝기 차 기준에 관한 다음의 제1 비교식을 통해 각 테이블 값을 결정할 수 있다.
[제1 비교식]
Bp > Ba + T
여기에서, Bp: 피 비교대상 밝기, Ba: 비교 대상 밝기, T: 밝기 차 기준에 해당할 수 있다.
예를 들어, 로프 영상이 r개의 행과 c개의 열로 분할된 경우 총 r*c개의 영역들이 생성될 수 있고, 피처 템플릿 생성 모듈은 가로축 및 세로축 모두 크기가 r*c인 밝기 차 테이블을 생성될 수 있다.
또한, 피처 템플릿 생성 모듈은 영역별 평균 밝기를 비교하여 상대적으로 밝은 영역을 구별할 수 있고, 이를 위하여 제1 비교식을 활용할 수 있다. 이 때, 밝기 차 기준은 영역별 밝기 평균을 비교하기 위한 기준(threshold) 값에 해당할 수 있고, 기준 경계선 값 로프의 밝기로서 결정할 수 있다. 즉, 피처 템플릿 생성 모듈은 영역별 평균 밝기 간의 차이가 기준값 이상인 경우를 검출하여 피처 템플릿으로 정리할 수 있다.
일 실시예에서, 기준 템플릿 생성 모듈은 피처 템플릿을 누적시키는 과정에서 밝기 차 테이블의 각 테이블 값을 카운트하고 데이터셋 카운트에 관한 다음의 제2 비교식을 통해 기준 템플릿의 각 테이블 값을 결정할 수 있다.
[제2 비교식]
Ct >= Cds - 1
여기에서, Ct: 각 테이블 값, Cds: 데이터셋 카운트에 해당할 수 있다.
즉, 기준 템플릿 생성 모듈은 반복적으로 생성되는 피처 템플릿의 각 테이블 값을 카운트(count)하여 그 카운트 값(Ct)을 데이터셋 카운트(Cds)와 비교하여 기준 템플릿을 생성할 수 있다. 이 때, 데이터셋 카운트(Cds)는 영상 처리 장치(130)에 의해 사전에 설정될 수 있다. 또한, 기준 템플릿 생성 모듈은 제2 비교식을 충족하는 경우 해당 테이블 값을 1로 설정하고, 충족하지 않는 경우 해당 테이블 값을 0으로 설정할 수 있다.
템플릿 오류도 산출부(250)는 피처 템플릿과 기준 템플릿 간의 비교를 통해 로프 영상의 영역별 평균 밝기의 일치 여부를 결정하고 일치 여부의 결과를 기초로 피처 템플릿에 대한 오류도를 산출할 수 있다. 템플릿 오류도 산출부(250)는 피처 템플릿과 기준 템플릿 간의 대응되는 테이블 값들 간의 비교를 통해 일치 여부를 결정할 수 있다.
또한, 템플릿 오류도 산출부(250)는 전체 검사 개수에 대한 비일치 개수의 비율로서 일치 여부에 관한 오류도를 산출할 수 있다. 이 때, 비일치 개수는 전체 검사 개수와 일치 개수의 차이에 해당할 수 있다.
로프 이상 진단부(270)는 영역별 평균 밝기의 불일치가 결정된 지점을 중심으로 진단 영역을 생성하고 해당 진단 영역에 대한 오류도 변화율을 산출하여 로프의 이상 유무를 결정할 수 있다. 진단 영역은 로프 이상이 의심되는 영역으로서 영상 처리 장치(130)에 의해 설정된 크기에 따라 불일치가 결정된 지점을 중심으로 결정될 수 있다. 즉, 로프 이상 진단부(270)는 실시간 비교 결과 일치하지 않는 세그멘테이션 영역을 중심으로 오류도의 변화 상태의 추이를 계산하여 로프의 이상 유무를 판단할 수 있다.
일 실시예에서, 로프 이상 진단부(270)는 승강기의 운행 과정에서 연속되어 촬영된 복수의 로프 영상들 각각의 오류도를 기초로 산출되는 오류도 변화율이 특정 임계값을 초과하는 경우 해당 오류도 변화율과 연관된 구간을 이상 구간으로 결정하고 해당 이상 구간에서 진단 영역 내에 존재하는 로프에 대한 이상을 결정할 수 있다. 로프 이상 진단부(270)는 순차적으로 생성되는 피처 템플릿을 기준 템플릿과 실시간 비교하여 오류도를 산출할 수 있고, 연속적으로 산출되는 오류도 간의 변화에 따라 오류도 변화율을 산출할 수 있다. 로프 이상 진단부(270)는 오류도 변화율이 미리 설정된 임계값을 초과하여 급격히 변화하는 구간을 해당 구간의 로프들 중에서 진단 영역에 해당되는 로프에 대해 이상이 발생한 것으로 결정할 수 있다.
제어부(290)는 영상 처리 장치(130)의 전체적인 동작을 제어하고, 로프 영상 수신부(210), 피처 템플릿 생성부(230), 템플릿 오류도 산출부(250) 및 로프 이상 진단부(270) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치에서 수행되는 승강기 로프 진단 영상 처리 과정을 설명하는 순서도이다.
도 3을 참조하면, 영상 처리 장치(130)는 로프 영상 수신부(210)를 통해 영상 취득 단말(110)로부터 승강기에 연결된 로프를 촬영한 로프 영상을 수신할 수 있다(단계 S310). 영상 처리 장치(130)는 피처 템플릿 생성부(230)를 통해 로프의 전체 구간에 대해 로프 영상을 기초로 영역별 평균 밝기와 상대 밝기를 산출하여 피처 템플릿을 생성할 수 있다(단계 S330).
또한, 영상 처리 장치(130)는 템플릿 오류도 산출부(250)를 통해 피처 템플릿과 기준 템플릿 간의 비교를 통해 로프 영상의 영역별 평균 밝기의 일치 여부를 결정하고 일치 여부의 결과를 기초로 피처 템플릿에 대한 오류도를 산출할 수 있다(단계 S350). 영상 처리 장치(130)는 로프 이상 진단부(270)를 통해 영역별 평균 밝기의 불일치가 결정된 지점을 중심으로 진단 영역을 생성하고 해당 진단 영역에 대한 오류도 변화율을 산출하여 로프의 이상 유무를 결정할 수 있다(단계 S370).
도 4 내지 7은 본 발명의 일 실시예에 따른 승강기 로프 진단 영상 처리 과정을 설명하는 예시도이다.
도 4 내지 7을 참조하면, 그림 (a)의 경우 영상 처리 장치(130)는 영상 취득 단말(110)로부터 로프 영상을 취득할 수 있다. 그림 (b)의 경우 영상 처리 장치(130)는 로프 영상에 대해 전처리(pre-processing)하여 영상 처리를 할 수 있는 형태로 변환할 수 있다. 그림 (c)의 경우 영상 처리 장치(130)는 로프 영상의 영역을 분리하고 각 영역의 위치를 설정할 수 있다. 이 때, 행의 크기 r과 열의 크기 c는 사전에 설정될 수 있고, 결과적으로 로프 영상을 r * c 개의 영역들로 분할 수 있다.
그림 (d)의 경우 영상 처리 장치(130)는 분할된 영역의 평균 밝기를 특징(feature) 정보로서 산출할 수 있고, 영역별 평균 밝기를 기초로 밝기 차 테이블을 생성할 수 있다. 영상 처리 장치(130)는 영역별 밝기 평균을 비교하여 밝은 영역을 구별할 수 있으며, 이 때, 제1 비교식이 활용될 수 있다. 영상 처리 장치(130)는 비교 결과를 테이블로 정리할 수 있고, 그림 (d)같은 표로 정리될 수 있다. 이 때, 가로축은 피 비교대상(530), 세로축은 비교대상(510)에 해당할 수 있고, 가로축 및 세로축의 크기는 분할된 영역들의 개수(N)와 동일할 수 있다.
그림 (e)의 경우 영상 처리 장치(130)는 로프 설치 시 반복 이동 전 구간을 반복 수행하여 누적된 데이터를 Count로 결정할 수 있다. 즉, 전체 인덱스 수(M)만큼 산출될 수 있다.
그림 (f)의 경우 영상 처리 장치(130)는 누적된 Count와 Data Set Count를 비교하여 조건에 맞는 경우 1, 아니면 0으로 테이블 값을 결정할 수 있다. 영상 처리 장치(130)는 계산된 테이블을 기준 템플릿으로 설정하여 로프 영상에 대한 실시간 비교 시 활용할 수 있다. 이 때, 기준 템플릿 성립 조건은 피처 템플릿의 각 테이블 값의 누적 Count가 Data Set Count - 1보다 크거나 같은 경우에 해당할 수 있다.
그림 (g)의 경우 영상 처리 장치(130)는 기준 템플릿과 영상 템플릿 간의 영역별 평균 밝기의 차이를 판단할 수 있다. 즉, 영상 처리 장치(130)는 도 6의 그림 (f)의 기준 템플릿과 그림 (g)의 영상 템플릿 간의 비교를 통해 2개의 불일치 영역(710)을 검출할 수 있다.
이 때, 영상 처리 장치(130)는 비교 결과를 기초로 오류도를 산출할 수 있으며, 오류도는 전체 검사 개수에 대한 비일치 개수의 비율로서 산출될 수 있다. 비일치 개수는 전체 검사 개수와 일치 개수 간의 차이에 해당할 수 있다. 예를 들어, 그림(g)의 경우 전체 검사 개수는 N * N개 이고, 비일치 개수는 2이므로 오류도는 (전체 검사 개수 - 일치 개수) / 전체 검사 개수 = 2 / N2 에 해당할 수 있다.
결과적으로, 영상 처리 장치(130)는 일치하지 않는 Segmentation 영역을 중심으로 오류도의 변화 상태의 추이를 계산하여 로프의 이상 유무를 판단할 수 있다. 따라서, 영상 처리 장치(130)는 로프 영상 진단 시 발생할 수 있는 속도 문제를 상대 밝기 템플릿 매칭 방법을 통해 해결할 수 있다. 즉, 영상 처리 장치(130)는 대량의 데이터의 실시간 처리 속도 향상을 위한 영상 세그멘테이션 후 영역의 평균 밝기의 상대 템플릿을 구하여 매칭하는 방법으로 속도를 개선할 수 있다.
또한, 영상 처리 장치(130)는 영상 취득 단말의 편차, 광원 환경에 따른 오류 최소화를 위하여 각 구역의 상대 밝기를 구하여 피처 템플릿으로 생성함으로써 주위 환경에 영향을 받지 않고 로프의 이상유무를 판단할 수 있고, 사전에 사고를 예방하여 승객의 안전을 확보할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 승강기 로프 진단 영상 처리 시스템
110: 영상 취득 단말 130: 영상 처리 장치
150: 데이터베이스
210: 로프 영상 수신부 230: 피처 템플릿 생성부
250: 템플릿 오류도 산출부 270: 로프 이상 진단부
290: 제어부
510: 비교대상 530: 피 비교대상
710: 불일치 영역

Claims (6)

  1. 영상 취득 단말로부터 승강기에 연결된 로프를 촬영한 로프 영상을 수신하는 로프 영상 수신부;
    상기 로프의 전체 구간에 대해 상기 로프 영상을 기초로 영역별 평균 밝기와 상대 밝기를 산출하여 피처 템플릿- 상기 피처 템플릿은 상기 로프 영상을 분할한 복수의 영상 영역들 각각의 평균 밝기에 관한 영역별 밝기 차 테이블로 생성되고 각 테이블 값은 밝기 차 기준이 적용된 상대 밝기에 따라 결정됨 -을 생성하는 피처 템플릿 생성부;
    상기 피처 템플릿과 기준 템플릿 간의 비교를 통해 상기 로프 영상의 영역별 평균 밝기의 일치 여부를 결정하고 상기 일치 여부의 결과를 기초로 상기 피처 템플릿에 대한 오류도를 산출하는 템플릿 오류도 산출부; 및
    상기 영역별 평균 밝기의 불일치가 결정된 지점을 중심으로 진단 영역을 생성하고 해당 진단 영역에 대한 오류도 변화율을 산출하여 상기 로프의 이상 유무를 결정하는 로프 이상 진단부를 포함하되,
    상기 피처 템플릿 생성부는 상기 로프 영상에 대한 기울임 보정 및 영점 보상을 처리하는 로프 영상 전처리 모듈; 전처리된 상기 로프 영상을 r * c(상기 r 및 c는 자연수)의 고정된 크기로 분할하여 복수의 영상 영역들을 생성하는 영상 세그멘테이션 모듈; 상기 복수의 영상 영역들 각각의 평균 밝기를 영역 피처(feature)로 산출하고 상기 영역 피처를 이용하여 영역별 밝기 차 테이블을 상기 피처 템플릿으로서 생성하는 피처 템플릿 생성 모듈; 및 상기 피처 템플릿 생성 모듈에 의해 반복적으로 생성되는 피처 템플릿을 누적시켜 상기 기준 템플릿을 생성하는 기준 템플릿 생성 모듈을 포함하는 것을 특징으로 하는 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치.
  2. 삭제
  3. 제1항에 있어서, 상기 피처 템플릿 생성 모듈은
    상기 복수의 영상 영역들의 개수를 각각 행과 열의 크기로 하는 N * N(상기 N = r * c) 테이블을 상기 밝기 차 테이블로서 생성하고, 밝기 차 기준에 관한 다음의 제1 비교식을 통해 각 테이블 값을 결정하는 것을 특징으로 하는 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치.
    [제1 비교식]
    Bp > Ba + T
    (여기에서, Bp: 피 비교대상 밝기, Ba: 비교 대상 밝기, T: 밝기 차 기준)
  4. 제3항에 있어서, 상기 기준 템플릿 생성 모듈은
    상기 피처 템플릿을 누적시키는 과정에서 상기 밝기 차 테이블의 각 테이블 값을 카운트하고 데이터셋 카운트에 관한 다음의 제2 비교식을 통해 상기 기준 템플릿의 각 테이블 값을 결정하는 것을 특징으로 하는 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치.
    [제2 비교식]
    Ct >= Cds - 1
    (여기에서, Ct: 각 테이블 값, Cds: 데이터셋 카운트)
  5. 제1항에 있어서, 상기 로프 이상 진단부는
    상기 승강기의 운행 과정에서 연속되어 촬영된 복수의 로프 영상들 각각의 오류도를 기초로 산출되는 오류도 변화율이 특정 임계값을 초과하는 경우 해당 오류도 변화율과 연관된 구간을 이상 구간으로 결정하고 해당 이상 구간에서 상기 진단 영역 내에 존재하는 로프에 대한 이상을 결정하는 것을 특징으로 하는 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치.
  6. 승강기 로프 진단 영상 처리 장치에서 수행되는 방법에 있어서,
    영상 취득 단말로부터 승강기에 연결된 로프를 촬영한 로프 영상을 수신하는 단계;
    상기 로프의 전체 구간에 대해 상기 로프 영상을 기초로 영역별 평균 밝기와 상대 밝기를 산출하여 피처 템플릿- 상기 피처 템플릿은 상기 로프 영상을 분할한 복수의 영상 영역들 각각의 평균 밝기에 관한 영역별 밝기 차 테이블로 생성되고 각 테이블 값은 밝기 차 기준이 적용된 상대 밝기에 따라 결정됨 -을 생성하는 단계;
    상기 피처 템플릿과 기준 템플릿 간의 비교를 통해 상기 로프 영상의 영역별 평균 밝기의 일치 여부를 결정하고 상기 일치 여부의 결과를 기초로 상기 피처 템플릿에 대한 오류도를 산출하는 단계; 및
    상기 영역별 평균 밝기의 불일치가 결정된 지점을 중심으로 진단 영역을 생성하고 해당 진단 영역에 대한 오류도 변화율을 산출하여 상기 로프의 이상 유무를 결정하는 단계를 포함하되,
    상기 피처 템플릿을 생성하는 단계는 상기 로프 영상에 대한 기울임 보정 및 영점 보상을 처리하는 단계; 전처리된 상기 로프 영상을 r * c(상기 r 및 c는 자연수)의 고정된 크기로 분할하여 복수의 영상 영역들을 생성하는 단계; 상기 복수의 영상 영역들 각각의 평균 밝기를 영역 피처(feature)로 산출하고 상기 영역 피처를 이용하여 영역별 밝기 차 테이블을 상기 피처 템플릿으로서 생성하는 단계; 및 피처 템플릿 생성 모듈에 의해 반복적으로 생성되는 피처 템플릿을 누적시켜 상기 기준 템플릿을 생성하는 단계를 포함하는 것을 특징으로 하는 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 방법.
KR1020190139560A 2019-11-04 2019-11-04 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법 KR102334334B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190139560A KR102334334B1 (ko) 2019-11-04 2019-11-04 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190139560A KR102334334B1 (ko) 2019-11-04 2019-11-04 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210053664A KR20210053664A (ko) 2021-05-12
KR102334334B1 true KR102334334B1 (ko) 2021-12-06

Family

ID=75919028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190139560A KR102334334B1 (ko) 2019-11-04 2019-11-04 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102334334B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5769875B2 (ja) * 2012-03-28 2015-08-26 三菱電機株式会社 ワイヤロープ検査装置
KR101292073B1 (ko) 2013-03-04 2013-07-31 정평기 와이어 로프 손상 검출 및 확인장치
KR101695531B1 (ko) * 2015-02-02 2017-01-11 어경인 비전영상 기반 객체 검사 인증 시스템
JP6505316B2 (ja) 2016-04-22 2019-04-24 三菱電機株式会社 ロープ損傷診断検査装置

Also Published As

Publication number Publication date
KR20210053664A (ko) 2021-05-12

Similar Documents

Publication Publication Date Title
CN110642109B (zh) 升降设备的振动检测方法、装置、服务器及存储介质
AU2012304678B2 (en) Measurement of belt wear through edge detection of a raster image
US11024019B2 (en) Image-based maintenance prediction and detection of operating errors
US10994968B2 (en) Elevator rope elongation measuring device
US8938117B2 (en) Pattern recognition apparatus and method therefor configured to recognize object and another lower-order object
JP5351925B2 (ja) スチールコードを含む移送機構用長尺部材の点検装置及び点検方法
EP3505480B1 (en) Elevator inspection using automated sequencing of camera presets
JP6329304B1 (ja) ロープ検査装置
EP4137901A1 (en) Deep-learning-based real-time process monitoring system, and method therefor
KR102265298B1 (ko) 머신러닝에 의해 생성된 가상 데이터를 이용한 고장 진단 방법 및 장치
CN111062303A (zh) 图像处理方法、系统及计算机存储介质
CN116402863B (zh) 一种建筑施工监控数据智能分析及预警系统
CN110909657A (zh) 一种隧道表观病害图像识别的方法
JP2015020863A (ja) エレベータ長尺物点検装置およびエレベータ長尺物点検方法
KR102334334B1 (ko) 상대 밝기 템플릿을 이용한 승강기 로프 진단 영상 처리 장치 및 방법
CN112085787B (zh) 一种基于单目视觉的提升钢丝绳空间振动测量方法
KR102348335B1 (ko) Ir 반사판을 이용한 승강기 로프 진단 장치 및 방법
KR102428326B1 (ko) 인공지능 기반의 결함 탐지 방법 및 시스템
JP4796535B2 (ja) 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム
JP6845169B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2015106408A (ja) 画像処理装置及び画像処理方法
JP2013203484A (ja) 乗客コンベア
CN113792658B (zh) 一种全过程智能监测的动火作业闭环自动管控方法及系统
KR20200099863A (ko) 대상물의 분석 방법
WO2015158961A1 (en) Calcium level analysis

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant