KR20190105760A - 영상 처리에 기반한 전기철도 팬터그래프 모니터링 장치 및 방법 - Google Patents

영상 처리에 기반한 전기철도 팬터그래프 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR20190105760A
KR20190105760A KR1020180026256A KR20180026256A KR20190105760A KR 20190105760 A KR20190105760 A KR 20190105760A KR 1020180026256 A KR1020180026256 A KR 1020180026256A KR 20180026256 A KR20180026256 A KR 20180026256A KR 20190105760 A KR20190105760 A KR 20190105760A
Authority
KR
South Korea
Prior art keywords
image
ccd
pantograph
weight
pixel value
Prior art date
Application number
KR1020180026256A
Other languages
English (en)
Inventor
박영
이기원
임헌영
김창회
Original Assignee
한국철도기술연구원
(주)유엔아이솔루션즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국철도기술연구원, (주)유엔아이솔루션즈 filed Critical 한국철도기술연구원
Priority to KR1020180026256A priority Critical patent/KR20190105760A/ko
Publication of KR20190105760A publication Critical patent/KR20190105760A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L5/00—Current collectors for power supply lines of electrically-propelled vehicles
    • B60L5/18—Current collectors for power supply lines of electrically-propelled vehicles using bow-type collectors in contact with trolley wire
    • B60L5/22—Supporting means for the contact bow
    • B60L5/24—Pantographs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60M—POWER SUPPLY LINES, AND DEVICES ALONG RAILS, FOR ELECTRICALLY- PROPELLED VEHICLES
    • B60M1/00—Power supply lines for contact with collector on vehicle
    • B60M1/12—Trolley lines; Accessories therefor
    • B60M1/28—Manufacturing or repairing trolley lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2200/00—Type of vehicles
    • B60L2200/26—Rail vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/30—Railway vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/16—Information or communication technologies improving the operation of electric vehicles

Abstract

전기철도 팬터그래프 모니터링 장치 및 방법을 제공한다. 전기철도 팬터그래프 모니터링 장치는, CCD 카메라 장치로부터 전기철도차량의 팬터그래프를 촬영한 CCD 영상을 수신하고 IR 카메라 장치로부터 상기 팬터그래프를 촬영한 IR 영상을 수신하는 통신모듈, 팬터그래프 모니터링 프로그램이 저장된 메모리, 및 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 이때, 프로세서는 팬터그래프 모니터링 프로그램의 실행에 따라, 통신모듈을 통해 입력된 CCD 영상 및 IR 영상 별 화소값에 대한 통계 정보에 기초하여 가중치를 산출하고, 입력된 CCD 영상 및 IR 영상의 화소값에 가중치를 적용한 가중합을 통해 영상 융합을 처리하고, 영상 융합의 결과에 따른 융합 영상을 팬터그래프 모니터링용 영상으로서 출력한다.

Description

영상 처리에 기반한 전기철도 팬터그래프 모니터링 장치 및 방법{PANTOGRAPH MONITORING APPARATUS AND METHOD FOR ELECTRIC RAILWAY BASED ON IMAGE PROCESSING}
본 발명은 영상 처리에 기반하여 비접촉식으로 전기철도차량의 팬터그래프를 모니터링하는 장치 및 방법에 대한 것이다.
팬터그래프는 전기에너지를 공급하는 전차선과 접촉하여 전기철도차량에 전기에너지를 공급한다. 이러한 팬터그래프는 운행 중에 전차선과 기계적으로 접촉되므로 마모 및 진동이 발생되며, 비접촉시에는 전기에너지가 방전되는 아크 현상이 발생된다. 전기철도차량의 과속도, 선로 이상 및 아크 발생 등 다양한 원인에 의해 팬터그래프 이상 진동이 발생되며, 이러한 팬터그래프 이상 진동은 전차선에 피로를 주게 되어 전차선로 및 관련 부품의 손상을 유발시킨다. 이러한 문제를 해결하기 위해 종래에는 전기철도차량의 팬터그래프를 실시간으로 모니터링할 수 있는 다양한 방법이 제안되었다.
이러한 팬터그래프 모니터링 기술과 관련하여, 한국등록특허 제10-1058179 호(발명의 명칭: 팬터그래프 결함 감시 시스템)는 카메라에서 획득된 이미지의 잡음을 제거한 팬터그래프의 현재이미지를 기준이미지와 비교하여 결함여부를 판정하는 기술이 개시되어 있다.
한편, 기존의 팬터그래프 모니터링 방식에서는 팬터그래프의 주변에 CCD 카메라를 배치하여 팬터그래프 영상을 획득하였다. 그러나 CCD 카메라만 사용하여 팬터그래프 영상을 획득할 경우, 야간 또는 터널 등의 조건에서는 정밀한 영상 획득이 어려우며, 특히 터널 입출구에서 발생되는 조도의 변화로 인해 연속 영상 획득 또한 어렵다. 특히, 전기철도는 터널 입출구에서 전차선의 높이 차이와 터널 내부의 구조변화에 대비하여 정밀한 검측이 이루어져야 하나, 조도의 차이로 인해 CCD카메라에 백화 현상이 발생될 수 있다.
따라서, 위와 같이 CCD 카메라에 의해 촬영된 팬터그래프 영상에서 발생될 수 있는 여러 문제점들을 해결 및 보완할 수 있는 새로운 팬터그래프 모니터링 방법이 필요하다.
본 발명은 전술한 문제점을 해결하기 위하여, 다변적인 전기철도 운행 환경에서 CCD 카메라로 촬영된 팬터그래프 영상에서 발생될 수 있는 문제점을 보완 또는 해결하여, 팬터그래프와 전차선 간의 접촉 상태를 상세하게 모니터링할 수 있는 팬터그래프 영상을 제공하는 전기철도 팬터그래프 모니터링 장치 및 방법을 제공하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 더 존재할 수 있다.
상기와 같은 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따른 전기철도 팬터그래프 모니터링 장치는, CCD 카메라 장치로부터 전기철도차량의 팬터그래프를 촬영한 CCD 영상을 수신하고, IR 카메라 장치로부터 상기 팬터그래프를 촬영한 IR 영상을 수신하는 통신모듈; 팬터그래프 모니터링 프로그램이 저장된 메모리; 및 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하되, 상기 프로세서는 상기 팬터그래프 모니터링 프로그램의 실행에 따라, 상기 통신모듈을 통해 입력된 CCD 영상 및 IR 영상 별 화소값에 대한 통계 정보에 기초하여 가중치를 산출하고, 상기 입력된 CCD 영상 및 IR 영상의 화소값에 상기 산출된 가중치를 적용한 가중합을 통해 영상 융합을 처리하고, 영상 융합의 결과에 따른 융합 영상을 팬터그래프 모니터링용 영상으로서 출력한다.
또한, 본 발명의 다른 측면에 따른 전기철도 팬터그래프 모니터링 방법은, 전기철도차량의 팬터그래프를 촬영한 CCD 영상과, 상기 팬터그래프를 촬영한 IR 영상을 입력받는 단계; 상기 입력된 CCD 영상 및 IR 영상 별 화소값에 대한 통계 정보에 기초하여 가중치를 계산하는 단계; 상기 산출된 가중치를 상기 입력된 CCD 영상 및 IR 영상의 화소값에 적용하여 가중합을 통해 영상 융합을 처리하는 단계; 및 상기 영상 융합의 결과에 따른 융합 영상을 팬터그래프 모니터링용 영상으로 출력하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, CCD 카메라와 IR 카메라를 동시에 사용하는 이종 센서 기법을 적용한 영상 처리를 통해, CCD 영상에 포함된 색상 및 형태 정보에 IR 영상에 포함된 팬터그래프와 전차선의 마찰로 발생하는 상대적인 온도 차이에 대한 정보를 하나의 영상으로 융합하여 나타낼 수 있다. 이를 통해, 야간 및 터널 등 CCD 영상으로부터 양질의 영상 정보를 획득하기 어려운 환경에서도, 팬터그래프 영상 내 객체들 및 그 특징을 정확하고 정밀하게 검측할 수 있다.
도 1은 본 발명의 일 실시예에 따른 전기철도 팬터그래프 모니터링 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 전기철도 팬터그래프 모니터링 과정을 설명하기 위한 개요도이다.
도 3은 일반적인 영상 정합 처리의 일례이다.
도 4는 본 발명의 일 실시예에 따른 영상 정합 처리 과정을 설명하기 위한 개요도이다.
도 5는 본 발명의 일 실시예에 따른 영상 융합 처리 과정을 설명하기 위한 개요도이다.
도 6은 본 발명의 일 실시예에 따른 영상 융합 처리 결과를 나타낸 예시이다.
도 7은 본 발명의 일 실시예에 따른 정합 및 융합 처리를 수행한 전기철도 팬터그래프 영상의 일례이다.
도 8은 본 발명의 일 실시예에 따른 전기철도 팬터그래프 모니터링 방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 전기철도 팬터그래프 모니터링 장치의 구성도이다.
도 1에서와 같이, 전기철도 팬터그래프 모니터링 장치(100)는 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.
통신모듈(110)은 전기철도차량의 팬터그래프를 촬영하는 CCD(charge-coupled device) 카메라 장치(10) 및 IR(infra-red) 카메라 장치(20)와 각각 데이터 통신을 수행한다.
그리고 통신모듈(110)은 CCD 카메라 장치(10) 및 IR 카메라 장치(20)로부터 각각 팬터그래프 촬영 영상을 실시간으로 수신한다. 참고로, IR 카메라 장치(20)로서 전방 감시 적외선(forward looking infra-red, FLIR) 카메라 장치를 사용할 수 있다.
CCD 카메라 장치(10) 및 IR 카메라 장치(20)는 각각 전기철도차량의 상부 일 위치에 설치되되, 전기철도차량의 운행 중 팬터그래프 및 전차선의 영상을 확보할 수 있는 위치에 설치된다. 이때, CCD 카메라 장치(10) 및 IR 카메라 장치(20)는 서로 동일한 영역을 촬영할 수 있도록 설치 위치, 촬영 방향, 높이, 각도 등이 조절될 수 있다.
참고로, 도 1에서는 전기철도 팬터그래프 모니터링 장치(100)와 CCD 카메라 장치(10) 및 IR 카메라 장치(20)를 분리하여 나타냈으나, 본 발명의 다른 실시예에 따른 전기철도 팬터그래프 모니터링 장치(100)는 자체적으로 CCD 카메라 장치(10) 및 IR 카메라 장치(20)를 포함할 수 있으며 모든 구성들이 일체형으로 구현될 수도 있다.
메모리(120)는 팬터그래프 모니터링 프로그램이 저장되어 있다.
이때, 팬터그래프 모니터링 프로그램은, CCD 카메라 장치(10)를 통해 촬영된 팬터그래프 영상(이하, "CCD 영상"이라고 지칭함)과 IR 카메라 장치(20)를 통해 촬영된 팬터그래프 영상(이하, "IR 영상"이라고 지칭함)을 영상 융합(image fusion)하는 알고리즘을 포함한다. 또한, 팬터그래프 모니터링 프로그램은, 융합된 영상에 기반한 팬터그래프 및 전차선 간의 접촉점 수치화 알고리즘을 더 포함할 수 있다.
이러한 팬터그래프 모니터링 프로그램은 프로세서(130)를 통해 실행되며, 이에 따른 처리들에 대해서는 아래에서 상세히 설명하도록 한다.
메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 플래쉬 메모리, SSD와 같은 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 DRAM, SRAM휘발성 저장장치를 통칭하는 것이다.
또한, 메모리(120)에는 통신모듈(110)을 통해 수집된 실시간 팬터그래프 영상(즉, CCD 영상 및 IR 영상)을 저장하는 저장부(미도시)가 포함될 수 있다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행한다.
이하, 도 2 내지 도 7을 참조하여, 프로세서(130)가 팬터그래프 모니터링 프로그램의 실행하여 처리하는 동작에 대해서 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 전기철도 팬터그래프 검측 과정을 설명하기 위한 개요도이다.
프로세서(130)는 통신모듈(110)을 통해 CCD 카메라 장치(10)로부터 촬영된 데이터(즉, CCD 영상)를 획득하고, IR 카메라 장치(20)로부터 촬영된 데이터(즉, IR 영상)를 획득한다.
도 2에서와 같이, 프로세서(130)는 CCD 카메라 장치(10)로부터 실시간 촬영된 CCD 영상 시퀀스(도 2에서는 'CCD video'로 표시함)를 획득하고, IR 카메라 장치(20)로부터 실시간 촬영된 IR 영상 시퀀스(도 2에서는 'IR video'로 표시함)를 획득할 수 있다. 본 발명의 일 실시예에서는 프로세서(130)가 입력된 CCD 영상 시퀀스 및 IR 영상 시퀀스를 프레임 단위로 구분하여 영상 처리를 수행하는 것을 설명하도록 한다. 즉, CCD 영상 및 IR 영상은 CCD 영상 프레임 및 IR 영상 프레임을 각각 의미한다.
프로세서(130)는 입력된 CCD 영상 및 IR 영상에 대해 각각 기설정된 연산을 수행하여 영상 정합(image registration)을 처리한다. 이때, 프로세서(130)는 CCD 영상에 기준하여 정합된 IR 영상을 생성할 수 있다.
참고로, 영상 정합은, 서로 다른 영상을 변형하여 하나의 좌표계에 나타내는 처리기법이다. 이러한 영상 정합을 통해 서로 다른 측정 방식을 통해 얻은 영상이 서로 어떻게 대응되는지를 알 수 있다. 프로세서(130)가 이러한 영상 정합을 처리하는 과정에 대해서는 아래 도 3 및 도 4를 참조하여 좀 더 상세히 설명하도록 한다.
일반적으로 전기철도차량의 팬터그래프를 촬영한 CCD 영상은, 날씨, 터널 진입 여부, 터널 내 상황, 장애물 여부, 주간 및 야간 등의 환경 조건에 따라 영상의 밝기가 다양하게 촬영된다. 따라서, 환경 조건이 터널 내 진입한 경우 또는 야간과 같이 조도가 낮고 영상 정보 획득이 어려운 환경일 경우에는 CCD 영상을 사용한 팬터그래프 모니터링이 상대적으로 어려울 수 있다.
이에, 도 2에 도시된 바와 같이, 프로세서(130)는 CCD 영상 및 IR 영상에 대한 영상 정합을 처리하기에 앞서, CCD 영상에 대해 환경 식별(environmental recognition) 검사를 수행하고, 환경 식별 결과에 따라 IR영상과의 정합 여부를 결정하는 처리를 먼저 수행할 수도 있다.
이때, 프로세서(130)는 입력 영상 프레임(즉, CCD 영상)의 색상 정보 또는 휘도 정보와 기설정된 기준 영상의 색상 또는 휘도 간의 차이가 임계값 이상인 경우, 팬터그래프 모니터링을 위한 영상 정보를 획득하기 어려운 환경인 것으로 판단하여 환경 식별 검사부터 수행할 수 있다.
한편, CCD 영상은 사람의 눈으로 볼 수 있는 파장 영역 대의 정보를 포함하기 때문에, CCD 영상으로부터 색 정보와 형태 정보(예를 들어, 질감 특성(texture feature))를 획득할 수 있다. 그러나, CCD 영상 내 객체 간 겹침이 있거나 영상 정보가 부족한 저조도 환경에서는, 팬터그래프 모니터링에 필요한 영상 정보를 검출하기 위한 영상 처리 알고리즘들이 제대로 동작하지 않을 수도 있다. 이러한 경우, CCD 영상으로부터 색 또는 형태 정보의 획득이 어렵고 은닉된 객체에 대한 식별이 불가능할 수 있다.
이에 비해, IR 영상은 처리하는 파장 영역이 다르기 때문에, 영상 내 임의의 객체가 다른 객체에 가려진 경우에도 투과하여 영상 정보를 획득할 수 있어, 조도 등의 환경의 영향을 받지 않는다. 그러나, IR 영상은 색과 형태 정보가 부족하여 사용자가 영상을 정확하게 인지하기 어렵다.
팬터그래프와 전차선 간의 마찰이 많이 발생하는 전기철도의 특성상, IR 영상에서 획득되는 온도에 따른 영상 정보는 팬터그래프-전차선 간 접촉점을 찾기 위한 중요한 정보로서 사용될 수 있다.
따라서, 도 2에 도시한 바와 같이, 프로세서(130)는 CCD 영상과 정합된 IR 영상의 정보를 하나로 합치는 영상 융합을 처리하여, 하나의 영상(즉, 융합된 영상)에서 색 정보와 형태 정보를 보유하면서 영상 내 은닉된 객체 검출 및 저조도 상의 가시성을 확보한다.
다음으로, 프로세서(130)는 융합 처리된 CCD 영상 및 IR 영상(이하, "융합된 팬터그래프 영상"으로 지칭함)을 이용하여 팬터그래프 및 팬터그래프-전차선 간의 접촉점 등의 기설정된 타겟 객체를 검출(detection)하고, 검출의 결과에 기초하여 사전에 설정된 후처리(post-processing)을 수행한다. 예를 들어, 후처리는 검출된 팬터그래프-전차선 간의 접촉점을 이용하여 팬터그래프의 정상 상태 또는 비정상 상태를 탐지하는 처리일 수 있다.
이하, 도 3 및 도 4를 참조하여, 프로세서(130)가 CCD 영상 및 IR 영상의 영상 정합을 처리하는 과정에 대해서 상세히 설명하도록 한다.
도 3은 일반적인 영상 정합 처리의 일례이고, 도 4는 본 발명의 일 실시예에 따른 영상 정합 처리 과정을 설명하기 위한 개요도이다.
일반적으로, 융합하고자 하는 2차원 영상들(즉, 동일 영역을 촬영한 CCD 영상 및 IR 영상)은 각각의 해당 화소(pixel) 좌표계 상에서 독립적으로 표현이 되어 있기 때문에, 서로 다른 시점(또는 시야)이거나 이종 센서(즉, CCD 및 IR 센서)를 통해 획득된 영상들은 상대적으로 위치 관계가 어긋나있다.
이러한 문제를 해결하기 위해, 도 3에 도시된 바와 같이, '기준 영상'에 '정합될 영상'을 겹쳐 하나의 좌표계로 정렬시켜 '정합된 영상'을 획득할 수 있다. 이러한 방식으로, 프로세서(130)는 전기철도차량의 팬터그래프를 촬영한 CCD 영상 및 IR 영상을 하나의 좌표계로 정렬시키되, CCD 영상에 기준하여 IR 영상을 겹쳐 정합된 IR 영상을 생성한다.
프로세서(130)는 이종 센서(즉, CCD 및 IR 센서)를 통해 획득한 영상 간의 시야(Field of View, FoV) 차이, 해상도, 대조비 및 잡음 정도의 차이, 야간 및 저조도 환경에서의 CCD 영상 내 특징 수 감소, 단조로운 배경(즉, 변화가 없는 배경)의 영상 내 특징 수 감소를 고려하여 영상 정합을 처리한다.
이에 따라, 프로세서(130)는 이종 센서(즉, CCD 센서 및 IR 센서) 영상의 정합을 위하여, 조명 변화나 잡음에 덜 민감한 특징들을 이용함으로써 다중 센서 영상 정합에 적합한 '특징 기반 영상 정합 알고리즘'을 사용할 수 있다. 이러한 특징 기반 영상 정합 알고리즘은, 정합하고자 하는 이종 센서 영상의 공통된 특성 정보를 이용하여 대응 관계를 설정하여 두 영상을 정합시키는 것이다.
예를 들어, 특징 기반 영상 정합 알고리즘으로서 에지(edge), 윤곽(contour) 및 코너(corner) 등의 고차원 정보를 특징으로서 이용하는 SIFT(Scale Invariant Feature Transform) 기법, 코너 검출 기반 영상 정합 기법, 구배(gradient) 기반 영상 정합 기법, 객체의 실루엣(silhoutte)또는 이동 경로(trajectory)를 특징으로서 이용하는 영상 정합 기법 등을 사용할 수 있다.
본 발명의 일 실시예에서는, 프로세서(130)가 이종 센서 영상 간의 효과적인 정합을 처리하기 위해, 구배 및 에지에 기반한 GGVF(Generalized Gradient Vector Flow) 기법에 따른 영상 정합 알고리즘을 사용하는 것을 예로서 설명하도록 한다. GGVF기법에 기반한 영상 정합 알고리즘은, 영상의 'Gradient field'와 'Edginess'를 통해 GGVF와 3D 히스토그램을 생성하고, 이를 기반으로 유사도 측정(similarity measure) 값을 최대화 하는 매칭 결과를 추정한다. 이를 통해, 정합하려는 영상의 특징점을 기준 영상의 좌표계로 변환한다.
구체적으로, 도 4를 참조하면, 프로세서(130)는 입력된 CCD 영상 및 IR 영상으로부터 각각 특징점을 추출하고, 추출 결과에 기반하여 두 영상 간에 대응하는 특징점을 선별한다.
이때, 특징점 추출 방식으로서 '적응적 해리스 코너 검출기(Adaptive Harris Corner Detector, AHCD)'를 사용할 수 있으며, 정규화 관성 모멘트(normalized moment of inertia, NMI)와 구배(Gradiant) 방향에 기반하여 대응 특징점을 선별할 수 있다. 참고로, AHCD는 영상 내에서 창(window)이 움직였을 때, 그 창 안의 화소값들의 차이가 큰 점들을 모퉁이(corner)로 사용한다. 그리고 대응 특징점 쌍의 선별은, AHCD로 얻어진 특징점들을 통해 특징점 주변 영상의 정규 상호 정보를 이용한다. 검출된 특징점은 주변 영역의 영상을 포함하는 패치(patch)를 획득한 후, 이 패치들간의 정규 상호정보를 통해서 특징점의 유사성을 판별한다. 이때, 주변 패치의 정규 상호정보가 가장 큰 특징점을 대응 특징점으로써 신뢰도가 높다고 추정하고, 이러한 대응 특징점을 선별한다.
그런 다음, 프로세서(130)는 선별된 대응 특징점들에 대한 변환함수를 통한 추정 및 정합 성공 여부를 판단한 후, 와핑(warping)을 통해 최종적인 영상 정합을 처리함으로써 '정합된IR 영상'을 생성한다. 이때, 변환함수로서 Lo-RANSAC(Locally Optimized Random Sample Consensus)을 사용할 수 있다.
이하, 도 5 내지 도 7을 참조하여, 프로세서(130)가 CCD 영상 및 IR 영상에 대한 영상 융합을 처리하는 과정에 대해서 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 영상 융합 처리 과정을 설명하기 위한 개요도이다.
프로세서(130)는 'CCD 영상'과 '정합된 IR 영상' 간의 영상 융합(image fusion)을 처리한다. 영상 융합은, 서로 다른 공간해상도를 갖는 영상들을 하나의 영상으로 통합하여 보다 높은 분광, 공간해상도의 영상을 생성하는 영상 복합 기법이다.
도 5를 참조하면, 프로세서(130)는 CCD 영상과 IR 영상(즉, CCD 영상에 대해 정합된 IR 영상)의 휘도(luminance)와 색상(chromaticity) 정보를 독립적으로 처리하기 위해, 두 영상을 각각 YCbCr 색공간(color-space)으로 변환한다. 그리고 프로세서(130)는 영상 융합 처리 시 휘도 성분에 대해 효과적인 가중치 계산을 위해 IR 영상을 기설정된 형태로 변환한다. 그런 다음, 프로세서(130)는 변환된 IR 영상 및 입력 영상의 통계 정보를 통해 가중치를 계산한 뒤, 가중합(weighted sum)을 통해 입력 영상을 융합한다. 이때, 융합 영상의 색상 정보가 실험적으로 얻어진 임계치 이상의 조도를 갖는 경우, CbCr 정보를 이용해 색상 정보를 복원한다.
이하에서는, 프로세서(130)가 휘도 성분에 기반하여 영상 융합을 처리하는 과정에 대해서 좀 더 상세히 설명하도록 한다.
먼저, 휘도 성분에 대한 가중치 계산이 가능하도록 IR 영상을 변환한다.
IR 카메라 장치(20)는 피사체의 표면으로부터 복사되는 열 에너지를 시각적으로 보여주는 장치로서, 열상 객체(thermal object)를 효율적으로 표현하고 조도 변화에 강인하나, 배경 정보 및 형태 전달에 취약하다.
따라서, 효과적인 영상 융합을 처리하기 위해, IR 영상에서 열상 객체에 대한 가중치는 높이고 그 외의 부분에 대해서는 상대적으로 낮은 가중치를 갖도록 IR 영상을 변환한다.
야간 감시 상황 등의 환경 조건에서는, IR 영상의 열상 객체의 화소값이 CCD 영상의 평균 화소값보다 높다는 특성이 있다. 이러한 특성에 따라, 프로세서(130)는 아래의 수학식 1에서와 같이 CCD 영상의 통계 정보를 이용하여 IR 영상을 일차 함수 및 제곱 함수의 형태로 변환한다.
<수학식 1>
Figure pat00001
수학식 1에서 xIR은 IR 영상(즉, CCD 영상에 대해 정합된 IR 영상)의 화소값(즉, 휘도 값)을 의미하고, mCCD는 CCD 영상의 화소값들에 대한 전역 평균값을 의미한다. 그리고, xIRt는 변환된 IR 영상의 화소값을 의미한다.
즉, 수학식 1에서와 같이, 변환된 IR 영상의 화소값은, IR 영상의 화소값이 CCD 영상의 전역 평균값 이하인 경우와, CCD 영상의 전역 평균값을 초과하는 값인 경우에 따라 상이한 수식을 적용하여 산출된다.
구체적으로, IR 영상의 화소값이 CCD 영상의 전역 평균값 이하인 경우, IR 영상의 화소값으로부터 CCD 영상의 전역 평균값을 감산한 후 이를 CCD 영상의 전역 평균값으로 나눈 값에 기초하여, 변환된 IR 영상의 화소값을 산출한다. 이때, 변환된 IR 영상의 화소값이 음의 값이 되지 않도록 상수 1을 더한 후 제곱한다.
그리고 IR 영상의 화소값이 CCD 영상의 전역 평균값을 초과하는 경우, IR 영상의 화소값으로부터 CCD 영상의 전역 평균값을 감산한 후 이에 CCD 영상의 전역 평균값을 곱한 값에 기초하여, 변환된 IR 영상의 화소값을 산출한다. 이때, 앞서 IR 영상의 화소값이 CCD 영상의 전역 평균값 이하인 경우에서와 동등한 변환 조건이 되도록, 변환된 IR 영상의 화소값에 상수 1을 더한 후 제곱한다.
다음으로, 아래 수학식 2를 통해 각 영상의 화소값에 적용될 가중치를 산출한다.
<수학식 2>
Figure pat00002
수학식 2에서 xCCD는 CCD영상의 화소값(즉, 휘도 값)이고, wCCD 및 wIR은 각각 CCD 영상과 IR 영상에 대응하는 가중치이다.
즉, 수학식 2에서와 같이, CCD 영상에 적용될 가중치는 CCD 영상의 화소값을 CCD 영상의 화소값과 변환된 IR 영상의 화소값의 합으로 나눈 값으로 산출된다. 그리고 IR 영상에 적용될 가중치는 변환된 IR 영상의 화소값을 CCD 영상의 화소값과 변환된 IR 영상의 화소값의 합으로 나눈 값으로 산출된다.
한편, 프로세서(130)는 야간 CCD 영상의 보정을 위해, CCD 영상 및 IR 영상의 통계 정보를 이용한 부분적 강조 기법을 적용하여, 개선된 가중치를 계산할 수 있다.
CCD 센서의 경우 조도 변화에 취약하다. 특히, 야간 라이트(light) 등으로 인한 영상 왜곡은 발광체 주변의 정보 손실을 초래하기 때문에 야간 감시 환경에서 피사체 식별에 어려움이 있다. 이에 비해, IR 센서의 경우 피사체 표면의 복사열을 감지하므로 CCD 영상에 비해 야간 라이트로 인한 영상 왜곡에 상대적으로 강인하다. 따라서, 야간 라이트와 같은 환경 조건에서의 CCD 영상의 왜곡 현상을 IR 영상을 이용해 상호 보완적으로 개선할 수 있다.
이때, 개선된 가중치를 계산하기 위한 CCD 영상 및 IR 영상의 통계 정보의 조건은 아래 수학식 3과 같다.
<수학식 3>
Figure pat00003
수학식 3에서 mCCD 및 mIR는 각각 CCD 영상 및 IR 영상의 전역 평균값이고, stdCCD 및 stdIR은 각각 CCD 영상 및 IR 영상의 표준 편차이다. 그리고 constCCD 및 const-IR은 각각 CCD 영상 및 IR 영상의 표준 편차의 값이 유의미한 역할을 하도록 곱해지는 기설정된 임의의 상수이다.
즉, 수학식 3에서와 같이, CCD 영상에서 화소값이 CCD 영상의 전역 평균값과 표준 편차의 합 이상의 값을 가지며, IR 영상에서 화소값이 IR 영상의 전역 평균값과 표준 편차의 합 이상의 값을 갖는 화소에 대해, 아래의 수학식 4 및 5를 통해 산출된 가중치(즉, 개선된 가중치)를 적용할 수 있다.
<수학식 4>
Figure pat00004
수학식 4에서 PCCD 및 PIR은 각각 아래의 수학식 5와 같이 나타낼 수 있다.
<수학식 5>
Figure pat00005
즉, 위의 수학식 3의 조건을 만족하는 CCD 영상의 화소 및 IR 영상의 화소에 대해서는 임의의 상수 값 c의 영향을 받는 개선된 가중치가 적용되며, 그 외의 조건의 화소들은 앞서 설명한 수학식 2의 가중치가 적용될 수 있다. 이때, 상수 값 c는, 수학식 3의 조건을 만족하는 CCD 영상 및 IR 영상 내 화소에 대해 적용되는 가중치 값에 영향을 미치는 것으로서, 사전에 임의의 환경 조건에 따른 조도에서 수학식 4 및 5에 따른 가중치를 적용할 경우 CCD 영상 및 IR 영상 내 영상 정보를 명확하게 확인할 수 있었던 실험치에 따라 설정될 수 있다.
구체적으로, 수학식 5를 수학식 4에 적용하여 나타내면
Figure pat00006
이고,
Figure pat00007
이다. 이에 따라, 수학식 3의 조건을 만족하는 CCD 영상의 화소에는 수학식 2를 통해 계산된 가중치에 비해 다소 감소된 가중치가 적용되고, 수학식 3의 조건을 만족하는 IR 영상의 화소에는 수학식 2를 통해 계산된 가중치에 비해 증가된 가중치가 적용될 수 있다. 그리고, 수학식 3의 조건을 만족하지 않는 나머지 화소들에는 α의 값으로서 "1"이 대입되므로, 수학식 2와 동일한 가중치가 적용될 수 있다.
다음으로, 프로세서(130)는 앞서 수학식 1 내지 5를 통해 설명한 가중치를 각각 적용하여 CCD 영상 및 IR 영상(즉, CCD 영상에 대해 정합된 IR 영상)을 영상 융합 처리한다. 이를 통해 최종적으로 융합된 영상은 아래의 수학식 6과 같이 나타낼 수 있다.
<수학식 6>
Figure pat00008
위의 수학식 6에서와 같이, 가중치를 적용한 융합 영상(xF)의 경우, 영상 내 열상 객체뿐만 아니라 배경 정보 및 형태 정보 또한 효과적으로 표현할 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 융합 처리 결과를 나타낸 예시이고, 도 7은 본 발명의 일 실시예에 따른 정합 및 융합 처리를 수행한 전기철도 팬터그래프 영상의 일례이다.
먼저 도 6을 참조하면, (a)와 같은 정합된 IR 영상과 (b)와 같은 CCD 영상을 앞서 설명한 가중치를 적용하여 융합하면, (c)에서와 같이 낮은 조도 및 조명이 비춰지는 환경에서도 배경 및 열상 객체(P13)를 명확하게 구분할 수 있으며, 영상 내 각 객체들의 형태(예: 질감) 또한 선명하게 표시되는 것을 알 수 있다.
도 7을 참조하면, 전기철도에서도 마찬가지로, (a)에 도시된 팬터그래프 및 전차선을 포함하는 원본 IR 영상과 (b)에 도시된 해당 팬터그래프 및 전차선을 포함하는 원본 CCD 영상을 영상 정합 및 융합 처리한 결과로서, (c)에서와 같이 영상 내 객체가 선명하게 드러나는 팬터그래프 영상(즉, 융합 영상)을 확인할 수 있다.
한편, 프로세서(130)는 이상에서 설명한 융합된 팬터그래프 영상에 대해 다음과 같은 후처리를 수행할 수 있다. 이때, 프로세서(130)는 전기철도 팬터그래프 모니터링을 위해, 융합 영상 시퀀스에서 기설정된 탐색 영역 내 팬터그래프 객체 검출 및 진동 특성 검출을 처리할 수 있다. 그리고, 프로세서(130)는 팬터그래프와 전차선 간 접촉면의 진동에 대한 특성 정보를 해석하여 정상 상황과 비정상 상황을 구분할 수 있다.
이하, 도 8을 참조하여, 본 발명의 일 실시예에 따른 전기철도 팬터그래프 모니터링 방법에 대해서 상세히 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 전기철도 팬터그래프 모니터링 방법을 설명하기 위한 순서도이다.
먼저, 전기철도차량의 팬터그래프를 촬영한 CCD 영상 및 IR 영상을 각각 입력받아, 두 영상을 기설정된 연산을 통해 영상 정합 처리한다(S810).
이때, CCD 영상 및 IR 영상은 각각 동일 영역을 촬영한 것으로서, 팬터그래프와 전차선 간의 접촉점을 포함할 수 있다.
또한, 영상 정합 처리의 결과로서 CCD 영상의 좌표계로 정합된 IR 영상을 생성할 수 있다. 이러한 CCD 영상과 IR 영상 간의 영상 정합 처리 과정은 앞서 도 3 및 4에서 설명한 과정과 동일하다.
참고로, 본 발명의 일 실시예에서는 CCD 영상 및 IR 영상을 정합하기에 앞서, 영상 정합 및 융합 처리가 필요한 환경 조건인지를 식별하는 검사를 수행할 수 있다. 예를 들어, CCD 영상의 색 정보 및 휘도 정보에 기초하여 조도 검사를 통한 환경 식별을 처리한 후, 임계치보다 낮은 조도이면 CCD 영상으로부터 팬터그래프 모니터링을 위한 영상 정보 추출이 어려운 것으로 판단하여 IR 영상과의 정합 및 융합 처리를 결정할 수 있다.
다음으로, CCD 영상 및 정합된 IR 영상에 기반하여, 영상 별로 화소값에 적용할 가중치를 계산한다(S820).
이와 같은 가중치 계산 과정은 앞서 도 5 내지 도 7에서 설명한 방식과 동일하다. 이때, 입력 영상에 적용되는 가중치는, 야간 CCD 영상에 대한 보정을 위해 부분적 강조기법을 통해 산출된 개선된 가중치일 수 있다.
그런 다음, 입력 영상(즉, CCD 영상 및 정합된 IR)에 가중치를 적용하여 가중합을 통한 영상 융합을 처리하고(S830), 팬터그래프 모니터링용 융합 영상을 출력한다(S840).
이때, 융합된 팬터그래프 영상은, 최종적으로 CbCr 정보를 이용하여 색상 정보를 복원한 영상일 수 있다.
한편, 본 발명의 일 실시예에서는 융합된 팬터그래프 영상에 기반하여, 팬터그래프 모니터링을 위해 기설정된 후처리를 수행할 수 있다. 즉, 앞서 도 2에서 설명한 후처리를 통해 실시간으로 팬터그래프에 대한 정상 상태 및 비정상 상태를 식별할 수 있다. 또한, 이러한 검측 결과를 사용자가 확인할 수 있도록 사전에 설정된 출력 장치(예: 모니터 및 오디오 출력 장치 등)를 통해 출력하는 단계를 더 수행할 수 있다.
이상에서 설명한 본 발명의 일 실시예에 따른 전기철도 팬터그래프 모니터링 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 컴퓨터 판독이 가능한 기록 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있으며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 전기철도 팬터그래프 모니터링 장치
110: 통신모듈 120: 메모리
130: 프로세서

Claims (15)

  1. 전기철도 팬터그래프 모니터링 장치에 있어서,
    CCD 카메라 장치로부터 전기철도차량의 팬터그래프를 촬영한 CCD 영상을 수신하고, IR 카메라 장치로부터 상기 팬터그래프를 촬영한 IR 영상을 수신하는 통신모듈;
    팬터그래프 모니터링 프로그램이 저장된 메모리; 및
    상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하되,
    상기 프로세서는 상기 팬터그래프 모니터링 프로그램의 실행에 따라, 상기 통신모듈을 통해 입력된 CCD 영상 및 IR 영상 별 화소값에 대한 통계 정보에 기초하여 가중치를 산출하고, 상기 입력된 CCD 영상 및 IR 영상의 화소값에 상기 산출된 가중치를 적용한 가중합을 통해 영상 융합을 처리하고, 영상 융합의 결과에 따른 융합 영상을 팬터그래프 모니터링용 영상으로서 출력하는, 전기철도 팬터그래프 모니터링 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 입력된 CCD 영상 및 IR 영상을 하나의 좌표계에 나타내는 영상 정합을 처리하고,
    상기 영상 정합의 결과에 따른 정합된 IR 영상과 상기 입력된 CCD 영상에 기반하여 상기 영상 융합을 처리하는, 전기철도 팬터그래프 모니터링 장치.
  3. 제 2 항에 있어서,
    상기 프로세서는,
    상기 정합된 IR 영상의 화소값을 상기 입력된 CCD 영상의 화소값에 대한 전역평균값에 기초하여 변환시킨 결과를 이용하여 상기 가중치를 산출하되,
    하기 수학식 1을 통해 상기 변환된 IR 영상의 화소값을 산출하는, 전기철도 팬터그래프 모니터링 장치.
    <수학식 1>
    Figure pat00009

    (이때, xIR은 정합된 IR 영상의 화소값이고, mCCD는 CCD 영상의 화소값들에 대한 전역 평균값이며, xIRt는 변환된 IR 영상의 화소값을 의미함)
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 변환된 IR 영상의 화소값과 상기 입력된 CCD 영상의 화소값에 기초하여 상기 가중치를 산출하되,
    하기 수학식 2를 통해 제 1 가중치를 산출하는, 전기철도 팬터그래프 모니터링 장치.
    <수학식 2>
    Figure pat00010

    (이때, xCCD는 CCD영상의 화소값이고, wCCD 및 wIR은 각각 CCD 영상과 IR 영상에 대응하는 가중치를 의미함)
  5. 제 4 항에 있어서,
    상기 프로세서는,
    상기 입력된 CCD 영상 및 상기 정합된 IR 영상 각각의 전역평균값 및 표준편차에 기초하여 기설정된 조건을 만족하는 화소에 대해 부분적으로 적용할 제 2 가중치를 산출하되, 하기 수학식 3을 통해 상기 제 2 가중치를 산출하며,
    상기 제 2 가중치를 적용한 부분 이외의 나머지에는 상기 제 1 가중치가 적용되는 것인, 전기철도 팬터그래프 모니터링 장치.
    <수학식 3>
    Figure pat00011

    (이때, mCCD 및 mIR는 각각 CCD 영상 및 IR 영상의 전역 평균값이고, stdCCD 및 stdIR은 각각 CCD 영상 및 IR 영상의 표준 편차이고, constCCD 및 const-IR은 각각 CCD 영상 및 IR 영상의 표준 편차에 곱해지는 기설정된 임의의 상수이며, c는 특정 조건을 만족하는 CCD 영상 및 IR 영상 내 화소에 대해 적용되는 가중치 값에 영향을 미치는 기설정된 임의의 상수임)
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 입력된 CCD 영상 및 IR 영상을 각각 YCbCr 색공간으로 변환한 후, 변환된 CCD 영상 및 IR 영상에 기반하여 휘도 성분에 대한 상기 가중치를 산출하는, 전기철도 팬터그래프 모니터링 장치.
  7. 제 6 항에 있어서,
    상기 프로세서는,
    상기 영상 융합의 결과에서의 색상 정보가 기설정된 임계치 이상의 조도를 갖는 경우, CbCr 정보를 이용해 색상 정보를 복원하여 상기 융합 영상을 생성하는, 전기철도 팬터그래프 모니터링 장치.
  8. 전기철도 팬터그래프 모니터링 장치를 통한 전기철도 팬터그래프 모니터링 방법에 있어서,
    전기철도차량의 팬터그래프를 촬영한 CCD 영상과, 상기 팬터그래프를 촬영한 IR 영상을 입력받는 단계;
    상기 입력된 CCD 영상 및 IR 영상 별 화소값에 대한 통계 정보에 기초하여 가중치를 계산하는 단계;
    상기 산출된 가중치를 상기 입력된 CCD 영상 및 IR 영상의 화소값에 적용하여 가중합을 통해 영상 융합을 처리하는 단계; 및
    상기 영상 융합의 결과에 따른 융합 영상을 팬터그래프 모니터링용 영상으로 출력하는 단계를 포함하는, 전기철도 팬터그래프 모니터링 방법.
  9. 제 8 항에 있어서,
    상기 가중치를 계산하는 단계 이전에,
    상기 입력된 CCD 영상 및 IR 영상을 하나의 좌표계에 나타내는 영상 정합을 처리하는 단계를 더 포함하며,
    상기 영상 정합의 결과에 따른 정합된 IR 영상과 상기 입력된 CCD 영상에 기반하여 상기 영상 융합을 처리하는 것인, 전기철도 팬터그래프 모니터링 방법.
  10. 제 9 항에 있어서,
    상기 가중치를 계산하는 단계는,
    상기 정합된 IR 영상의 화소값을 상기 입력된 CCD 영상의 화소값에 대한 전역평균값에 기초하여 변환시킨 결과를 이용하여 상기 가중치를 산출하되,
    하기 수학식 4를 통해 상기 변환된 IR 영상의 화소값을 산출하는, 전기철도 팬터그래프 모니터링 방법.
    <수학식 4>
    Figure pat00012

    (이때, xIR은 정합된 IR 영상의 화소값이고, mCCD는 CCD 영상의 화소값들에 대한 전역 평균값이며, xIRt는 변환된 IR 영상의 화소값을 의미함)
  11. 제 10 항에 있어서,
    상기 가중치를 계산하는 단계는,
    상기 변환된 IR 영상의 화소값과 상기 입력된 CCD 영상의 화소값에 기초하여 상기 가중치를 산출하되,
    하기 수학식 5를 통해 제 1 가중치를 산출하는, 전기철도 팬터그래프 모니터링 방법.
    <수학식 5>
    Figure pat00013

    (이때, xCCD는 CCD영상의 화소값이고, wCCD 및 wIR은 각각 CCD 영상과 IR 영상에 대응하는 가중치를 의미함)
  12. 제 11 항에 있어서,
    상기 가중치를 계산하는 단계는,
    상기 입력된 CCD 영상 및 상기 정합된 IR 영상 각각의 전역평균값 및 표준편차에 기초하여, 기설정된 조건을 만족하는 화소에 대해 부분적으로 적용할 제 2 가중치를 산출하되, 하기 수학식 6을 통해 상기 제 2 가중치를 산출하며,
    상기 제 2 가중치를 적용한 부분 이외의 나머지에는 상기 제 1 가중치가 적용되는 것인, 전기철도 팬터그래프 모니터링 방법.
    <수학식 6>
    Figure pat00014

    (이때, mCCD 및 mIR는 각각 CCD 영상 및 IR 영상의 전역 평균값이고, stdCCD 및 stdIR은 각각 CCD 영상 및 IR 영상의 표준 편차이고, constCCD 및 const-IR은 각각 CCD 영상 및 IR 영상의 표준 편차에 곱해지는 기설정된 임의의 상수이며, c는 특정 조건을 만족하는 CCD 영상 및 IR 영상 내 화소에 대해 적용되는 가중치 값에 영향을 미치는 기설정된 임의의 상수임)
  13. 제 8 항에 있어서,
    상기 가중치를 계산하는 단계 이전에,
    상기 입력된 CCD 영상 및 IR 영상을 각각 YCbCr 색공간으로 변환하는 단계를 더 포함하며,
    상기 변환된 CCD 영상 및 IR 영상에 기반하여 휘도 성분에 대한 상기 가중치를 산출하는 것인, 전기철도 팬터그래프 모니터링 장치.
  14. 제 13 항에 있어서,
    상기 영상 융합을 처리하는 단계는,
    상기 영상 융합의 결과에서의 색상 정보가 기설정된 임계치 이상의 조도를 갖는 경우, CbCr 정보를 이용해 색상 정보를 복원하여 최종 융합 영상을 생성하는, 전기철도 팬터그래프 모니터링 방법.
  15. 제 8 항 내지 제 14 항 중 어느 한 항에 기재된 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020180026256A 2018-03-06 2018-03-06 영상 처리에 기반한 전기철도 팬터그래프 모니터링 장치 및 방법 KR20190105760A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180026256A KR20190105760A (ko) 2018-03-06 2018-03-06 영상 처리에 기반한 전기철도 팬터그래프 모니터링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180026256A KR20190105760A (ko) 2018-03-06 2018-03-06 영상 처리에 기반한 전기철도 팬터그래프 모니터링 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20190105760A true KR20190105760A (ko) 2019-09-18

Family

ID=68070666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180026256A KR20190105760A (ko) 2018-03-06 2018-03-06 영상 처리에 기반한 전기철도 팬터그래프 모니터링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20190105760A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112078413A (zh) * 2020-09-16 2020-12-15 青岛维感科技有限公司 一种电车顶部充电配准的方法、装置、系统及存储介质
CN112555593A (zh) * 2020-12-02 2021-03-26 扬州工业职业技术学院 一种基于云计算的智能家居监控装置
WO2021218137A1 (zh) * 2020-04-28 2021-11-04 株洲中车时代电气股份有限公司 基于红外图像的弓网检测方法、装置、系统、介质及设备
WO2022080550A1 (ko) * 2020-10-16 2022-04-21 주식회사 넥스트칩 컬러 정보 및 적외선 정보를 혼합한 이미지 생성 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218137A1 (zh) * 2020-04-28 2021-11-04 株洲中车时代电气股份有限公司 基于红外图像的弓网检测方法、装置、系统、介质及设备
CN112078413A (zh) * 2020-09-16 2020-12-15 青岛维感科技有限公司 一种电车顶部充电配准的方法、装置、系统及存储介质
WO2022080550A1 (ko) * 2020-10-16 2022-04-21 주식회사 넥스트칩 컬러 정보 및 적외선 정보를 혼합한 이미지 생성 방법 및 장치
CN112555593A (zh) * 2020-12-02 2021-03-26 扬州工业职业技术学院 一种基于云计算的智能家居监控装置

Similar Documents

Publication Publication Date Title
KR20190105760A (ko) 영상 처리에 기반한 전기철도 팬터그래프 모니터링 장치 및 방법
JP6586430B2 (ja) 車両位置の推定
JP6554169B2 (ja) 物体認識装置及び物体認識システム
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
JP5166230B2 (ja) 画像処理装置および方法並びにプログラム
JP6561512B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
US20210342578A1 (en) Polarization Imaging for Facial Recognition Enhancement System and Method
WO2014080613A1 (ja) 色補正装置、色補正方法および色補正用プログラム
KR20140013407A (ko) 객체 추적 장치 및 방법
US11132538B2 (en) Image processing apparatus, image processing system, and image processing method
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
JP6617150B2 (ja) 物体検出方法及び物体検出装置
RU2615063C2 (ru) Способ и устройство для обнаружения движущихся объектов в последовательности видеоизображений
KR102096576B1 (ko) 영상 합성 방법 및 장치
JP4991356B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP6561511B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産導出方法、視差値の生産方法及びプログラム
JP6577595B2 (ja) 車両用外界認識装置
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
JP4704998B2 (ja) 画像処理装置
JP7101918B2 (ja) 画像検査装置および画像検査方法
US9761275B2 (en) System and method for spatiotemporal image fusion and integration
KR101514366B1 (ko) 감시 카메라 시스템의 영상합성 장치 및 그 방법
JP6515547B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラム
JP2013210778A (ja) 撮像装置
KR101784485B1 (ko) 영상 내 빗방울 제거 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application