KR102637972B1 - 배전설비 좌표 자동취득 장치 및 방법 - Google Patents
배전설비 좌표 자동취득 장치 및 방법 Download PDFInfo
- Publication number
- KR102637972B1 KR102637972B1 KR1020210106884A KR20210106884A KR102637972B1 KR 102637972 B1 KR102637972 B1 KR 102637972B1 KR 1020210106884 A KR1020210106884 A KR 1020210106884A KR 20210106884 A KR20210106884 A KR 20210106884A KR 102637972 B1 KR102637972 B1 KR 102637972B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- distribution
- gps
- coordinates
- control unit
- Prior art date
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 179
- 238000000034 method Methods 0.000 title claims description 56
- 238000007689 inspection Methods 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000004807 localization Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims 2
- 230000036544 posture Effects 0.000 description 38
- 238000010586 diagram Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005358 geomagnetic field Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/23—Testing, monitoring, correcting or calibrating of receiver elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/53—Determining attitude
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/40—Data acquisition and logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
본 발명은 배전설비 좌표 자동취득 장치에 관한 것으로, 배전설비 점검 차량의 현재 지피에스(GPS) 좌표를 검출하기 위한 지피에스(GPS) 정보 수신부; 상기 차량의 주행 경로 상에 있는 배전설비 영상을 촬영하기 위한 카메라부; 배전설비 정보를 취득할 수 있도록 하기 위하여 자산정보 데이터베이스와 통신하는 통신부; 및 상기 영상에서 배전설비를 검출하고, 상기 배전설비의 좌표를 계산하여 상기 자산정보 데이터베이스(DB)를 바탕으로 상기 배전설비의 아이디(ID) 정보를 취득하는 제어부;를 포함한다.
Description
본 발명은 배전설비 좌표 자동취득 장치 및 방법에 관한 것으로, 보다 상세하게는 배전설비의 자동진단을 위한 이미지 기반의 좌표처리 기술을 적용하여, 영상취득 시 배전설비의 위치정보와 자산정보를 검색하여 자동으로 매치시킬 수 있도록 하는, 배전설비 좌표 자동취득 장치 및 방법에 관한 것이다.
일반적으로 종래에 배전설비를 대상으로 하는 이미지 데이터의 취득은 사용자가 이미지를 직접 분석하여 배전설비 정보를 수작업으로 직접 입력하거나, 리포팅을 위한 별도의 후처리 작업을 통해 자산정보(예 : 위치정보 등)를 매치시켜 처리한다.
또는 종래에 배전설비 좌표추정을 위해서는 이미지 센서 이외에 추가적인 센서(예 : 레이저, Radar 등)를 통해 검출된 능동(Active) 정보를 추가로 병합하여 처리하거나, 상기 추가적인 센서로부터 배전설비의 자산정보 매칭에 필요한 정보를 취득하는 것이 일반적이다.
즉, 종래에는 배전설비와 자산정보를 매치시키기 위하여 수작업을 수행하거나, 이미지 센서 이외에 추가적인 센서를 통해 검출된 정보를 병합해야 하는 번거로운 문제점이 있었다.
따라서 이미지 자체의 수동(Passive) 정보만을 이용하여 배전설비의 좌표, 및 설비정보(즉, 자산정보) 등을 자동으로 취득할 수 있는 기술이 요구되고 있다.
본 발명의 배경기술은 대한민국 등록특허 10-1193927호(2012.10.15. 등록, 지피에스 위치 정보 및 식별을 통한 영상처리 업데이트 방법)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 배전설비의 자동진단을 위한 이미지 기반의 좌표처리 기술을 적용하여, 영상취득 시 배전설비의 위치정보와 자산정보를 검색하여 자동으로 매치시킬 수 있도록 하는, 배전설비 좌표 자동취득 장치 및 방법을 제공하는 데 그 목적이 있다.
본 발명의 일 측면에 따른 배전설비 좌표 자동취득 장치는, 배전설비 점검 차량의 현재 지피에스(GPS) 좌표를 검출하기 위한 지피에스(GPS) 정보 수신부; 상기 차량의 주행 경로 상에 있는 배전설비 영상을 촬영하기 위한 카메라부; 배전설비 정보를 취득할 수 있도록 하기 위하여 자산정보 데이터베이스와 통신하는 통신부; 및 상기 영상에서 배전설비를 검출하고, 상기 배전설비의 좌표를 계산하여 상기 자산정보 데이터베이스(DB)를 바탕으로 상기 배전설비의 아이디(ID) 정보를 취득하는 제어부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 카메라부는, 스테레오 카메라를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 배전설비 점검 차량의 카메라부를 통해 영상을 취득하고, 상기 차량의 현재 지피에스(GPS) 좌표를 취득하며, 상기 차량의 상대 자세를 추정하고, 상기 차량의 GPS 좌표계 자세 변환을 수행하며, 상기 영상에서 배전설비를 검출하여 3차원 위치 좌표를 검출하고, 자산정보 데이터베이스(DB) 정보를 바탕으로 상기 배전설비에 대한 아이디(ID) 정보를 취득하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 카메라부를 통해 영상을 취득하기 위하여, 상기 영상에 촬영된 배전설비에 대한 시차정보(Disparity)를 통해 거리 정보(Depth)를 추정하며, 스테레오 카메라를 이용해 취득한 원본 좌/우 영상에서 2차원 검색(2-D Search)을 위한 시차 정보 추정 방법에 대한 보정을 수행하되, 카메라의 고유(Intrinsic) 변수 및 외부(Extrinsic) 변수를 추정하여 스테레오 영상을 교정하고, 상기 스테레오 영상의 교정을 통해 좌/우로 정렬되는 각 대응점을 검색하여 횡 방향 1차원 검색(1-D Search)을 수행할 수 있게 보정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 차량의 현재 지피에스(GPS) 좌표를 취득하기 위하여, GPS/IMU(Inertial Measurement Unit) 모듈을 이용하여 차량의 현재위치 및 자세추정을 수행하되, 주변간섭에 의한 자세추정 오류 가능성을 고려하여, GPS 정보에 SLAM(Simultaneous Localization and Mapping) 알고리즘을 적용한 위치 추정을 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, ORB-SLAM을 적용하여 상기 차량의 상대 자세 추정을 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 GPS 좌표계 자세 변환을 수행하기 위하여, GPS/SLAM 융합을 통해 GPS 좌표계의 취득과 자세 변환을 수행하되, GPS에 대한 현재 위치가 GPS 좌표계를 기준으로 획득되고, SLAM 알고리즘은 시작 지점을 기준으로 현재 자세 및 위치가 추정됨으로써 두 경로 간의 방향, 위치, 스케일이 다른 문제점을 해결하기 위하여, GPS를 통해 얻어진 경로와 SLAM을 통해 얻어진 경로 간의 변환 행렬을 통해 융합을 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 영상에서 배전설비를 검출하여 3차원 위치 좌표를 검출하기 위하여, 딥러닝 기반 객체 검출 알고리즘을 이용하여 배전설비를 검출하며, 상기 배전설비를 검출하기 위하여 스테레오 카메라 중 하나의 카메라를 기준 카메라로 설정하고, 상기 딥러닝 기반 객체 검출 알고리즘을 이용하여 상기 기준 카메라에서 대상이 되는 배전설비를 검출하며, 시차 정보 및 카메라 고유 변수 및 외부 변수를 이용하여 시차 정보를 거리 정보로 변환하여 상기 검출된 배전설비에 대한 거리정보를 추정하되, 상기 시차 정보를 거리 정보로 변환하기 위하여 시차-거리 변환 수식을 이용하며, 상기 시차-거리 변환 수식은, 이고, 여기서 Z는 거리(z-axis), f는 렌즈의 초점 거리, B는 카메라 사이의 거리(Baseline), d는 시차(Disparity)를 의미하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는, 상기 자산정보 데이터베이스(DB) 정보를 바탕으로 상기 배전설비에 대한 아이디(ID) 정보를 취득하기 위하여, 상기 배전설비에 대한 3차원 위치()를 추정하고, 자산정보 데이터베이스(DB) 정보를 바탕으로 상기 배전설비에 대한 3차원 위치 정보와 상기 배전설비의 자산정보를 매칭하여 상기 배전설비의 아이디(ID) 정보를 취득하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 배전설비 좌표 자동취득 방법은, 배전설비 좌표 자동취득 장치의 제어부가 배전설비 점검 차량의 카메라부를 통해 영상을 취득하는 단계; 상기 제어부가 상기 차량의 현재 지피에스(GPS) 좌표를 취득하는 단계; 상기 제어부가 상기 차량의 상대 자세를 추정하는 단계; 상기 제어부가 GPS 좌표계 자세 변환을 수행하는 단계; 상기 제어부가 상기 영상에서 배전설비를 검출하여 3차원 위치 좌표를 검출하는 단계; 및 상기 제어부가 자산정보 데이터베이스(DB) 정보를 바탕으로 상기 배전설비에 대한 아이디(ID) 정보를 취득하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 카메라부를 통해 영상을 취득하는 단계에서, 상기 제어부가, 상기 영상에 촬영된 배전설비에 대한 시차정보(Disparity)를 통해 거리 정보(Depth)를 추정하며, 스테레오 카메라를 이용해 취득한 원본 좌/우 영상에서 2차원 검색(2-D Search)을 위한 시차 정보 추정 방법에 대한 보정을 수행하되, 카메라의 고유(Intrinsic) 변수 및 외부(Extrinsic) 변수를 추정하여 스테레오 영상을 교정하고, 상기 스테레오 영상의 교정을 통해 좌/우로 정렬되는 각 대응점을 검색하여 횡 방향 1차원 검색(1-D Search)을 수행할 수 있게 보정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 차량의 현재 지피에스(GPS) 좌표를 취득하는 단계에서, 상기 제어부가, GPS/IMU(Inertial Measurement Unit) 모듈을 이용하여 차량의 현재위치 및 자세추정을 수행하되, 주변간섭에 의한 자세추정 오류 가능성을 고려하여, GPS 정보에 SLAM(Simultaneous Localization and Mapping) 알고리즘을 적용한 위치 추정을 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 차량의 상대 자세를 추정하는 단계에서, 상기 제어부는, ORB-SLAM을 적용하여 상기 차량의 상대 자세 추정을 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 GPS 좌표계 자세 변환을 수행하는 단계에서, 상기 제어부는, GPS/SLAM 융합을 통해 GPS 좌표계의 취득과 자세 변환을 수행하되, GPS에 대한 현재 위치가 GPS 좌표계를 기준으로 획득되고, SLAM 알고리즘은 시작 지점을 기준으로 현재 자세 및 위치가 추정됨으로써 두 경로 간의 방향, 위치, 스케일이 다른 문제점을 해결하기 위하여, GPS를 통해 얻어진 경로와 SLAM을 통해 얻어진 경로 간의 변환 행렬을 통해 융합을 수행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 영상에서 배전설비를 검출하여 3차원 위치 좌표를 검출하는 단계에서, 상기 제어부는, 딥러닝 기반 객체 검출 알고리즘을 이용하여 배전설비를 검출하며, 상기 배전설비를 검출하기 위하여 스테레오 카메라 중 하나의 카메라를 기준 카메라로 설정하고, 상기 딥러닝 기반 객체 검출 알고리즘을 이용하여 상기 기준 카메라에서 대상이 되는 배전설비를 검출하며, 시차 정보 및 카메라 고유 변수 및 외부 변수를 이용하여 시차 정보를 거리 정보로 변환하여 상기 검출된 배전설비에 대한 거리정보를 추정하되, 상기 시차 정보를 거리 정보로 변환하기 위하여 시차-거리 변환 수식을 이용하며, 상기 시차-거리 변환 수식은, 이고, 여기서 Z는 거리(z-axis), f는 렌즈의 초점 거리, B는 카메라 사이의 거리(Baseline), d는 시차(Disparity)를 의미하는 것을 특징으로 한다.
본 발명에 있어서, 상기 자산정보 데이터베이스(DB) 정보를 바탕으로 상기 배전설비에 대한 아이디(ID) 정보를 취득하는 단계에서, 상기 제어부는, 상기 배전설비에 대한 3차원 위치()를 추정하고, 자산정보 데이터베이스(DB) 정보를 바탕으로 상기 배전설비에 대한 3차원 위치 정보와 상기 배전설비의 자산정보를 매칭하여 상기 배전설비의 아이디(ID) 정보를 취득하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 배전설비의 자동진단을 위한 이미지 기반의 좌표처리 기술을 적용하여, 영상취득 시 배전설비의 위치정보와 자산정보를 검색하여 자동으로 매치시킬 수 있도록 한다.
도 1은 본 발명에 관련하여 차량을 이용해 도로를 주행하면서 촬영한 이미지로부터 배전설비를 인식하고 좌표 정보를 취득하는 개념을 설명하기 위한 예시도.
도 2는 본 발명의 일 실시 예에 따른 배전설비 좌표 자동취득 장치의 개략적인 구성을 보인 예시도.
도 3은 본 발명의 일 실시 예에 따른 배전설비 좌표 자동취득 방법을 설명하기 위한 흐름도.
도 4는 상기 도 3에 있어서, 스테레오 카메라를 통해 얻은 원본 좌/우 이미지를 보인 예시도.
도 5는 상기 도 3에 있어서, 원본 좌/우 이미지가 영상 교정된 좌우 이미지를 보인 예시도.
도 6은 상기 도 3에 있어서, ANMS(Efficient Adaptive Non-Maximum Suppression) 알고리즘 결과를 보인 예시도.
도 7은 상기 도 3에 있어서, GPS/SLAM 융합(Fusion) 적용 과정을 설명하기 위하여 보인 예시도.
도 8은 상기 도 3에 있어서, 딥러닝 기반 객체 검출 알고리즘을 적용하여 배전설비를 검출하는 방법을 설명하기 위하여 보인 예시도.
도 9는 상기 도 8에 있어서, 검출된 객체에 대한 시차 정보의 추정 방법을 설명하기 위하여 보인 예시도.
도 10은 상기 도 9에 있어서, 추정된 시차 정보를 보인 예시도.
도 11은 상기 도 3에 있어서, 카메라 좌표계에서 3차원 위치를 추정하는 방법을 설명하기 위하여 보인 예시도.
도 12는 상기 도 3에 있어서, 배전설비 전주 데이터베이스(DB)를 보인 예시도.
도 13은 상기 도 3에 있어서, 주행 중 객체/경로 위치 추정 알고리즘의 수행 결과를 보인 예시도.
도 14는 상기 도 3에 있어서, 객체/경로 위치 추정 정보 및 자산좌표 매칭에 따른 배전설비 좌표 취득 방법을 설명하기 위하여 보인 예시도.
도 2는 본 발명의 일 실시 예에 따른 배전설비 좌표 자동취득 장치의 개략적인 구성을 보인 예시도.
도 3은 본 발명의 일 실시 예에 따른 배전설비 좌표 자동취득 방법을 설명하기 위한 흐름도.
도 4는 상기 도 3에 있어서, 스테레오 카메라를 통해 얻은 원본 좌/우 이미지를 보인 예시도.
도 5는 상기 도 3에 있어서, 원본 좌/우 이미지가 영상 교정된 좌우 이미지를 보인 예시도.
도 6은 상기 도 3에 있어서, ANMS(Efficient Adaptive Non-Maximum Suppression) 알고리즘 결과를 보인 예시도.
도 7은 상기 도 3에 있어서, GPS/SLAM 융합(Fusion) 적용 과정을 설명하기 위하여 보인 예시도.
도 8은 상기 도 3에 있어서, 딥러닝 기반 객체 검출 알고리즘을 적용하여 배전설비를 검출하는 방법을 설명하기 위하여 보인 예시도.
도 9는 상기 도 8에 있어서, 검출된 객체에 대한 시차 정보의 추정 방법을 설명하기 위하여 보인 예시도.
도 10은 상기 도 9에 있어서, 추정된 시차 정보를 보인 예시도.
도 11은 상기 도 3에 있어서, 카메라 좌표계에서 3차원 위치를 추정하는 방법을 설명하기 위하여 보인 예시도.
도 12는 상기 도 3에 있어서, 배전설비 전주 데이터베이스(DB)를 보인 예시도.
도 13은 상기 도 3에 있어서, 주행 중 객체/경로 위치 추정 알고리즘의 수행 결과를 보인 예시도.
도 14는 상기 도 3에 있어서, 객체/경로 위치 추정 정보 및 자산좌표 매칭에 따른 배전설비 좌표 취득 방법을 설명하기 위하여 보인 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 배전설비 좌표 자동취득 장치 및 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 피사체(예 : 배전설비)의 좌표정보를 취득하고, 상기 취득한 배전설비의 좌표정보와 데이터베이스에 미리 등록된 자산정보(예 : 전주 DB)를 비교하여, 상기 취득한 데이터(예 : 배전설비의 좌표정보)에 자산정보를 자동으로 매칭시킬 수 있도록 하는 장치와 방법에 관한 것이다. 즉, 본 발명은 이미지 기반의 좌표처리 기술을 적용하여, 카메라 등을 이용한 배전설비의 영상 취득 시 가공전주의 좌표정보(즉, 위치정보, GPS좌표)와 데이터베이스에 미리 등록된 배전설비의 자산정보(예 : 전주 DB)를 찾아내어 자동으로 매치시켜 그 결과를 저장할 수 있도록 하는 장치와 방법에 관한 것이다.
도 1에 도시된 바와 같이, 본 발명은 차량 등의 이동체를 이용하여 도로를 주행하면서 촬영한 이미지로부터 점검대상 피사체인 배전설비(예 : 가공전주)를 인식하고, 이 배전설비에 대한 좌표(또는 좌표 정보)를 취득하는 기술이다.
일반적으로 사용되는 GPS/IMU 모듈에서 출력되는 좌표/자세 정보를 그대로 사용한다고 가정할 때, 만약 주변에 전파나 자기장(예 : 고압철탑, 전력 충전설비 등)이 있을 경우, 자기장에 의한 영향으로 IMU(Inertial Measurement Unit)의 자기센서에 오차가 증가하여, 차량 자세 추정에 오류가 발생한다.
따라서 본 발명은 GPS 정보와 SLAM(Simultaneous Localization and Mapping) 알고리즘 및 스테레오 카메라에 의한 배전설비의 거리추정 정보를 이용하여, 차량(예 : 배전설비의 점검 차량)의 주행 경로 상에 있는 배전설비(예 : 가공전주)의 좌표정보 및 자산정보를 자동으로 취득하여 매치시키는 기술을 제공한다. 이 때 GPS 정보와 SLAM 알고리즘은 이미 알려진 정보이므로, 스테레오 카메라에 의한 배전설비의 거리추정 정보를 산출하는 것에 중요한 특징이 있다.
이하, 본 실시 예에서는 순시자(또는 배전설비 점검자)나 차량(또는 배전설비 점검 차량)의 주행 중 경로 추정을 위해서 GPS 센서 및 SLAM 알고리즘을 이용하여 경로 및 자세를 추정한다. 이 때 주행 중 객체와 경로의 위치를 추정하는 알고리즘은, 현재 순시중인 순시자 또는 차량의 위치 및 해당 위치를 기준으로 촬영되는 배전설비에 대한 상대적인 위치를 추정하는 알고리즘으로 정의될 수 있다.
또한 현재 위치를 기준으로 촬영 된 배전설비에 대한 상대적인 위치는, 스테레오 카메라(Stereo Camera)를 이용한 거리 정보 추정(Depth Estimation)을 통해 추정할 수 있다.
이하 본 발명의 일 실시 예에 따른 배전설비 좌표 자동취득 장치 및 방법에 대해서 설명한다.
도 2는 본 발명의 일 실시 예에 따른 배전설비 좌표 자동취득 장치의 개략적인 구성을 보인 예시도이다.
도 2에 도시된 바와 같이, 본 실시 예에 따른 배전설비 좌표 자동취득 장치는, 지피에스(GPS) 정보 수신부(110), 카메라부(120)(예 : 스테레오 카메라), 제어부(130), 및 통신부(140)를 포함한다.
상기 지피에스(GPS) 정보 수신부(110)는 지피에스(GPS) 위성을 통해 배전설비 점검 차량의 위치 정보(예 : GPS 정보)를 수신한다.
상기 카메라부(120)(예 : 스테레오 카메라)는 경로 상에 있는 객체(예 : 배전설비)를 촬영한다.
상기 제어부(130)는 상기 카메라부(120)를 통해 촬영한 이미지를 처리하여 객체(예 : 배전설비)를 검출하고, 차량에서 객체(예 : 배전설비)까지의 거리 정보(즉, 방향 정보 포함)를 산출한다.
또한 상기 제어부(130)는 지피에스(GPS) 정보와 SLAM 융합을 통한 지피에스(GPS) 좌표계 자세를 추정하고, 배전설비의 좌표를 산출하며, 자산정보 데이터베이스(DB) 정보를 바탕으로(또는 자산정보 DB 매칭을 통해) 배전설비 정보(예 : 가공전주 ID)를 취득한다.
상기 통신부(140)는 자산정보 데이터베이스(또는 서버)(미도시)와 통신하여, 상기 제어부(130)가 배전설비 정보(예 : 가공전주 ID)를 취득할 수 있도록 한다.
이하 상기 제어부(130)가 배전설비 정보를 취득하는 방법에 대하여 보다 구체적으로 설명한다.
도 3은 본 발명의 일 실시 예에 따른 배전설비 좌표 자동취득 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 제어부(130)가, 카메라부(120)(예 : 스테레오 카메라)를 통해 전방의 피사체(객체) 영상을 취득하고(S101), 지피에스(GPS) 정보 수신부(110)를 통해 현재의 지피에스(GPS) 좌표를 취득하며(S102), SLAM 알고리즘을 적용하여 이동체(또는 차량)의 상대 자세를 추정하고(S103), GPS/SLAM 융합을 통해 GPS 좌표계의 자세 변환을 수행하며(S104), 객체 검출 알고리즘(또는 딥러닝 알고리즘)을 통한 배전설비 좌표(3차원 위치)를 취득하고(S105), 자산정보 데이터베이스(DB) 정보를 바탕으로(또는 자산정보 DB 매칭을 통해) 배전설비 정보(예 : 가공전주 ID)를 취득한다(S106).
상기 제어부(130)가, 카메라부(120)(예 : 스테레오 카메라)를 통해 전방의 피사체(객체) 영상을 취득하는 단계(S101)에 대해서 도 4와 도 5를 참조하여 설명한다. 도 4는 상기 도 3에 있어서, 스테레오 카메라를 통해 얻은 원본 좌/우 이미지를 보인 예시도이고, 도 5는 상기 도 3에 있어서, 원본 좌/우 이미지가 영상 교정된 좌우 이미지를 보인 예시도이다.
상기 제어부(130)는 상기 카메라부(120)를 통해 검출하고자 하는 배전설비(예 : 가공전주)를 촬영하고, 대상 배전설비에 대한 시차정보(Disparity)를 통해 거리 정보(Depth)를 추정할 수 있다.
예컨대 상기 제어부(130)는, 도 4에 도시된 바와 같이, 취득 이미지 내의 배전설비의 좌/우 영상(a),(b)에서 동일한 대응점을 찾아, 그 시차를 계산하여 거리 정보를 추정할 수 있다. 그러나 스테레오 카메라에서 획득된 원본 좌/우 영상(a),(b)를 그대로 사용할 경우, 좌/우 영상에서 대응점을 찾기가 어려워, 시차 정보의 신뢰도가 하락하게 된다.
따라서 원본 영상을 사용할 경우의 좌/우 영상에서 2차원 검색(2-D Search)을 위한 시차 정보 추정 방법에 대한 보정이 필요하다.
이 때 상기 보정을 위한 카메라 보정(Camera Calibration)에서 카메라의 고유(Intrinsic) 변수 및 외부(Extrinsic) 변수를 추정한 뒤, 상기 추정된 카메라의 고유 변수 및 외부 변수를 이용하여 스테레오 영상을 교정(Rectification)하며, 카메라의 초점 거리(Focal Length), 주점(Principal Point), 두 카메라 사이의 회전 변환(Rotation) 및 이동(Translation), 거리(Baseline) 등을 계산한다.
여기서 상기 영상(즉, 스테레오 영상)의 교정을 통해 좌/우로 정렬되는 각 대응점을 검색하여 횡 방향 1차원 검색(1-D Search)의 문제로 단순화 시킬 수 있다. 이를 통해 시차정보의 계산 성능을 개선하고, 시차정보의 신뢰성을 향상시킨다. 또한 상기 영상(즉, 스테레오 영상)의 교정 시, 영상에서 필요 없는 부분을 제거하고 관심영역(Region of Interest, ROI)만 획득이 가능하다. 도 5를 참조하면, 영상 교정을 통해 이미지의 가운데 부분을 ROI로 설정하고 대응점 위치가 좌/우로 정렬된 것을 확인할 수 있다. 이와 같이 취득된 교정 영상은 피사체(즉, 배전설비)의 거리 및 자세 추정에 활용된다.
상기 제어부(130)가 지피에스(GPS) 정보 수신부(110)를 통해 현재의 지피에스(GPS) 좌표를 취득하는 단계(S102)에 대해서 설명한다.
본 실시 예는 차량의 현재위치 및 자세추정을 위하여 GPS/IMU 모듈(미도시)의 출력을 이용한다. 상기 GPU/IMU 모듈은 위치, 속도, 자세 등을 실시간으로 계산하여 출력한다. 이 때 상기 위치 추정의 경우 위도와 경도가 중요하며, 지상형 이동체인 경우 고도는 무시할 수 있다. 참고로 모듈별 약 2m 이내의 오차가 존재하며, 오차범위를 감안한 위치추정 신뢰도를 확보해야 하며, 또한 GPS/IMU 모듈의 사용 시 전력설비를 대상으로 하는 경우 주변간섭(전파 및 자기장)에 따른 오차가 존재하므로 자세추정에 오류 가능성이 있으므로, GPS 정보에 SLAM 알고리즘을 적용한 위치 추정을 수행한다.
상기 제어부(130)가 SLAM 알고리즘을 적용하여 이동체(또는 차량)의 상대 자세를 추정하는 단계(S103)에 대해서 도 6을 참조하여 설명한다. 도 6은 상기 도 3에 있어서, ANMS(Efficient Adaptive Non-Maximum Suppression) 알고리즘 결과를 보인 예시도이다.
통상적인 환경에서는 GPS/IMU 모듈만으로 일정 성능 이상의 위치 및 자세 추정이 가능하지만, 고전압이 흐르는 전주 근처 혹은 도심 환경(즉, 광활지가 아닌 환경)에서는 각각 IMU, GPS가 안정적으로 동작하지 못하는 문제점이 있다. 따라서 본 실시 예는 이러한 문제점을 보완하기 위한 스테레오 카메라에서 얻어지는 이미지를 통해 기하학을 기반으로 하는 방법으로 차량의 상대 자세를 추정한다.
이 때 상기 차량의 상대 자세 추정에는 ORB-SLAM을 적용하여, 고속 및 고정밀의 위치 및 자세추정을 수행할 수 있다.
참고로 상기 ORB-SLAM을 적용하기 위해서, (1) Grid-level 이미지 특징점 추출하고, (2) 추출된 특징점을 활용한 인접 프레임의 특징점 추적 및 키프레임 선택하며, (3) 추적된 인접 프레임의 특징점을 이용한 인접 프레임 간의 현재 위치 및 자세 추정을 수행하고, (4) 인접 키프레임의 위치 및 자세를 활용하여 지역적으로 인접한 프레임들의 위치 및 자세 추정 오차를 보정하며, (5) Loop(기존에 방문했던 지점에 재방문한 경우)가 검출이 될 경우, 기존 저장된 모든 키프레임의 위치 및 자세를 활용하여 Loop 안 모든 키프레임들의 위치 및 자세 추정 오차를 보정한다.
이와 같이 ORB-SLAM 적용한 배전설비 좌표추정 적용에는 아래의 두 가지 기술적 해결요소가 있다.
첫째는 카메라 기반 자세추정에 있어서, 주변조명, 날씨, 차량 이동속도 등의 다양한 외부요인에 의해 정확성 손실이 발생하며, 이를 보완하기 위해 ORB-SLAM2의 (1) Grid-level 이미지 특징점 추출 부분에 있어서 강인한 위치 및 자세 추정을 위한 균일한 특징점 추출 방법(Efficient Adaptive Non-Maximum Suppression(ANMS))을 적용할 수 있으며, 이를 통해 환경 변화에 강인하게 위치 및 자세 추정을 가능케 한다. 둘째는 Loop 처리 시 효율성 향상으로서, 루프 클로징(Loop Closing)은 주행환경 도중, 이전에 방문한 적이 있던 장소에 도착했을 경우, Loop(기존에 방문했던 지점에 재방문한 경우)를 검출하고 누적 자세오차를 줄이기 위한 자세 전체에 대한 최적화를 수행한다. 이는 재방문이 빈번하지 않은 배전선로 차량순시 조건 등에서 비효율적이다. 따라서 ORB-SLAM에서 루프 클로징(Loop Closing) 제외조건을 수정한 Tracking, Local Mapping 기반의 알고리즘으로 재구성함으로써, 스테레오 카메라 기반의 ORB-SLAM을 통해 환경변화에 강인하고, 효율적으로 메트릭 스케일(Metric-scale)의 상대적인 위치 및 자세를 추정할 수 있게 된다.
상기 제어부(130)가 GPS/SLAM 융합을 통해 GPS 좌표계의 취득과 자세 변환을 수행하는 단계(S104)에 대해서 도 7을 참조하여 설명한다. 도 7은 상기 도 3에 있어서, GPS/SLAM 융합(Fusion) 적용 과정을 설명하기 위하여 보인 예시도이다.
참고로 GPS/IMU 모듈(미도시)을 기반으로 추정된 현재 위치 및 자세는 GPS좌표계를 기준으로 하는 절대 좌표값을 갖지만, 고압 전선 부근이나 도심 환경에서는 각각 IMU의 지자계 모듈, GPS의 수신에 영향을 주어 부적절한 값이 산출되는 문제점이 있다. 또한, 스테레오 카메라를 통해 추정되는 현재 위치 및 자세는 알고리즘 시작 지점을 원점 좌표계로 가지는 상대 좌표값을 가지고 있기 때문에 실제 활용에 있어 어려움이 있고, 카메라 기반의 위치 및 자세 추정의 특징상 위치 및 자세 추정에 오차가 누적되는 드리프트 현상이 발생하는 문제점이 있다.
따라서 상기 두 방법(예 : GPS/IMU 모듈을 이용한 좌표 추정, 스테레오 카메라를 이용한 좌표 추정)에 대한 문제점을 보완하기 위하여, 본 실시 예는 GPS/SLAM Fusion(융합)을 적용한 좌표추정을 적용한다.
도 7을 참조하여 GPS/SLAM 융합(Fusion) 방법에 대해 간단히 설명한다.
GPS에 대한 현재 위치는 GPS 좌표계를 기준으로 획득되지만, 이와 달리 SLAM 알고리즘의 경우 시작 지점을 기준으로 현재 자세 및 위치가 추정되기 때문에 두 경로 간의 방향, 위치, 스케일이 다른 문제점이 있다.
이러한 문제점을 해결하기 위해서, SLAM에 의해 추정되는 위치값과 GPS를 통해 얻어지는 위치 간의 변환 행렬을 구함으로써, 해당 문제가 해결 가능하다.
상기 두 방법에서 추정된 현재위치 및 상대자세 융합은 다음 수식과 같다.
이 때, 구하고자 하는 값은 GPS를 통해 얻어진 경로와 SLAM을 통해 얻어진 경로 간의 변환 행렬이며, 이 값을 구하기 위한 방법으로는 SLAM을 통해 얻어진 경로에 변환 행렬 을 곱하였을 때, 해당 경로와 GPS를 통해 얻어진 경로와 최대한 일치하도록 하는 변환 행렬을 구함으로써 해당 변환 행렬을 구할 수 있다.
이렇게 구해진 변환 행렬을 통해 SLAM을 통해 얻어진 상대 위치 및 자세를 GPS 좌표계를 기준으로 하는 위치 및 자세로 변환 가능하며, 또한 드리프트로 인해 발생하는 에러를 GPS의 위치값을 통해 상당 부분(기존 대비) 보상 가능하다는 이점이 있다.
상기 제어부(130)가 객체 검출 알고리즘(또는 딥러닝 알고리즘)을 통한 배전설비 좌표(3차원 위치)를 취득하는 단계(S105)에 대해서 도 8 내지 도 11을 참조하여 설명한다.
도 8은 상기 도 3에 있어서, 딥러닝 기반 객체 검출 알고리즘을 적용하여 배전설비를 검출하는 방법을 설명하기 위하여 보인 예시도이고, 도 9는 상기 도 8에 있어서, 검출된 객체에 대한 시차 정보의 추정 방법을 설명하기 위하여 보인 예시도이며, 도 10은 상기 도 9에 있어서, 추정된 시차 정보를 보인 예시도이고, 도 11은 상기 도 3에 있어서, 카메라 좌표계에서 3차원 위치를 추정하는 방법을 설명하기 위하여 보인 예시도이다.
상기 제어부(130)는 배전설비를 검출하기 위하여 스테레오 카메라 중 하나의 카메라(예 : 좌측 카메라)를 기준 카메라로 정하여, 해당 카메라에서 대상이 되는 배전설비(전주)를 검출한다. 이를 위하여 딥러닝(Deep Learning) 기반 객체 검출 알고리즘 또는 기존의 다른 알고리즘을 사용할 수도 있다.
참고로 도 8은 딥러닝 기반 객체 검출 알고리즘을 통해 검출한 전주(pole)를 보인 예시도이다.
상기와 같이 배전설비가 검출되면, 상기 제어부(130)는 상기 검출된 배전설비에 대한 거리정보를 추정하기 위하여, 도 9에 도시된 바와 같은 교정된 좌/우 영상 및 상기 검출된 배전설비 영역을 이용한다. 아울러 1-D 대칭점(즉, 1차원 대칭점 검색) 검색을 위해서는 특징점(Feature) 기반 알고리즘 또는 영상 조각(Image Patch) 기반 알고리즘을 사용한다.
상기 대칭점 검색을 위한 알고리즘을 통해 얻어진 시차정보는 도 10에 도시된 바와 같다. 예컨대 전체영상에 대해 올바르게 시차정보가 추정되었을 경우, 시차 정보 및 카메라 고유 변수 및 외부 변수를 이용하여 시차 정보를 거리 정보로 변환할 수 있다.
참고로 시차 정보를 거리 정보로 변환하기 위한 시차-거리 변환 수식은 다음과 같다.
여기서 Z는 거리(z-axis), f는 렌즈의 초점 거리, B는 카메라 사이의 거리(Baseline), d는 시차(Disparity)를 의미한다.
상기와 같이 시차 정보를 거리 정보로 변환하기 위해서는, 렌즈의 초점 거리, 및 카메라 사이의 거리 정보가 필요하며, 이러한 정보는 상술한 카메라 보정 단계에서 획득할 수 있기 때문에, 정확한 카메라 보정을 통해 쉽게 거리 정보를 추정할 수 있다.
그러나 특징점 기반 알고리즘을 사용할 경우, 부정확한 배전설비 검출 영역(Bounding Box)에 의해 해당 영역 내부에 배전설비가 아닌 영역이 포함되어 있을 수 있다. 이를 처리하기 위해, 배전설비의 거리는 검출 영역 내부의 평균(Average) 또는 중간(Median) 값으로 가정한다. 본 실시 예에서는 이러한 오류를 최소화하기 위하여, 영상 조각 기반 알고리즘을 사용한다.
이 때 거리 정보를 이용하여, 3차원 공간상의 배전설비 위치를 계산할 수 있으며, 상기 거리 정보를 이용한 3차원 좌표계산 수식은 다음 수식과 같다.
여기서 Z는 거리(z-axis), f는 렌즈의 초점 거리, u,v는 영상 내 해당 점의 위치(pixel), X,Y는 3차원 공간에서의 x,y 좌표를 의미한다.
이 때 3차원 좌표계산(위치)을 위해, 영상(이미지) 내에서의 해당 배전설비의 위치 및 초점거리 정보가 필요하며, 영상 내에서의 해당 배전설비 위치의 경우 검출된 배전설비 영역(Bounding Box)의 중심점을 기준으로 하여 계산할 수 있다.
상술한 바와 같이 카메라 좌표계에서의 3차원 위치를 추정할 수 있으나, 최종적으로 추정해야 하는 것은, 도 11에 도시된 바와 같이, GPS 좌표계(또는 월드 좌표계)에서의 3차원 위치이므로, 카메라 좌표계와 GPS 좌표계 사이의 변환을 통해 최종적인 3차원 위치를 추정해야 한다.
이에 따라 카메라 좌표계와 GPS 좌표계 사이의 회전 변환을 , 이동 변환을 , 카메라 좌표계에서의 카메라 위치를 라고 할 때, GPS 좌표계에서 나타낸 전주의 3차원 위치()는 다음 수식과 같이 구할 수 있다.
상술한 방법을 매 프레임에 대해 검출된 각각의 배전설비에 대해 적용하여, 검출된 배전설비들의 GPS 좌표계 위치를 추정할 수 있다.
상기 제어부(130)가 자산정보 데이터베이스(DB) 정보를 바탕으로(또는 자산정보 DB 매칭을 통해) 배전설비 정보(예 : 가공전주 ID)를 취득하는 단계(S106)에 대해서 도 12 내지 도 14를 참조하여 설명한다.
도 12는 상기 도 3에 있어서, 배전설비 전주 데이터베이스(DB)를 보인 예시도이고, 도 13은 상기 도 3에 있어서, 주행 중 객체/경로 위치 추정 알고리즘의 수행 결과를 보인 예시도이며, 도 14는 상기 도 3에 있어서, 객체/경로 위치 추정 정보 및 자산좌표 매칭에 따른 배전설비 좌표 취득 방법을 설명하기 위하여 보인 예시도이다.
상기 제어부(130)는 상기 S105 단계를 통해 GPS 좌표계에서의 배전설비에 대한 3차원 위치()를 추정하고 해당정보(즉, 전주에 대한 3차원 위치 정보)와 배전설비의 자산정보를 매칭하기 위하여, 도 12에 도시된 바와 같이 전주정보(ID)에 대한 DB를 적용한다.
여기서 각 전주정보(ID)에 대한 GPS 경도 및 위도가 저장되어 있으며, 추정된 위치와 DB 위치를 비교하고, 가장 가까운 위치에 있는 배전설비(예 : 전주)를 선택하는 기법이 적용된다. 이 때, 해당 거리가 일정 기준거리(예 : 10m, 전주경간 평균 50m 기준) 이내 및 최근접 해당 배전설비(예 : 전주)를 특정하고, 전주정보(ID)를 매칭한다.
상기와 같이 본 실시 예는 이미지 기반의 데이터를 취득하여 배전설비의 좌표와 자산정보를 자동으로 취득할 수 있는 시스템으로 적용되며, 차량 등의 이동수단에서 별도의 부가적인 정보처리 없이 배전설비의 좌표와 위치정보를 특정하는 것이 가능한 효과가 있다. 또한 본 실시 예는 배전설비 좌표 취득의 정확도 향상되고, 자동화로 자산처리 비용의 절감이 가능하며, 관련업무(예 : 배전설비 진단, 데이터관리, 배전선로 순시) 효율성이 상승하는 효과가 있다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다. 또한 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
110 : 지피에스 정보 수신부 120 : 카메라부
130 : 제어부 140 : 통신부
130 : 제어부 140 : 통신부
Claims (16)
- 배전설비 점검 차량의 현재 지피에스(GPS) 좌표를 검출하기 위한 지피에스(GPS) 정보 수신부;
상기 차량의 주행 경로 상에 있는 배전설비 영상을 촬영하기 위한 카메라부;
배전설비 정보를 취득할 수 있도록 하기 위하여 자산정보 데이터베이스와 통신하는 통신부; 및
상기 영상에서 배전설비를 검출하고, 상기 배전설비의 좌표를 계산하여 상기 자산정보 데이터베이스(DB)를 바탕으로 상기 배전설비의 아이디(ID) 정보를 취득하는 제어부;를 포함하되,
상기 제어부는,
상기 카메라부를 통해 영상을 취득하기 위하여,
상기 영상에 촬영된 배전설비에 대한 시차정보(Disparity)를 통해 거리 정보(Depth)를 추정하며, 스테레오 카메라를 이용해 취득한 원본 좌/우 영상에서 2차원 검색(2-D Search)을 위한 시차 정보 추정 방법에 대한 보정을 수행하되,
카메라의 고유(Intrinsic) 변수 및 외부(Extrinsic) 변수를 추정하여 스테레오 영상을 교정하고, 상기 스테레오 영상의 교정을 통해 좌/우로 정렬되는 각 대응점을 검색하여 횡 방향 1차원 검색(1-D Search)을 수행할 수 있게 보정하는 것을 특징으로 하는 배전설비 좌표 자동취득 장치.
- 제 1항에 있어서, 상기 카메라부는,
스테레오 카메라를 포함하는 것을 특징으로 하는 배전설비 좌표 자동취득 장치.
- 제 1항에 있어서, 상기 제어부는,
배전설비 점검 차량의 카메라부를 통해 영상을 취득하고, 상기 차량의 현재 지피에스(GPS) 좌표를 취득하며, 상기 차량의 상대 자세를 추정하고, 상기 차량의 GPS 좌표계 자세 변환을 수행하며, 상기 영상에서 배전설비를 검출하여 3차원 위치 좌표를 검출하고, 자산정보 데이터베이스(DB) 정보를 바탕으로 상기 배전설비에 대한 아이디(ID) 정보를 취득하는 것을 특징으로 하는 배전설비 좌표 자동취득 장치.
- 삭제
- 제 3항에 있어서, 상기 제어부는,
상기 차량의 현재 지피에스(GPS) 좌표를 취득하기 위하여,
GPS/IMU(Inertial Measurement Unit) 모듈을 이용하여 차량의 현재위치 및 자세추정을 수행하되,
주변간섭에 의한 자세추정 오류 가능성을 고려하여,
GPS 정보에 SLAM(Simultaneous Localization and Mapping) 알고리즘을 적용한 위치 추정을 수행하는 것을 특징으로 하는 배전설비 좌표 자동취득 장치.
- 제 3항에 있어서, 상기 제어부는,
ORB-SLAM을 적용하여 상기 차량의 상대 자세 추정을 수행하는 것을 특징으로 하는 배전설비 좌표 자동취득 장치.
- 제 3항에 있어서, 상기 제어부는,
상기 GPS 좌표계 자세 변환을 수행하기 위하여,
GPS/SLAM 융합을 통해 GPS 좌표계의 취득과 자세 변환을 수행하되,
GPS에 대한 현재 위치가 GPS 좌표계를 기준으로 획득되고, SLAM 알고리즘은 시작 지점을 기준으로 현재 자세 및 위치가 추정됨으로써 두 경로 간의 방향, 위치, 스케일이 다른 문제점을 해결하기 위하여, GPS를 통해 얻어진 경로와 SLAM을 통해 얻어진 경로 간의 변환 행렬을 통해 융합을 수행하는 것을 특징으로 하는 배전설비 좌표 자동취득 장치.
- 제 3항에 있어서, 상기 제어부는,
상기 영상에서 배전설비를 검출하여 3차원 위치 좌표를 검출하기 위하여,
딥러닝 기반 객체 검출 알고리즘을 이용하여 배전설비를 검출하며,
상기 배전설비를 검출하기 위하여 스테레오 카메라 중 하나의 카메라를 기준 카메라로 설정하고, 상기 딥러닝 기반 객체 검출 알고리즘을 이용하여 상기 기준 카메라에서 대상이 되는 배전설비를 검출하며,
시차 정보 및 카메라 고유 변수 및 외부 변수를 이용하여 시차 정보를 거리 정보로 변환하여 상기 검출된 배전설비에 대한 거리정보를 추정하되,
상기 시차 정보를 거리 정보로 변환하기 위하여 시차-거리 변환 수식을 이용하며, 상기 시차-거리 변환 수식은, 이고, 여기서 Z는 거리(z-axis), f는 렌즈의 초점 거리, B는 카메라 사이의 거리(Baseline), d는 시차(Disparity)를 의미하는 것을 특징으로 하는 배전설비 좌표 자동취득 장치.
- 제 3항에 있어서, 상기 제어부는,
상기 자산정보 데이터베이스(DB) 정보를 바탕으로 상기 배전설비에 대한 아이디(ID) 정보를 취득하기 위하여,
상기 배전설비에 대한 3차원 위치()를 추정하고, 자산정보 데이터베이스(DB) 정보를 바탕으로 상기 배전설비에 대한 3차원 위치 정보와 상기 배전설비의 자산정보를 매칭하여 상기 배전설비의 아이디(ID) 정보를 취득하는 것을 특징으로 하는 배전설비 좌표 자동취득 장치.
- 배전설비 좌표 자동취득 장치의 제어부가 배전설비 점검 차량의 카메라부를 통해 영상을 취득하는 단계;
상기 제어부가 상기 차량의 현재 지피에스(GPS) 좌표를 취득하는 단계;
상기 제어부가 상기 차량의 상대 자세를 추정하는 단계;
상기 제어부가 GPS 좌표계 자세 변환을 수행하는 단계;
상기 제어부가 상기 영상에서 배전설비를 검출하여 3차원 위치 좌표를 검출하는 단계; 및
상기 제어부가 자산정보 데이터베이스(DB) 정보를 바탕으로 상기 배전설비에 대한 아이디(ID) 정보를 취득하는 단계;를 포함하되,
상기 카메라부를 통해 영상을 취득하는 단계에서,
상기 제어부가,
상기 영상에 촬영된 배전설비에 대한 시차정보(Disparity)를 통해 거리 정 보(Depth)를 추정하며,
스테레오 카메라를 이용해 취득한 원본 좌/우 영상에서 2차원 검색(2-D Search)을 위한 시차 정보 추정 방법에 대한 보정을 수행하되,
카메라의 고유(Intrinsic) 변수 및 외부 (Extrinsic) 변수를 추정하여 스테레오 영상을 교정하고, 상기 스테레오 영상의 교정을 통해 좌/우로 정렬되는 각 대응점을 검색하여 횡 방향 1차원 검색(1-D Search)을 수행할 수 있게 보정하는 것을 특징으로 하는 배전설비 좌표 자동취득 방법.
- 삭제
- 제 10항에 있어서,
상기 차량의 현재 지피에스(GPS) 좌표를 취득하는 단계에서,
상기 제어부가,
GPS/IMU(Inertial Measurement Unit) 모듈을 이용하여 차량의 현재위치 및 자세추정을 수행하되,
주변간섭에 의한 자세추정 오류 가능성을 고려하여,
GPS 정보에 SLAM(Simultaneous Localization and Mapping) 알고리즘을 적용한 위치 추정을 수행하는 것을 특징으로 하는 배전설비 좌표 자동취득 방법.
- 제 10항에 있어서, 상기 차량의 상대 자세를 추정하는 단계에서,
상기 제어부는,
ORB-SLAM을 적용하여 상기 차량의 상대 자세 추정을 수행하는 것을 특징으로 하는 배전설비 좌표 자동취득 방법.
- 제 10항에 있어서, 상기 GPS 좌표계 자세 변환을 수행하는 단계에서,
상기 제어부는,
GPS/SLAM 융합을 통해 GPS 좌표계의 취득과 자세 변환을 수행하되,
GPS에 대한 현재 위치가 GPS 좌표계를 기준으로 획득되고, SLAM 알고리즘은 시작 지점을 기준으로 현재 자세 및 위치가 추정됨으로써 두 경로 간의 방향, 위치, 스케일이 다른 문제점을 해결하기 위하여, GPS를 통해 얻어진 경로와 SLAM을 통해 얻어진 경로 간의 변환 행렬을 통해 융합을 수행하는 것을 특징으로 하는 배전설비 좌표 자동취득 방법.
- 제 10항에 있어서, 상기 영상에서 배전설비를 검출하여 3차원 위치 좌표를 검출하는 단계에서,
상기 제어부는,
딥러닝 기반 객체 검출 알고리즘을 이용하여 배전설비를 검출하며,
상기 배전설비를 검출하기 위하여 스테레오 카메라 중 하나의 카메라를 기준 카메라로 설정하고, 상기 딥러닝 기반 객체 검출 알고리즘을 이용하여 상기 기준 카메라에서 대상이 되는 배전설비를 검출하며,
시차 정보 및 카메라 고유 변수 및 외부 변수를 이용하여 시차 정보를 거리 정보로 변환하여 상기 검출된 배전설비에 대한 거리정보를 추정하되,
상기 시차 정보를 거리 정보로 변환하기 위하여 시차-거리 변환 수식을 이용하며, 상기 시차-거리 변환 수식은, 이고, 여기서 Z는 거리(z-axis), f는 렌즈의 초점 거리, B는 카메라 사이의 거리(Baseline), d는 시차(Disparity)를 의미하는 것을 특징으로 하는 배전설비 좌표 자동취득 방법.
- 제 10항에 있어서, 상기 자산정보 데이터베이스(DB) 정보를 바탕으로 상기 배전설비에 대한 아이디(ID) 정보를 취득하는 단계에서,
상기 제어부는,
상기 배전설비에 대한 3차원 위치()를 추정하고, 자산정보 데이터베이스(DB) 정보를 바탕으로 상기 배전설비에 대한 3차원 위치 정보와 상기 배전설비의 자산정보를 매칭하여 상기 배전설비의 아이디(ID) 정보를 취득하는 것을 특징으로 하는 배전설비 좌표 자동취득 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210106884A KR102637972B1 (ko) | 2021-08-12 | 2021-08-12 | 배전설비 좌표 자동취득 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210106884A KR102637972B1 (ko) | 2021-08-12 | 2021-08-12 | 배전설비 좌표 자동취득 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230024754A KR20230024754A (ko) | 2023-02-21 |
| KR102637972B1 true KR102637972B1 (ko) | 2024-02-20 |
Family
ID=85327930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210106884A KR102637972B1 (ko) | 2021-08-12 | 2021-08-12 | 배전설비 좌표 자동취득 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102637972B1 (ko) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100484941B1 (ko) * | 2002-09-12 | 2005-04-25 | 한국전자통신연구원 | 영상정보를 이용한 지리정보 구축 및 브라우징 시스템과그 방법 |
| KR20200033679A (ko) * | 2018-09-20 | 2020-03-30 | 한국전력공사 | 순시 영상 기반 설비 관리 시스템 |
-
2021
- 2021-08-12 KR KR1020210106884A patent/KR102637972B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230024754A (ko) | 2023-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10996062B2 (en) | Information processing device, data management device, data management system, method, and program | |
| CN111462200B (zh) | 一种跨视频行人定位追踪方法、系统及设备 | |
| CN110322500B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| US10909395B2 (en) | Object detection apparatus | |
| JP2020067439A (ja) | 移動体位置推定システムおよび移動体位置推定方法 | |
| US20130243250A1 (en) | Location of image capture device and object features in a captured image | |
| CN109099929B (zh) | 基于场景指纹的智能车定位装置及方法 | |
| CN104704384A (zh) | 具体用于装置的基于视觉的定位的图像处理方法 | |
| KR102103944B1 (ko) | 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법 | |
| US10872246B2 (en) | Vehicle lane detection system | |
| JP6479296B2 (ja) | 位置姿勢推定装置および位置姿勢推定方法 | |
| US20200279395A1 (en) | Method and system for enhanced sensing capabilities for vehicles | |
| CN114596382A (zh) | 一种基于全景相机的双目视觉slam方法及系统 | |
| CN113971697A (zh) | 一种空地协同车辆定位定向方法 | |
| CN111783849B (zh) | 一种室内定位方法、装置、电子设备及存储介质 | |
| KR102195040B1 (ko) | 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법 | |
| KR102637972B1 (ko) | 배전설비 좌표 자동취득 장치 및 방법 | |
| CN117146795A (zh) | 视觉激光双重校验的回环检测方法、系统、设备及介质 | |
| CN113850864B (zh) | 一种面向室外移动机器人的gnss/lidar回环检测方法 | |
| Huang et al. | Image-based localization for indoor environment using mobile phone | |
| KR20220062709A (ko) | 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법 | |
| Ai et al. | Surround Mask Aiding GNSS/LiDAR SLAM for 3D Mapping in the Dense Urban Environment | |
| Lin et al. | Image features-based mobile robot visual SLAM | |
| Li et al. | Joint intrinsic and extrinsic lidar-camera calibration in targetless environments using plane-constrained bundle adjustment | |
| Ma et al. | Semantic geometric fusion multi-object tracking and lidar odometry in dynamic environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |