KR102544411B1 - 비행경로와 사이트 동작 데이터를 통합하기 위한 시스템 및 방법 - Google Patents

비행경로와 사이트 동작 데이터를 통합하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102544411B1
KR102544411B1 KR1020197029929A KR20197029929A KR102544411B1 KR 102544411 B1 KR102544411 B1 KR 102544411B1 KR 1020197029929 A KR1020197029929 A KR 1020197029929A KR 20197029929 A KR20197029929 A KR 20197029929A KR 102544411 B1 KR102544411 B1 KR 102544411B1
Authority
KR
South Korea
Prior art keywords
flight plan
inspection
asset
delete delete
data
Prior art date
Application number
KR1020197029929A
Other languages
English (en)
Other versions
KR20190120399A (ko
Inventor
윌리엄 보레아 노토
Original Assignee
제네럴 일렉트릭 컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제네럴 일렉트릭 컴퍼니 filed Critical 제네럴 일렉트릭 컴퍼니
Priority to KR1020237019745A priority Critical patent/KR20230091197A/ko
Publication of KR20190120399A publication Critical patent/KR20190120399A/ko
Application granted granted Critical
Publication of KR102544411B1 publication Critical patent/KR102544411B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03DWIND MOTORS
    • F03D17/00Monitoring or testing of wind motors, e.g. diagnostics
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/0202Control of position or course in two dimensions specially adapted to aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0013Transmission of traffic-related information to or from an aircraft with a ground station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/25UAVs specially adapted for particular uses or applications for manufacturing or servicing
    • B64U2101/26UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/24Pc safety
    • G05B2219/24215Scada supervisory control and data acquisition
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/70Wind energy
    • Y02E10/72Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Sustainable Development (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Sustainable Energy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Wind Motors (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명은 동작 중에 움직이는 부분들을 가지는 에셋과 같은 에셋의 점검과 관련된다. 본 명세서에서 논의된 바와 같이, 이러한 에셋에 대한 동작 데이터는 비행 계획의 계획이나 적응에 통합될 수 있고/있거나 점검 데이터의 획득을 용이하게 하기 위해 비행 계획에 따라 에셋에 동작 커맨드들이 내려질 수 있다.

Description

비행경로와 사이트 동작 데이터를 통합하기 위한 시스템 및 방법
본 명세서에 개시된 주제는 시스템, 장치 또는 설비와 같은 에셋을 드론(drone)들이나 다른 무인 비행체들과 같은 하나 이상의 로보트 에이전트(robotic agent)들을 사용하여 점검하는 것에 관계된다.
다양한 존재물(entity)들이 그것들의 동작(operation)의 일부로서 상이한 유형의 에셋들을 소유하거나 유지할 수 있다. 그러한 에셋들은 물리적 또는 기계적 장치들, 구조물들 또는 어떤 경우들에서는 전기적 및/또는 화학적 측면도 가질 수 있는 설비들을 포함할 수 있다. 이러한 에셋들은 다양한 목적으로 사용되거나 유지될 수 있으며 상황에 따라 자본 기반 구조(infrastructure), 재고 에셋 또는 기타 명명법으로 특징지어질 수 있다. 예를 들면, 에셋들에는 파이프라인이나 전기 그리드와 같은 분산된 에셋들과, 비행기, 풍력 터빈 발전기, 타워(tower), 차량 등과 같은 개별 또는 구별된 에셋들이 포함될 수 있다. 에셋들은 그것들의 동작에 영향을 미칠 수 있는 다양한 유형의 결함들(예를 들면, 자발적인 기계적 결함들, 전기적 결함들 및 일상적인 마모(wear-and-tear)에 노출될 수 있다. 예를 들어 시간이 지남에 따라 에셋은 날씨로 인해 부식되거나 균열이 발생하거나 구성 부품들의 마모나 고장으로 인해 성능이나 효율성이 저하될 수 있다.
통상적으로, 하나 이상의 사람 점검자들이 그러한 에셋을 점검, 유지, 및 수리할 수 있다. 예를 들면, 점검자는 에셋의 부식을 발견하거나, 에셋의 균열이나 결함을 발견하고 정량적으로 또는 정성적으로 평가할 수 있으며, 관찰된 마모 정도와 예상되는 정도 등에 대해 에셋을 평가할 수 있다. 그러나 에셋의 위치, 크기 및/또는 복잡성에 따라, 에셋에 대한 점검을 수행하는 하나 이상의 사람 점검자가 있으면 점검자가 다른 작업을 수행하는 데 시간이 걸리거나 그렇지 않으면 시간이 많이 걸리고 노동 집약적이어서 다른 곳에서 생산적으로 더 많은 시간을 소비할 수 있다. 또한 일부 점검 작업은 무미건조하거나 더러울 수 있으며, 또는 사람이 수행하기에 부적합할 수 있다. 예를 들어, 일부 에셋은 키, 제한된 공간 등으로 인해 사람이 접근할 수 없는 위치들을 가질 수 있다. 또한, 점검들은 과도한 점검(over-inspection) 또는 과소한 점검(under-inspection)을 초래하는 스케줄들에 기초하여 가끔 수행될 수 있다.
또한, 일부 에셋들은 그것들의 동작의 성질로 인해, 움직이거나 접근하기 어려운 부품들로 인한 것과 같이, 동작 중에 점검 또는 평가하기가 어려울 수 있다. 그러므로 점검은 불완전하거나 에셋을 오프라인으로 전환하도록 요구할 수 있으며, 따라서 점검 과정에서 비생산적일 수 있다. 그러한 결과는 바람직하지 않을 수 있다. 또한, 점검 프로세스의 불확실한 성질로 인해, 즉 현재의 점검 결과가 이후의 스케줄링(scheduling)에 영향을 미칠 수 있으므로, 점검 프로세스의 영향을 최소화하도록 에셋 다운타임(asset downtime)을 계획하는 것이 어려울 수 있다.
US 2016-0217433 A
최초로 주장된 개시물과 범주에 있어서 상응하는 특정 실시예들이 아래에 요약되어 있다. 이러한 실시예들은 주장된 개시물의 범주를 제한하기 위한 것이 아니라 가능한 형태들의 개시물에 대한 간략한 요약만을 제공하기 위한 것이다. 실제로 실시예들은 아래에 설명한 실시예들과 유사하거나 다를 수 있는 다양한 형태들을 포함할 수 있다.
일 실시예에서, 에셋 점검 시스템이 제공된다. 이 실시예에 따르면, 이러한 에셋 점검 시스템은 하나 이상의 에셋들과 연관되는 하나 이상의 파라미터들을 모니터링하고 그러한 하나 이상의 에셋들의 동작(operation)을 제어하도록 구성되는 에셋 제어기; 하나 이상의 드론(drone)들; 및 상기 하나 이상의 드론들 및 상기 에셋 제어기와 통신하고, 점검하는 동안 비행 계획에 따른(followed by) 하나 이상의 드론들로 상기 에셋의 동작을 조정(coordinate)하도록 구성되는 비행 제어기(flight controller)를 포함한다.
추가 실시예에서는, 드론 기반의 점검을 개시하는 방법이 제공된다. 이러한 방법에 따르면, 점검을 개시하는 커맨드(command)가 수신된다. 점검될 하나 이상의 에셋들에 대한 현재 환경 데이터 또는 현재 동작 데이터 중 하나 또는 둘 다가 획득된다. 상기 하나 이상의 에셋들에 대한 현재 환경 데이터 또는 현재 동작 데이터 중 하나 또는 둘 다와 하나 이상의 에셋들에 대한 위치 데이터에 기초하여 점검 순서가 계산된다. 그러한 점검 순서에 기초하여, 하나 이상의 드론들에 대한 비행 계획이 생성된다. 그러한 드론들은 하나 이상의 에셋들을 점검하기 위해 상기 비행 계획에 따라 동작된다.
추가적인 일 실시예에서는, 에셋을 점검하기 위한 벙법이 제공된다. 이 방법에 따르면, 에셋의 동작을 조정하라는 제1 동작 커맨드가 하나 이상의 드론들이 점검을 수행하기 위해 그러한 에셋에 접근할 때 보내진다. 그러한 에셋에 의해 동작 커맨드가 수행되었다는 확인(confirmation)이 수신된다. 상기 하나 이상의 드론들은 상기 에셋에 관련된 비행 계획을 실행하고 상기 비행 계획을 실행할 때 점검 데이터를 수집하라는 지시를 받는다. 상기 비행 계획의 완료시, 정상 동작으로 상기 에셋을 되돌리라는 제2 동작 커맨드가 보내진다.
본 발명의 이들 및 다른 특징들, 양태들, 및 장점들은 첨부 도면들을 참조하여 후속하는 상세한 설명이 읽어질 때 더 잘 이해될 것이고, 이러한 첨부 도면들에서는 같은 문자들이 도면들 전반에 걸쳐 같은 부품들을 나타내고 있다.
도 1은 본 개시물의 양태들에 따라 풍력 에너지로부터 전기 에너지로 전환하도록 구성된 윈드 터빈 시스템을 도시하는 도면.
도 2는 본 개시물의 양태들에 따라 드론 기반의 점검 시스템의 사용을 가지는 풍력 발전 시스템 사이트(site)의 일 실시예의 블록도.
도 3은 본 개시물의 양태들에 따른, 점검 개시 흐름의 프로세스 흐름을 도시하는 도면.
도 4는 본 개시물의 양태들에 따른, 윈드 터빈 발전기 점검 개시 흐름의 프로세스 흐름을 도시하는 도면.
도 5는 본 개시물의 양태들에 따른, 점검 흐름의 프로세스 흐름을 도시하는 도면.
도 6은 본 개시물의 양태들에 따른, 윈드 터빈 발전기 점검 흐름의 프로세스 흐름을 도시하는 도면.
하나 이상의 특정 실시예들이 아래에서 설명된다. 이들 실시예의 간결한 설명을 제공하려는 노력으로, 실제 구현예의 모든 특징들이 본 명세서에 설명되지 않을 수 있다. 임의의 엔지니어링 또는 설계 프로젝트에서와 같이, 임의의 그러한 실제 구현예의 발전예에서는 시스템 관련 및 비즈니스 관련 제약 조건의 준수와 같은 개발자의 특정 목표를 달성하기 위해 다수의 구현예-특정 결정들이 이루어져야 하며, 이는 구현예마다 다를 수 있다는 점에 유의해야 한다. 더욱이 그러한 개발 노력은 복잡하고 시간이 많이 소요될 수 있지만, 그럼에도 불구하고 본 개시물의 이점을 가지는 당업자들을 위한 설계, 제작 및 제조의 일상적인 작업(undertaking)이 될 수 있다는 점을 알아야 한다.
본 발명의 다양한 실시예들의 요소들을 도입할 때, 관사들인 "a", "an", "the" 및 "said"는 하나 이상의 그러한 요소들이 있다는 것을 의미하기 위한 것이다. "함유하는(comprising)", "포함하는(including)" 및 "가지는(having)"이라는 용어들은 포괄적이고 나열된 요소 이외의 추가 요소가 있을 수 있음을 의미한다. 또한 다음 논의에서의 임의의 수치 예들은 제한되지 않도록 의도된 것이므로 따라서 추가적인 수치 값들, 범위들 및 백분율은 개시된 실시예들의 범주 내에 있다.
본 명세서에서 논의된 바와 같이, 본 접근 방식은 발전 에셋, 운송 에셋, 광업 또는 지하 펌핑 에셋, 제조 또는 건설 에셋들 등과 같은 하나 이상의 에셋에 대한 점검과 관련이 있으며, 무인(unmanned) 또는 UAV(unmanned aerial vehicle)들, USV(unmanned submersible vehicle)들과 같은 로봇 장치들 또는 드론들이나 로봇들과 같은 것으로 특징지어질 수 있는 기타 자율적으로 움직이는 차량(vehicle)들을 사용한다. 비록 본 명세서에서 단순성을 위해 "드론"이라는 용어가 본 명세서에서 사용되지만, 이 용어는 사람의 감독을 받지 않거나 제한된 사람 감독으로 프로그램 가능한 움직임을 행할 수 있는 UAV, USV, 로봇 장치 등의 모든 변형예를 포함하는 것으로 의도된다는 점을 알아야 한다. 그러한 프로그램 가능한 움직임은 원격 시스템에서 생성하여 드론에게 전달되는 국부적으로 생성된 경로 웨이포인트(path waypoint)들 또는 안내 또는 경로 안내 및 웨이포인트들에 기초할 수 있다. 그러므로 본 명세서에서 사용되는 바와 같이, 그러한 장치들은 동작 단계(phase) 또는 기간 동안 전적으로 또는 주로 인간의 직접적인 개입이나 제어 및/또는 제한된 인간의 개입이나 감독 없이 이동한다. 본 접근 방식에 따라 그러한 장치들은 비행 계획을 따라 이동하도록 동작될 수 있고, 그것을 따라 그러한 장치들은 비디오 또는 스틸 이미지 데이터, LIDAR 데이터 또는 비행 계획을 따라 움직이는 장치에 부착할 수 있는 센서들이나 카메라들로 획득할 수 있는 기타 데이터와 같은 점검 데이터를 획득한다.
비록, "비행 계획(flight plan)"이라는 어구가 일반적으로 본 명세서에서 사용되지만, 이러한 어구는 항공 이동을 필요로 하지 않고 대신 드론이 점검 계획의 부분으로서 따라 움직이는 임의의 1차원(ID)(트랙을 따라서와 같은), 2차원(2D)(규정되거나 규정되지 않은 평면 경로를 따라), 또는 3차원(3D)(공중, 물속, 또는 깊이 또는 고도가 또한 횡단할 수 있는 구조물 상에서의 움직임과 같은), 또는 4차원(4D)(규정된 시간적 측면이 있는 경우와 같은) 경로 또는 루트(route)와 관련이 있다는 점을 알아야 한다. 따라서 여기서 사용되는 "비행 계획"은 드론 또는 로봇과 같은 장치가 에셋의 센서 기반의 점검을 수행하기 위해 따라 움직여지는 임의의 1D, 2D, 3D 또는 4D 루트 또는 경로로서 특징지어질 수 있다. 이러한 경로는 본 명세서에서 논의된 바와 같이 적응될 수 있으며, 드론이 경로 또는 루트를 규정하는 웨이포인트들의 순서와 위치로 지시된 방식으로 진행하는 하나 이상의 웨이포인트들로 이루어질 수 있다. 그러한 비행 계획은 또한 시간적 위치 및/또는 공간적 위치뿐만 아니라 경로를 따라 이동하기 위한 배향 및/또는 정렬 명령어들도 통합하고/통합하거나 주어진 웨이포인트에서 나타낼 수 있다는 점을 알아야 한다. 따라서 비행 계획은 또한 그러한 비행 계획을 따라 드론이 다른 지점들에서 나타내는 롤(roll), 피치(pitch) 및 요(yaw)와 같은 파라미터들뿐만 아니라 센서나 카메라가 비행 계획을 따라 하나의 점을 가리키는 방향과 관련될 수 있는 2차원 또는 3차원 정렬 특징들을 특정할 수도 있다. 따라서 비행 계획은 드론이 점검 장소와 관련된 위치나 시간뿐만 아니라 주어진 위치나 웨이포인트에서도 드론이 향하거나 지향하는 방향을 다룰 수 있다.
본 명세서에서 논의된 바와 같이, 본 접근법은 스스로 점검해야 할 움직이는 부품을 가지고 있거나 점검 과정에 적대적인 환경을 생성하는 에셋들과 같이 동작될 때 점검하기 어려울 수 있는 에셋들의 점검을 용이하게 한다. 본 명세서에서 논의된 바와 같이, 그러한 에셋에 대한 동작 데이터는 비행 계획을 계획하거나 적응시키는 것 내로 통합될 수 있고/있거나 필요한 점검 데이터의 획득을 용이하게 하기 위해 그러한 비행 계획에 따라 에셋에 동작 커맨드들을 발생시킬 수 있다.
설명을 용이하게 하고 유용한 실제 상황을 제공하기 위해, 풍력 터빈 발전기가 여러 개 있는 풍력 발전소의 예가 본 명세서에서 논의된다. 그러나 그러한 예는 단지 설명을 용이하게 하기 위해서만 제공되며, 본 접근법은 광범위한 다른 에셋과 다양한 다른 유형의 사이트에서 사용하기에 적합하다는 점에 유의해야 한다. 따라서 본 접근법은 현재 사례의 상황에 한정되는 것이 아니다.
앞선 내용을 염두에 두고 도면들을 참조하면, 도 1은 풍력 에너지를 전기 에너지로 변환하기 위해 구성된 풍력 터빈 발전기(10)의 전면 모습을 묘사한다. 풍력 터빈 발전기(10)에는 타워(12), 나셀(nacelle)(14) 및 블레이드(16)들이 포함된다. 블레이드(16)들은 그러한 블레이드(16)와 회전하는 허브(20)에 의해 나셀(14) 내의 발전기(18)와 결합된다. 블레이드(16)는 바람으로부터의 선형 공기 흐름을 회전 운동으로 변환하도록 구성된다. 블레이드(16)가 회전함에 따라, 허브(20)와 나셀(14) 내의 발전기(18) 사이의 결합(coupling)이 발전기(18)의 구성 요소들을 회전시켜 전기 에너지를 생성한다. 묘사된 풍력 터빈 발전기(10)에는 3개의 블레이드(16)가 포함되어 있는 반면, 대안적인 구현예들은 더 많거나 더 적은 수의 블레이드(16)들이 포함될 수 있다.
풍력 터빈 발전기(10)에는 풍력 터빈 발전기(10)의 동작을 제어하는 제어기(26)도 포함될 수 있다. 예를 들어, 제어기(26)는 풍력 터빈 발전기(10)의 회전 속도(rpm), 블레이드(16)들의 피치, 풍력 터빈 발전기(10)의 요(yaw) 및 기타 작동 파라미터들을 제어할 수 있다. 제어기(26)는 프로세서(30)와 메모리 구성 요소(32)를 포함할 수 있는 제어 회로(28)를 포함할 수 있다. 프로세서는 데이터 분석, 프로그램 실행, 명령어들 실행, 풍력 터빈 발전기(10)의 동작 파라미터들의 최적화 및 풍력 터빈 발전기(10)의 작동 파라미터들을 제어하도록 구성될 수 있다. 메모리 구성 요소(32)는 임의의 비일시적인 컴퓨터 판독 가능한 매체일 수 있다. 메모리 구성 요소는 데이터, 프로세서 명령어들, 프로그램들, 최적화 알고리즘들, 룩업 테이블들, 모델들 등을 저장할 수 있고, 이들에는 본 명세서에서 논의된 본 접근들을 구현하기 위한 프로세서 명령어들이 포함된다. 비록 풍력 터빈 발전기(10)의 일 양태로서 묘사되지만, 아래에 논의된 바와 같이, 제어기(26)는 주어진 사이트에서 다수의 풍력 터빈 발전기(10)의 동작을 모니터링 및 제어하는 사이트 레벨(즉, 풍력 발전 팜 제어기)에서 구현될 수 있다.
묘사된 예에서, 제어기(26)는 작동자 인터페이스(34)를 포함하거나 작동자 인터페이스(34)와 통신할 수 있다. 작동자 인터페이스(34)는 디스플레이 및/또는 작동자 입력들을 포함할 수 있다. 작동자 인터페이스(34)는 풍력 터빈 발전기(10)가 풍력 터빈 발전기(10)와 작동자와 통신하고 작동자에 의해 제어되는 것을 허용하고, 작동자가 풍력 터빈 발전기(10)와 통신하는 것을 허용한다. 제어기(26)의 다양한 구성 요소들이 예시의 목적상 공통 유닛 또는 하우징 내에 있는 것으로 도시되지만, 일부 실시예들에서는 다양한 구성 요소들(예컨대, 제어 회로(28), 프로세서(30), 메모리(32), 작동자 인터페이스(34), 디스플레이(36), 작동자 입력(38)들, 통신 회로(40) 등)이 둘 이상의 유닛 및/또는 위치에 위치할 수 있다(즉, 분포됨).
제어기(26)에는 통신 회로(40)도 포함될 수 있다. 일부 실시예들에서, 통신 회로는 무선 또는 유선 통신에 의해 제어기와 작동자(예컨대, 스마트 장치를 통한) 간의 통신을 촉진할 수 있다. 일부 실시예에서는 통신 회로(40)가 무선 또는 유선 연결을 통한 통신을 촉진할 수 있다. 일부 실시예에서는 원격 제어 시스템(46) 및/또는 데이터베이스(48)(아래에 설명한 구성 데이터베이스와 같은)가 연결된 네트워크(44)를 통해 제어기(26)와 통신할 수 있다. 원격 제어 시스템(46)은 하나 이상의 위치에 걸쳐 펼쳐진 1개 이상의 풍력 터빈 시스템(10)에 원격으로 커맨드들이 발행되는 것을 허용할 수 있다. 또한 네트워크(44)는 구성 및/또는 이력(historical) 동작 데이터를 함유하는 하나 이상의 데이터베이스(48)에 대한 액세스를 제공할 수 있다.
도시된 예에서는, 드론(50)이 본 명세서에서 논의된 바와 같은 점검 데이터를 수집하는 것과 같이, 풍력 터빈 발전기(10)의 부근에 있는 것으로 도시된다.
도 2를 참조하면, 풍력 발전 팜(80)으로서 제공된 다수의 풍력 터빈 발전기(10)와 같은, 하나 이상의 에셋을 점검하기에 적합한 시스템의 양태들이 설명된다. 이 예에서, 풍력 발전 팜(80)의 풍력 터빈 발전기(10)들은 단일 풍력 터빈 발전기(10)의 상황에서 앞서 설명된 바와 같이, 개별적으로 또는 집합적으로 제어되거나 제어기(26)와 통신을 행한다.
예를 들면, 국부적 사이트(즉, 풍력 발전 팜(80))에서는 SCADA(supervisory control and data acquisition) 프로토콜들이 풍력 발전 팜(80)의 지속적인 동작과 감독의 부분으로서 제어기(26)(또는 다른 회로 또는 프로세서 구현예들의 일부)에서 실행될 수 있다. 이러한 구현에서 SCADA 프로토콜들 또는 루틴들은 구현될 때, 풍력 발전 팜(80)의 각 풍력 터빈 발전기(10)로부터 작동 데이터를 획득할 수 있으며, 각 풍력 터빈 발전기(10)에 작동 커맨드들 또는 지시를 보내는 것과 같이 개별 풍력 터빈 발전기(10)의 작동을 제어할 수 있다.
SCADA 루틴들에 의한 이러한 작동 모니터링과 제어를 촉진하기 위해, 풍력 터빈 발전기(10)들의 일부 또는 전부는 환경 조건 및/또는 풍력 터빈 발전기(10)와 관련된 날씨 데이터(풍속, 풍향, 기압, 온도, 습도, 시간 경과에 따른 강수량, 기상 조건 등과 같은)를 측정할 수 있는 센서들을 포함할 수 있다. 이러한 센서들은 분당 블레이드 회전수, 온도, 진동, 토크, 사용 시간, 전력 생산량 등과 같은 각 풍력 터빈 발전기(10)의 작동과 관련된 파라미터들을 추가로 또는 대안적으로 측정할 수 있다.
따라서 주어진 풍력 터빈 발전기 또는 풍력 터빈 발전기의 팜(farm)과 관련된 SCADA 프로토콜들은 하나 이상의 작동 상태, 환경 또는 지역 조건 및/또는 각 발전기에 대한 나셀 요(nacelle yaw), 블레이드 각도들, 작동 상태 등과 같은 주어진 발전기의 현재 작동 파라미터들 또는 특징들을 결정하도록 구성할 수 있다. 게다가, 연관된 팜(80)의 풍력 터빈 발전기(10)로 커맨드들 또는 명령어들을 생성하고 전송하도록 SCADA 프로토콜들이 구성될 수 있다. 그러한 커맨드들의 예로는 블레이드 움직임(및 대응하는 전력 발생)을 시작 및 정지시키는 커맨드들 및/또는 "토끼 귀(rabbit ear)" 커맨드와 같이 알려진거나 지정된 구성을 가정하는 커맨드들(3개의 블레이드 터빈의 경우 1개의 블레이드는 아래쪽을 향하고 다른 2개는 표면에 대해 30°인 각도에서와 같이 위쪽으로 각이 짐)이 포함되지만 이들에 국한되는 것은 아니다.
도시된 예에서, 제어기(26) 및 그리고 아마도 제어기(26)에서 실행되는 임의의 SCADA 루틴은 구성 데이터베이스(84)와 통신한다. 이러한 구성 데이터베이스(84)는 각 풍력 발전 팜(80)의 풍력 터빈 발전기(10)에 대한 다양한 구성 데이터를 저장 및/또는 관리하는 데 사용될 수 있다. 예를 들어, 각 풍력 터빈 발전기(10)의 경우, 구성 데이터베이스에는 하나 이상의 구성 요소에 대한 모델 및/또는 일련 번호들, 블레이드 식별자들 또는 숫자들, 각 블레이드와 연관된 색상 코드 또는 시각적 표시(marking) 등이 포함될 수 있다.
도 2는 풍력 발전 팜(80)의 풍력 터빈 발전기(10)의 점검을 위한 것과 같이, 하나 이상의 드론(50)의 동작 조율을 담당하는 비행 제어기(90)도 묘사하고 있다. 일 실시예에서, 드론(들)(50)은 선내(onboard) 셀룰러 또는 네트워크 연결을 가지고 있으며, 적어도 점검을 시작하기 전에 비행 제어기(90)와 통신할 수 있다. 특정 구현예들에서 드론(들)(50)의 셀룰러 또는 네트워크 연결은 점검 중에 통신을 허용하고, 점검 데이터를 비행 제어기(90) 또는 기타 구성 요소(예컨대, 점검 데이터 저장소(98))로 전달하는 것을 허용하고/하거나 비행 제어기가 주어진 드론(50)으로 비행 계획의 변경사항을 전달할 수 있도록 한다.
도시된 예에서, 비행 제어기는 하나 이상의 프로세서(94)와 메모리(92)를 가지는 프로세서 기반 시스템으로 묘사된다. 예를 들어, 프로세서(94)는 점검 프로세스에 사용되는 드론(들)(50)에 대한 커맨드나 비행 계획을 생성하기 위해 메모리(92)(및/또는 메모리(92)에 저장된 데이터를 활용)에 저장된 루틴들을 실행할 수 있다. 도시된 예에서, 비행 제어기(90)는 풍력 터빈 제어기(26) 및/또는 구성 데이터베이스(84) 중 하나 또는 둘 다와 통신하고 있으며, 드론(들)(50)의 제어에서 어느 한 소스에서 얻은 정보를 사용할 수 있다. 반대로, 드론(들)(50)으로부터 받은 정보나 피드백에 기초하여, 비행 제어기(90)는 풍력 터빈 제어기(26) 및/또는 구성 데이터베이스에 명령어들을 업데이트하거나 발행할 수 있다. 따라서, 비행 제어기(90)는 특정 실시예들에서 드론(들)(50)과 풍력 발전 팜(80)의 풍력 터빈 발전기(10)를 작동하고 모니터링하기 위해 채택된 SCADA 프로토콜들 사이의 인터페이스로 특징지을 수 있으며, 적절한 경우 구성 데이터베이스(84)와의 인터페이스가 될 수 있다.
게다가, 비행 제어기(90)는 이미지 저장소와 같은 점검 데이터 데이터베이스(98)과 통신하는 것으로 묘사된다. 예를 들어, 점검 중 하나 이상의 드론(50)이 획득한 비디오, 이미지, LIDAR 데이터 또는 기타 관련 센서 또는 카메라 데이터는 점검 비행 계획이 완료된 후 획득한 대로 또는 일괄적으로 점검 데이터 데이터베이스(98)에 업로드할 수 있다. 그런 다음 점검 데이터 데이터베이스 내의 데이터를 검토하거나 점검 프로세스의 일부로 검증할 수 있다. 특정 구현예들에서 획득한 점검 데이터(예컨대 센서들 판독들, 비디오, 스틸 이미지들)를 실시간 또는 거의 실시간으로 평가할 수 있으며, 이 경우 추가 점검 데이터(예컨대, 상이한 범위 또는 각도로부터의 추가적인 비디오 또는 이미지들)의 획득이 보장된다면 비행 제어기(90)가 드론(50)의 비행 계획을 상황을 봐가면서 업데이트할 수 있다.
점검 또는 영상 데이터에는 점검 중인 주어진 블레이드와 일치하고 식별하는 데 사용할 수 있는 시각적 식별자(예컨대, 영숫자 코드, 2차원 또는 3차원 바코드 등)를 포함하는 터빈 블레이드(16)의 영상들을 또한 포함될 수 있다. 예를 들어, 터빈 블레이드 점검과 관련된 일 실시예에서는 발전기의 블레이드를 점검(또는 점검된)하는 것은 광학 문자 인식(OCR) 기법 및/또는 OCR 기법과 페인트 매칭 또는 색상 코딩 기법의 조합을 사용하여 결정되며, 이는 블레이드들의 루트(root)들 근처와 같은, 블레이드들 상의 마킹을 분석하기 위한 것이다. 예를 들어, 이러한 기법을 사용하면 블레이드들이 이전에 캡처한 이미지들의 저장된 저장소와 비교하여 점검 중에 획득한 이미지들을 사용하여 매칭될 수 있다. 이러한 방식으로, 점검 중에 드론은 풍력 터빈 발전기의 블레이드가 어떤 것인지 유추할 수 있을 것이다.
도시된 예에서 터빈 제어기(26), 비행 제어기(90), 구성 데이터베이스(84) 및 점검 데이터베이스(98)는 분리된 별개의 실체로 묘사된다. 하지만, 구현예에 따라 이러한 양태들 중 일부는 단일 또는 공통 프로세서 기반 시스템에 의해 구현되는 다른 기능 또는 기능성들로 제공될 수 있다는 점을 알아야 한다. 반대로, 묘사된 기능성들은 풍력 발전기(80)(SCADA 또는 풍력 터빈 제어기(26) 등)와 풍력 발전기(80)(예: 점검 데이터베이스(98))로부터 떨어진 다른 것에 국지적인 특정 양태들로 분배 또는 분산된 방식으로 구현될 수 있다. 그러한 분배된 구현예들에서, 하나 이상의 네트워크 연결을 통한 것과 같이, 묘사된 양태들이 여전히 통신 가능하게 링크될 수 있다.
이제 도 3을 참조하면, 점검 동작의 개시시의 알고리즘 단계들의 일 예가 묘사된다. 그러한 단계들은 에셋 점검 프로세스의 단계들을 시작하기 위해 본 명세서에서 논의된 시스템 또는 구성 요소의 프로세서에 의해 구현될 수 있다. 이 예에서, 점검 커맨드를 발행하기 위해 비행 제어기(90) 또는 터빈 제어기(26)의 사용자 인터페이스와 상호작용하는 사용자에 의한 것과 같이, 점검을 시작하라는 최초의 커맨드(120)가 수신될 수 있다.
도시된 예에서, 점검 커맨드(120)에 응답하여, 단계(124)는 점검될 에셋 또는 에셋들에 대한 환경 및/또는 동작 데이터(126)를 획득하기 위해 수행된다. 이러한 동작 데이터(126)에는 현재 날씨 또는 환경 조건뿐만 아니라 점검 중인 에셋 또는 에셋들의 동작 상태에 관련되는 데이터가 포함될 수 있지만 이에 국한되지는 않는다. 또한 에셋 또는 에셋들에 대한 위치 데이터(130)(예: 위도 및 경도)는 동일한 출처 또는 별도의 데이터 소스에서 획득할 수 있다.
특정 구현예들에서는, 날씨 또는 환경 데이터를 포함한 동작 데이터(126)는 후속 프로세스들에서 사용될 수 있는 상위 레벨 구성으로 처리되거나 변환될 수 있다. 예를 들어 풍력 발전 현장 같은 주어진 위치에 대해 환경 데이터를 여러 위치에서 획득하여 현장의 서로 다른 위치에서 국지화된 상태의 지도나 표현이 생성될 수 있다. 예를 들어 윈드 팜(wind farm)의 상황에서는 풍속계들, 풍향계들 등이 국지화된 바람 패턴 데이터를 획득하기 위해 사용될 수 있고, 이는 그러한 윈드 팜 내의 상이한 위치들에 대해 달라질 수 있다. 이러한 국지화된 바람 패턴 데이터는 비행 계획들을 생성하는 데 사용될 수 있는 지도 또는 기타 공간적 표현으로 나타낼 수 있다. 유사하게, 점검에서 채택될 드론들에 대한 지식에 기초한 국지적 환경 데이터의 추가 처리를 통해 아래에 자세히 논의된 것처럼 비행 계획에 유용할 수 있는 요 오프셋 맵과 같은 특정 유형의 맵들이나 공간적 표현들을 생성하는 것을 허용할 수 있다.
동작 데이터(126) 및 위치(130)들에 기초하여, 2개 이상이 점검되어야 한다면, 에셋들에 대한 점검 순서가 계산된다(블록 134). 점검 순서로부터 비행 계획(140)을 생성할 수 있다. 비행 계획은 위에서 언급한 바와 같이, 특정된 순서 및/또는 특정 시간에 드론 또는 드론들(50)이 이동하는 일련의 웨이포인트들로 구성될 수 있다. 위에서 언급한 바와 같이, 비행 계획의 생성에는 국지화된 환경 조건과 드론 특징들 관점에서 국지화된 환경 조건(예: 풍속 및 방향) 및/또는 추정된 비행 특징들(예: 요 오프셋)이 고려될 수 있다.
비행 계획(140)의 특정 웨이포인트에서는 점검 데이터를 획득하기 위해 하나 이상의 카메라 또는 센서를 활성화할 수 있다. 위에서 언급한 바와 같이, 비행 계획(또는 비행 계획의 웨이포인트들)은 또한 주어진 웨이포인트들에서 또는 웨이포인트들 사이의 이동 중에 드론(들)이 나타낼 특별한 배향들을 명시할 수 있다. 그런 다음 점검 비행 계획에 따라 하나 이상의 드론을 동작할 수 있다(블록 144).
도 3은 일반화된 비행 계획 생성 알고리즘을 나타내지만, 도 4는 여기에서 풍력 터빈 발전기의 점검과 같은 실제 구현에 해당하는 알고리즘의 단계들과 관련된다. 이 예에서 단계 160에서 작동자는 하나 이상의 풍력 터빈 발전기 점검을 시작하라는 컴퓨터 실행 루틴 또는 프로그램을 DIM(Dron Inspection Manager)에게 명령한다. 이 지시에 응답하여 DIM 프로그램은 통신(예: 네트워크) 인터페이스를 통해 각 윈드 팜 SCADA로부터 데이터를 수집한다(단계 164). 일 구현예에서 SCADA로부터 DIM이 수집한 데이터는 현재 동작 데이터, 생성된 전력, 풍속 등을 포함하지만 이에 국한되지 않는다. 수집된 데이터에 기초하여, DIM 프로그램은 터빈 위치와 현재 동작 및/또는 환경 데이터를 기초하여 터빈 점검 순서를 계산한다(단계 168). 예를 들어, 터빈 점검 순서는 손실 생산량(즉, 발전량)을 최소화하도록 계산할 수 있다. 터빈 점검 순서에 기초하여 단계 172에서 DIM 프로그램은 특정된 순서로 풍력 발전 터빈들을 점검하기 위해 하나 이상의 드론을 날릴 수 있다.
도 5를 참조하면 점검 동작 실행에서의 알고리즘 단계들의 예가 묘사된다. 에셋 점검 프로세스를 수행하기 위해 본 명세서에서 논의한 시스템 또는 구성 요소의 프로세서에 의해 단계들의 일부 또는 전부가 구현될 수 있다. 이 예에서, 점검 프로세스는 에셋과 드론 모두의 동작에 대한 조정을 수반한다. 예를 들어, 단계 190에서 시작하여 점검을 수행하는 드론(50)이 점검될 에셋에 접근함에 따라 동작 중에 통상적으로 움직이는 일부 구성 요소의 움직임을 정지시키는 것과 같은 그것의 동작의 양태를 변경하라는 동작 커맨드(190)를 에셋에 발행할 수 있다(블록 194). 도시된 예에서, 에셋 또는 에셋과 통신하는 제어기는 동작 커맨드(190)가 실행되었다는 확인를 발행할 수 있으며(블록 198), 특정 구현예들에서는 다양한 구성 요소에 대한 움직임이나 동작 상태, 이동 가능할 수 있는 구성 요소들의 위치 또는 배향, 에셋의 파워 상태(power state), 국지화된 환경 조건(또는 국지화된 환경 조건에 대해 도출된 요 오프셋과 같은 비행 특징들) 등과 같은 에셋에 대한 현재의 동작 데이터(202)를 제공할 수 있다. 예를 들면, 이 단계에서는 국지적 풍속과 방향, 또는 국지적 바람 상태에 대해 파생된 국지화된 요 오프셋들이 제공될 수 있다.
보내지는 동작 커맨드(190) 및/또는 확인 또는 수신되는 동작 데이터(202)에 기초하여, 드론(들)(50)과 통신중인 비행 제어기(90)는 타당하다면 비행 계획(140)을 조정하여 변경된 비행 계획(140)을 드론(50)에 전달할 수 있다(블록 206). 대안적으로, 특정 구현예들에서는 특정 선내 항법 능력이 드론(50) 자체에서 제공될 수 있으며, 동작 데이터(202)의 수신에 응답하여 드론 자체의 처리 구성 요소들에 의해 비행 계획을 조정할 수 있다. 예를 들어, 주어진 드론에 대한 요 오프셋, 웨이포인트들의 위치 및 순서 등은 점검 현장에서 입수한 최신 또는 실시간 바람 데이터를 기반으로 업데이트할 수 있다. 그러한 예에서, 바람 데이터 또는 그러한 바람 데이터에 대해 도출된 요 오프셋 맵은 예상 값들로부터의 변경 및/또는 이탈(deviation)들에 대해 실시간 또는 거의 실시간으로 모니터링될 수 있으며, 그러한 변경이나 이탈(또는 예상된 변화 또는 이탈의 예상에서)에 응답하여 비행 계획(140)을 주기적으로 또는 대충 그때그때 봐가며(on-the-fly) 수정할 수 있다.
드론(들)(50)은 비행 계획(140)에 기초하여 비행 계획(140)을 실행하는 점검을 실시할 수 있는데(블록 210). 즉 비행 계획(140)에 기초하여 특정된 시간적 제약조건 하에 비행 계획을 따라 다양한 웨이포인트들로 이동시키고 그러한 비행 계획(140)에 기초하여 하나 이상의 카메라나 센서를 동작시킴으로써 비행 계획(140)을 실행하는 점검을 실시할 수 있다. 지시된 대로 비행 계획을 따라 이동시키고 센서 및/또는 카메라를 작동시킴으로써 드론들은 일련의 점검 데이터(214)를 생성한다. 일 실시예에서 점검 데이터(214)는 점검 데이터(214)의 완전함을 판단하거나, 점검 데이터(214)가 추가 데이터를 수집해야 하는 잠재적 문제를 나타내는지를 판단하기 위해 실시간으로 또는 거의 실시간으로 처리될 수 있다(블록 218). 그러한 시나리오들에서 비행 계획(140)이 갱신될 수 있고, 추가 점검 데이터를 수집하기 위한 점검의 재개가 필요하다. 다른 구현예들에서는 드론(들)(50)이 그것들의 베이스 위치로 돌아올 때까지 점검 데이터(214)를 다운로드하지 않으며, 이때 점검 데이터(214)를 처리하거나 분석할 수 있다.
도시된 예에서, 점검 데이터(214)의 획득 후, 재시작 커맨드(226)를 에셋으로 보낼 수 있으며(블록 222), 점검을 위해 동작의 일부 양태가 중단되거나 수정된 경우 이를 재개하도록 지시할 수 있다(블록 230). 또 추가 에셋을 점검해야 할 경우, 드론(50)은 비행 계획(140)에 따르는 것과 같이, 다음 에셋으로 진행할 수 있다(블록 234). 이러한 상황에서, 다음 번 점검 대상 에셋은 일단 드론(들)(50)이 에셋에 접근하면, 도 5에 표시된 프로세스를 다시 한 번 시작하여 그것의 동작들을 중지하거나 수정하는 동작 커맨드(190)를 발행할 수 있다(블록 194).
도 5는 일반적인 점검 프로세스 흐름을 나타내지만, 도 6은 실제 구현에 대응하는 프로세스 흐름의 단계들, 즉 여기서는 풍력 터빈 발전기의 점검과 관련시킨다. 기존의 접근 방식과 달리, 아래에 기술된 것처럼 이러한 접근 방식은 점검 드론이 드론 접근 방식에 기초하여 접근했을 때(예: 비행 중) 터빈들의 동작을 커맨드하거나 조정하기 위해 풍력 터빈 발전기에 대한 SCADA 동작 데이터를 통합한다. 이 예에서는 단계 250에서 비행 제어기(90)의 일부로서 구현될 수 있는 것과 같은 드론 점검 관리자(DIM) 루틴들이 점검될 풍력 터빈 발전기(10)와 통신하는 SCADA에 정지 커맨드를 전송한다. 이에 응답하여, 단계 254에서 SCADA는 각각의 풍력 터빈 발전기(10)에 정지 커맨드를 보낸다. 정지 명령을 받은 풍력 터빈 발전기(10)는 래빗 이어 블레이드 방향으로 진행하는 것과 같이 그것의 블레이드들의 회전을 중지시키고(블록 258), DIM에 정지된 작동 상태를 확인시키는 확인(confirmation)을 보낸다. 도시된 예에서, 일단 풍력 터빈 발전기가 멈추면, SCADA는 각 풍력 터빈 발전기의 나셀 요와 블레이드 위치를 결정하고 이 정보를 DIM에 보낸다(블록 262). DIM은 SCADA로부터 수신한 동작 데이터에 기초하여 풍력 터빈 발전기를 점검할 하나 이상의 드론(50)에 비행 계획을 전달한다(블록 266). 드론(들)은 그 비행 계획에 따라 풍력 터빈 발전기를 점검한다(블록 270). 이 예에서 드론(들)(50)은 암호화된 네트워크 연결을 통하는 것처럼, 형상화(imagery) 데이터를 DIM으로 다시 보낸다.
일단 점검이 완료되면, 드론(들)(50) 풍력 터빈 발전기를 떠나고(블록 274), DIM은 SCADA에 재시작 커맨드를 보낸다. 재시작 커맨드에 응답하여 SCADA는 풍력 터빈 발전기에 동작을 재개하도록 지시한다(블록 278). 풍력 터빈 발전기를 추가로 점검해야 할 경우, 드론(들)(50)이 다음 점검 목표로 이동하며(블록 282), 이 과정을 반복한다. 점검된 모든 발전기에서는 드론(들)이 베이스로 복귀한다.
본 발명의 기술적 효과에는 풍력 터빈(또는 기타 에셋)으로부터의 동작 데이터를 통합하여 비행 경로를 조정하거나 점검을 수행하는 드론을 제어하는 시스템이 포함된다. 드론의 근접성 및 점검 상태에 기초하여, 에셋(예: 풍력 터빈)의 동작을 적응시키거나 조정할 수 있어 동작 중 이동하는 에셋의 부분들에 대한 점검을 촉진한다.
이렇게 기술된 설명은 최상의 모드를 포함하는 본 발명을 개시하고, 또한 어떤 장치나 시스템을 만들고 사용하며 임의의 통합된 방법들을 수행하는 것을 포함하여, 당업자가 본 발명을 실시할 수 있게 하기 위해 예들를 사용한다. 본 발명의 특허 가능한 범위는 청구항들에 의해 규정되며, 당업자에게 발생하는 다른 예들을 포함할 수 있다. 그러한 다른 예들은 청구항들의 문자 그대로의 언어와 상이하지 않은 구조적 요소들을 가지거나 청구항들의 문자 그대로의 언어와 실질이 없는 차이가 있는 동등한 구조적 요소들을 포함하는 경우에는 청구항들의 범주 내에 있는 것으로 의도된다.

Claims (22)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 에셋을 점검하는 방법에 있어서:
    하나 이상의 드론들이 점검을 수행하기 위해 상기 에셋에 접근할 때 상기 에셋의 동작을 조정하기 위해 제1 동작 커맨드를 송신하는 단계;
    상기 동작 커맨드가 상기 에셋에 의해 수행되었음의 확인(confirmation)을 수신하는 단계;
    비행 계획을 실행할 때 상기 하나 이상의 드론들에게 상기 에셋에 대한 비행 계획을 실행하고 점검 데이터를 수집할 것을 지시하는 단계;
    상기 비행 계획의 완료시, 상기 에셋을 정상 동작으로 되돌리라는 제2 동작 커맨드를 송신하는 단계;
    상기 에셋에 대해 수신되는 동작 데이터에 기초하여 상기 비행 계획을 조정하는 단계;
    상기 비행 계획의 완료 전에 상기 비행 계획을 분석하는 단계;
    수정된 비행 계획을 생성하기 위해 상기 분석의 결과들에 기초하여 상기 비행 계획을 수정하는 단계; 및
    상기 제2 동작 커맨드를 송신하기 전에 상기 수정된 비행 계획을 실행하는 단계를 포함하는, 에셋을 점검하는 방법.
  18. 제17 항에 있어서,
    상기 에셋의 동작을 조정하라는 상기 제1 동작 커맨드는 중지 동작 커맨드를 포함하고, 상기 제2 동작 커맨드는 재시작 동작 커맨드를 포함하는, 에셋을 점검하는 방법.
  19. 삭제
  20. 제17 항에 있어서,
    현재 환경 데이터를 사용하여 적어도 부분적으로 생성되는 요 오프셋 맵에 기초하여 상기 비행 계획을 조정하는 단계를 더 포함하는, 에셋을 점검하는 방법.
  21. 제17 항에 있어서,
    상기 점검 동안 또는 상기 점검 후에 점검 데이터 저장소에 상기 점검 데이터를 전송하는 단계를 더 포함하는, 에셋을 점검하는 방법.
  22. 삭제
KR1020197029929A 2017-03-13 2018-02-20 비행경로와 사이트 동작 데이터를 통합하기 위한 시스템 및 방법 KR102544411B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237019745A KR20230091197A (ko) 2017-03-13 2018-02-20 비행경로와 사이트 동작 데이터를 통합하기 위한 시스템 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/457,410 US10329017B2 (en) 2017-03-13 2017-03-13 System and method for integrating flight path and site operating data
US15/457,410 2017-03-13
PCT/US2018/018757 WO2018169652A1 (en) 2017-03-13 2018-02-20 System and method for integrating flight path and site operating data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237019745A Division KR20230091197A (ko) 2017-03-13 2018-02-20 비행경로와 사이트 동작 데이터를 통합하기 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190120399A KR20190120399A (ko) 2019-10-23
KR102544411B1 true KR102544411B1 (ko) 2023-06-15

Family

ID=63444943

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197029929A KR102544411B1 (ko) 2017-03-13 2018-02-20 비행경로와 사이트 동작 데이터를 통합하기 위한 시스템 및 방법
KR1020237019745A KR20230091197A (ko) 2017-03-13 2018-02-20 비행경로와 사이트 동작 데이터를 통합하기 위한 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237019745A KR20230091197A (ko) 2017-03-13 2018-02-20 비행경로와 사이트 동작 데이터를 통합하기 위한 시스템 및 방법

Country Status (6)

Country Link
US (2) US10329017B2 (ko)
EP (1) EP3596569B1 (ko)
JP (1) JP7450389B2 (ko)
KR (2) KR102544411B1 (ko)
CN (2) CN110431501B (ko)
WO (1) WO2018169652A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10761526B2 (en) * 2017-11-06 2020-09-01 General Electric Company Systems and method for robotic industrial inspection system
US10739770B2 (en) * 2018-01-16 2020-08-11 General Electric Company Autonomously-controlled inspection platform with model-based active adaptive data collection
WO2017116860A1 (en) 2015-12-31 2017-07-06 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
US10329017B2 (en) * 2017-03-13 2019-06-25 General Electric Company System and method for integrating flight path and site operating data
CN108986071B (zh) * 2018-05-31 2020-12-01 上海扩博智能技术有限公司 叶片自动检测跟踪方法、系统、设备及存储介质
US10970586B2 (en) * 2018-06-28 2021-04-06 General Electric Company Systems and methods of 3D scene segmentation and matching for robotic operations
US12044666B2 (en) 2018-07-30 2024-07-23 Seekops Inc. Ultra-lightweight, handheld gas leak detection device
US11281200B2 (en) * 2018-10-01 2022-03-22 Fisher-Rosemount Systems, Inc. Drone-enabled operator rounds
AU2019417827A1 (en) * 2018-12-31 2021-08-19 Acciona Energia, S.A. Methods and systems for predicting risk of observable damage in wind turbine gearbox components
US20220165162A1 (en) 2019-04-05 2022-05-26 Seekops Inc. Route optimization for energy industry infrastructure inspection
EP3949039A4 (en) 2019-04-05 2022-11-30 SeekOps Inc. ANALOG SIGNAL PROCESSING FOR LIGHTWEIGHT AND COMPACT LASER TRACE GAS SENSOR
US11455771B2 (en) * 2019-05-15 2022-09-27 Electronic Theatre Controls, Inc. Venue survey using unmanned aerial vehicle
CN110322161A (zh) * 2019-07-10 2019-10-11 中国民航信息网络股份有限公司 航班生效批次的生效调整方法及装置
US12130204B2 (en) 2019-08-05 2024-10-29 Seekops Inc. Rapidly deployable UAS system for autonomous inspection operations using a combined payload
US11303795B2 (en) * 2019-09-14 2022-04-12 Constru Ltd Determining image capturing parameters in construction sites from electronic records
CN112882487A (zh) * 2019-11-29 2021-06-01 北京国电思达科技有限公司 风机叶片的无人机巡检轨迹生成方法,巡检方法及系统
CN110879601B (zh) * 2019-12-06 2021-05-18 电子科技大学 一种对于未知风机结构的无人机巡检方法
US11614430B2 (en) 2019-12-19 2023-03-28 Seekops Inc. Concurrent in-situ measurement of wind speed and trace gases on mobile platforms for localization and qualification of emissions
US11988598B2 (en) 2019-12-31 2024-05-21 Seekops Inc. Optical cell cleaner
US12055485B2 (en) 2020-02-05 2024-08-06 Seekops Inc. Multispecies measurement platform using absorption spectroscopy for measurement of co-emitted trace gases
WO2021176568A1 (ja) * 2020-03-03 2021-09-10 日本電気株式会社 設備診断システム、及び、設備診断方法
US12015386B2 (en) 2020-03-25 2024-06-18 Seekops Inc. Logarithmic demodulator for laser Wavelength-Modulaton Spectroscopy
EP4129820A4 (en) * 2020-03-26 2024-03-20 Hitachi, Ltd. CONTROL ASSISTANCE SYSTEM FOR UNMANNED AERIAL VEHICLES AND CONTROL ASSISTANCE METHOD FOR UNMANNED AIR BODY
JP2022012110A (ja) * 2020-07-01 2022-01-17 三菱電機株式会社 プラント監視制御システム
US11748866B2 (en) 2020-07-17 2023-09-05 Seekops Inc. Systems and methods of automated detection of gas plumes using optical imaging
LU102190B1 (de) * 2020-11-11 2022-05-11 Aero Entpr Gmbh Vorrichtung und Verfahren zur Inspektion von Energieerzeugungsstrukturen
DE102021101102A1 (de) 2021-01-20 2022-07-21 Thyssenkrupp Ag Fluggerät und Verfahren zur Inspektion von Einrichtungen von Kokereianlagen zur De-tektion von Fehlerquellen
US20220250658A1 (en) * 2021-02-09 2022-08-11 Percepto Robotics Ltd Automatically selecting and operating unmanned vehicles to acquire inspection data determined based on received inspection requests
JP7022858B1 (ja) * 2021-05-17 2022-02-18 株式会社日立パワーソリューションズ 構造物表示装置、および、構造物表示方法
US20230144372A1 (en) * 2021-09-17 2023-05-11 Anduril Industries Inc. Planning an operation for a set of assets
WO2023101049A1 (ko) * 2021-12-01 2023-06-08 ㈜니어스랩 결함 점검 시스템 및 그 방법
KR102431247B1 (ko) * 2022-06-08 2022-08-11 (주)니어스랩 풍력 발전기 점검을 위한 드론 이동 경로 생성 방법 및 장치
KR102431251B1 (ko) * 2022-06-08 2022-08-11 (주)니어스랩 산업 구조물 점검을 위한 드론 이동 경로 생성 방법 및 장치
KR102431252B1 (ko) * 2022-06-08 2022-08-11 (주)니어스랩 산업 구조물 점검을 위한 복수의 드론의 이동 경로 생성 방법 및 장치
KR102629871B1 (ko) * 2023-11-03 2024-01-30 (주)니어스랩 블레이드 모델링 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160070265A1 (en) * 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd Multi-sensor environmental mapping
JP2016197980A (ja) * 2015-04-06 2016-11-24 株式会社Nttファシリティーズ 診断システム、診断方法、及びプログラム
JP2017009402A (ja) * 2015-06-22 2017-01-12 株式会社日立製作所 回転体監視システム、風力発電システム、または回転体の監視方法
WO2017010206A1 (ja) * 2015-07-10 2017-01-19 Ntn株式会社 風力発電設備のメンテナンス方法および無人飛行機

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9654200B2 (en) * 2005-07-18 2017-05-16 Mutualink, Inc. System and method for dynamic wireless aerial mesh network
US7400054B2 (en) * 2006-01-10 2008-07-15 General Electric Company Method and assembly for detecting blade status in a wind turbine
US7551130B2 (en) * 2007-11-21 2009-06-23 General Electric Company Wind turbine with data receiver
WO2010051278A1 (en) 2008-10-27 2010-05-06 Williams Scot I Wind turbine inspection
DE102008053928A1 (de) * 2008-10-30 2010-05-06 Dirk Hartmann Verfahren zur Inspektion von Rotorblättern an Windkraftanlagen
US20100280872A1 (en) * 2009-08-27 2010-11-04 Scholte-Wassink Hartmut Methods and systems for monitoring and scheduling operations and maintenance activities
CA2696116A1 (en) * 2010-02-16 2011-08-16 Mitsubishi Heavy Industries, Ltd. Handy terminal for wind turbine generator and wind turbine generator
US8269366B2 (en) * 2010-02-18 2012-09-18 Mitsubishi Heavy Industries, Ltd. Handy terminal for wind turbine generator
FR2965353B1 (fr) * 2010-09-28 2013-08-23 Astrium Sas Procede et dispositif de controle non destructif de pales d'eoliennes
US20120136630A1 (en) * 2011-02-04 2012-05-31 General Electric Company Method and system for wind turbine inspection
DE102011017564B4 (de) 2011-04-26 2017-02-16 Airbus Defence and Space GmbH Verfahren und System zum Prüfen einer Oberfläche auf Materialfehler
DK2527649T3 (da) 2011-05-25 2014-01-13 Siemens Ag Fremgangsmåde til inspektion af komponenter af en vindmølle
JP5965591B2 (ja) * 2011-06-07 2016-08-10 オリンパス株式会社 センシング無線端末、センシング方法およびセンシングシステム
DE102011079269A1 (de) * 2011-07-15 2013-01-17 Suzlon Energy Gmbh Sicherheitskette und Verfahren zum Betreiben einer Windturbine
US8434360B2 (en) * 2011-07-22 2013-05-07 General Electric Company System and method for detecting ice on a wind turbine rotor blade
US20140022051A1 (en) * 2012-07-17 2014-01-23 Elwha LLC, a limited liability company of the State of Delaware Unmanned device interaction methods and systems
DE102013004580A1 (de) * 2013-03-18 2014-09-18 Wind-Direct Gmbh Verfahren zum Arretieren einer Windturbine und Windturbine zur Durchführung des Verfahrens
DE102013113326A1 (de) * 2013-12-02 2015-06-03 Hgz Patentvermarktungs Gmbh Verfahren zum optischen Erfassen einer Windkraftanlage zu Prüfzwecken mit Hilfe eines Luftfahrzeuges
CN103812052B (zh) 2014-03-07 2016-06-01 国家电网公司 一种用于无人机输电线路巡检的集中监控系统及监控方法
US9759200B2 (en) * 2014-07-18 2017-09-12 General Electric Company Wind tower and wind farm inspections via unmanned aircraft systems
CN104981748B (zh) 2014-09-30 2019-12-24 深圳市大疆创新科技有限公司 一种飞行指示方法、装置及飞行器
EP3023846A1 (en) * 2014-11-18 2016-05-25 Moog Unna GmbH Electromechanical drive system
US20160140851A1 (en) 2014-11-18 2016-05-19 Ziv LEVY Systems and methods for drone navigation
US20160217433A1 (en) 2015-01-28 2016-07-28 Mark Adam Walton System for automated asset inspection and maintenance
US10162353B2 (en) * 2015-03-03 2018-12-25 PreNav, Inc. Scanning environments and tracking unmanned aerial vehicles
JP2016178769A (ja) 2015-03-19 2016-10-06 綜合警備保障株式会社 点検対象特定システム及び点検対象特定方法
CN204536215U (zh) * 2015-03-26 2015-08-05 大唐(赤峰)新能源有限公司 一种用于风电桨叶的故障检测系统
US10354441B2 (en) * 2016-05-20 2019-07-16 ETAK Systems, LLC Augmented reality systems and methods for telecommunications site modeling
US10372142B2 (en) * 2015-06-23 2019-08-06 Archon Technologies S.R.L. System for autonomous operation of multiple hybrid unmanned aerial vehicles supported by recharging stations to perform services
US10694155B2 (en) 2015-06-25 2020-06-23 Intel Corporation Personal sensory drones
US10586464B2 (en) * 2015-07-29 2020-03-10 Warren F. LeBlanc Unmanned aerial vehicles
US10102757B2 (en) 2015-08-22 2018-10-16 Just Innovation, Inc. Secure unmanned vehicle operation and monitoring
US9513635B1 (en) 2015-12-30 2016-12-06 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US9536149B1 (en) * 2016-02-04 2017-01-03 Proxy Technologies, Inc. Electronic assessments, and methods of use and manufacture thereof
JP6693765B2 (ja) * 2016-02-26 2020-05-13 株式会社トプコン 飛行体追尾方法及び飛行体誘導システム
CN205375196U (zh) 2016-03-01 2016-07-06 河北工业大学 用于风电场巡检的群组机器人控制装置
US10553122B1 (en) * 2016-03-22 2020-02-04 Amazon Technologies, Inc. Unmanned aerial vehicle data collection for routing
MX2018013500A (es) * 2016-05-04 2019-07-08 Walmart Apollo Llc Sistemas distribuidos de robot autónomo y métodos.
US11149717B2 (en) * 2016-06-30 2021-10-19 Skydio, Inc. Unmanned aerial vehicle wind turbine inspection systems and methods
JP2018021491A (ja) 2016-08-02 2018-02-08 株式会社日立製作所 システム及び飛行ルート生成方法
US10438494B1 (en) * 2016-10-10 2019-10-08 Amazon Technologies, Inc. Generation of flight plans for aerial vehicles
US20180144644A1 (en) * 2016-11-23 2018-05-24 Sharper Shape Oy Method and system for managing flight plan for unmanned aerial vehicle
DE102017104490A1 (de) * 2017-03-03 2018-09-06 Innogy Se Inspektionsgerätsteuerungseinrichtung für ein Inspektionsgerät einer Windkraftanlage
US10329017B2 (en) * 2017-03-13 2019-06-25 General Electric Company System and method for integrating flight path and site operating data
US11286911B2 (en) * 2017-05-26 2022-03-29 Vestas Wind Systems A/S Relating to wind turbine rotor angle sensing systems
US20190026961A1 (en) * 2017-07-18 2019-01-24 Ford Global Technologies, Llc Drone-based diagnostic system for active grille shutters of a vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160070265A1 (en) * 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd Multi-sensor environmental mapping
JP2016197980A (ja) * 2015-04-06 2016-11-24 株式会社Nttファシリティーズ 診断システム、診断方法、及びプログラム
JP2017009402A (ja) * 2015-06-22 2017-01-12 株式会社日立製作所 回転体監視システム、風力発電システム、または回転体の監視方法
WO2017010206A1 (ja) * 2015-07-10 2017-01-19 Ntn株式会社 風力発電設備のメンテナンス方法および無人飛行機

Also Published As

Publication number Publication date
US10329017B2 (en) 2019-06-25
US20190256208A1 (en) 2019-08-22
EP3596569A1 (en) 2020-01-22
JP7450389B2 (ja) 2024-03-15
US11084582B2 (en) 2021-08-10
CN110431501B (zh) 2024-03-05
CN110431501A (zh) 2019-11-08
EP3596569A4 (en) 2021-01-06
KR20230091197A (ko) 2023-06-22
CN118012097A (zh) 2024-05-10
KR20190120399A (ko) 2019-10-23
EP3596569B1 (en) 2023-05-03
US20180259955A1 (en) 2018-09-13
WO2018169652A1 (en) 2018-09-20
JP2020512629A (ja) 2020-04-23

Similar Documents

Publication Publication Date Title
KR102544411B1 (ko) 비행경로와 사이트 동작 데이터를 통합하기 위한 시스템 및 방법
EP3743781B1 (en) Automated and adaptive three-dimensional robotic site surveying
US11315272B2 (en) Image and video capture architecture for three-dimensional reconstruction
JP7391023B2 (ja) 人間による実演に基づく、ロボットによる産業タスクの学習のためのシステム及び方法
CN110832351B (zh) 用于藉由lidar传感器来采集入射风场以及对其进行建模的方法
US10761526B2 (en) Systems and method for robotic industrial inspection system
US10682677B2 (en) System and method providing situational awareness for autonomous asset inspection robot monitor
US20160017866A1 (en) Wind tower and wind farm inspections via unmanned aircraft systems
US20180322699A1 (en) System and method for generating three-dimensional robotic inspection plan
WO2019158171A1 (en) Systems and vehicles for managing wind turbine systems
Moreno et al. A new vision-based method using deep learning for damage inspection in wind turbine blades
WO2019094177A1 (en) Systems and method for human-assisted robotic industrial inspection
JP2024509387A (ja) ロボット群の管理ためのシステム及び方法
EP3533567A1 (en) Controlling a robot in an environment
US20230366775A1 (en) Method, aerial vehicle and system for detecting a feature of an object with a first and a second resolution
Rastvorova et al. Development of the Structure of the Unmanned Aerial Vehicle Data Processing System
Silva Filho et al. Semi-Autonomous Industrial Robotic Inspection: Remote Methane Detection in Oilfield
WO2024123304A1 (en) Systems and methods for inspecting wind turbines using unmanned autonomous technology
CN116880537A (zh) 基于无人机的风机叶片自动规划巡检路径的方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant