KR102074637B1 - Flight Apparatus for Checking Structure - Google Patents
Flight Apparatus for Checking Structure Download PDFInfo
- Publication number
- KR102074637B1 KR102074637B1 KR1020120103727A KR20120103727A KR102074637B1 KR 102074637 B1 KR102074637 B1 KR 102074637B1 KR 1020120103727 A KR1020120103727 A KR 1020120103727A KR 20120103727 A KR20120103727 A KR 20120103727A KR 102074637 B1 KR102074637 B1 KR 102074637B1
- Authority
- KR
- South Korea
- Prior art keywords
- flight
- image
- control
- target
- information
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 60
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 48
- 230000005540 biological transmission Effects 0.000 claims abstract description 42
- 238000007689 inspection Methods 0.000 claims abstract description 23
- 230000005856 abnormality Effects 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 12
- 230000006854 communication Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 12
- 238000003909 pattern recognition Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 238000009434 installation Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000007175 bidirectional communication Effects 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 claims description 2
- 229910052802 copper Inorganic materials 0.000 claims description 2
- 239000010949 copper Substances 0.000 claims description 2
- 230000005484 gravity Effects 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 18
- 239000012212 insulator Substances 0.000 abstract description 4
- 229910000831 Steel Inorganic materials 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- 241000209149 Zea Species 0.000 description 2
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 2
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 235000005822 corn Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/02—Arrangements or adaptations of signal or lighting devices
- B64D47/06—Arrangements or adaptations of signal or lighting devices for indicating aircraft presence
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T50/00—Aeronautics or air transport
- Y02T50/60—Efficient propulsion technologies, e.g. for aircraft
Abstract
본 발명은 자율적으로 비행하는 비행체의 위치 인식 및 사물 인식 기능을 이용하여 상공에서 전력 구조물 및 송전, 배전 설비 구조물, 애자류 등의 구조물을 원활하게 점검할 수 있도록 하는 구조물 점검용 비행 장치를 제공한다.
이를 위해 본 발명은 위치 좌표 정보를 근거로 무인 이동 비행을 위한 항법 제어를 수행하는 항공 위치 제어부, 점검 대상 구조물로의 이동 비행에 따라, 구조물의 지정 목표물의 영상을 획득하고, 획득된 영상 정보를 영상 처리하여 이상 여부를 인식하는 영상 획득 및 처리부, 점검 대상 구조물로의 이동 비행을 위해, 수평 상태를 유지하면서 상기 구조물의 지정 경로를 따라 비행할 수 있도록 구동하는 비행체 운행부 및, 상기 점검 대상 구조물의 비행 경로에 대한 기초 정보를 갖추고, 상기 항공 위치 제어부로부터의 위치 좌표 정보와, 항법 제어 신호를 근거로 상기 기초 정보를 참조하여 상기 비행체 운행부가 구동되도록 제어하고, 상기 영상 획득 및 처리부에서 지정 목표물의 영상을 획득하도록 제어하는 비행 제어 디바이스를 포함하는 것을 특징으로 한다. The present invention provides a structure check flight device that enables to smoothly check the structure of the power structure and power transmission, power distribution facilities, insulators and the like in the air by using the position recognition and object recognition functions of the flying vehicle autonomously. .
To this end, the present invention obtains an image of a designated target of the structure according to the air position control unit for performing navigation control for unmanned mobile flight based on the position coordinate information, the moving flight to the inspection target structure, and obtains the acquired image information Image acquisition and processing unit to recognize the abnormality by processing the image, for moving the flight to the inspection target structure, the aircraft driving unit for driving to fly along the designated path of the structure while maintaining a horizontal state, and the inspection target structure Basic information about a flight path of the vehicle; and controlling the vehicle driving unit to be driven with reference to the basic information based on the position coordinate information from the aeronautical position control unit and the navigation control signal, and designating a target in the image acquisition and processing unit. And a flight control device for controlling to acquire an image of the It shall be.
Description
본 발명은 구조물 점검용 비행 장치에 관한 것으로서, 보다 상세하게는 무인비행체의 자동 조정 방식에 의해 이동 비행하면서 구조물 상태를 점검할 수 있도록 하는 구조물 점검용 비행 장치에 관한 것이다.The present invention relates to a flying device for checking the structure, and more particularly to a flying device for checking the structure to check the state of the structure while moving flight by the automatic adjustment method of the unmanned aerial vehicle.
일반적으로, 지상에서 높은 위치에 설치된 전력선, 구조물 및 송전철탑의 애자, 금구류 등의 촬영을 위하여는 점검자가 고전압 상태의 전력선, 구조물 및 송전철탑에 승탑한 상태에서, 촬영장비를 이용하여 촬영을 하여야 하지만, 승탑에 의한 안전사고 위험성과 촬영할 수 있는 범위가 제한적이라는 문제점을 안고 있어서, 최근에는 비행체를 이용한 촬영으로 인력 승탑에 따른 안전사고 방지와 점검시간의 단축을 기할 수 있도록 하고 있다.In general, in order to photograph insulators, metal fittings, and the like of power lines, structures, and transmission towers installed at a high position above the ground, an inspector takes photographs using photographing equipment while riding on power lines, structures, and transmission towers in a high voltage state. However, there is a problem that the risk of safety accidents caused by the lift tower and the range that can be taken is limited, and in recent years, shooting by using a flying vehicle can prevent safety accidents and shorten the inspection time due to the lift tower.
비행체를 이용한 방법에는 항공촬영용 헬기를 이용하는 방법과 무인 비행체를 이용하는 방법이 있다. There are two methods of using a vehicle, a method of using an aerial photographing helicopter, and a method of using an unmanned aerial vehicle.
관련 기술로는 국내공개특허 제2000-0059630호(철탑 항공보안등의 단락경보 및 원격감시장치)(2000.10.05)가 있다.Related technologies include Korean Patent Publication No. 2000-0059630 (Short alarm and remote monitoring device such as steel tower aviation security) (2000.10.05).
한편, 항공촬영용 헬기의 경우에는 비행체의 중량이 수십 kg에 달하고 구조물 및 전력설비와 충돌시 전력설비 피해방지 등을 위하여 최소 20m이상 철탑과의 안전거리를 유지하도록 되어 있어 근접 정밀촬영이 어렵고, 20m이상 원거리에서 정밀촬영을 위해서는 수천만원 이상의 고성능 망원렌즈가 필요하게 되어, 비행체 운항을 위한 많은 비용이 소요되고 있어 전력선, 구조물 및 송전철탑 근접 점검용으로 활용하기에는 많은 문제점을 가지고 있다.On the other hand, in the case of the aerial photographing helicopter, the weight of the aircraft is several tens of kilograms, and at least 20m to maintain a safe distance from the steel tower in order to prevent damage to the power equipment in the event of a collision with the structure and power equipment, it is difficult to close close-up shooting, 20m High-performance telephoto lens of more than tens of thousands of won is required for accurate shooting at a long distance, and thus, a lot of costs are required for flight operation, and there are many problems to be used for proximity inspection of power lines, structures, and transmission towers.
또한, 종래의 무인항공 촬영용 비행체들은 공중에서 정지비행을 하면서 작은 사물을 집중적으로 촬영하는 용도로 사용하는 것이 아니라, 고고도에서 광범위한 범위를 촬영하기 위한 용도로 제작되어 있기 때문에, 외부 영향에 의해 고도, 위치, 방위각 등의 변화가 생기는 비행체로는 30cm 이내의 작은 사물을 지속적으로 촬영할 수 없어 이를 해결하기 위한 방안이 필요하다.In addition, the conventional unmanned aerial vehicle is not intended for intensive shooting of small objects while flying in the air, but is intended for shooting a wide range at high altitude, and thus is highly affected by external influences. The aircraft that can change the position, azimuth, etc. can not continuously photograph small objects within 30cm, it is necessary to solve the problem.
따라서, 본 발명은 상기한 종래의 문제점을 개선하기 위해 이루어진 것으로서, 자율적으로 비행하는 비행체의 위치 인식 및 사물 인식 기능을 이용하여 상공에서 전력 구조물 및 송전, 배전 설비 구조물, 애자류 등의 구조물을 원활하게 점검할 수 있도록 하는 구조물 점검용 비행 장치를 제공하는데 그 목적이 있다. Accordingly, the present invention has been made to improve the above-mentioned conventional problems, and smoothly perform structures such as power structures, power transmission, power distribution facilities, insulators, and the like in the air by using the position recognition and object recognition functions of autonomous flying vehicles. It is an object of the present invention to provide a flying device for inspecting a structure that can be checked easily.
본 발명의 일측면에 따른 구조물 점검용 비행 장치는, 위치 좌표 정보를 근거로 무인 이동 비행을 위한 항법 제어를 수행하는 항공 위치 제어부, 점검 대상 구조물로의 이동 비행에 따라, 구조물의 지정 목표물의 영상을 획득하고, 획득된 영상 정보를 영상 처리하여 이상 여부를 인식하는 영상 획득 및 처리부, 점검 대상 구조물로의 이동 비행을 위해, 수평 상태를 유지하면서 상기 구조물의 지정 경로를 따라 비행할 수 있도록 구동하는 비행체 운행부 및, 상기 점검 대상 구조물의 비행 경로에 대한 기초 정보를 갖추고, 상기 항공 위치 제어부로부터의 위치 좌표 정보와, 항법 제어 신호를 근거로 상기 기초 정보를 참조하여 상기 비행체 운행부가 구동되도록 제어하고, 상기 영상 획득 및 처리부에서 지정 목표물의 영상을 획득하도록 제어하는 비행 제어 디바이스를 포함하는 것을 특징으로 한다. According to an aspect of the present invention, there is provided an apparatus for checking a structure according to an embodiment of the present invention, wherein the aerial position control unit performs navigation control for unmanned moving flight based on the position coordinate information, and moves the moving object to the inspection target structure. And an image acquisition and processing unit for recognizing an abnormality by processing the acquired image information, and driving to fly along a designated path of the structure while maintaining a horizontal state for a moving flight to a structure to be inspected. It is equipped with basic information on the flight operation unit and the flight path of the inspection target structure, and controls the vehicle operation unit to be driven with reference to the basic information based on the position coordinate information and the navigation control signal from the air position control unit, And a flying agent controlling the image acquisition and processing unit to acquire an image of a designated target. It characterized in that it comprises a device.
본 발명에서, 상기 항공 위치 제어부는, 퍼지 모델을 이용하여 자동 비행 제어와, 고도 변화, 각속도 변화, 가속도 변화 감지를 통해 비행 오차를 감소시켜서 원하는 목표물로의 근접 비행이 가능하도록 PID 제어기를 갖추고 있는 항법 디바이스, GPS 위성으로부터 수신받은 GPS 신호로부터 현재 위치의 위치 좌표 신호를 산출하는 GPS 모듈을 포함하는 것을 특징으로 한다. In the present invention, the air position control unit is equipped with a PID controller to enable a close flight to a desired target by reducing the flight error through automatic flight control, altitude change, angular velocity change, acceleration change detection using a fuzzy model. Navigation device, GPS module for calculating a position coordinate signal of the current position from the GPS signal received from the GPS satellites.
또한, 상기 영상 획득 및 처리부는, 비행 이동 위치의 인식과, 구조물의 점검 목표물에 대한 영상 정보 수집을 위한 동영상 및 정지 화상을 각각 촬영하는 촬영 모듈, 상기 비행 제어 디바이스로부터의 서보 제어에 따라 기계적인 서보 구동을 수행하여 상기 촬영 모듈이 촬영하는 위치 및 각도를 변화시키는 서보 구동 메카니즘 및, 상기 촬영 모듈로부터 촬영된 동영상이나 정지 화상 데이터를 영상 처리하여, 영상 패턴 인식에 따른 위치 인식을 수행하고, 구조물의 목표 피사체에 대한 영상 인식을 수행하는 영상 처리 디바이스를 포함하는 것을 특징으로 한다. The image acquisition and processing unit may further include a photographing module for capturing a moving image and a still image for recognizing a flight movement position and collecting image information on a check target of a structure, and a servo control from the flight control device. Servo driving mechanism for changing the position and angle of the photographing module by performing the servo drive and image processing of moving image or still image data photographed from the photographing module to perform position recognition according to image pattern recognition, And an image processing device for performing image recognition on a target subject of the apparatus.
또, 상기 촬영 모듈은 야간에 구조물의 촬영을 위한 적외선 촬영 기능이 구비되어 있고, 야간시 비행 위치 인식을 위한 LED 램프를 전면 및 후면에 각각 장착하는 것을 특징으로 한다. In addition, the photographing module is equipped with an infrared photographing function for photographing the structure at night, characterized in that for mounting the front and rear LED lamps for recognition of the flight position at night, respectively.
본 발명에서, 상기 비행체 운행부는, 피치(Pitch) 및 롤(Roll) 축 제어를 수행하여 비행 동체가 항상 수평을 유지하도록 하기 위한 수평 유지 보정을 수행하는 수평 유지 디바이스, 상기 비행 제어 디바이스로부터의 구동 제어와, 상기 수평 유지 디바이스로부터의 수평 유지를 위한 보정 신호에 따라 비행을 위한 구동을 수행하고, 비행체의 상,하,좌,우 비행에 따른 비행시 모터 구동의 변속을 수행하는 변속기와, 비행을 위한 모터 회전을 수행하는 모터, 상기 모터의 회전 구동과, 상기 변속기의 변속 기능에 따라 비행 항력을 제공하는 고속 회전을 수행하는 프로펠러를 갖춘 비행체 구동부를 포함하는 것을 특징으로 한다. In the present invention, the vehicle driving unit, a leveling device for performing a leveling correction for performing a pitch and roll axis control to ensure that the flying body is always horizontal, the drive from the flight control device A transmission for performing a driving according to a control signal and a correction signal for maintaining the horizontal level from the horizontal holding device, and performing a shift of a motor drive during a flight according to the up, down, left, and right flight of the vehicle; It characterized in that it comprises a motor for performing a motor rotation for, a rotational drive of the motor, and a propeller for performing a high speed rotation for providing flight drag according to the transmission function of the transmission.
또한, 상기 비행 제어 디바이스는, X축, Y축, Z축 방향의 지자기 상태를 체크하여 X-축, Y-축, Z-축 자이로 신호를 각각 발생하는 X-자이로, Y-자이로, Z-자이로 센서, 구조물 설치 지역의 기압을 체크하여 기압 감지 신호를 출력하는 기압계, 구조물 설치 지역의 날씨에 따라 가해지는 압력을 체크하여 압력 감지 신호를 출력하는 압력계, 상기 기압계와, 상기 압력계로부터의 아날로그 형태의 기압 감지 신호와, 압력 감지 신호를 각각 디저털 변환하여 출력하는 아날로그-디지털 컨버터, 상기 영상 획득 및 처리부로부터 영상 처리된 영상 데이터를 구조물의 촬영 목표물에 대한 비행 유도를 위한 데이터로서 활용을 위해 영상 디코딩 처리하는 영상 디코더 및, 구조물의 촬영 목표물에 대한 초기 정보를 외부로부터 입력받아 저장하고, 상기 X-자이로, Y-자이로, Z-자이로 센서와, 기압계, 압력계로부터의 각 감지 신호와, 상기 항공 위치 제어부로부터의 항법 제어 신호에 따라, 상기 목표물에 대한 초기 정보와, 상기 영상 획득 및 처리부로부터의 영상 패턴 인식 정보에 근거하여, 상기 비행체 운행부를 구동 제어하고, 상기 영상 획득 및 처리부의 촬영 동작을 제어하는 중앙 처리 유니트를 포함하는 것을 특징으로 한다. In addition, the flight control device, X-gyro, Y-gyro, Z- to check the geomagnetic state in the X-axis, Y-axis, Z-axis direction and generate the X-axis, Y-axis, Z-axis gyro signals, respectively A gyro sensor, a barometer that checks the air pressure of the structure installation area and outputs a pressure detection signal, a pressure gauge that checks the pressure applied according to the weather of the structure installation area and outputs a pressure detection signal, the barometer, and an analog form from the pressure gauge. An analog-to-digital converter that digitally converts the pressure detection signal and the pressure detection signal and outputs the digital signal, and the image data processed by the image acquisition and processing unit as data for inducing flight of the structure target. The image decoder to decode and receive initial information about the shooting target of the structure from the outside, and store the received information, the X-gyro, Y-gyro, Based on the Z-gyro sensor, the barometer, the respective detection signals from the pressure gauge, and the navigation control signal from the air position control unit, based on the initial information on the target and the image pattern recognition information from the image acquisition and processing unit. And a central processing unit which controls driving of the vehicle driving unit and controls photographing operations of the image acquisition and processing unit.
본 발명에 따르면, 상기 영상 디코더의 디코딩 처리 관련 상태 정보와, 상기 항공 위치 제어부의 위치 좌표 신호를 OSD(On Screen Display) 신호로 처리하여, 비행 이력을 기록하는 블랙 박스의 기능을 수행하고, 지상에서 모니터를 통해 비행 이력을 화면 표시할 수 있도록 하는 OSD 처리부를 더 포함하는 것을 특징으로 한다. According to the present invention, by processing the status information related to the decoding process of the image decoder and the position coordinate signal of the aerial position control unit as an OSD (On Screen Display) signal, performs a function of a black box for recording the flight history, The apparatus may further include an OSD processor configured to display a flight history screen through the monitor.
또한, 본 발명에서는, 원격지로부터의 전송되는 비행 제어 관련 데이터를 수신받아 상기 비행 제어 디바이스에 제공하고, 상기 비행 제어 디바이스로부터의 비행 제어 관련 데이터를 원격지에 무선 전송하며, 상기 영상 획득 및 처리부로부터 획득된 영상 데이터를 원격지에 무선 전송하는 무선 통신 디바이스를 더 포함하는 것을 특징으로 한다. In addition, in the present invention, receiving the flight control-related data transmitted from a remote location to provide to the flight control device, wirelessly transmits the flight control-related data from the flight control device to a remote location, and obtains from the image acquisition and processing unit And a wireless communication device for wirelessly transmitting the captured image data to a remote location.
또, 상기 비행 제어 디바이스의 중앙 처리 유니트는, 상기 무선 통신 디바이스에 의한 양방향 통신에 의해 원격지로부터 촬영 영상의 확대/축소, 촬영 각도 조정 명령이 수신되면, 상기 영상 획득 및 처리부를 구동 제어하여 촬영 영상에 대한 확대/축소 구동, 촬영 각도를 조정할 수 있도록 하는 것을 특징으로 한다. The central processing unit of the flight control device may drive and control the image acquisition and processing unit when a command to enlarge / reduce a captured image and a photographing angle adjustment command is received from a remote location by bidirectional communication by the wireless communication device. It is characterized in that the zoom drive for, to adjust the shooting angle.
상기한 바와 같이 이루어진 본 발명에 따르면, 전력선, 구조물 및 송전설비 고장이나 점검을 위하여 기존의 인력 승탑을 통한 안전사고와 승탑시간을 줄일 수 있고, 기존의 항공촬영용 비행체나 중형급 무인비행체의 촬영접근거리 제한에 따른 정밀한 촬영이 불가능한 것을 해소하여 자동 이동비행 및 강한 자율정지비행을 갖는 비행체를 이용하여 일반적인 소형카메라 등을 이용하여 정밀한 촬영화질을 할 수 있다.According to the present invention made as described above, it is possible to reduce the safety accidents and ride time through the existing manpower tower for failure or inspection of power lines, structures and transmission facilities, and the approaching distance of the conventional aerial photographing aircraft or medium-class unmanned aerial vehicle By eliminating the impossible shooting due to the limitation, by using a vehicle having automatic moving flight and strong autonomous stop flight, a precise shooting quality can be achieved by using a general small camera.
또한, 본 발명은 자동 비행 및 자율정지 비행이 가능하여 원격 비행체 운전 미숙련자도 비행체의 송전 선로 접근에 대한 부담없이 손쉽게 업무를 수행할 수 있으며, 송전설비 이외에 배전설비 등 전력설비 점검시 근접촬영용으로 활용할 수 있고, 고지대 등 사람의 접근이 쉽지 않은 곳의 피사체 촬영이나 접근업무에 활용할 수 있다.In addition, the present invention is capable of automatic flight and autonomous stop flight so that even inexperienced remote vehicle operation can easily perform the task without the burden on the transmission line access of the aircraft, in addition to the power transmission facilities utilized for close-up photography when checking the power equipment such as power distribution facilities It can be used for photographing subjects or approaching tasks in places where people are difficult to access.
또한, 본 발명의 비행 장치는 선로를 따라 자동으로 이동이 가능하고 기체의 사이즈가 작아 선로사이를 비행하는 것이 가능하여 스페이서 댐퍼 등의 금구류도 근접 정밀점검이 가능하다.In addition, the flying device of the present invention can be moved automatically along the track and the aircraft is small in size so that it is possible to fly between tracks, so close-up inspection of the brackets such as spacer dampers is possible.
도 1은 본 발명의 일실시예에 따른 구조물 점검용 비행 장치에 대한 전체 구성을 나타낸 도면이다.
도 2a 내지 도 2f는 본 발명의 일실시예에 따른 구조물 점검용 비행 장치에서 제어 목표량 산출을 위해 각 입력변수의 멤버쉽 함수를 각각 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 구조물 점검용 비행 장치에서 비행 제어 디바이스의 구체 구성을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 구조물 점검용 비행 장치의 동작을 예시적으로 설명하는 플로우차트이다. 1 is a view showing the overall configuration for a structure check flight device according to an embodiment of the present invention.
2A to 2F are diagrams illustrating a membership function of each input variable for calculating a control target amount in a structure checking flight device according to an embodiment of the present invention.
Figure 3 is a view showing a specific configuration of the flight control device in the structure check flight device according to an embodiment of the present invention.
4 is a flowchart illustrating an exemplary operation of a structure checking flight device according to an embodiment of the present invention.
이하, 상기한 바와 같이 구성된 본 발명에 대해 첨부도면을 참조하여 상세히 설명한다. Hereinafter, the present invention configured as described above will be described in detail with reference to the accompanying drawings.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of description. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary depending on the intention or convention of a user or an operator. Therefore, definitions of these terms should be made based on the contents throughout the specification.
우선, 본 발명에 따른 구조물 점검용 비행 장치는, 직경 1m 이내, 무게 3kg 내외의 소형, 경량화 구조의 무인비행체로써, 150g 내외 소형모터의 구동전력과 13인치 내외의 소형프로펠러의 회전력으로 수직 상승 및 정지비행이 가능하고, GPS 및 영상인식 기술을 활용하여 송전선로의 진행방향에 따라 순시 비행이 가능하며 송전철탑에 설치된 애자, 금구류 등의 균열 상태까지 정밀하게 촬영할 수 있는 무인 비행체에 해당된다. First, the flying device for checking the structure according to the present invention is an unmanned flying vehicle having a small and light weight structure having a diameter of less than 1 m and a weight of about 3 kg, and is vertically lifted by a driving power of a small motor of about 150 g and a rotational force of a small propeller of about 13 inches. It is capable of stationary flight, can fly instantaneously according to the direction of transmission line using GPS and image recognition technology, and it is an unmanned aerial vehicle that can accurately photograph the crack state of insulators and metal fittings installed in transmission tower.
도 1은 본 발명의 일실시예에 따른 구조물 점검용 비행 장치에 대한 전체 구성을 나타낸 도면이다.1 is a view showing the overall configuration for a structure check flight device according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 상기 구조물 점검용 비행 장치는, 항법 디바이스(10)와, GPS 모듈(20), 촬영 모듈(30), 서보 구동 메카니즘(35), 비행 제어 디바이스(40), 수평 유지 디바이스(50), 비행체 구동부(60), 영상 처리 디바이스(70), 무선통신 디바이스(80), 배터리 모듈(90)을 포함한다. As shown in FIG. 1, the structure checking flight device includes a
상기 항법 디바이스(10)는 퍼지 모델을 이용하여 자동 비행 제어와, 고도 변화, 각속도 변화, 가속도 변화 감지를 통해 비행 오차를 감소시켜서 원하는 목표물로의 근접 비행이 가능하도록 한 것으로서, 퍼지 모델의 제어를 위해 PID 제어기(12)를 갖추고 있다. The
상기 PID 제어기(12)는 비행체의 종방향 및 횡방향 제어에 엘리베이터(Elevator)와 에일러런(Aileron)의 서보 제어기가 조합되어 있는 것으로서, 유도 법칙에 따라 계산된 뱅크각(Bank Angle)과 피치각(Pitch Angle)의 목표치에 대해 추종 제어를 수행하는 퍼지 추론과 PID 제어가 통합된 것이다. The
도 2a 내지 도 2f는 본 발명의 일실시예에 따른 구조물 점검용 비행 장치에서 제어 목표량 산출을 위해 각 입력변수의 멤버쉽 함수를 각각 나타낸 도면이다. 2A to 2F are diagrams illustrating a membership function of each input variable for calculating a control target amount in a structure checking flight device according to an embodiment of the present invention.
여기서, 상기 PID 제어기(12)는 항공기의 동체 방위각(Ψ)을 계산된 추종 방위각(Ψcorn)과 일치시켜 비행체 운항 궤적의 유도를 하게 되며, 이때의 Ψcorn - Ψ는 유도 오차인 시선각이 된다. 이 시선각의 크기 및 방향에 따라 제어 법칙에 의한 선회 및 평형유지를 하게 되며, 선회 방향은 시선각을 기준으로 비행체의 유도 방향이 결정된다.Here, the
한편, 입력 변수인 롤(φ), 피치(θ), 시선각(Ψ), 고도(h), 경로점 잔여 거리(d), 항공기 속도(Vs)와 4개의 출력 변수의 언어적 퍼지 집합에 따라, 제어 목표량 산출을 위한 각 입력 변수의 멤버쉽 함수가 도 2a 내지 도 2f에 도시된 바와 같이 결정된다. On the other hand, the linguistic fuzzy set of the input variables roll (φ), pitch (θ), line of sight (Ψ), altitude (h), path point residual distance (d), aircraft speed (V s ) and four output variables In accordance with this, the membership function of each input variable for calculating the control target amount is determined as shown in Figs. 2A to 2F.
도 2a에서는 입력 변수인 롤(φ)에 대한 롤 각도(Roll Angle)의 함수를 나타내고 있으며, 도 2b에서는 입력 변수인 피치(θ)에 대한 피치 각도(Pitch Angle)의 함수를 나타내고 있고, 도2c에서는 입력 변수인 시선각(Ψ)에 대한 시선 라인(Line of Sight)의 함수를 나타내고 있다. FIG. 2A shows a function of the roll angle with respect to the roll φ as an input variable, and FIG. 2B shows a function of the pitch angle with respect to the pitch θ as an input variable, FIG. 2C Shows a function of line of sight with respect to the input angle of view (Ψ).
또한, 도 2d에서는 입력 변수인 고도(h)에 대한 고도(Altitude)의 함수를 나타내고 있으며, 도 2e에서는 입력 변수인 경로점 잔여 거리(d)에 대한 경로점의 거리(Distance of Waypoint)의 함수를 나타내고 있고, 도 2f에서는 입력 변수인 항공기 속도(Vs)에 대한 항공 속도(Air Speed)dml 함수를 나타내고 있다. In addition, FIG. 2D illustrates a function of altitude with respect to an altitude h as an input variable, and FIG. 2E illustrates a function of a distance of waypoint relative to a path point remaining distance d as an input variable. In FIG. 2F, the air speed dml function with respect to the aircraft speed V s as an input variable is shown.
도 1에서, 상기 GPS 모듈(20)은 GPS 위성으로부터의 GPS 신호를 수신받아서 해당 비행체의 현재 위치에 대한 위치 좌표 신호를 산출하여 상기 비행 제어 디바이스(40)에 제공한다. In FIG. 1, the
여기서, 상기 항법 디바이스(10)와, GPS 모듈(20)은 비행체의 비행 위치에 따른 항공 제어를 위한 것으로서, 항공 위치 제어부로 통칭할 수 있다. Here, the
상기 촬영 모듈(30)은 해당 비행체의 이동 위치 인식과, 구조물의 점검 목표물에 대한 영상 정보 수집을 위해, 동영상 및 정지 화상을 각각 촬영하게 되는 것으로서, 적어도 1920 ×1280의 영상 크기와, 1,200만 화소의 해상도를 갖는 풀 HD급의 저중량 카메라를 적용하는 것이 바람직하다. The photographing
여기서, 상기 촬영 모듈(30)에는 야간에도 구조물의 촬영이 가능한 적외선 촬영 기능이 구비되어 있고, 야간 촬영을 위한 보조 조명을 추가적으로 장착할 수 있으며, 야간시의 비행 위치 인식을 위한 LED 램프를 전면 및 후면에 각각 장착할 수 있도록 하는 것이 바람직하다. Here, the photographing
상기 서보 구동 메카니즘(35)은 상기 비행 제어 디바이스(40)로부터의 서보 제어에 따라 기계적인 서보 구동을 수행하여 상기 촬영 모듈(30)이 촬영하는 위치 및 각도를 변화시켜서 목표물에 대한 정확한 촬영이 이루어질 수 있도록 한다. The
상기 비행 제어 디바이스(40)는 상기 항법 디바이스(10)로부터의 항법 신호와, 상기 GPS 모듈(20)로부터의 GPS 신호에 의한 위치좌표 신호를 제공받아서, 상기 비행체 구동부(60)를 구동제어함에 의해 해당 비행체가 구조물의 원하는 피사체 촬영이 가능하도록 비행 이동 경로를 잡아주도록 하고, 상기 서보 구동 메카니즘(35)을 서보 제어하여 상기 촬영 모듈(30)이 원하는 목표 피사체를 정확하게 촬영할 수 있도록 제어 동작한다. The flight control device 40 receives the navigation signal from the
상기 수평 유지 디바이스(50)는 피치(Pitch) 및 롤(Roll) 축 제어를 수행함에 의해, 해당 비행체가 비행하면서 외부 기상 상황에 따라 변화되는 바람 등의 영향을 받지 않고, 비행 동체가 항상 수평을 유지하도록 하기 위한 수평 유지 보정 신호를 발생하여 상기 비행체 구동부(60)의 구동시 위치 보정이 이루어질 수 있도록 한다. The leveling
상기 비행체 구동부(60)는 상기 비행 제어 디바이스(40)로부터의 구동 제어에 따라 해당 비행체를 비행시키기 위한 구동을 수행하고, 상기 수평 유지 디바이스(50)로부터의 수평 유지를 위한 보정 신호에 따라 비행 구동의 보정을 수행하여 수평 유지 비행을 수행하는 것으로서, 이는 비행체의 상,하,좌,우 비행에 따른 비행시 모터 구동에 대한 변속 기능을 수행하는 변속기(66)와, 상기 배터리 모듈(90)로부터 동작 전원을 인가받아 구동되어 해당 비행체의 비행을 위한 모터 회전을 수행하는 모터(62), 상기 모터(62)의 회전 구동과, 상기 변속기(66)의 변속 기능에 따라 해당 비행체에 항력을 제공하기 위한 고속 회전을 수행하는 프로펠러(64)를 포함한다. The
여기서, 상기 모터(62)는 입력 전압으로서 9∼15V, 부하전류로서 20A를 입력받고, 350W의 전력 공급에 따라 무부하시 회전력이 770rpm을 갖는 저중량의 고성능 모터를 적용하는 것이 바람직하고, 상기 프로펠러(64)는 저중량이면서 고강도를 갖는 절연 코팅된 알루미늄 프레임을 적용하는 것이 바람직하다. Here, the
상기 프로펠러(64)는 해당 비행체의 상,하,좌,우 방향으로의 자유로운 비행을 위해 적어도 4개 이상 장착되도록 하는 것이 바람직하고, 상기 모터(62)의 설치 개수도 상기 복수개의 프로펠러(64)가 풍분한 회전력을 발생할 수 있도록 적어도 2개 이상으로 설치하는 것도 얼마든지 가능하다. Preferably, the
여기서, 상기 수평 유지 디바이스(50)와, 비행체 구동부(60)는 비행체가 수평 상태를 지속적으로 유지하면서 원하는 비행 궤도로 비행 이동을 수행할 수 있도록 하는 것으로서, 비행체 운행부로 통칭할 수 있다. Here, the
상기 영상 처리 디바이스(70)는 상기 촬영 모듈(30)로부터 촬영된 동영상이나 정지 화상 데이터를 영상 처리하여, 영상 패턴 인식에 따른 위치 인식을 수행하고, 구조물의 목표 피사체에 대한 영상 인식을 수행하고, 영상 인식 데이터값을 상기 항법 디바이스(10)에 제공하여 항법 제어에 이용될 수 있도록 함과 더불어, 영상 처리된 동영상 데이터 또는 정지 화상 데이터를 상기 무선통신 디바이스(80)를 통해 원격지에 전송한다. The
여기서, 상기 촬영 모듈(30)과, 서보 구동 메카니즘(35), 영상처리 디바이스(70)는 구조물의 원하는 목표물에 대한 촬영 영상을 획득하고, 획득된 영상을 인식 처리하기 위한 것으로서, 영상 획득 및 처리부로 통칭할 수 있다. Here, the photographing
상기 무선통신 디바이스(80)는 원격지로부터의 전송되는 비행 제어 관련 데이터를 수신받아 상기 비행 제어 디바이스(40)에 제공하고, 상기 비행 제어 디바이스(40)로부터의 비행 제어에 대한 관련 데이터를 원격지에 무선 전송하며, 상기 영상 처리 디바이스(70)로부터의 동영상 데이터 또는 정지 화상 데이터를 원격지에 무선 전송한다. The
상기 배터리 모듈(90)은 해당 비행체의 비행 및 구조물 촬영에 필요한 동작 전원을 공급한다. The
다음에, 도 3은 본 발명의 일실시예에 따른 구조물 점검용 비행 장치에서 비행 제어 디바이스의 구체 구성을 나타낸 도면이다. Next, Figure 3 is a view showing a specific configuration of the flight control device in the structure inspection flight device according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 상기 비행 제어 디바이스(40)는, X-자이로 센서(100)와, Y-자이로 센서(102), Z-자이로 센서(104), 기압계(106), 압력계(108), 아날로그-디지털 컨버터(110), 영상 디코더(112), OSD 처리부(114), 중앙 처리 유니트(116), 서보 제어 출력부(118), 구동 출력부(120), 메모리(122)를 포함한다. As shown in FIG. 3, the flight control device 40 includes an
상기 X-자이로 센서(100)는 X축 방향의 지자기 상태를 체크하여 X-축 자이로 신호를 발생하고, 상기 Y-자이로 센서(102)는 Y축 방향의 지자기 상태를 체크하여 Y-축 자이로 신호를 발생하며, 상기 Z-자이로 센서(104)는 Z축 방향의 지자기 상태를 체크하여 Z-축 자이로 신호를 발생한다. The
상기 기압계(106)는 해당 비행체가 비행하는 구조물 설치 지역의 기압을 체크하여 기압 감지 신호를 출력하고, 상기 압력계(108)는 해당 비행체가 비행하는 구조물 설치 지역의 날씨에 따라 바람 등의 영향으로 가해지는 압력을 체크하여 압력 감지 신호를 출력한다. The
상기 아날로그-디지털 컨버터(110)는 상기 기압계(106)로부터의 아날로그 형태의 기압 감지 신호와, 상기 압력계(108)로부터의 아날로그 형태의 압력 감지 신호를 각각 디저털 변환하여 출력한다. The analog-to-
상기 영상 디코더(112)는 상기 영상 처리 디바이스(70)로부터 영상 처리된 영상 데이터를 구조물의 촬영 목표물에 대한 비행 유도를 위한 데이터로서 활용하기 위해 영상 디코딩 처리하고, 상기 영상 디코딩 데이터를 상기 중앙 처리 유니트(116)에 제공한다. The
상기 OSD 처리부(114)는 상기 영상 디코더(112)의 디코딩 처리 관련 상태 정보와, 상기 GPS 모듈(20)로부터의 위치 좌표 신호를 OSD(On Screen Display) 신호로 처리함으로써, 비행 이력을 기록하는 블랙 박스로서의 기능을 수행하거나, 지상에서 별도의 모니터와 연결하여 비행 이력을 화면 표시하기 위한 용도로서 이용될 수 있도록 한다. The
상기 중앙 처리 유니트(116)는 촬영하고자 하는 구조물(예컨대 송전선로, 송전 철탑, 배전 설비 등)의 촬영하고자 하는 목표물에 대한 초기 정보를 외부로부터 입력받아 상기 메모리(122)에 저장하고, 상기 X-자이로 센서(100), Y-자이로 센서(102), Z-자이로 센서(104), 기압계(106), 압력계(108)로부터의 각각의 감지 신호와, 상기 항법 디바이스(10)로부터 제공되는 항법 제어 신호에 따라, 상기 비행체 구동부(60)를 구동 제어하여 구조물의 원하는 목표물로의 비행이 이루어질 수 있도록 하고, 상기 목표물에 대한 초기 정보와, 상기 영상 처리 디바이스(70)로부터의 위치 인식 및 영상 인식 처리 결과에 따른 영상 패턴 인식 정보에 근거하여 상기 서보 구동 메카니즘(35)을 구동 제어함으로써, 상기 촬영 모듈(30)이 원하는 목표물의 정확한 촬영을 수행할 수 있도록 한다. The
또한, 상기 중앙 처리 유니트(116)는 해당 비행체의 비행 제어 정보와, 목표물의 촬영에 대한 제어 정보를 상기 무선 통신 디바이스(80)를 통해 원격지로 전송할 수 있도록 제어한다. In addition, the
한편, 상기 중앙 처리 유니트(116)는 상기 무선 통신 디바이스(80)를 통한 양방향 통신에 의해 지상에 위치한 소정의 조정 및 모니터링 장치로부터 촬영 영상의 확대/축소, 촬영 각도 조정 명령이 수신되면, 상기 서보 구동 메카니즘(35)를 구동 제어하여 상기 촬영 모듈(30)이 지상에서의 촬영 영상에 대한 확대/축소 구동이나, 촬영 각도를 조정할 수 있도록 할 수 있다. On the other hand, the
상기 서보 제어 출력부(118)는 상기 중앙 처리 유니트(116)로부터의 서보 구동 제어 신호를 상기 서보 구동 메카니즘(35)에 구성된 구성 요소에 출력하여 상기 촬영 모듈(30)의 좌/우 서보 구동과, 상/하 서보 구동이 이루어질 수 있도록 한다. The servo
상기 구동 출력부(120)는 상기 중앙 처리 유니트(116)로부터의 비행 제어 신호를 상기 비행체 구동부(60)의 모터(62) 및 변속기(66)에 출력함으로써, 해당 비행체가 구조물의 원하는 위치를 향하여 비행을 수행할 수 있도록 한다. The
상기 메모리(122)는 구조물의 목표물 촬영을 위한 비행 경로 정보, 촬영할 목표물의 위치 정보 등의 목표물에 대한 초기 정보를 외부로부터 입력받아 저장한다. The
한편, 본 발명에서는 비행 장치의 원활한 비행을 위한 구조적인 안정화를 위해서, 해당 비행체의 중앙부에 상기 배터리 모듈(90)을 장착하고, 최상단에는 상기 GPS 모듈(30)을 포함한 GPS 안테나를 탑재할 수 있도록 하며, 상기 촬영 모듈(30)과 영상 처리 디바익스(70)를 동체의 하단에 배치함과 더불어, 비행체의 무게 중심 및 비행시 수평 유지를 고려하여 상기 항법 디바이스(10)와, 비행 제어 디바이스(40)를 동체의 상부에 탑재할 수 있도록 하는 것이 바람직하다. On the other hand, in the present invention, for the structural stabilization for smooth flight of the flight device, the
또한, 본 발명에서는, 신호의 수신율 향상과 각 구성 회로 간의 신호 간섭을 차단하기 위해 동판으로 이루어진 격판을 회로 구성부와 GPS 모듈(20)의 사이에 설치하도록 하는 것이 바람직하다. In addition, in the present invention, it is preferable that a diaphragm made of a copper plate be provided between the circuit component and the
상기한 본 발명에서는 상기 GPS 모듈(20)로부터 제공되는 GPS 위치 좌표와, 상기 영상 처리 디바이스(70)의 영상 패턴 인식에 따라, 이동 비행시의 이동 경로 오차를 줄여주도록 하고 있지만, 추가적으로 초음파 거리 센서 또는 전계 측정기를 더 장착하여 구조물의 전력선과의 안전 거리 유지 및 이동 경로 오차를 더 최소화시킬 수 있도록 하는 것도 얼마든지 가능하다. In the present invention described above, according to the GPS position coordinates provided from the
이어, 상기한 바와 같이 이루어진 본 발명에 따른 구조물 점검용 비행 장치의 동작에 대해 도 4의 플로우차트를 참조하여 상세히 설명한다. Next, the operation of the structure checking flight device according to the present invention made as described above will be described in detail with reference to the flowchart of FIG. 4.
도 4는 본 발명의 일실시예에 따른 구조물 점검용 비행 장치의 동작을 예시적으로 설명하는 플로우차트로서, 본 발명의 일실시예에서는 점검하고자 하는 구조물 중에서 송전 선로를 일예로 하여 설명하기로 한다. FIG. 4 is a flowchart illustrating an operation of a structure checking flight device according to an embodiment of the present invention. In an embodiment of the present invention, a transmission line among structures to be checked will be described as an example. .
먼저, 점검하고자 하는 송전 선로의 목표물에 대한 초기 정보를 비행 제어 디바이스(40)의 메모리(122)에 저장한 상태에서(S10), 상기 초기 정보에 따라 송전 선로 초기 위치인 철탑의 중앙점에 대한 GPS 위치 좌표와, 해당 비행체와의 거리 계산 및 적정 이격 거리를 유지하고, 송전 선로의 진행 방향과 비행체의 진행 방향 방위각을 90°로 유지하여 철탑의 최고점 고도와 비행체의 고도를 일치시켜 비행 점검을 완료하고 나서, 항법 디바이스(10)의 항법 제어와, 상기 비행제어 디바이스(40)의 비행 제어에 따라 비행체 구동부(60)가 구동되면서 점검 대상으로 설정된 송전 선로의 초기 연결 지점인 철탑으로 비행 이동하게 된다(S11).First, while initial information about the target of the transmission line to be checked is stored in the
그 상태에서, 본 발명의 비행 장치는 점검 대상 송전 선로의 초기 연결 지점인 철탑의 중단 아암 선로 인근에서 정지 비행을 유지한 상태에서(S12), 서보 구동 메카니즘(35)의 서보 구동에 따라 촬영 모듈(30)의 촬영 위치를 맞추고서, 상기 촬영 모듈(30)이 대상 목표물인 송전 선로의 A상, B상, C상의 구간에 대한 촬영을 개시하고, 영상 처리 디바이스(70)의 위치 인식부(72) 및 영상 인식부(74)를 통한 영상 패턴 인식에 근거하여 송전 선로의 이상 여부에 대한 점검을 수행한다(S13).In this state, the flight apparatus of the present invention maintains the stationary flight near the interruption arm track of the pylon, which is the initial connection point of the transmission line to be inspected (S12), and the imaging module according to the servo drive of the
그 상태에서, 상기 영상 처리 디바이스(70)는 각 송전 선로 구간의 영상 패턴 인식 결과로 특정 선로에 이상(예컨대, 과열 발생, 형상 변형, 코로나 현상 등)이 검출되는 지를 판단하게 되는데(S14), 특정 선로에서 이상이 검출된다고 판단되면, 상기 영상 처리 디바이스(70)는 선로의 이상 검출 정보를 상기 비행 제어 디바이스(40)에 제공하고 나서 무선 통신 디바이스(80)를 통해 상기 촬영된 이상 발생 구간의 영상 정보를 원격지에 송출하고, 상기 비행 제어 디바이스(40)는 GPS 모듈(20)로부터 제공되는 GPS 위치 좌표 정보와, 거리 정보, 이상 발생 통지 제어 정보를 상기 무선 통신 디바이스(80)를 통해 원격지에 송출한다(S15).In this state, the
그 다음에, 상기 비행 제어 디바이스(40)는 상기 비행제 구동부(60)의 비행 구동 및 상기 서보 구동 메카니즘(35)의 서보 구동에 따라 점검 대상의 송전 선로를 따라 중단으로부터 상단까지 순차적으로 선로 점검을 진행하게 되는데(S16), 상기 점검 대상 송전 선로의 종단에 배치된 철탑까지 이동 비행을 수행하여 점검 대상 구간의 점검이 완료되었는지를 판단한다(S17).Next, the flight control device 40 sequentially checks the track from the middle point to the upper end along the transmission line of the inspection target according to the flight drive of the flying
상기 판단 결과, 상기 비행 제어 디바이스(40)는 상기 메모리(122)에 저장된 목표물의 초기 정보에 근거하여 점검 대상 송전 선로의 구간에 대한 점검이 완료되었다고 판단하게 되면, 상기 목표물의 초기 정보가 해당 송전 선로의 구간만을 점검 대상으로 하는 정보로서 송전 선로의 최종적 점검이 완료되었는지를 판단한다(S18). As a result of the determination, when the flight control device 40 determines that the inspection of the section of the transmission target track to be checked is completed based on the initial information of the target stored in the
상기 판단 결과, 상기 비행 제어 디바이스(40)는 송전 선로의 최종적 점검이 완료되지 않았다고 판단하게 되면, 다음 송전 선로 구간의 철탑으로 이동 비행을 수행하여(S19), 상기 S12의 단계로부터 S18의 단계에 대한 동작을 반복적으로 진행한다.As a result of the determination, when it is determined that the final inspection of the transmission line is not completed, the flight control device 40 performs a moving flight to the steel tower of the next transmission line section (S19), and from step S12 to step S18. Repeat the operation for.
한편, 상기 S18의 판단 결과에 따라, 송전 선로의 최종적인 점검이 완료되었다고 판단되면, 상기 GPS 모듈(20)을 통한 GPS 위치 좌표 정보를 통하여 최초의 출발 위치로 자동 복귀함으로써, 비행을 종료하게 된다(S20).On the other hand, when it is determined that the final inspection of the transmission line is completed according to the determination result of S18, the flight is terminated by automatically returning to the initial starting position through the GPS position coordinate information through the
상기한 바와 같이 이루어진 본 발명에서는 송전 선로만을 점검 대상으로 하고 있지만, 이에 한정되지 않고 송전 철탑 구조물 자체에 대한 이상 점검과, 배전 설비 등에 대한 다양한 위험 구조물의 점검이 가능하다. In the present invention made as described above, only the transmission line is to be inspected, but not limited to this, it is possible to check the abnormality of the transmission tower structure itself, and various dangerous structures for the power distribution facilities.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and those skilled in the art to which the art belongs can make various modifications and other equivalent embodiments therefrom. I will understand. Therefore, the technical protection scope of the present invention will be defined by the claims below.
10:항법 디바이스 20:GPS 모듈
30:촬영 모듈 35:서보 구동 메카니즘
40:비행 제어 디바이스 50:수평 유지 디바이스
60:비행체 구동부 70:영상 처리 디바이스
80:무선통신 디바이스 90:배터리 모듈10: navigation device 20: GPS module
30: Recording module 35: Servo drive mechanism
40: flight control device 50: horizontal hold device
60: airplane driving unit 70: image processing device
80: wireless communication device 90: battery module
Claims (9)
점검 대상 구조물로의 이동 비행에 따라, 구조물의 지정 목표물의 영상을 획득하고, 획득된 영상 정보를 영상 처리하여 이상 여부를 인식하는 영상 획득 및 처리부;
점검 대상 구조물로의 이동 비행을 위해, 수평 상태를 유지하면서 상기 구조물의 지정 경로를 따라 비행할 수 있도록 구동하는 비행체 운행부; 및
상기 점검 대상 구조물의 비행 경로에 대한 기초 정보를 갖추고, 상기 항공 위치 제어부로부터의 위치 좌표 정보와, 항법 제어 신호를 근거로 상기 기초 정보를 참조하여 상기 비행체 운행부가 구동되도록 제어하고, 상기 영상 획득 및 처리부에서 지정 목표물의 영상을 획득하도록 제어하는 비행 제어 디바이스를 포함하되,
상기 영상 획득 및 처리부는,
상기 획득된 영상 정보를 영상 처리하여, 영상 패턴을 인식하고, 영상 패턴 인식 결과에 근거하여 상기 지정 목표물의 이상 여부에 대한 점검을 수행하며, 상기 지정 목표물에서 이상이 검출된 경우, 해당 지정 목표물의 이상 검출 정보를 상기 비행 제어 디바이스로 제공하여 원격지에 송출되도록 하고,
상기 항공 위치 제어부는, 퍼지 모델을 이용하여 자동 비행 제어와, 고도 변화, 각속도 변화, 가속도 변화 감지를 통해 비행 오차를 감소시켜서 원하는 목표물로의 근접 비행이 가능하도록 PID 제어기를 갖추고 있는 항법 디바이스, 및
GPS 위성으로부터 수신받은 GPS 신호로부터 현재 위치의 위치 좌표 신호를 산출하는 GPS 모듈를 포함하며,
상기 비행체 운행부는, 피치(Pitch) 및 롤(Roll) 축 제어를 수행하여 비행 동체가 항상 수평을 유지하도록 하기 위한 수평 유지 보정을 수행하는 수평 유지 디바이스, 및
상기 비행 제어 디바이스로부터의 구동 제어와, 상기 수평 유지 디바이스로부터의 수평 유지를 위한 보정 신호에 따라 비행을 위한 구동을 수행하고, 비행체의 상,하,좌,우 비행에 따른 비행시 모터 구동의 변속을 수행하는 변속기와, 비행을 위한 모터 회전을 수행하는 모터, 상기 모터의 회전 구동과, 상기 변속기의 변속 기능에 따라 비행 항력을 제공하는 고속 회전을 수행하는 프로펠러를 갖춘 비행체 구동부를 포함하고,
상기 비행 제어 디바이스는, 상기 영상 획득 및 처리부로부터 영상 처리된 영상 데이터를 구조물의 촬영 목표물에 대한 비행 유도를 위한 데이터로서 활용을 위해 영상 디코딩 처리하는 영상 디코더, 및
상기 영상 디코더의 디코딩 처리 관련 상태 정보와, 상기 항공 위치 제어부의 위치 좌표 신호를 OSD(On Screen Display) 신호로 처리하여, 비행 이력을 기록하는 블랙 박스의 기능을 수행하고, 지상에서 모니터를 통해 비행 이력을 화면 표시할 수 있도록 하는 OSD 처리부를 포함하며,
상기 비행체의 중앙부에 배터리 모듈을 장착하고, 최상단에는 상기 GPS 모듈을 포함한 GPS 안테나를 탑재하며, 촬영 모듈과 영상 처리 디바이스를 상기 비행 동체의 하단에 배치하고, 상기 비행체의 무게 중심 및 비행시 수평 유지를 고려하여 상기 항법 디바이스와 상기 비행 제어 디바이스를 상기 비행 동체의 상부에 탑재하며,
상기 프로펠러는 적어도 4개 이상 장착하고, 상기 모터는 적어도 2개 이상 설치하며,
신호의 수신율 향상과 각 회로 구성부 간의 신호 간섭을 차단하기 위해 동판으로 이루어진 격판을 회로 구성부와 상기 GPS 모듈의 사이에 설치하는 것을 특징으로 하는 구조물 점검용 비행 장치.
An air position control unit performing navigation control for an unmanned mobile flight based on the position coordinate information;
An image acquisition and processing unit for acquiring an image of a designated target of the structure according to a moving flight to the inspection target structure and recognizing an abnormality by image processing the acquired image information;
For moving flight to the inspection target structure, the vehicle driving unit for driving to fly along the designated path of the structure while maintaining a horizontal state; And
It is provided with basic information on the flight path of the inspection target structure, and controls the vehicle driving unit to be driven with reference to the basic information on the basis of the position coordinate information and the navigation control signal from the air position control, the image acquisition and Including a flight control device for controlling the processor to acquire the image of the designated target,
The image acquisition and processing unit,
Image processing is performed on the acquired image information to recognize an image pattern, and to check whether the designated target is abnormal based on an image pattern recognition result, and when an abnormality is detected in the designated target, Provide abnormality detection information to the flight control device to be transmitted to a remote site,
The air position control unit is a navigation device equipped with a PID controller to enable a close flight to a desired target by reducing the flight error through automatic flight control, altitude change, angular velocity change, acceleration change detection using a fuzzy model, and
It includes a GPS module for calculating the position coordinate signal of the current position from the GPS signal received from the GPS satellites,
The aircraft driving unit may include a horizontal holding device configured to perform horizontal holding correction to perform a pitch and roll axis control so that the flying fuselage is always kept horizontal, and
Drives for the flight according to the drive control from the flight control device and the correction signal for maintaining the level from the leveling device, and shifting the motor drive during the flight according to the up, down, left, right flight of the aircraft And a vehicle driving unit including a transmission for performing a motor, a motor for performing a motor rotation for a flight, a rotational drive of the motor, and a propeller for performing a high speed rotation for providing a flight drag according to the transmission function of the transmission.
The flight control device may include: an image decoder for performing image decoding processing to utilize image data processed by the image acquisition and processing unit as data for inducing flight of a photographing target of a structure;
Decode processing-related state information of the image decoder and the position coordinate signal of the aerial position control unit by processing the OSD (On Screen Display) signal, performs the function of a black box to record the flight history, and fly through the monitor on the ground It includes an OSD processing unit for displaying the history screen,
The battery module is mounted at the center of the aircraft, the GPS antenna including the GPS module is mounted at the top of the vehicle, the photographing module and the image processing device are disposed at the bottom of the flying fuselage, and the center of gravity of the aircraft and leveling during flight are maintained. Taking into account the navigation device and the flight control device on top of the flying fuselage ,
At least four propellers are installed, and at least two motors are installed.
And a diaphragm formed of a copper plate between the circuit component and the GPS module to improve signal reception and block signal interference between circuit components.
상기 영상 획득 및 처리부는, 비행 이동 위치의 인식과, 구조물의 점검 목표물에 대한 영상 정보 수집을 위한 동영상 및 정지 화상을 각각 촬영하는 촬영 모듈,
상기 비행 제어 디바이스로부터의 서보 제어에 따라 기계적인 서보 구동을 수행하여 상기 촬영 모듈이 촬영하는 위치 및 각도를 변화시키는 서보 구동 메카니즘 및,
상기 촬영 모듈로부터 촬영된 동영상이나 정지 화상 데이터를 영상 처리하여, 영상 패턴 인식에 따른 위치 인식을 수행하고, 구조물의 목표 피사체에 대한 영상 인식을 수행하는 영상 처리 디바이스를 포함하는 것을 특징으로 하는 구조물 점검용 비행 장치.The method of claim 1,
The image acquisition and processing unit may include a photographing module for capturing a moving image and a still image, respectively, for recognizing a flight movement position and collecting image information on an inspection target of a structure;
A servo drive mechanism for performing a mechanical servo drive in accordance with servo control from the flight control device to change the position and angle at which the imaging module captures;
And an image processing device configured to image-process moving images or still image data photographed from the photographing module, perform position recognition according to image pattern recognition, and perform image recognition on a target subject of the structure. Dragon flight device.
상기 촬영 모듈은 야간에 구조물의 촬영을 위한 적외선 촬영 기능이 구비되어 있고, 야간시 비행 위치 인식을 위한 LED 램프를 전면 및 후면에 각각 장착하는 것을 특징으로 하는 구조물 점검용 비행 장치. The method of claim 3, wherein
The photographing module is equipped with an infrared photographing function for photographing the structure at night, the structure check flight device, characterized in that for mounting the front and rear LED lamp for recognition of the flight position at night.
상기 비행 제어 디바이스는, X축, Y축, Z축 방향의 지자기 상태를 체크하여 X-축, Y-축, Z-축 자이로 신호를 각각 발생하는 X-자이로, Y-자이로, Z-자이로 센서,
구조물 설치 지역의 기압을 체크하여 기압 감지 신호를 출력하는 기압계,
구조물 설치 지역의 날씨에 따라 가해지는 압력을 체크하여 압력 감지 신호를 출력하는 압력계,
상기 기압계와, 상기 압력계로부터의 아날로그 형태의 기압 감지 신호와, 압력 감지 신호를 각각 디저털 변환하여 출력하는 아날로그-디지털 컨버터, 및
구조물의 촬영 목표물에 대한 초기 정보를 외부로부터 입력받아 저장하고, 상기 X-자이로, Y-자이로, Z-자이로 센서와, 기압계, 압력계로부터의 각 감지 신호와, 상기 항공 위치 제어부로부터의 항법 제어 신호에 따라, 상기 목표물에 대한 초기 정보와, 상기 영상 획득 및 처리부로부터의 영상 패턴 인식 정보에 근거하여, 상기 비행체 운행부를 구동 제어하고, 상기 영상 획득 및 처리부의 촬영 동작을 제어하는 중앙 처리 유니트를 더 포함하는 것을 특징으로 하는 구조물 점검용 비행 장치.
The method of claim 1,
The flight control device, X-gyro, Y-gyro, Z-gyro sensor to check the geomagnetic state in the X-axis, Y-axis, Z-axis direction to generate the X-axis, Y-axis, Z-axis gyro signals respectively ,
Barometer to check the barometric pressure in the installation area of the structure and output a barometric pressure detection signal,
Pressure gauge that checks the pressure applied according to the weather in the installation area and outputs a pressure detection signal,
An analog-to-digital converter for digitally converting the barometer, an analog pressure detection signal from the pressure gauge, and a pressure detection signal, respectively;
Initial information about the shooting target of the structure is received from the outside and stored, and the X-gyro, Y-gyro, Z-gyro sensors, respective detection signals from the barometer, the pressure gauge, and the navigation control signal from the air position control unit. And a central processing unit configured to control driving of the vehicle driving unit based on initial information of the target and image pattern recognition information from the image acquisition and processing unit, and to control photographing operation of the image acquisition and processing unit. Flight device for structure check, comprising the.
원격지로부터의 전송되는 비행 제어 관련 데이터를 수신받아 상기 비행 제어 디바이스에 제공하고, 상기 비행 제어 디바이스로부터의 비행 제어 관련 데이터를 원격지에 무선 전송하며, 상기 영상 획득 및 처리부로부터 획득된 영상 데이터를 원격지에 무선 전송하는 무선 통신 디바이스를 더 포함하는 것을 특징으로 하는 구조물 점검용 비행 장치.The method of claim 1,
Receives flight control-related data transmitted from a remote location and provides the flight control device to the remote control device, wirelessly transmits flight control-related data from the flight control device to the remote location, and transmits the image data obtained from the image acquisition and processing unit to the remote location. And a wireless communication device for wireless transmission.
상기 비행 제어 디바이스의 중앙 처리 유니트는, 상기 무선 통신 디바이스에 의한 양방향 통신에 의해 원격지로부터 촬영 영상의 확대/축소, 촬영 각도 조정 명령이 수신되면, 상기 영상 획득 및 처리부를 구동 제어하여 촬영 영상에 대한 확대/축소 구동, 촬영 각도를 조정할 수 있도록 하는 것을 특징으로 하는 구조물 점검용 비행 장치.
The method of claim 8,
The central processing unit of the flight control device may drive and control the image acquisition and processing unit to control the photographed image when an enlarged / reduced image of a captured image and a photographing angle adjustment command are received from a remote location by bidirectional communication by the wireless communication device. A zoom device for checking a structure, characterized in that the zoom drive and the shooting angle can be adjusted.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120103727A KR102074637B1 (en) | 2012-09-19 | 2012-09-19 | Flight Apparatus for Checking Structure |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120103727A KR102074637B1 (en) | 2012-09-19 | 2012-09-19 | Flight Apparatus for Checking Structure |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140037998A KR20140037998A (en) | 2014-03-28 |
KR102074637B1 true KR102074637B1 (en) | 2020-02-10 |
Family
ID=50646526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120103727A KR102074637B1 (en) | 2012-09-19 | 2012-09-19 | Flight Apparatus for Checking Structure |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102074637B1 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101700634B1 (en) * | 2014-09-24 | 2017-01-31 | 주식회사 유비콤 | Fly-by meter reading system with air-craft |
KR20160123551A (en) | 2015-04-16 | 2016-10-26 | 연세대학교 산학협력단 | System and method for controlling video information based automatic of the drone for the inspection of electric power facilities |
KR101634937B1 (en) * | 2015-05-11 | 2016-07-08 | (주)투비시스템 | System for automatic vision inspection, method using the same |
KR101690566B1 (en) * | 2015-08-13 | 2017-01-02 | 박민정 | Unmanned aerial vehicle |
KR102178393B1 (en) * | 2015-09-03 | 2020-11-13 | 한국전력공사 | Transmission line monitoring apparatus using unmanned aerial vehicles |
KR102463548B1 (en) | 2015-12-14 | 2022-11-07 | 대우조선해양 주식회사 | System for recognizing objects using wired drone |
KR101711602B1 (en) * | 2016-08-01 | 2017-03-02 | (주)우성이엔씨 | Safety inspection system using unmanned aircraft and method for controlling the same |
KR102297624B1 (en) * | 2017-06-21 | 2021-09-06 | 한국전력공사 | Apparatus and method for setting up flight path of unmanned aerial vehicle for monitoring transmission structure |
KR101976199B1 (en) * | 2018-03-21 | 2019-05-07 | 주식회사 메이플테크 | Control system and method of a disaster management drone embedded with a directional speaker |
KR20190136818A (en) | 2018-05-31 | 2019-12-10 | (주)에이스개발 | Transporting vehicle management system |
KR102281164B1 (en) * | 2019-11-20 | 2021-07-23 | 한국생산기술연구원 | Apparatus and method for recognizing line using mutual relation of linear characteristic information |
KR102356916B1 (en) * | 2020-05-21 | 2022-02-03 | 한국전력공사 | Apparatus and method for measuring dip of power line using drone |
KR102457691B1 (en) * | 2020-11-25 | 2022-10-21 | 아이원랩 주식회사 | An artificial intelligence drone equipped with a system that detects defects based on real-time sensor data, and method for detecting defects in artificial intelligence drones using a system that detects defects based on real-time sensor data |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006027448A (en) * | 2004-07-16 | 2006-02-02 | Chugoku Electric Power Co Inc:The | Aerial photographing method and device using unmanned flying body |
JP2008269264A (en) * | 2007-04-19 | 2008-11-06 | Central Res Inst Of Electric Power Ind | Method, device and program for tracking multiconductor cable by image processing, and method, device and program for detecting abnormality of multiconductor cable using the same |
JP2011051470A (en) * | 2009-09-01 | 2011-03-17 | Japan Aerospace Exploration Agency | Simple manual flight operation system of unmanned flying body |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL199763B (en) * | 2009-07-08 | 2018-07-31 | Elbit Systems Ltd | Automatic video surveillance system and method |
-
2012
- 2012-09-19 KR KR1020120103727A patent/KR102074637B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006027448A (en) * | 2004-07-16 | 2006-02-02 | Chugoku Electric Power Co Inc:The | Aerial photographing method and device using unmanned flying body |
JP2008269264A (en) * | 2007-04-19 | 2008-11-06 | Central Res Inst Of Electric Power Ind | Method, device and program for tracking multiconductor cable by image processing, and method, device and program for detecting abnormality of multiconductor cable using the same |
JP2011051470A (en) * | 2009-09-01 | 2011-03-17 | Japan Aerospace Exploration Agency | Simple manual flight operation system of unmanned flying body |
Also Published As
Publication number | Publication date |
---|---|
KR20140037998A (en) | 2014-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102074637B1 (en) | Flight Apparatus for Checking Structure | |
US11604479B2 (en) | Methods and system for vision-based landing | |
US20240109670A1 (en) | Control device, control method, and flight vehicle device | |
EP3104184B1 (en) | Method and apparatus for locating faults in overhead power transmission lines | |
CN105739523B (en) | A kind of police vehicle-mounted unmanned aerial vehicle monitoring system and control method | |
CN109911188B (en) | Bridge detection unmanned aerial vehicle system in non-satellite navigation and positioning environment | |
EP3158255B1 (en) | Systems and methods for payload stabilization | |
CN108351574B (en) | System, method and apparatus for setting camera parameters | |
JP5618840B2 (en) | Aircraft flight control system | |
WO2014203593A1 (en) | Control system for remote-control unmanned flight vehicle | |
EP3267189B1 (en) | Defect inspection device, defect inspection method, and program | |
JP5775632B2 (en) | Aircraft flight control system | |
JP2006027448A (en) | Aerial photographing method and device using unmanned flying body | |
JP2016107843A (en) | Three-dimensional shape measurement method and device using multicopter | |
US11490005B2 (en) | Overhead line image capturing system and overhead line image capturing method | |
CN112486199A (en) | Unmanned aerial vehicle inspection control system and method suitable for remote power transmission tower group | |
CN205920057U (en) | Detect fissured many rotor unmanned aerial vehicle testing platform system in structure surface | |
CN109597432B (en) | Unmanned aerial vehicle take-off and landing monitoring method and system based on vehicle-mounted camera unit | |
JP6482857B2 (en) | Monitoring system | |
JP2017011614A (en) | Driving support control device | |
JP6667943B2 (en) | Image generation device | |
KR101811926B1 (en) | Driving support system for tower crane using unmanned aerial vehicle and image providing method for tower crane using the same | |
CN112478968B (en) | Elevator hoistway inspection control method, device and system and storage medium | |
KR20160123551A (en) | System and method for controlling video information based automatic of the drone for the inspection of electric power facilities | |
CN109561275A (en) | A kind of area monitoring method and regional monitoring system based on circular scanning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |