WO2020004749A1 - 동영상 파일을 이용한 설비 학습 장치 및 방법 - Google Patents

동영상 파일을 이용한 설비 학습 장치 및 방법 Download PDF

Info

Publication number
WO2020004749A1
WO2020004749A1 PCT/KR2018/016783 KR2018016783W WO2020004749A1 WO 2020004749 A1 WO2020004749 A1 WO 2020004749A1 KR 2018016783 W KR2018016783 W KR 2018016783W WO 2020004749 A1 WO2020004749 A1 WO 2020004749A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
image
still image
information
facility
Prior art date
Application number
PCT/KR2018/016783
Other languages
English (en)
French (fr)
Inventor
정남준
최민희
임찬욱
박준영
박현민
Original Assignee
한국전력공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사 filed Critical 한국전력공사
Publication of WO2020004749A1 publication Critical patent/WO2020004749A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/08—Locating faults in cables, transmission lines, or networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present invention relates to a device learning apparatus and method using a video file, and more particularly, to enable a quick and accurate automatic analysis of a failure or condition of a power transmission facility from a video file.
  • the present invention relates to a facility learning apparatus and method using a video file, which enables a power transmission facility to be learned.
  • the accurate position of the pylon and the span to be diagnosed is first measured using a high-precision GPS measuring device, and then the position is input to the drone to automatically connect the drone between the pylon and the span. While flying, the transmission line is photographed with an optical camera and a thermal imaging camera attached to the drone. The image of the transmission line is downloaded by a diagnostic expert, and the system (eg, power transmission facility, transmission facility) is directly It is a method of diagnosis by checking.
  • a method of checking and diagnosing a state of a facility eg, a power transmission facility or a transmission facility
  • a diagnosis expert e.g., a power transmission facility or a transmission facility
  • reproducing an image file photographed using a camera attached to a drone includes a method in which an image is captured. Since the diagnostic time is required as much as the shooting time, there is a problem in that the economy and efficiency are inferior.
  • a device for learning to recognize a facility eg, a power transmission facility and a transmission facility
  • a facility eg, a power transmission facility and a transmission facility
  • the present invention was created to solve the above problems, in order to be able to quickly and accurately automatically analyze the failure or condition of the transmission facility from the video file, the video recording the transmission facility It is an object of the present invention to provide a facility learning apparatus and method using a video file, so that the transmission facility can be learned using the present invention.
  • the apparatus learning apparatus using a video file learning to extract the still image containing the facility from the video taken to include the facility, learning the facility contained in the still image and performing the learning
  • a learning data generation unit for tagging and managing the still image to be utilized for verifying the performance of an algorithm
  • a learning performer configured to reflect the environment information photographed by the tagging and managing still images, and to learn a facility included in the still image by using one learning algorithm selected by a manager among a plurality of learning algorithms
  • And a learning algorithm verification unit for verifying, through simulation, the result information learned using any one of the learning algorithms selected by the manager and the detection rate and detection accuracy of the facility detection function applied to the learning algorithm through simulation.
  • the learning data generation unit a still image extraction unit for extracting a still image from the video taken to include the equipment to prepare as a learning material;
  • a still image management unit for tagging the size, location, and type information of the facilities included in the extracted still image to be used for learning and performance verification of an algorithm;
  • an image data storage unit for storing and managing the tagged still image in a database form.
  • the learning execution unit learning image management unit for managing the image information reflecting the environmental information of the learning image that is a still image used for learning;
  • a machine learning performer configured to perform machine learning of the still image using any one of a plurality of learning algorithms selected by a manager;
  • a learning data storage unit for storing and managing facility quantity, environment information, learning image, facility tag information, and learning result information included in the learning image in a database form.
  • the learning algorithm verification unit a verification image management unit for generating and managing a standardized group of verification target image using the tagged still image;
  • An algorithm manager configured to register and manage a learning algorithm including a learning result file using a learning algorithm, a detection algorithm for detecting a facility object, and detection parameter information applied to the detection algorithm;
  • a simulation performing unit for selecting a verification image and a learning algorithm selected by a manager as a simulation target list and verifying the performance of the learning algorithm selected by the manager by simulating based on image information tagged in the verification image;
  • an optimal algorithm selecting unit that selects an optimal learning algorithm having the best simulation result based on simulation results of the plurality of learning algorithms.
  • the still image extracting unit by calling the video recorded to include the equipment to play, and to secure the still image of the desired portion, the playback of the video, pause, before and after the frame-by-frame video, and cropping the video
  • a video management unit that performs a video manipulation function including a function
  • an optimum image selecting unit for extracting a still image in at least one frame unit from a video section set by the administrator, and comparing the still images within a specified frame interval to select an optimal still image without shaking or blurring.
  • the optimal image selecting unit extracts the image sharpness of each of the still images of the target frame group, and extracts the image having the highest sharpness among them. do.
  • the still image extracting unit by adding the environmental information, the creation date, equipment classification, and tagging information to the still image extracted from the video, and further re-classify by querying or calling the corresponding still image
  • An extracting still image management unit configured to manage and to select a still image to be tagged as a learning image; And display the target still image selected by the extracted still image management unit, and if tag information is registered, simultaneously display the tag information, perform a tag mode operation function by the administrator, recognize the equipment object, and recognize the object.
  • a still image setting unit for displaying a screen through the screen when the learned object is a new object and allowing the administrator to classify or confirm the type of the object and to store the same.
  • the learning data generation unit the operation to automatically detect the equipment from the still image through the previously performed learning, the learning data generation unit to extract additionally selected by the manager not recognized in the still image It is characterized in that it is implemented to support the work.
  • the learning data generation unit is implemented to output an interface screen for linking with the manager, the interface screen, the button area for performing a function of calling a video; An area in which the called video is displayed; A video control button region configured to select an optimal image based on a set interval after performing a video play, pause, jump before and after a frame unit image, and trimming a video in a predetermined frame unit through a video control interface; And a display area that displays a shooting environment information, displays brightness analysis information of an image itself, and visualizes an image reproduction state by frame and time by using a video state information interface.
  • the still image extraction unit is implemented to output an interface screen for linking with the administrator, the interface screen, information search for searching or selecting the date, environmental information, tagging information, and still image information; Selection area; And a detailed information display area for displaying detailed information of the still image selected from the information search and selection area.
  • the learning execution unit is implemented to output an interface screen for cooperating with the manager, the interface screen, the performance result registration area for registering the learning performance results; An execution result inquiry area for inquiring a registered machine learning result; And a detailed information display area for querying the machine learning results and displaying detailed information on the machine learning results selected from the displayed list.
  • the simulation execution unit is implemented to output an interface screen for linking with the manager, the interface screen, the interface area for querying a learning algorithm or a list of a plurality of learning algorithms; An interface area for querying a list of verified still images; And an area for displaying the progress of the simulation of any one of the learning algorithms selected by the administrator from the learning algorithm or the learning algorithm list.
  • the detection algorithm for detecting the facility object, and the detection parameter information applied to the detection algorithm the location and type of the facility in the individual verification image are detected.
  • the result shows the detection rate (%) of detecting the facility in the individual verification image and the detection accuracy (%) comparing the information stored in the verification image with the information detected by the learning algorithm selected by the administrator as a result. It is done.
  • a facility learning method using a video file comprises: extracting a still image including a facility from a video captured by a learning data generation unit to include a facility, learning a facility included in the still image, and learning the facility.
  • Tagging and managing the still image to be utilized for verifying the performance of a learning algorithm that performs an operation Performing a learning of a facility included in the still image by using a learning algorithm selected by an administrator from among a plurality of learning algorithms by reflecting environment information of the still image managed by the learning performing unit by tagging; And a learning algorithm verification unit verifying, through simulation, the result information learned using any one of the learning algorithms selected by the manager and the detection rate and the detection accuracy of the facility detection function applied to the learning algorithm through simulation. do.
  • the learning data generation unit in the tagging and management of the still image, the learning data generation unit, the step of extracting a still image from the video taken to include the facility through the still image extraction unit to prepare as a learning material; Tagging the size, location, and type information of equipment included in the extracted still image through a still image management unit so as to be utilized for learning and performance verification of an algorithm; And storing and managing the tagged still image in a database form through an image data storage unit.
  • the learning performing unit in the step of performing the training of the facilities included in the still image, the learning performing unit, managing the image information reflecting the environmental information of the learning image that is a still image used for learning through the learning image management unit ; Using a learning algorithm selected by a manager among a plurality of learning algorithms through a machine learning performing unit, performing machine learning of the still image; And storing and managing facility quantity, environment information, learning image, facility tag information, and learning result information included in the learning image in a database form through a learning data storage unit.
  • the learning algorithm verification unit in the step of verifying the detection rate and the detection accuracy of the facility detection function applied to the learning algorithm through a simulation, the learning algorithm verification unit, the standardized verification using the tagged still image through the verification image management unit Generating and managing a target image group; Registering and managing a learning algorithm including a learning result file using a learning algorithm, a detection algorithm for detecting a facility object, and detection parameter information applied to the detection algorithm through an algorithm manager; Selecting a verification image and a learning algorithm selected by the manager as a simulation target list through a simulation execution unit, and verifying the performance of the learning algorithm selected by the manager by simulating based on the image information tagged in the verification image; And selecting an optimal learning algorithm having the best simulation result based on simulation results of the plurality of learning algorithms through an optimal algorithm selecting unit.
  • FIG. 1 is an exemplary view showing a schematic configuration of a facility learning apparatus using a video file according to an embodiment of the present invention.
  • FIG. 2 is an exemplary view showing a more specific configuration of the still image extraction unit in FIG.
  • FIG. 3 is an exemplary view showing an interface screen for explaining the operation of the learning data generation unit in FIG.
  • FIG. 4 is an exemplary view showing an interface screen for explaining the operation of the still image extraction unit in FIG.
  • FIG. 5 is an exemplary view showing an interface screen for explaining the operation and function of the learning performer in FIG.
  • FIG. 6 is an exemplary diagram for describing a database type stored in the learning data storage unit in FIG. 1.
  • FIG. 6 is an exemplary diagram for describing a database type stored in the learning data storage unit in FIG. 1.
  • FIG. 7 is an exemplary view showing an interface screen for individual facility learning and overall facility learning through the learning performing unit of FIG. 1.
  • FIG. 8 is an exemplary view showing an interface screen for explaining the operation of the simulation execution unit in FIG.
  • FIG. 9 is an exemplary view showing an interface screen for searching for a simulation execution result in the simulation execution unit in FIG. 8.
  • Implementations described herein may be implemented, for example, in a method or process, apparatus, software program, data stream or signal. Although discussed only in the context of a single form of implementation (eg, discussed only as a method), implementations of the features discussed may also be implemented in other forms (eg, devices or programs).
  • the device may be implemented with suitable hardware, software, firmware, and the like.
  • the method may be implemented in an apparatus such as, for example, a processor, generally referring to a processing device including a computer, microprocessor, integrated circuit or programmable logic device, and the like.
  • the processor also includes communication devices such as computers, cell phones, portable / personal digital assistants ("PDAs”) and other devices that facilitate the communication of information between end-users.
  • PDAs personal digital assistants
  • blocks, units, and / or modules are physically implemented by electronic (or optical) circuits such as logic circuits, discrete components, processors, hard wired circuits, memory elements, wiring connections, and the like. I will understand. If blocks, units, and / or modules are implemented by a processor or other similar hardware, they may be programmed and controlled using software (eg, code) to perform the various functions discussed herein.
  • each block, unit, and / or module may be dedicated hardware, or a combination of dedicated hardware to perform some function and a processor (eg, one or more programmed processors and associated circuitry) to perform other functions. Can be implemented as: function.
  • each block, unit, and / or module in some example embodiments may be physically separated into two or more interactive and discrete blocks, units, and / or modules without departing from the scope of the inventive concept.
  • the blocks, units, and / or modules of some example embodiments may be physically combined into more complex blocks, units, and / or modules without departing from the scope of the inventive concept.
  • FIG. 1 is an exemplary view showing a schematic configuration of a facility learning apparatus using a video file according to an embodiment of the present invention.
  • the facility learning apparatus using the video file includes a learning data generation unit 100, a learning execution unit 200, and a learning algorithm verification unit 300.
  • the learning data generation unit 100 receives a still image including a facility (for example, a transmission line, a power transmission facility) from a video (for example, a video taken to include a facility) photographed using a drone (or an unmanned aerial vehicle). It extracts and manages the equipment (eg transmission line, transmission equipment) object included in this still image so that it can be used for learning and verification (eg performance verification of algorithm).
  • a facility for example, a transmission line, a power transmission facility
  • a video for example, a video taken to include a facility
  • a drone or an unmanned aerial vehicle
  • the learning data generation unit 100 extracts a still image from a facility (eg, a transmission line, a power transmission facility) video photographed using an optical camera attached to a drone (or an unmanned aerial vehicle), and extracts a still image to prepare as a learning material.
  • Section 110 Tag (tag) information such as size, location, and type of equipment included in the extracted still image (e.g., transmission line, transmission equipment) so that it can be used for learning and verification (e.g., verification of algorithm performance).
  • Still image management unit 120 And an image data storage unit 130 storing and managing the tagged still image in a database form.
  • the learning performing unit 200 calls a still image tagged (tagged) from the image data storage unit 130 to obtain environment information (eg, brightness, time, position of the sun, etc.) in which the still image is captured. Reflect to perform learning (ie, machine learning).
  • environment information eg, brightness, time, position of the sun, etc.
  • the learning performer 200 may manage the image information by reflecting environmental information (eg, brightness, time, position of the sun, etc.) of the learning image (that is, the still image used for learning). ); Among a plurality of learning algorithms (ie, algorithms for detecting and learning facility objects in still images), the learning of the still images (that is, facility objects are detected in still images) using one learning algorithm selected by an administrator (or user).
  • environmental information eg, brightness, time, position of the sun, etc.
  • Machine learning performing unit 220 to proceed; And facility quantity (or facility quantity) included in the learning image (ie, still image used for learning), environmental information (eg, brightness, time, and position of the sun), learning image (ie, used for learning) And a learning data storage unit 230 that stores and manages tag information (ie, tag information of a facility) and learning result information in a database form.
  • facility quantity or facility quantity included in the learning image (ie, still image used for learning), environmental information (eg, brightness, time, and position of the sun), learning image (ie, used for learning)
  • a learning data storage unit 230 that stores and manages tag information (ie, tag information of a facility) and learning result information in a database form.
  • the learning algorithm verification unit 300 verifies the learned result information and the accuracy of the detection function applied to the learning algorithm.
  • the learning algorithm verification unit 300 generates a standardized verification target image group (eg, a standardized image for verification as a standardized image of the same equipment photographed under various ring environment conditions) by using the tagged still image, And verification image management unit 310 to manage;
  • An algorithm manager 320 for registering and managing a learning result file, a detection algorithm, and a learning algorithm corresponding to a detection parameter (eg, reference value, resolution size, etc.);
  • the selected verification image that is, standardized verification image for verifying the learning image
  • the learning algorithm selected by the administrator are selected as a simulation target list, and simulation is performed based on the image information (that is, facility information) tagged in the verification image.
  • a simulation performing unit 330 for verifying the performance of the learning algorithm (ie, an algorithm selected by an administrator);
  • an optimal algorithm selecting unit 340 for selecting an optimal learning algorithm having the best simulation result in the facility learning apparatus according to the present embodiment, based on the simulation result.
  • FIG. 2 is an exemplary view showing a more specific configuration of the still image extractor in FIG. 1.
  • the still image extracting unit 110 includes a video managing unit 111, an optimum image selecting unit 112, a still image setting unit 113, an extracted still image managing unit 114, and a tag.
  • An information management unit 115 is included.
  • the video managing unit 111 calls and plays a video (that is, a video photographed to include a facility), and plays and pauses a video to secure a still image (that is, a still image where the facility is photographed) of a desired portion. Performs video manipulation functions such as freezing, jumping before and after frame-by-frame video, and cropping video.
  • the video managing unit 111 displays environmental information (eg, brightness, time, and position of the sun, etc.) of an image recorded on a video recording apparatus (eg, a drone platform, a camera, etc.) (not shown).
  • environmental information eg, brightness, time, and position of the sun, etc.
  • Video data including environmental information can be stored.
  • the optimal image selecting unit 112 extracts a still image in at least one frame unit in a video section set by an administrator, and compares the still image within a specified frame interval to determine an optimal still image (eg, a sharp still image without shaking or blurring). ).
  • the comparison method of the still images for selecting the optimal still image includes a method of extracting the image sharpness of each of the still images of the target frame group, and extracting the image having the highest sharpness among them.
  • the still image setting unit 113 displays the target image selected by the extracted still image managing unit 114, and simultaneously displays the tag information when the tag information is registered, and operates the tag mode by the user (eg, generation, Modify, delete), and recognize the object (e.g., facility) and display it on the screen if the recognized object is a previously learned object, and if the recognized object is a new object, the administrator selects the type of object. It can be sorted, checked and saved.
  • the extracted still image management unit 114 additionally adds information such as environment information, creation date, facility classification (or facility classification), and tagging to the still image extracted from the video, and then views or calls the still image later. Reclassification can be performed, and a still image to be tagged can be selected as a learning image.
  • the tag information management unit 115 automatically stores the tag information set (or registered) through the still image setting unit 113 in the image data storage unit 130. In this case, tag information may be displayed on the still image.
  • the learning data generating unit 100 may be configured to learn from a facility (eg, a transmission line or a power transmission facility) video photographed using an optical camera attached to a drone (or an unmanned aerial vehicle). Extract the appropriate still image and prepare it as a learning material.
  • a facility eg, a transmission line or a power transmission facility
  • an optical camera attached to a drone or an unmanned aerial vehicle
  • the learning data generation unit 100 performs an operation of automatically detecting a facility (eg, a transmission line, a power transmission facility) through previously performed learning, and a user (or a manager) performs the learning data generation unit 100. After monitoring the equipment (eg transmission line, transmission equipment) that is not recognized by the naked eye, it is possible to perform the task (or process) to extract and extract only the image of the equipment (eg transmission line, transmission equipment).
  • a facility eg, a transmission line, a power transmission facility
  • a user or a manager
  • the task (or process) of selectively extracting images by the administrator (user) may help to improve the detection performance of facilities (eg, transmission lines and transmission facilities) by restricting the inflow of unnecessary learning image data.
  • facilities eg, transmission lines and transmission facilities
  • the learning data generation unit 100 is based on the frame extraction criteria set by the administrator in a designated section of the video to exclude from the learning shaken image that may occur during flight, when shooting the image using a drone (or unmanned aerial vehicle), etc. Therefore, the optimal image without shaking is selected.
  • the selection function of the optimal image is that the learning data generator 100 extracts all the images in at least one frame unit, and then compares the sharpness of the images within the frame extraction interval according to the frame extraction criteria set by the administrator. Among the images with the highest clarity, the image is selected as the optimal image (that is, the learning image) and added as a still image management target.
  • the learning data generation unit 100 displays the location or area information of the equipment (eg, transmission line, power transmission equipment) that can be automatically recognized from the extracted still image on the screen, and confirms the location or area information of the equipment.
  • (Administrator) corrects the information or registers information (location or area information) of the equipment that is not automatically recognized (i.e., the unidentified equipment), so that the tag time of the equipment for learning (e.g., transmission line and transmission equipment) can be set. It is effective to shorten.
  • the learning data generation unit 100 displays the location or area information of a facility (for example, a transmission line and a transmission facility) in a still image extracted from a video, and the administrator (or user) confirms the location information.
  • a facility for example, a transmission line and a transmission facility
  • the administrator or user confirms the location information.
  • FIG. 3 is an exemplary view showing an interface screen for explaining the operation of the learning data generation unit in FIG. 1, wherein the learning data generation unit calls a pre-recorded video to extract a still image in a frame unit designated by an administrator.
  • This is an exemplary view showing the screen.
  • the training data generation unit 100 of the facility learning apparatus using the video file may include a button area 1 performing a function of calling (loading) video information, and the called video.
  • the video control interface Through this displayed area (2), the video control interface, play the video, pause, jump back and forth frame-by-frame video, clip the video by the specified frame, and then select the optimal video based on the set interval.
  • FIG. 4 is an exemplary view showing an interface screen for explaining the operation of the still image extraction unit in FIG. 1, which recognizes a facility object from a still image extracted from a video and gives tag information (tag information) to the facility object.
  • an information search and selection area (1) for searching or selecting date, environment information, tagging information, and still image (image) information, and a still image selected in the information search and selection area (1).
  • the detailed information display areas 2 and 3 include an area 2 displaying an image and an area 3 displaying specific specification information.
  • An object (ie, a target facility) for displaying the specification information may be selected by the user in the image display area 2.
  • FIG. 5 is an exemplary view showing an interface screen for explaining the operation and function of the learning execution unit in FIG.
  • the learning performing unit 200 calls a still image tagged (tagged) from the image data storage unit 130, and the environment information (actually, the still image) where the still image is captured. Learning (ie, machine learning) is performed by reflecting the extracted environmental information.
  • the interface screen for the learning performing unit 200 to perform learning and manage the learning result data registers a learning (machine learning) performing result (ie, machine learning completion data).
  • a learning (machine learning) performing result ie, machine learning completion data.
  • the information display area 3 is included.
  • the machine learning complete data is stored in the learning data storage unit 230 and managed by a model number (version number).
  • the previously registered learning model may be automatically searched in the order of the versions through the interface screen of the execution result inquiry area 2.
  • the detailed details of the learning model can be searched in detail, and the inquired details are displayed through the interface screen of the detailed information display area 3.
  • insulators, brackets, aviation indicators, and total equipment quantity information of the selected learning model are displayed, and version description information and learning that have made characteristics when the learning model is registered.
  • the entire image information used in is displayed, and you can see the selection query by the facility classification (ie, the target facility) and the original image of the selected learning image.
  • FIG. 6 is an exemplary diagram for describing a database type stored in a learning data storage unit in FIG. 1.
  • the learning data storage unit 230 converts data related to video shooting into data information for learning. Save it.
  • sun's direction e.g., east, west, north and south
  • sun position e.g., morning, noon, afternoon
  • image direction i.e. orientation of the captured image
  • the learning data storage unit 230 manages and inquires images suitable for an external environment by using data related to video shooting, and learning data groups (eg, learning data models, learning images) according to environmental information when performing learning. Information model, learning facility information model).
  • learning data groups eg, learning data models, learning images
  • the individual OBJECT_ID can be assigned to specify the type of the facilities (ie, the transmission facility and the transmission facility), and the information can be configured to enable the whole facility study or the individual facility study. Can be.
  • FIG. 7 is an exemplary view showing an interface screen for individual facility learning and overall facility learning through the learning execution unit in FIG. 1, wherein facilities not selected when an individual facility learning is performed by an administrator (ie, a power transmission facility and a power transmission facility) are illustrated. ) Blinds the area corresponding to the unselected equipment (ie, power transmission equipment, power transmission equipment) so as not to interfere with other learning.
  • an administrator ie, a power transmission facility and a power transmission facility
  • the above-described processing is to prevent the detection rate drop due to a logic error in the detection because the object to be detected is included in the undetected object since the background object which is not the learning object may be included as an undetected object during the actual detection later. .
  • the learning algorithm verification unit 300 generates and manages the verification image optimized for the field through the verification image manager 310, and verifies the detection algorithm and the algorithm through the algorithm manager 320 to verify the learning and the results of the algorithm.
  • the algorithm corresponding to the machine learning result data is registered and managed, and the simulation performing unit 330 evaluates the learning algorithm (machine learning algorithm) by simulating based on the facility information tagged in the verification data (eg, the verification image).
  • the optimal algorithm selecting unit 340 selects an optimal algorithm (ie, a learning algorithm) having the best simulation result among the plurality of learning algorithms based on the simulation result.
  • the verification image manager 310 divides the image into groups of various conditions (for example, sun direction, sun position, image brightness, and facility type) to verify the results of learning and algorithms. It creates and manages the proper verification image model that can be acquired through drones.
  • various verification image models i.e., a verification image that is a kind of reference
  • the selected environmental information such as when the sunlight is photometric, backlight, bright, dark, etc. It can be used as a criterion for making performance evaluation indicators of transmission equipment learning devices, such as good learning algorithms in specific environments or algorithms suitable for all environments (eg, learning algorithms, detection algorithms) on average.
  • the algorithm manager 320 detects a learning result file for learning a specific image group and a detection parameter such as a reference value and a resolution size necessary for detecting the object in a learning algorithm developed to extract an object (eg, a facility) of the corresponding learning algorithm. It includes.
  • the learning algorithm and the learning result file are managed by the creation date and the version, the parameter values are applied to the combination of the corresponding versions variably, and the above-described combination configured by the administrator is defined and generated by the algorithm and managed.
  • the simulation performer 330 performs a function of verifying the performance of the learning algorithm by simulating a version of a previously registered learning algorithm. You can choose whether to use a single learning algorithm or multiple learning algorithms.
  • FIG. 8 is an exemplary view showing an interface screen for the operation of the simulation execution unit in FIG. 1.
  • an interface region 1 for inquiring a learning algorithm or a list of a plurality of learning algorithms, and verification is completed.
  • a detection rate (%) of detecting equipment eg, a power transmission facility and a power transmission facility
  • the accuracy (%) is expressed as a result and the results are derived for the whole and the facility.
  • the optimal algorithm selecting unit 340 inquires the simulation result, identifies unrecognized and misrecognized target equipment, and selects and applies the optimal learning algorithm having the best simulation result among the plurality of learning algorithms.
  • FIG. 9 is an exemplary view showing an interface screen for searching for a simulation execution result in a simulation execution unit in FIG. 8.
  • a verification image list inquiry a verification image reference simulation result inquiry
  • Simulation result search area (1) that automatically sorts and displays simulation results in consideration of detection rate and detection accuracy
  • the facility image display area 3 that displays the information of the type, location, size of the equipment included in the verification image and the information recognized by the algorithm so that it can be visually confirmed.
  • the present embodiment enables the learning (machine learning) of a transmission facility using a video file, so that an operation server and a control system (GCS) on the ground photographed using a drone (unmanned aerial vehicle) or the like.
  • GCS control system
  • the present embodiment can be applied not only to power transmission facilities, but also to automatic diagnosis of facilities such as roads, bridges, railways, and buildings.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 동영상 파일을 이용한 설비 학습 장치에 관한 것으로, 설비가 포함되게 촬영된 동영상으로부터 설비가 포함된 정지영상을 추출하고, 이 정지영상에 포함된 설비를 학습하고 이 학습을 수행하는 학습 알고리즘의 성능 검증에 활용할 수 있도록, 상기 정지영상을 태깅하여 관리하는 학습데이터 생성부; 상기 태깅하여 관리하는 정지영상이 촬영된 환경정보를 반영하여, 복수의 학습 알고리즘 중 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 상기 정지영상에 포함된 설비의 학습을 수행하는 학습 수행부; 및 상기 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 학습된 결과정보 및 상기 학습 알고리즘에 적용된 설비 검출 기능의 검출율 및 검출 정확도를 시뮬레이션을 통해 검증하는 학습 알고리즘 검증부;를 포함한다.

Description

동영상 파일을 이용한 설비 학습 장치 및 방법
본 발명은 동영상 파일을 이용한 설비 학습 장치 및 방법에 관한 것으로, 보다 상세하게는 동영상 파일로부터 송전시설의 고장이나 상태를 신속하고 정확하게 자동 분석할 수 있도록 하기 위하여, 송전시설을 촬영한 동영상을 이용하여 송전시설을 학습할 수 있도록 하는, 동영상 파일을 이용한 설비 학습 장치 및 방법에 관한 것이다.
최근 드론을 활용하여 송전선로를 진단하는 방법이 실시되고 있다.
이러한 드론을 활용한 송전선로의 진단 방법은, 먼저 고정밀 GPS 측정기를 활용하여 진단하고자 하는 철탑 및 경간의 정확한 위치를 측정한 후, 그 위치를 드론에 입력하여 이 드론이 철탑과 경간 사이를 자동으로 비행하면서 이 드론에 부착된 광학 카메라와 열화상 카메라로 송전선로를 촬영하여, 그 송전선로를 촬영한 영상을 진단 전문가가 다운받아 설비(예 : 송전설비, 송전시설)의 이상여부를 육안으로 직접 확인하는 방식으로 진단하는 방법이다.
상기와 같이 드론에 부착된 카메라를 이용하여 촬영한 영상 파일을 재생하면서 진단 전문가의 육안으로 직접 관찰하여 설비(예 : 송전설비, 송전시설)의 상태를 점검하고 진단하는 방법은, 영상이 촬영된 촬영시간 만큼의 진단시간이 필요하기 때문에 사실상 경제성과 효율성이 떨어지는 문제점이 있다.
이에 따라 드론(무인항공기) 등을 이용하여 공중에서 송전시설을 촬영한 동영상을, 지상에 있는 운영 서버와 제어시스템(GCS, Ground Control System)으로 전송하여, 상기 운영 서버와 제어시스템(GCS)이 상기 동영상을 이용해 송전설비의 이상 유무를 신속하게 자동으로 판단할 수 있도록 함으로써, 이상이 감지되거나 의심되는 설비(예 : 송전설비, 송전시설)를 추가로 촬영하게 하거나, 설비(예 : 송전시설, 송전설비)에서 자체적으로 이상 여부를 진단하게 하는 방법으로의 개선이 요구되고 있다.
상기와 같이 송전설비의 상태를 신속하고 정확하게 자동 진단하기 위한 장치를 개발하기 위해서는, 동영상을 통해 설비(예 : 송전시설, 송전설비)를 인식할 수 있도록 학습하는 장치가 먼저 필요한 상황이다.
본 발명의 배경기술은 대한민국 공개특허 10-2017-0124410(2017.11.10. 공개, 무인비행점검장치를 이용한 전력설비 점검시스템)에 개시되어 있다.
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 동영상 파일로부터 송전시설의 고장이나 상태를 신속하고 정확하게 자동 분석할 수 있도록 하기 위하여, 송전시설을 촬영한 동영상을 이용하여 송전시설을 학습할 수 있도록 하는, 동영상 파일을 이용한 설비 학습 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 동영상 파일을 이용한 설비 학습 장치는, 설비가 포함되게 촬영된 동영상으로부터 설비가 포함된 정지영상을 추출하고, 이 정지영상에 포함된 설비를 학습하고 이 학습을 수행하는 학습 알고리즘의 성능 검증에 활용할 수 있도록, 상기 정지영상을 태깅하여 관리하는 학습데이터 생성부; 상기 태깅하여 관리하는 정지영상이 촬영된 환경정보를 반영하여, 복수의 학습 알고리즘 중 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 상기 정지영상에 포함된 설비의 학습을 수행하는 학습 수행부; 및 상기 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 학습된 결과정보 및 상기 학습 알고리즘에 적용된 설비 검출 기능의 검출율 및 검출 정확도를 시뮬레이션을 통해 검증하는 학습 알고리즘 검증부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 학습데이터 생성부는, 설비가 포함되게 촬영된 동영상으로부터 정지영상을 추출하여 학습 자료로 준비하는 정지영상 추출부; 상기 추출된 정지영상에 포함된 설비의 크기, 위치, 및 종류 정보를 태깅하여 학습 및 알고리즘의 성능 검증에 활용할 수 있도록 관리하는 정지영상 관리부; 및 상기 태깅된 정지영상을 데이터베이스 형태로 저장하여 관리하는 영상데이터 저장부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 학습 수행부는, 학습에 사용된 정지영상인 학습영상의 환경정보를 반영한 영상 정보를 관리하는 학습영상 관리부; 복수의 학습 알고리즘 중 관리자가 선택한 어느 하나의 학습 알고리즘을 이용하여, 상기 정지영상의 기계 학습을 진행하는 기계학습 수행부; 및 상기 학습영상에 포함된 설비수량, 환경정보, 학습영상, 설비의 태그 정보, 및 학습결과 정보를 데이터베이스 형태로 저장하여 관리하는 학습데이터 저장부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 학습 알고리즘 검증부는, 상기 태깅된 정지영상을 활용하여 표준화된 검증대상 영상군을 생성 및 관리하는 검증영상 관리부; 학습 알고리즘을 이용한 학습 결과 파일, 설비 객체를 검출하는 검출 알고리즘, 및 상기 검출 알고리즘에 적용하는 검출 파라메터 정보를 포함하는 학습 알고리즘을 등록하고 관리하는 알고리즘 관리부; 관리자가 선택한 검증영상 및 학습 알고리즘을 시뮬레이션 대상 목록으로 선정하고, 검증영상에서 태깅된 영상 정보를 바탕으로 시뮬레이션 하여 상기 관리자가 선택한 학습 알고리즘의 성능을 검증하는 시뮬레이션 수행부; 및 복수의 학습 알고리즘에 대한 시뮬레이션 결과를 바탕으로, 시뮬레이션 결과가 가장 좋은 최적의 학습 알고리즘을 선정하는 최적 알고리즘 선정부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정지영상 추출부는, 설비가 포함되게 촬영된 동영상을 호출하여 재생하고, 원하는 부분의 정지영상을 확보하기 위하여, 동영상의 재생, 일시정지, 프레임 단위 영상 전후 점프, 및 동영상 자르기 기능을 포함하는 동영상 조작 기능을 수행하는 동영상 관리부; 및 관리자가 설정한 동영상 구간에서 정지영상을 적어도 1 프레임 단위로 추출하고, 지정된 프레임 간격 내 정지영상을 비교하여 흔들리거나 흐림이 없이 선명한 최적의 정지영상을 선정하는 최적영상 선정부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 최적영상 선정부는, 상기 최적의 정지영상을 선정하기 위하여, 대상 프레임 그룹의 정지영상들 중 각각의 영상 선명도를 추출하여, 그 중 선명도가 가장 높은 영상을 추출하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정지영상 추출부는, 동영상에서 추출한 정지영상에, 환경정보, 생성일자, 설비분류, 및 태깅 여부 정보를 추가로 부가하여, 추후 해당 정지영상을 조회하거나 호출하여 재분류를 수행할 수 있게 하고, 또한 태깅 대상이 되는 정지영상을 학습영상으로 선택할 수 있도록 관리하는 추출 정지영상 관리부; 및 상기 추출 정지영상 관리부에서 선택한 대상 정지영상을 표시하며, 태그 정보가 등록되어 있을 경우 이 태그 정보를 동시에 표시하고, 관리자에 의한 태그모드 운용 기능을 수행하며, 설비 객체를 인식하여 이 인식된 객체가 기 학습된 객체인 경우 화면을 통해 표시하고, 상기 인식된 객체가 새로운 객체인 경우 관리자가 객체의 종류를 분류하거나 확인하여 저장할 수 있게 하는 정지영상 설정부;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 학습데이터 생성부는, 기 수행된 학습을 통해 정지영상에서 자동으로 설비를 검출하는 동작을 수행하며, 상기 학습데이터 생성부가 정지영상에서 인지하지 못한 설비를 관리자가 선별하여 추가로 추출하는 작업을 지원할 수 있도록 구현된 것을 특징으로 한다.
본 발명에 있어서, 상기 학습데이터 생성부는, 관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며, 상기 인터페이스 화면은, 동영상을 호출하는 기능을 수행하는 버튼 영역; 호출된 동영상이 표시되는 영역; 동영상 제어 인터페이스를 통하여, 동영상의 재생, 일시정지, 프레임단위 영상 전후 점프, 지정된 프레임 단위로 동영상 자르기 기능을 수행 후 최적 영상을 설정된 간격 기준으로 선정하는 기능을 수행하는 동영상 제어버튼 영역; 및 동영상 상태 정보 인터페이스를 활용하여, 촬영 환경정보 표시, 영상 자체의 밝기분석 정보 표시, 영상 재생 상태를 프레임단위, 및 시간단위로 가시화시키는 표시 영역;을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정지영상 추출부는, 관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며, 상기 인터페이스 화면은, 날짜, 환경정보, 태깅 정보, 및 정지영상 정보를 검색하거나 선택하기 위한 정보 검색 및 선택 영역; 및 상기 정보 검색 및 선택 영역에서 선택한 정지영상의 상세 정보를 표시하는 상세 정보 표시 영역;을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 학습 수행부는, 관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며, 상기 인터페이스 화면은, 학습 수행 결과를 등록하기 위한 수행결과등록 영역; 기 등록된 기계 학습 결과를 조회하기 위한 수행결과조회 영역; 및 상기 기계 학습 결과를 조회하여 표시된 리스트에서 선택된 기계 학습 결과에 대한 상세한 정보를 표시하는 상세 정보 표시 영역;을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 시뮬레이션 수행부는, 관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며, 상기 인터페이스 화면은, 학습 알고리즘이나 복수의 학습 알고리즘 목록을 조회하기 위한 인터페이스 영역; 검증이 완료된 정지영상의 목록을 조회하기 위한 인터페이스 영역; 및 상기 학습 알고리즘이나 학습 알고리즘 목록에서 관리자에 의해 선택된 어느 하나의 학습 알고리즘의 시뮬레이션 수행 진행 사항을 표시하는 영역;을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 시뮬레이션 수행부는, 관리자가 선정한 검증영상 모델의 목록과 검증을 원하는 학습 알고리즘이나 학습 알고리즘 목록을 자동으로 조합하여 시뮬레이션 수행 횟수(시뮬레이션 수행 횟수 = 검증영상 모델 목록 × 알고리즘 목록)를 결정하고, 상기 학습 알고리즘에 포함된 학습 파일, 설비 객체를 검출하는 검출 알고리즘, 및 상기 검출 알고리즘에 적용하는 검출 파라메터 정보를 설정한 후 개별 검증영상 내에서 설비의 위치와 종류를 검출하여 그 결과를 집계하며, 개별 검증영상에서 설비를 검출한 검출율(%) 및 검증영상에 저장된 정보와 관자가 선정한 학습 알고리즘에서 검출한 정보의 일치여부를 비교한 검출 정확도(%)가 결과로 표시하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 동영상 파일을 이용한 설비 학습 방법은, 학습데이터 생성부가 설비가 포함되게 촬영된 동영상으로부터 설비가 포함된 정지영상을 추출하고, 이 정지영상에 포함된 설비를 학습하고 이 학습을 수행하는 학습 알고리즘의 성능 검증에 활용할 수 있도록, 상기 정지영상을 태깅하여 관리하는 단계; 학습 수행부가 상기 태깅하여 관리하는 정지영상이 촬영된 환경정보를 반영하여, 복수의 학습 알고리즘 중 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 상기 정지영상에 포함된 설비의 학습을 수행하는 단계; 및 학습 알고리즘 검증부가 상기 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 학습된 결과정보 및 상기 학습 알고리즘에 적용된 설비 검출 기능의 검출율 및 검출 정확도를 시뮬레이션을 통해 검증하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정지영상을 태깅하여 관리하는 단계에서, 상기 학습데이터 생성부는, 정지영상 추출부를 통해 설비가 포함되게 촬영된 동영상으로부터 정지영상을 추출하여 학습 자료로 준비하는 단계; 정지영상 관리부를 통해 상기 추출된 정지영상에 포함된 설비의 크기, 위치, 및 종류 정보를 태깅하여 학습 및 알고리즘의 성능 검증에 활용할 수 있도록 관리하는 단계; 및 영상데이터 저장부를 통해 상기 태깅된 정지영상을 데이터베이스 형태로 저장하여 관리하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정지영상에 포함된 설비의 학습을 수행하는 단계에서, 상기 학습 수행부는, 학습영상 관리부를 통해 학습에 사용된 정지영상인 학습영상의 환경정보를 반영한 영상 정보를 관리하는 단계; 기계학습 수행부를 통해 복수의 학습 알고리즘 중 관리자가 선택한 어느 하나의 학습 알고리즘을 이용하여, 상기 정지영상의 기계 학습을 진행하는 단계; 및 학습데이터 저장부를 통해 상기 학습영상에 포함된 설비수량, 환경정보, 학습영상, 설비의 태그 정보, 및 학습결과 정보를 데이터베이스 형태로 저장하여 관리하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 학습 알고리즘에 적용된 설비 검출 기능의 검출율 및 검출 정확도를 시뮬레이션을 통해 검증하는 단계에서, 상기 학습 알고리즘 검증부는, 검증영상 관리부를 통해 상기 태깅된 정지영상을 활용하여 표준화된 검증대상 영상군을 생성 및 관리하는 단계; 알고리즘 관리부를 통해 학습 알고리즘을 이용한 학습 결과 파일, 설비 객체를 검출하는 검출 알고리즘, 및 상기 검출 알고리즘에 적용하는 검출 파라메터 정보를 포함하는 학습 알고리즘을 등록하고 관리하는 단계; 시뮬레이션 수행부를 통해 관리자가 선택한 검증영상 및 학습 알고리즘을 시뮬레이션 대상 목록으로 선정하고, 검증영상에서 태깅된 영상 정보를 바탕으로 시뮬레이션 하여 상기 관리자가 선택한 학습 알고리즘의 성능을 검증하는 단계; 및 최적 알고리즘 선정부를 통해 복수의 학습 알고리즘에 대한 시뮬레이션 결과를 바탕으로, 시뮬레이션 결과가 가장 좋은 최적의 학습 알고리즘을 선정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 동영상 파일로부터 송전시설의 고장이나 상태를 신속하고 정확하게 자동 분석할 수 있도록 하기 위하여, 송전시설을 촬영한 동영상을 이용하여 송전시설을 학습할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 동영상 파일을 이용한 설비 학습 장치의 개략적인 구성을 보인 예시도.
도 2는 상기 도 1에 있어서, 정지영상 추출부의 보다 구체적인 구성을 보인 예시도.
도 3은 상기 도 1에 있어서, 학습 데이터 생성부의 동작을 설명하기 위한 인터페이스 화면을 보인 예시도.
도 4는 상기 도 1에 있어서, 정지영상 추출부의 동작을 설명하기 위한 인터페이스 화면을 보인 예시도.
도 5는 상기 도 1에 있어서, 학습 수행부의 동작과 기능을 설명하기 위한 인터페이스 화면을 보인 예시도.
도 6은 상기 도 1에 있어서, 학습데이터 저장부에 저장되는 데이터베이스 형태를 설명하기 위한 예시도.
도 7은 상기 도 1에 있어서, 학습 수행부를 통한 개별 설비 학습 및 전체 설비 학습을 위한 인터페이스 화면을 보인 예시도.
도 8은 상기 도 1에 있어서, 시뮬레이션 수행부의 동작을 설명하기 위한 인터페이스 화면을 보인 예시도.
도 9는 상기 도 8에 있어서, 시뮬레이션 수행부에서 시뮬레이션 수행 결과를 검색하기 위한 인터페이스 화면을 보인 예시도.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
당 분야에서 통상적인 바와 같이, 일부 예시적인 실시예가 기능 블록, 유닛 및/또는 모듈의 관점에서 첨부 도면에 도시될 수 있다. 당업자는 이러한 블록들, 유닛들, 및/또는 모듈들이 논리 회로, 이산 부품들, 프로세서들, 하드 와이어드 회로들, 메모리 소자들, 배선 접속들과 같은 전자(또는 광학) 회로들에 의해 물리적으로 구현된다는 것을 이해할 것이다. 블록, 유닛 및/또는 모듈이 프로세서 또는 다른 유사한 하드웨어에 의해 구현되는 경우, 이들은 본 명세서에서 논의된 다양한 기능을 수행하기 위해 소프트웨어(예를 들어, 코드)를 사용하여 프로그래밍 되고, 제어될 수 있다. 또한, 각각의 블록, 유닛 및/또는 모듈은 전용 하드웨어에 의해, 또는 일부 기능을 수행하기위한 전용 하드웨어 및 다른 기능을 수행하기위한 프로세서(예를 들어, 하나 이상의 프로그램된 프로세서 및 관련 회로)의 조합으로서 구현 될 수 있다. 기능. 또한, 일부 예시적인 실시예의 각각의 블록, 유닛 및/또는 모듈은 본 발명의 개념의 범위를 벗어나지 않고 물리적으로 두 개 이상의 상호 작용하고 이산적인 블록, 유닛 및/또는 모듈로 분리 될 수 있다. 또한, 일부 예시적인 실시예의 블록, 유닛 및/또는 모듈은 본 발명의 개념의 범위를 벗어나지 않으면서 더 복잡한 블록, 유닛 및/또는 모듈로 물리적으로 결합 될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 동영상 파일을 이용한 설비 학습 장치 및 방법의 일 실시예를 설명한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 동영상 파일을 이용한 설비 학습 장치의 개략적인 구성을 보인 예시도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 동영상 파일을 이용한 설비 학습 장치는, 학습데이터 생성부(100), 학습 수행부(200), 및 학습 알고리즘 검증부(300)를 포함한다.
상기 학습데이터 생성부(100)는 드론(또는 무인항공기) 등을 이용하여 촬영한 동영상(예 : 설비가 포함되게 촬영한 동영상)으로부터 설비(예 : 송전선로, 송전설비)가 포함된 정지영상을 추출하고, 이 정지영상에 포함된 설비(예 : 송전선로, 송전설비) 객체를 학습 및 검증(예 : 알고리즘의 성능 검증)에 활용할 수 있도록 태깅하여 관리한다.
상기 학습데이터 생성부(100)는 드론(또는 무인항공기)에 부착된 광학 카메라를 활용하여 촬영한 설비(예 : 송전선로, 송전설비) 동영상으로부터 정지영상을 추출하여 학습 자료로 준비하는 정지영상 추출부(110)와; 상기 추출된 정지영상에 포함된 설비(예 : 송전선로, 송전설비)의 크기, 위치, 및 종류 등의 정보를 태그(태깅)하여 학습 및 검증(예 : 알고리즘의 성능 검증)에 활용할 수 있도록 관리하는 정지영상 관리부(120); 및 상기 태깅된 정지영상을 데이터베이스 형태로 저장하여 관리하는 영상데이터 저장부(130)를 포함한다.
상기 학습 수행부(200)는 상기 영상데이터 저장부(130)로부터 태그(태깅)된 정지영상을 호출하여, 이 정지영상이 촬영된 환경정보(예 : 밝기, 시간, 및 태양의 위치 등)를 반영하여 학습(즉, 기계 학습)을 수행한다.
상기 학습 수행부(200)는, 학습영상(즉, 학습에 사용된 정지영상)의 환경정보(예 : 밝기, 시간, 및 태양의 위치 등)을 반영하여 영상 정보를 관리하는 학습영상 관리부(210); 복수의 학습 알고리즘(즉, 정지영상에서 설비 객체를 검출하여 학습하는 알고리즘) 중, 관리자(또는 사용자)가 선택한 어느 하나의 학습 알고리즘을 이용하여, 상기 정지영상의 학습(즉, 정지영상에서 설비 객체를 검출하는 학습)을 진행하는 기계학습 수행부(220); 및 상기 학습영상(즉, 학습에 사용된 정지영상)에 포함된 설비수량(또는 시설수량), 환경정보(예 : 밝기, 시간, 및 태양의 위치 등), 학습영상(즉, 학습에 사용된 정지영상), 태그 정보(즉, 설비의 태그 정보), 및 학습결과 정보를 데이터베이스 형태로 저장하여 관리하는 학습데이터 저장부(230)를 포함한다.
상기 학습 알고리즘 검증부(300)는 상기 학습된 결과정보 및 상기 학습 알고리즘에 적용된 검출 기능의 정확도를 검증한다.
상기 학습 알고리즘 검증부(300)는 상기 태깅된 정지영상을 활용하여 표준화된 검증대상 영상군(예 : 다양환 환경조건에서 촬영된 동일한 설비들의 표준화된 영상으로서 검증을 위한 일종의 기준 영상)을 생성, 및 관리하는 검증영상 관리부(310); 학습 결과 파일, 검출 알고리즘, 및 검출 파라메터(예 : 기준값, 해상도크기 등)에 대응하는 학습 알고리즘을 등록하고 관리하는 알고리즘 관리부(320); 관리자가 선택한 검증영상(즉, 학습영상을 검증하기 위하여 표준화된 검증영상) 및 학습 알고리즘을 시뮬레이션 대상 목록으로 선정하고, 검증영상에서 태그(태깅)된 영상 정보(즉, 설비 정보)를 바탕으로 시뮬레이션 하여 상기 학습 알고리즘(즉, 관리자가 선택한 알고리즘)의 성능을 검증하는 시뮬레이션 수행부(330); 및 상기 시뮬레이션 결과를 바탕으로, 미리 준비된 복수의 학습 알고리즘 중 본 실시예에 따른 설비 학습 장치에서 시뮬레이션 결과가 가장 좋은 최적 학습 알고리즘을 선정하는 최적 알고리즘 선정부(340);를 포함한다.
도 2는 상기 도 1에 있어서, 정지영상 추출부의 보다 구체적인 구성을 보인 예시도이다.
도 2에 도시된 바와 같이, 상기 정지영상 추출부(110)는, 동영상 관리부(111), 최적영상 선정부(112), 정지영상 설정부(113), 추출 정지영상 관리부(114), 및 태그정보 관리부(115)를 포함한다.
상기 동영상 관리부(111)는 동영상(즉, 설비가 포함되게 촬영된 동영상)을 호출하여 재생하고, 원하는 부분의 정지영상(즉, 설비가 촬영된 정지영상)을 확보하기 위하여, 동영상의 재생, 일시정지, 프레임 단위 영상 전후 점프, 및 동영상 자르기 등의 동영상 조작 기능을 수행한다.
또한 상기 동영상 관리부(111)는 동영상 촬영장치(예 : 드론 플랫폼, 카메라 등)(미도시)에 기록된 영상의 환경정보(예 : 밝기, 시간, 및 태양의 위치 등)를 표시하고, 이 영상의 환경정보를 포함하는 영상 데이터를 저장 할 수 있다.
상기 최적영상 선정부(112)는 관리자가 설정한 동영상 구간에서 정지영상을 적어도 1 프레임 단위로 추출하고, 지정된 프레임 간격 내 정지영상을 비교하여 최적의 정지영상(예 : 흔들리거나 흐리지 않고 선명한 정지영상)을 선정한다.
상기 최적의 정지영상을 선정하기 위한 정지영상의 비교 방식은, 대상 프레임 그룹의 정지영상 중 각각의 영상 선명도를 추출하여, 그 중 선명도가 가장 높은 영상을 추출해 내는 방식을 포함한다.
상기 정지영상 설정부(113)는 추출 정지영상 관리부(114)에서 선택한 대상 영상을 표시하며, 태그 정보가 등록되어 있을 경우 이 태그 정보를 동시에 표시하고, 사용자에 의한 태그모드 운용(예 : 생성, 수정, 삭제) 기능을 수행하며, 객체(예 : 설비)를 인식하여 이 인식된 객체가 기 학습된 객체인 경우 화면을 통해 표시하고, 상기 인식된 객체가 새로운 객체인 경우 관리자가 객체의 종류를 분류하거나 확인하여 저장할 수 있게 한다.
상기 추출 정지영상 관리부(114)는 동영상에서 추출한 정지영상에, 환경정보, 생성일자, 설비분류(또는 시설 분류), 및 태깅 여부 등의 정보를 추가로 부가하여, 추후 해당 정지영상을 조회하거나 호출하여 재분류를 수행할 수 있고, 또한 태깅 대상이 되는 정지영상을 학습영상으로 선택할 수 있다.
상기 태그정보 관리부(115)는 정지영상 설정부(113)를 통해 설정(또는 등록)한 태그 정보를 관리하기 위하여 자동으로 영상데이터 저장부(130)에 저장한다. 이때 상기 정지영상에 태그 정보가 표시될 수 있다.
상기 학습데이터 생성부(100)(특히 정지영상 추출부(110))는, 드론(또는 무인항공기)에 부착된 광학 카메라를 이용하여 촬영한 설비(예 : 송전선로, 송전설비) 동영상으로부터 학습에 적합한 정지영상을 추출하여 학습 자료로 준비하는 동작을 수행한다.
이때 상기 학습데이터 생성부(100)는 기 수행된 학습을 통해 자동으로 설비(예 : 송전선로, 송전설비)를 검출하는 동작을 수행하며, 사용자(또는 관리자)는 상기 학습데이터 생성부(100)가 인지하지 못한 설비(예 : 송전선로, 송전설비)를 육안으로 모니터링 후 해당 설비(예 : 송전선로, 송전설비)의 영상만 선별하여 추가로 추출하는 작업(또는 프로세스)을 수행할 수 있다.
이때 상기 관리자(사용자)에 의해 영상을 선별하여 추가로 추출하는 작업(또는 프로세스)은 불필요한 학습영상 데이터의 유입을 제한하여 설비(예 : 송전선로, 송전설비)의 검출 성능 향상에 도움이 된다.
또한 상기 학습데이터 생성부(100)는 드론(또는 무인항공기) 등을 이용한 영상 촬영 시, 비행 중 발생할 수 있는 흔들린 영상을 학습에서 배제하기 위하여, 동영상의 지정된 구간에서 관리자가 설정한 프레임 추출 기준에 따라 흔들림이 없는 최적 영상을 선별한다. 이때 상기 최적 영상의 선별 기능은 상기 학습데이터 생성부(100)가 모든 영상을 적어도 1 프레임 단위로 추출한 후, 관리자에 의해 설정된 프레임 추출 기준에 따라, 프레임 추출 간격 내 영상의 선명도를 비교하고, 그 중 선명도가 가장 높은 영상을 최적 영상(즉, 학습영상)으로 선정하여 정지영상 관리 대상으로 추가한다.
또한 상기 학습데이터 생성부(100)는 상기 추출한 정지영상에서 자동으로 인지 가능한 설비(예 : 송전선로, 송전설비)의 위치나 영역 정보를 화면상에 표시하고, 이 설비의 위치나 영역 정보를 확인한 사용자(관리자)는 해당 정보를 보정하거나 자동으로 인지하지 못한 설비(즉, 미인지 설비)의 정보(위치나 영역 정보)를 등록하여 학습을 위한 설비(예 : 송전선로, 송전설비)의 태그 시간을 단축할 수 있도록 하는 효과가 있다.
상기와 같이 본 실시예는 상기 학습데이터 생성부(100)가 동영상에서 추출한 정지영상에서 설비(예 : 송전선로, 송전설비)의 위치나 영역 정보를 표시하고, 관리자(또는 사용자가)가 확인하여 이를 보정하거나 추가할 수 있도록 함으로써, 학습 수행부(200) 및 학습 알고리즘 검증부(300)의 효율을 향상시킨다.
도 3은 상기 도 1에 있어서, 학습 데이터 생성부의 동작을 설명하기 위한 인터페이스 화면을 보인 예시도로서, 학습 데이터 생성부가 동영상으로부터 정지영상을 관리자가 지정한 프레임 단위로 추출하기 위하여 기 촬영된 동영상을 호출하는 화면을 보인 예시도이다.
도 3을 참조하면, 본 실시예에 따른 동영상 파일을 이용한 설비 학습 장치의 학습데이터 생성부(100)는, 동영상 정보를 호출(불러오기)하는 기능을 수행하는 버튼 영역(①), 호출된 동영상이 표시되는 영역(②), 동영상 제어 인터페이스를 통하여, 동영상의 재생, 일시정지, 프레임단위 영상 전후 점프, 지정된 프레임 단위로 동영상 자르기 기능을 수행 후 최적 영상을 설정된 간격 기준으로 선정하는 기능 등을 수행하는 동영상 제어버튼 영역(③), 및 동영상 상태 정보 인터페이스를 활용하여, 촬영 환경정보 표시, 영상 자체의 밝기분석 정보 표시, 영상 재생 상태를 프레임단위, 시간단위로 가시화시키는 표시 영역(④)을 포함한다.
도 4는 상기 도 1에 있어서, 정지영상 추출부의 동작을 설명하기 위한 인터페이스 화면을 보인 예시도로서, 동영상에서 추출된 정지영상에서 설비 객체를 인식하여 상기 설비 객체에 태그 정보(태깅 정보)를 부여하는 정지영상 관리 화면을 보인 예시도이다.
도 4를 참조하면, 날짜, 환경정보, 태깅 정보, 및 정지영상(이미지) 정보를 검색하거나 선택하기 위한 정보 검색 및 선택 영역(①), 상기 정보 검색 및 선택 영역(①)에서 선택한 정지영상(이미지)의 상세 정보를 표시하는 상세 정보 표시 영역(②,③)을 포함한다. 이때 상기 상세 정보 표시 영역(②,③)은 이미지를 표시하는 영역(②)과 구체적인 스펙 정보를 표시하는 영역(③)을 포함한다. 상기 스펙 정보를 표시하기 위한 객체(즉, 대상 설비)는 이미지 표시 영역(②)에서 사용자에 의해 선택할 수 있다.
도 5는 상기 도 1에 있어서, 학습 수행부의 동작과 기능을 설명하기 위한 인터페이스 화면을 보인 예시도이다.
도 5를 참조하면, 상기 학습 수행부(200)는 상기 영상데이터 저장부(130)로부터 태그(태깅)된 정지영상을 호출하여, 이 정지영상이 촬영된 환경정보(실실적으로는 이 정지영상이 추출된 동영상이 촬영된 환경정보)를 반영하여 학습(즉, 기계 학습)을 수행한다.
도 5에 도시된 바와 같이, 상기 학습 수행부(200)가 학습을 수행하고 그 학습 결과 데이터를 관리하기 위한 인터페이스 화면은, 학습(기계 학습) 수행 결과(즉, 기계 학습 완료 데이터)를 등록하기 위한 수행결과등록 영역(①), 기 등록된 기계 학습 결과를 조회하기 위한 수행결과조회 영역(②), 및 상기 기계 학습 결과를 조회하여 표시된 리스트에서 선택된 기계 학습 결과에 대한 상세한 정보를 표시하는 상세 정보 표시 영역(③)을 포함한다.
여기서 상기 기계 학습 완료 데이터는 학습데이터 저장부(230)에 저장되며 모델번호(버전번호)로 관리된다.
한편 상기 수행결과조회 영역(②)의 인터페이스 화면을 통해서 기 등록된 학습 모델을 버전 순으로 자동 조회할 수 있다.
이때 모델 선택 시 학습 모델의 세부 내역을 상세 조회가능하며 조회된 상세 내용은 상세 정보 표시 영역(③)의 인터페이스 화면을 통해 표시된다.
예컨대 상기 상세 정보 표시 영역(③)에서는 상기 선택된 학습 모델의 애자류, 금구류, 항공장애 표시구, 및 이를 포함한 총 설비수량 정보가 표시되며, 또한 학습 모델 등록 시 특징을 작성한 버전 설명 정보와 학습에 사용된 이미지 정보 전체가 표시되며, 설비 분류(즉, 대상설비)별 선택 조회와 선택된 학습 영상의 원본 영상을 볼 수 있다.
도 6은 상기 도 1에 있어서, 학습데이터 저장부에 저장되는 데이터베이스 형태를 설명하기 위한 예시도로서, 상기 학습데이터 저장부(230)에는 동영상 촬영에 관련된 데이터를 가공하여 학습에 필요한 데이터 정보로 변환하여 저장한다.
예컨대 드론(또는 무인 항공기)을 이용하여 동영상을 촬영한다고 가정할 경우, 드론의 촬영시간, 비행위치, 비행방향, 짐벌의 각도를 활용하여 촬영 영상에 대한 태양 방향(예 : 동서남북 방위), 태양 위치(예 : 오전, 정오, 오후), 및 영상 방향(즉, 촬영된 영상의 방위) 데이터를 추출하여 관리한다.
상기 학습데이터 저장부(230)는 동영상 촬영에 관련된 데이터를 활용해서 외부 환경에 적합한 영상을 관리 및 조회할 수 있도록 하며, 학습 수행 시 환경정보에 따라 학습데이터 군(예 : 학습데이터 모델, 학습영상정보 모델, 학습설비정보 모델)을 생성한다.
참고로, 만약 하나의 이미지에 복수의 설비가 존재할 경우, 개별 OBJECT_ID를 부여하여 설비(즉, 송전설비, 송전시설)의 종류를 지정하고, 전체설비 학습 또는 개별 설비 학습이 가능하도록 정보를 구성할 수 있다.
도 7은 상기 도 1에 있어서, 학습 수행부를 통한 개별 설비 학습 및 전체 설비 학습을 위한 인터페이스 화면을 보인 예시도로서, 관리자에 의해 개별 설비 학습 수행 시 선택되지 않은 설비(즉, 송전설비, 송전시설)는 타 학습에 방해되지 않도록 하기 위하여, 선택되지 않은 설비(즉, 송전설비, 송전시설)에 해당하는 영역을 블라인드 처리하여 학습에 포함되지 않도록 처리한다.
상기와 같은 처리는, 학습 대상 객체가 아닌 배경 객체는 추후 실제 검출 시 미검출 대상으로 포함될 수 있기 때문에 검출 대상 설비가 미검출 대상에 포함되어 탐지 상 논리 오류로 인한 검출율 하락을 방지하기 위한 것이다.
상기 학습 알고리즘 검증부(300)는, 학습 및 알고리즘의 결과를 검증하기 위하여, 검증영상 관리부(310)를 통해 현장에 최적화된 검증영상을 생성 및 관리하고, 알고리즘 관리부(320)를 통해 검출 알고리즘 및 기계학습 결과 데이터에 대응하는 알고리즘을 등록 및 관리하며, 시뮬레이션 수행부(330)는 검증 데이터(예 : 검증영상)에서 태깅된 설비 정보를 바탕으로 시뮬레이션 하여 학습 알고리즘(기계학습 알고리즘)을 평가하며, 최적 알고리즘 선정부(340)는 상기 시뮬레이션 결과를 바탕으로 복수의 학습 알고리즘 중 시뮬레이션 결과가 가장 좋은 최적 알고리즘(즉, 학습 알고리즘)을 선정한다.
좀 더 구체적으로, 상기 검증영상 관리부(310)는 학습 및 알고리즘의 결과를 검증하기 위해, 관리자가 영상을 다양한 조건(예 : 태양 방향, 태양 위치, 영상의 밝기, 설비 종류)의 그룹으로 구분하여, 드론(무인항공기)을 통해 취득할 수 있는 적합한 검증 영상 모델을 생성하고 관리하는 기능을 수행한다.
가령, 검증영상의 구성에 따라 태양광이 측광인 경우, 역광인 경우, 영상 밝기가 밝은 경우, 어두운 경우 등, 선택한 환경정보를 포함한 다양한 검증영상 모델(즉, 일종의 기준이 되는 검증영상)을 만들 수 있으며, 특정 환경에서 우수한 학습 알고리즘 또는 평균적으로 모든 환경에 적합한 알고리즘(예 : 학습 알고리즘, 검출 알고리즘) 등 송전시설 학습 장치의 성능 평가 지표를 만드는 기준이 된다.
상기 알고리즘 관리부(320)는 특정 영상그룹을 학습한 학습 결과 파일과 해당 학습 알고리즘의 객체(예 : 설비)를 추출하기 위해 개발된 학습 알고리즘에서 객체를 검출하는데 필요한 기준값, 및 해상도 크기 등의 검출 파라메터를 포함한다. 상기 학습 알고리즘 및 학습 결과 파일은 생성 날짜 및 버전으로 관리되며, 해당 버전들의 조합에 파라메터 값이 가변으로 적용되고, 관리자에 의해 구성된 상기와 같은 조합을 알고리즘으로 정의 및 생성하여 관리한다.
상기 시뮬레이션 수행부(330)는 기 등록된 학습 알고리즘의 버전을 시뮬레이션 하여 학습 알고리즘의 성능을 검증하는 기능을 수행한다. 이때 단일 학습 알고리즘을 사용할지, 아니면 다중 학습 알고리즘을 사용할지는 선택이 가능하다.
도 8은 상기 도 1에 있어서, 시뮬레이션 수행부의 동작을 위한 인터페이스 화면을 보인 예시도로서, 이에 도시된 바와 같이, 학습 알고리즘이나 복수의 학습 알고리즘 목록을 조회하기 위한 인터페이스 영역(①), 검증이 완료된 영상의 목록을 조회하기 위한 인터페이스 영역(②), 및 상기 학습 알고리즘이나 학습 알고리즘 목록에서 선택된 학습 알고리즘의 시뮬레이션 수행 진행 사항을 표시하는 영역(③)을 포함한다.
상기 시뮬레이션 수행부(330)는, 관리자가 선정한 검증영상(또는 검증영상 모델)의 목록과 검증을 원하는 학습 알고리즘이나 학습 알고리즘 목록을 자동으로 조합하여 시뮬레이션 수행 횟수(시뮬레이션 수행 횟수 = 검증영상 모델 목록 × 알고리즘 목록)를 결정하고, 이 학습 알고리즘에 포함된 학습 파일, 검출 알고리즘, 및 검출 파라메터(예 : 기준값, 해상도 크기 등)를 설정한 후 개별 검증영상 내에서 설비(예 : 송전시설, 송전설비)의 위치와 종류를 검출하고 그 결과를 집계한다.
이때 상기 개별 검증영상에서 설비(예 : 송전시설, 송전설비)를 검출한 검출율(%) 및 검증영상에 저장된 정보와 본 실시예에 따른 설비 학습 장치가 검출한 정보의 일치여부를 비교한 검출 정확도(%)가 결과로 표시되며, 전체 및 설비별로 결과를 도출한다.
상기 최적 알고리즘 선정부(340)는 상기 시뮬레이션 결과를 조회하고 미인식, 및 오인식 대상 설비를 확인하며, 이를 통해 복수의 학습 알고리즘 중 시뮬레이션 결과가 가장 좋은 최적의 학습 알고리즘을 선택하여 적용한다.
도 9는 상기 도 8에 있어서, 시뮬레이션 수행부에서 시뮬레이션 수행 결과를 검색하기 위한 인터페이스 화면을 보인 예시도로서, 이에 도시된 바와 같이, 시뮬레이션에 활용된 검증영상 목록 조회, 검증 영상 기준 시뮬레이션 결과 조회, 검출율, 및 검출 정확도를 고려한 시뮬레이션 결과를 자동 정렬하여 표시하는 시뮬레이션 결과 조회 영역(①), 시뮬레이션 결과 검색에 선택된 알고리즘에서 영상별 인식, 미인식 및 오인식 등을 구분하여 표시하는 인식 정보 표시 영역(②), 및 검증영상에 포함된 설비의 종류, 위치, 크기의 정보와 알고리즘이 인식한 정보를 비교하여 육안으로 확인할 수 있도록 표시하는 시설 영상 표시 영역(③)을 포함한다.
상기와 같이 본 실시예는 동영상 파일을 이용해 송선시설에 대한 학습(기계학습)을 수행할 수 있도록 함으로써, 지상에 있는 운영 서버와 제어시스템(GCS)이 드론(무인항공기) 등을 이용해 촬영한 동영상 파일로부터 설비의 고장이나 상태를 신속하고 정확하게 분석할 수 있도록 하는 효과가 있다.
또한 본 실시예는 송전시설에 한정하지 않고 도로, 교량, 철도, 건물 등의 시설 자동진단에도 적용할 수 있다.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.

Claims (17)

  1. 설비가 포함되게 촬영된 동영상으로부터 설비가 포함된 정지영상을 추출하고, 이 정지영상에 포함된 설비를 학습하고 이 학습을 수행하는 학습 알고리즘의 성능 검증에 활용할 수 있도록, 상기 정지영상을 태깅하여 관리하는 학습데이터 생성부;
    상기 태깅하여 관리하는 정지영상이 촬영된 환경정보를 반영하여, 복수의 학습 알고리즘 중 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 상기 정지영상에 포함된 설비의 학습을 수행하는 학습 수행부; 및
    상기 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 학습된 결과정보 및 상기 학습 알고리즘에 적용된 설비 검출 기능의 검출율 및 검출 정확도를 시뮬레이션을 통해 검증하는 학습 알고리즘 검증부;를 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
  2. 제 1항에 있어서, 상기 학습데이터 생성부는,
    설비가 포함되게 촬영된 동영상으로부터 정지영상을 추출하여 학습 자료로 준비하는 정지영상 추출부;
    상기 추출된 정지영상에 포함된 설비의 크기, 위치, 및 종류 정보를 태깅하여 학습 및 알고리즘의 성능 검증에 활용할 수 있도록 관리하는 정지영상 관리부; 및
    상기 태깅된 정지영상을 데이터베이스 형태로 저장하여 관리하는 영상데이터 저장부;를 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
  3. 제 1항에 있어서, 상기 학습 수행부는,
    학습에 사용된 정지영상인 학습영상의 환경정보를 반영한 영상 정보를 관리하는 학습영상 관리부;
    복수의 학습 알고리즘 중 관리자가 선택한 어느 하나의 학습 알고리즘을 이용하여, 상기 정지영상의 기계 학습을 진행하는 기계학습 수행부; 및
    상기 학습영상에 포함된 설비수량, 환경정보, 학습영상, 설비의 태그 정보, 및 학습결과 정보를 데이터베이스 형태로 저장하여 관리하는 학습데이터 저장부;를 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
  4. 제 1항에 있어서, 상기 학습 알고리즘 검증부는,
    상기 태깅된 정지영상을 활용하여 표준화된 검증대상 영상군을 생성 및 관리하는 검증영상 관리부;
    학습 알고리즘을 이용한 학습 결과 파일, 설비 객체를 검출하는 검출 알고리즘, 및 상기 검출 알고리즘에 적용하는 검출 파라메터 정보를 포함하는 학습 알고리즘을 등록하고 관리하는 알고리즘 관리부;
    관리자가 선택한 검증영상 및 학습 알고리즘을 시뮬레이션 대상 목록으로 선정하고, 검증영상에서 태깅된 영상 정보를 바탕으로 시뮬레이션 하여 상기 관리자가 선택한 학습 알고리즘의 성능을 검증하는 시뮬레이션 수행부; 및
    복수의 학습 알고리즘에 대한 시뮬레이션 결과를 바탕으로, 시뮬레이션 결과가 가장 좋은 최적의 학습 알고리즘을 선정하는 최적 알고리즘 선정부;를 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
  5. 제 1항에 있어서, 상기 정지영상 추출부는,
    설비가 포함되게 촬영된 동영상을 호출하여 재생하고, 원하는 부분의 정지영상을 확보하기 위하여, 동영상의 재생, 일시정지, 프레임 단위 영상 전후 점프, 및 동영상 자르기 기능을 포함하는 동영상 조작 기능을 수행하는 동영상 관리부; 및
    관리자가 설정한 동영상 구간에서 정지영상을 적어도 1 프레임 단위로 추출하고, 지정된 프레임 간격 내 정지영상을 비교하여 흔들리거나 흐림이 없이 선명한 최적의 정지영상을 선정하는 최적영상 선정부;를 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
  6. 제 5항에 있어서, 상기 최적영상 선정부는,
    상기 최적의 정지영상을 선정하기 위하여, 대상 프레임 그룹의 정지영상들 중 각각의 영상 선명도를 추출하여, 그 중 선명도가 가장 높은 영상을 추출하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
  7. 제 5항에 있어서, 상기 정지영상 추출부는,
    동영상에서 추출한 정지영상에, 환경정보, 생성일자, 설비분류, 및 태깅 여부 정보를 추가로 부가하여, 추후 해당 정지영상을 조회하거나 호출하여 재분류를 수행할 수 있게 하고, 또한 태깅 대상이 되는 정지영상을 학습영상으로 선택할 수 있도록 관리하는 추출 정지영상 관리부; 및
    상기 추출 정지영상 관리부에서 선택한 대상 정지영상을 표시하며, 태그 정보가 등록되어 있을 경우 이 태그 정보를 동시에 표시하고, 관리자에 의한 태그모드 운용 기능을 수행하며, 설비 객체를 인식하여 이 인식된 객체가 기 학습된 객체인 경우 화면을 통해 표시하고, 상기 인식된 객체가 새로운 객체인 경우 관리자가 객체의 종류를 분류하거나 확인하여 저장할 수 있게 하는 정지영상 설정부;를 더 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
  8. 제 1항에 있어서, 상기 학습데이터 생성부는,
    기 수행된 학습을 통해 정지영상에서 자동으로 설비를 검출하는 동작을 수행하며, 상기 학습데이터 생성부가 정지영상에서 인지하지 못한 설비를 관리자가 선별하여 추가로 추출하는 작업을 지원할 수 있도록 구현된 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
  9. 제 1항에 있어서, 상기 학습데이터 생성부는,
    관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며,
    상기 인터페이스 화면은,
    동영상을 호출하는 기능을 수행하는 버튼 영역; 호출된 동영상이 표시되는 영역; 동영상 제어 인터페이스를 통하여, 동영상의 재생, 일시정지, 프레임단위 영상 전후 점프, 지정된 프레임 단위로 동영상 자르기 기능을 수행 후 최적 영상을 설정된 간격 기준으로 선정하는 기능을 수행하는 동영상 제어버튼 영역; 및 동영상 상태 정보 인터페이스를 활용하여, 촬영 환경정보 표시, 영상 자체의 밝기분석 정보 표시, 영상 재생 상태를 프레임단위, 및 시간단위로 가시화시키는 표시 영역;을 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
  10. 제 2항에 있어서, 상기 정지영상 추출부는,
    관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며,
    상기 인터페이스 화면은,
    날짜, 환경정보, 태깅 정보, 및 정지영상 정보를 검색하거나 선택하기 위한 정보 검색 및 선택 영역; 및
    상기 정보 검색 및 선택 영역에서 선택한 정지영상의 상세 정보를 표시하는 상세 정보 표시 영역;을 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
  11. 제 1항에 있어서, 상기 학습 수행부는,
    관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며,
    상기 인터페이스 화면은,
    학습 수행 결과를 등록하기 위한 수행결과등록 영역;
    기 등록된 기계 학습 결과를 조회하기 위한 수행결과조회 영역; 및
    상기 기계 학습 결과를 조회하여 표시된 리스트에서 선택된 기계 학습 결과에 대한 상세한 정보를 표시하는 상세 정보 표시 영역;을 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
  12. 제 4항에 있어서, 상기 시뮬레이션 수행부는,
    관리자와 연계하기 위한 인터페이스 화면을 출력하도록 구현되며,
    상기 인터페이스 화면은,
    학습 알고리즘이나 복수의 학습 알고리즘 목록을 조회하기 위한 인터페이스 영역;
    검증이 완료된 정지영상의 목록을 조회하기 위한 인터페이스 영역; 및
    상기 학습 알고리즘이나 학습 알고리즘 목록에서 관리자에 의해 선택된 어느 하나의 학습 알고리즘의 시뮬레이션 수행 진행 사항을 표시하는 영역;을 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
  13. 제 12항에 있어서, 상기 시뮬레이션 수행부는,
    관리자가 선정한 검증영상 모델의 목록과 검증을 원하는 학습 알고리즘이나 학습 알고리즘 목록을 자동으로 조합하여 시뮬레이션 수행 횟수(시뮬레이션 수행 횟수 = 검증영상 모델 목록 × 알고리즘 목록)를 결정하고,
    상기 학습 알고리즘에 포함된 학습 파일, 설비 객체를 검출하는 검출 알고리즘, 및 상기 검출 알고리즘에 적용하는 검출 파라메터 정보를 설정한 후 개별 검증영상 내에서 설비의 위치와 종류를 검출하여 그 결과를 집계하며,
    개별 검증영상에서 설비를 검출한 검출율(%) 및 검증영상에 저장된 정보와 관자가 선정한 학습 알고리즘에서 검출한 정보의 일치여부를 비교한 검출 정확도(%)가 결과로 표시하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 장치.
  14. 학습데이터 생성부가 설비가 포함되게 촬영된 동영상으로부터 설비가 포함된 정지영상을 추출하고, 이 정지영상에 포함된 설비를 학습하고 이 학습을 수행하는 학습 알고리즘의 성능 검증에 활용할 수 있도록, 상기 정지영상을 태깅하여 관리하는 단계;
    학습 수행부가 상기 태깅하여 관리하는 정지영상이 촬영된 환경정보를 반영하여, 복수의 학습 알고리즘 중 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 상기 정지영상에 포함된 설비의 학습을 수행하는 단계; 및
    학습 알고리즘 검증부가 상기 관리자에 의해 선택된 어느 하나의 학습 알고리즘을 이용해 학습된 결과정보 및 상기 학습 알고리즘에 적용된 설비 검출 기능의 검출율 및 검출 정확도를 시뮬레이션을 통해 검증하는 단계;를 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 방법.
  15. 제 14항에 있어서, 상기 정지영상을 태깅하여 관리하는 단계에서,
    상기 학습데이터 생성부는,
    정지영상 추출부를 통해 설비가 포함되게 촬영된 동영상으로부터 정지영상을 추출하여 학습 자료로 준비하는 단계;
    정지영상 관리부를 통해 상기 추출된 정지영상에 포함된 설비의 크기, 위치, 및 종류 정보를 태깅하여 학습 및 알고리즘의 성능 검증에 활용할 수 있도록 관리하는 단계; 및
    영상데이터 저장부를 통해 상기 태깅된 정지영상을 데이터베이스 형태로 저장하여 관리하는 단계;를 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 방법.
  16. 제 14항에 있어서,
    상기 정지영상에 포함된 설비의 학습을 수행하는 단계에서,
    상기 학습 수행부는,
    학습영상 관리부를 통해 학습에 사용된 정지영상인 학습영상의 환경정보를 반영한 영상 정보를 관리하는 단계;
    기계학습 수행부를 통해 복수의 학습 알고리즘 중 관리자가 선택한 어느 하나의 학습 알고리즘을 이용하여, 상기 정지영상의 기계 학습을 진행하는 단계; 및
    학습데이터 저장부를 통해 상기 학습영상에 포함된 설비수량, 환경정보, 학습영상, 설비의 태그 정보, 및 학습결과 정보를 데이터베이스 형태로 저장하여 관리하는 단계;를 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 방법.
  17. 제 14항에 있어서, 상기 학습 알고리즘에 적용된 설비 검출 기능의 검출율 및 검출 정확도를 시뮬레이션을 통해 검증하는 단계에서,
    상기 학습 알고리즘 검증부는,
    검증영상 관리부를 통해 상기 태깅된 정지영상을 활용하여 표준화된 검증대상 영상군을 생성 및 관리하는 단계;
    알고리즘 관리부를 통해 학습 알고리즘을 이용한 학습 결과 파일, 설비 객체를 검출하는 검출 알고리즘, 및 상기 검출 알고리즘에 적용하는 검출 파라메터 정보를 포함하는 학습 알고리즘을 등록하고 관리하는 단계;
    시뮬레이션 수행부를 통해 관리자가 선택한 검증영상 및 학습 알고리즘을 시뮬레이션 대상 목록으로 선정하고, 검증영상에서 태깅된 영상 정보를 바탕으로 시뮬레이션 하여 상기 관리자가 선택한 학습 알고리즘의 성능을 검증하는 단계; 및
    최적 알고리즘 선정부를 통해 복수의 학습 알고리즘에 대한 시뮬레이션 결과를 바탕으로, 시뮬레이션 결과가 가장 좋은 최적의 학습 알고리즘을 선정하는 단계;를 포함하는 것을 특징으로 하는 동영상 파일을 이용한 설비 학습 방법.
PCT/KR2018/016783 2018-06-27 2018-12-27 동영상 파일을 이용한 설비 학습 장치 및 방법 WO2020004749A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0073872 2018-06-27
KR1020180073872A KR102179598B1 (ko) 2018-06-27 2018-06-27 동영상 파일을 이용한 설비 학습 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2020004749A1 true WO2020004749A1 (ko) 2020-01-02

Family

ID=68985069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/016783 WO2020004749A1 (ko) 2018-06-27 2018-12-27 동영상 파일을 이용한 설비 학습 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102179598B1 (ko)
WO (1) WO2020004749A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102415572B1 (ko) * 2020-04-23 2022-07-04 한국전력공사 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법
KR102485033B1 (ko) * 2020-11-26 2023-01-06 한국전력공사 전력설비의 기계학습을 위한 학습 데이터 구축장치 및 그 방법
KR102274081B1 (ko) * 2021-04-12 2021-07-07 사단법인 한국선급 딥러닝을 이용한 선박 도면 내 객체 인식 시스템
KR102402949B1 (ko) * 2021-07-28 2022-05-30 주식회사 네스앤텍 정밀도가 향상된 영상 정보의 획득 방법
KR102613781B1 (ko) * 2023-07-27 2023-12-13 국방과학연구소 딥러닝 모델 학습을 위한 학습 데이터 생성 방법 및장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100070952A (ko) * 2008-12-18 2010-06-28 조선대학교산학협력단 멀티미디어 콘텐츠 관리 시스템
KR20160122452A (ko) * 2015-04-14 2016-10-24 (주)한국플랫폼서비스기술 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법
JP2017102755A (ja) * 2015-12-02 2017-06-08 池上通信機株式会社 機械学習支援装置
JP2017204753A (ja) * 2016-05-11 2017-11-16 富士通株式会社 フレーム抽出方法、動画再生制御方法、プログラム、フレーム抽出装置及び動画再生制御装置
JP2018033050A (ja) * 2016-08-25 2018-03-01 株式会社知能フレームワーク研究所 状態監視システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100962615B1 (ko) * 2008-01-17 2010-06-10 대한민국(관리부서:국립수산과학원) 해양환경 관측 시스템 및 무인비행체 및 그 운용방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100070952A (ko) * 2008-12-18 2010-06-28 조선대학교산학협력단 멀티미디어 콘텐츠 관리 시스템
KR20160122452A (ko) * 2015-04-14 2016-10-24 (주)한국플랫폼서비스기술 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법
JP2017102755A (ja) * 2015-12-02 2017-06-08 池上通信機株式会社 機械学習支援装置
JP2017204753A (ja) * 2016-05-11 2017-11-16 富士通株式会社 フレーム抽出方法、動画再生制御方法、プログラム、フレーム抽出装置及び動画再生制御装置
JP2018033050A (ja) * 2016-08-25 2018-03-01 株式会社知能フレームワーク研究所 状態監視システム

Also Published As

Publication number Publication date
KR102179598B1 (ko) 2020-11-18
KR20200001206A (ko) 2020-01-06

Similar Documents

Publication Publication Date Title
WO2020004749A1 (ko) 동영상 파일을 이용한 설비 학습 장치 및 방법
WO2020141882A1 (ko) 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법
CN105808416B (zh) 一种人机图形交互界面的自动化测试方法和系统
US9141184B2 (en) Person detection system
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
CN109165162A (zh) 一种车载系统的测试方法及相关设备
WO2019164074A1 (ko) 미세 먼지 분석 방법 및 이를 수행하기 위한 장치
WO2016125941A1 (ko) 환경 오염 예측 시스템 및 방법
CN108830837A (zh) 一种用于检测钢包溶蚀缺陷的方法和装置
CN113903098A (zh) 一种电力设备的巡检方法、系统和红外巡检终端
WO2021137523A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 시간 대비 검수 시간을 이용한 검수 단가 자동 업데이트 방법
WO2013125866A1 (ko) 컴퓨터 시스템 및 시그니처검증서버
CN115169602A (zh) 电力设备的维护方法、装置、存储介质及计算机设备
WO2021133076A1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업단가 관리 방법 및 장치
KR20210020520A (ko) 가공배전선로의 진단보고서 자동작성 시스템 및 방법
CN109256341B (zh) 用于检测单晶硅太阳能电池的方法和装置
CN113850773A (zh) 一种检测方法、装置、设备及计算机可读存储介质
CN106250827A (zh) 车辆颜色识别方法及装置
CN116467110B (zh) 一种平板电脑的损坏检测方法及系统
WO2023282500A1 (ko) 슬라이드 스캔 데이터의 자동 레이블링 방법, 장치 및 프로그램
WO2022231316A1 (ko) 카메라 각도 변경을 자동 보정하는 무인 주차 관리 시스템 및 그 방법
WO2020153698A1 (ko) 연관 조건을 이용한 어노테이터를 선별하는 방법 및 장치
CN106940316A (zh) 一种led显示屏测试方法
CN114444856A (zh) 一种辅助装配系统
WO2014193057A1 (ko) 불량 샘플의 결함 맵을 이용한 문제 설비 판정 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18924008

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18924008

Country of ref document: EP

Kind code of ref document: A1