WO2021235634A1 - 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법 - Google Patents

골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법 Download PDF

Info

Publication number
WO2021235634A1
WO2021235634A1 PCT/KR2020/017120 KR2020017120W WO2021235634A1 WO 2021235634 A1 WO2021235634 A1 WO 2021235634A1 KR 2020017120 W KR2020017120 W KR 2020017120W WO 2021235634 A1 WO2021235634 A1 WO 2021235634A1
Authority
WO
WIPO (PCT)
Prior art keywords
divot
image
module
golf course
reading
Prior art date
Application number
PCT/KR2020/017120
Other languages
English (en)
French (fr)
Inventor
심철규
오태수
Original Assignee
주식회사 유에프오에스트로넛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유에프오에스트로넛 filed Critical 주식회사 유에프오에스트로넛
Priority to JP2022570299A priority Critical patent/JP7493841B2/ja
Publication of WO2021235634A1 publication Critical patent/WO2021235634A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Definitions

  • the present invention relates to a divot detection system for a golf course and a detection method using the same, and more particularly, to a high reading rate using the result of primary reading of a divot object using a multispectral image and secondary reading using an RGB image.
  • a divot detection system for a golf course that learns a divot object and detects a divot object from a multispectral image taken of a golf course based on the learned result, and a detection method using the same.
  • a drone In general, a drone is an airplane or helicopter-shaped vehicle that flies along a pre-set route through wireless communication or flies while a person directly controls it with the naked eye. , gradually developed as a reconnaissance aircraft with the development of wireless technology, and was also used for reconnaissance and surveillance by penetrating deep into the enemy's inland.
  • machine learning or machine learning is a field of artificial intelligence among computer science that has evolved from the study of pattern recognition and computer learning theory.
  • Machine learning is a technology that studies and builds algorithms and systems that learn based on empirical data, make predictions, and improve their own performance.
  • Machine learning algorithms build specific models to make predictions or decisions based on input data, rather than executing strictly set static program instructions.
  • the RGB image has the advantage of being able to identify the divot with the naked eye due to its high resolution, but there is a problem that the accuracy of detecting the divot is lowered in an area where it is difficult to distinguish visually.
  • the human eye can detect the divot through the RGB image or even if an object detection algorithm is used in the RGB image, the divot cannot be detected.
  • the present invention has been derived to solve the above problems, and the present invention is a divot object with a high reading rate using the result of primary reading of a divot object using a multispectral image and secondary reading using an RGB image
  • An object of the present invention is to provide a divot detection system for a golf course and a detection method using the same for learning and detecting a divot object with high accuracy in a multispectral image of a golf course based on the learned result.
  • a golf course divot detection system includes: an unmanned aerial vehicle equipped with a multi-spectral camera and an RGB camera and photographing a golf course; and a machine learning module for learning a divot object using the primary reading result of the multi-spectral image taken by the unmanned aerial vehicle and the secondary reading result of the RGB image, a communication module for receiving the multi-spectral image photographed by the unmanned aerial vehicle; and a course keeper server including a detection module for detecting a divot object from the received multispectral image and an output module for displaying map coordinates of the detected divot object.
  • the machine learning module may include: an image processing module for separating objects matching at least one of a predefined color, size, and shape from a multispectral image of a golf course;
  • Objects that satisfy all three criteria among the separated objects are first read with a divot and stored in a machine learning DB, and objects matching two or less criteria among the separated objects are displayed on the RGB image to transmit the RGB image to the expert system through the communication module, and may include a reading module for storing the object secondary to the divot or similar divot in the expert system to the machine learning DB.
  • the pseudo divot may be any one of an area dug up by wild animals to expose soil, an area lost due to a landslide, and an area where grass is partially destroyed.
  • the reading module may not display, on the RGB image, an image previously analyzed as not a divot among objects matching two or less of a color, a size, and a shape.
  • the image analyzed as not the divot may be any one of a drain hole, fallen leaves, a pond, and a bunker.
  • a divot detection method of a golf course is a method of detecting a divot of a course keeper server for golf course management. learning the divot object using the secondary reading result; receiving, by the communication module, a multi-spectral image of the golf course; detecting, by a detection module, a divot object from the received multispectral image; and outputting, by the output module, map coordinates of the detected divot object.
  • the divot object learning step may include: separating, by an image processing module, objects matching at least one of a predefined color, size, and shape from a multispectral image of a golf course; a first reading step in which the reading module defines an object that satisfies all three of the separated objects as a divot and stores it in a machine learning DB; displaying, by the reading module, objects matching two or less of the separated objects on the RGB image, and transmitting the RGB image to an expert system through the communication module; and when the expert system notifies the reading module of an object additionally annotated as a divot or similar divot, the reading module may include a secondary reading step of storing the additionally annotated object in the machine learning DB. have.
  • the pseudo divot may be any one of an area dug up by wild animals to expose soil, an area lost due to a landslide, and an area where grass is partially destroyed.
  • the reading module may not display, on the RGB image, an image previously analyzed as not a divot among objects matching two or less of a color, a size, and a shape.
  • the image analyzed as not the divot may be any one of a drain hole, fallen leaves, a pond, and a bunker.
  • the divot detection system of a golf course provides the following effects.
  • the present invention has the effect of learning the divot object at a high reading rate using the result of primary reading of the divot object using a multispectral image and secondary reading using the RGB image.
  • the present invention detects a divot object from a multispectral image taken of a golf course based on a result learned at a high reading rate, there is an effect of increasing the accuracy of the divot object detection.
  • FIG. 1 is a schematic diagram illustrating a divot detection system of a golf course according to an embodiment of the present invention
  • Figure 2 is a block diagram illustrating the configuration of the unmanned air and course keeper server illustrated in Figure 1;
  • Figure 3 is a block diagram illustrating the configuration of the machine learning module illustrated in Figure 2;
  • 5 is an RGB image of a golf course taken with an RGB camera.
  • FIG. 6 is a flowchart illustrating a divot detection system of a golf course according to a second embodiment of the present invention.
  • FIG. 7 is a conceptual diagram illustrating the operation principle of a CNN.
  • FIG. 8 is a conceptual diagram illustrating an operation algorithm of an RNN.
  • MODULE means a unit that processes a specific function or operation, which may mean hardware or software or a combination of hardware and software.
  • first and second may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
  • FIG. 1 is a schematic diagram illustrating a divot detection system of a golf course according to a first embodiment of the present invention.
  • the unmanned aerial vehicle 100 obtains a multi-spectral image and an RGB image by aerially photographing the vegetation area 10, and the multi-spectral image and The RGB image is transmitted to the course keeper server 200 .
  • the course keeper server 200 first reads the multi-spectral image received from the unmanned aerial vehicle 100 based on a predetermined standard, and when detailed reading is required, the divot object is read secondly using the RGB image corresponding to the multi-spectral image. can learn
  • the course keeper server 200 receives the multi-spectral image of the vegetation zone 10 for detecting the divot from the unmanned aerial vehicle 100, the divot from the received multi-spectral image based on the learning modeling of the pre-learned divot object By detecting the object, the map coordinates for the corresponding divot object can be provided to the manager.
  • the vegetation zone 10 is a zone in which a number of managed plants are distributed, and may be a golf course, a garden, a park, etc. of a golf course, and for the convenience of explanation below, the vegetation zone 10 is defined as a golf course, to explain
  • a divot described in this embodiment may mean a piece of grass that is torn by a golf club or a piece of grass when a golf ball is hit in a golf course.
  • FIG. 2 is a block diagram illustrating the configuration of the unmanned air and course keeper server 200 illustrated in FIG. 1 .
  • a system for detecting a golf course divot includes an unmanned aerial vehicle 100 and a course keeper server 200 .
  • the unmanned aerial vehicle 100 is for aerial photography of a golf course, and may include an unmanned aerial vehicle or a drone.
  • the unmanned aerial vehicle 100 may include any one of a manned vehicle, a satellite, a hot air balloon, and a cctv. That is, the unmanned aerial vehicle 100 may be replaced with any device as long as it can photograph the golf course at a certain height.
  • the unmanned aerial vehicle 100 includes a multi-spectral camera 110 and an RGB camera 120 .
  • the multi-spectral camera 110 acquires a multi-spectral image by photographing a golf course using a multi-spectral sensor.
  • the multi-spectral image taken by the multi-spectral camera 110 is to extract image data within various wavelengths, so that it is possible to see what the human eye cannot see, and thereby to grasp the status of the vegetation environment such as soil and moisture. It can be mainly used.
  • Multispectral images are generally obtained from 10 or fewer discrete bands in the visible and mid-infrared regions, and since the inverses stored in the data are in a separate form, independent data corresponding to each pixel is generated.
  • the multi-spectral camera 110 has a different image that can be extracted for each spectral band.
  • the blue region (450-510 nm) emphasizes the atmosphere or 50 m deep water
  • the green region (530-590 nm) emphasizes trees. It emphasizes vegetation such as , and can be used to distinguish a boundary from a tree in the red area (640 to 670).
  • the multispectral image acquired by the multispectral camera 110 can easily find a divot object that cannot be found in the RGB image.
  • the multispectral image extracts image data within various wavelengths, the color difference is clearer than that of the RGB image, and accordingly, the divot object that cannot be detected in the RGB image where the divot is small or shaded is detected. It is possible to detect in multispectral images.
  • the multispectral image can be easily repaired because it is possible to detect a point with a poor vegetation index (eg, sick grass or dead grass) even if it is not a divot object.
  • a poor vegetation index eg, sick grass or dead grass
  • the multispectral camera 110 may acquire a hyperspectral image using a hyperspectral sensor instead of the multispectral sensor.
  • Hyperspectral image data is usually imaged in more than 100 consecutive bands over the visible, near-infrared, mid-infrared, and thermal-infrared regions, and the entire spectrum is extracted from each pixel.
  • a hyperspectral sensor acquires tens to hundreds of spectral information in a continuous and narrow wavelength range of an object on the ground corresponding to each pixel of an image by dividing incident light.
  • the multi-spectral camera 110 using the hyperspectral sensor captures the inherent optical properties of each material and the absorption and reflection characteristics of the material, and the data on this is mainly used for identification of land cover, vegetation, and water quality. .
  • the RGB camera 120 acquires RGB image data through a Red Green Blue (RGB) sensor.
  • the RGB method is a method of expressing images or images by mixing red, green, and blue.
  • the RGB image photographed by the RGB camera 120 has a high resolution and is easy to check with the naked eye.
  • the course keeper server 200 learns the divot object using the result of reading the multi-spectral image and the RGB image photographed by the unmanned aerial vehicle 100, and multi-spectral photographed by the unmanned aerial vehicle 100 based on the previously learned modeling.
  • the divot object is detected from the image, and the map coordinates of the detected divot object are displayed and provided to the manager.
  • the course keeper server 200 includes a machine learning module 210 , a communication module 220 , a detection module 230 , and an output module 240 .
  • the machine learning module 210 receives the multi-spectral image and the RGB image photographed by the unmanned aerial vehicle 100 through the communication module 220, matches the multi-spectral image with a predetermined criterion to first read the divot object, If detailed reading is required, the divot object can be learned by secondary reading using the RGB image corresponding to the multispectral image.
  • FIG. 3 is a block diagram illustrating the configuration of the machine learning module 210 illustrated in FIG. 2 .
  • the machine learning module 210 includes an image processing module 211 and a reading module 212 .
  • the image processing module 211 separates objects matching at least one of three predefined criteria, i.e., color, size, and shape, as divot suspect objects in the multi-spectral image of the golf course taken by the unmanned aerial vehicle 100 . .
  • the image processing module 211 may set the predefined criterion as a range rather than a single value.
  • the image processing module 211 may separate an object corresponding to a spectral band of 540 nm to 550 nm of a yellowish color series in the multispectral image as a divot suspicious object.
  • the image processing module 211 may separate an object corresponding to 100 mm to 300 mm in the multi-spectral image as a divot suspicious object.
  • the image processing module 211 may separate the object corresponding to the ratio of the major and minor diameters of 1:0.5 to 0.7 for the singular object in the multispectral image as the divot suspect object.
  • the direction of the major diameter may be a direction corresponding to the progress direction of the colp course.
  • the predefined criteria for separating the suspected divot object in the image processing module 211 have been defined and described in three ways, but four or more may be defined.
  • the reading module 212 first reads an object (see FIG. 4 ) matching all three criteria among the suspected divot objects separated by the image processing module 211 as a divot and stores it in the machine learning DB.
  • the reading module 212 determines that detailed reading is necessary for objects matching two or less criteria among the divot suspicious objects separated by the image processing module 211, and displays the objects on the RGB image (Fig. 5), and transmits the RGB image to the expert system through the communication module 220 .
  • the pseudo-divot may be a place where the soil is exposed by a wild animal, lost due to a landslide, or where the grass is partially destroyed.
  • the reading module 212 generates a divot object first read as a divot from the multispectral image and an object secondly reads as a divot or similar divot by an expert system in an RGB image as learning modeling, and then creates a machine learning DB save to
  • the object secondarily read as a divot or similar divot by the expert system in the RGB image is utilized as basic data when the reading module 212 first reads the divot from the multispectral image, thereby increasing the accuracy in the primary reading.
  • the learning modeling stored in the machine learning DB by the reading module 212 can be used to detect a divot object in the taken multi-spectral image when the unmanned aerial vehicle 100 shoots a golf course with the multi-spectral camera 110 later. .
  • the reading module 212 matches two or less of three predefined criteria (color, size, shape) and transmits it to the expert system. Then, the object analyzed as not a divot is learning modeling corresponding to the condition can be created and stored in the machine learning DB.
  • the object analyzed as not a divot by the reading module 212 may be any one of a drain hole, fallen leaves, a pond, and a bunker.
  • the reading module 212 includes three predefined Objects matching two or less of the criteria (color, size, shape) of are compared with images pre-analyzed as non-divots, and objects matching images pre-analyzed as non-divots are not displayed on the RGB image.
  • the reading module 212 is suspected of being a divot object and separated from the image processing module 211, but objects such as a drain hole, fallen leaves, a pond, and a bunker are determined not to be a divot and are not displayed in the RGB image in the expert system.
  • objects such as a drain hole, fallen leaves, a pond, and a bunker are determined not to be a divot and are not displayed in the RGB image in the expert system.
  • the communication module 220 of the course keeper server 200 may communicate with the unmanned aerial vehicle 100 and the expert system.
  • the communication module 220 may communicate with the unmanned aerial vehicle 100 to receive a multispectral image and an RGB image from the unmanned aerial vehicle 100 , or may transmit an RGB image to an expert system.
  • the communication module 220 is a mobile communication protocol such as 2G, 3G, 4G, 5G, Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access), such as It is possible to communicate with the unmanned aerial vehicle 100 and the expert system through a mobile communication protocol, but is not limited thereto.
  • a mobile communication protocol such as 2G, 3G, 4G, 5G, Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access), such as It is possible to communicate with the unmanned aerial vehicle 100 and the expert system through a mobile communication protocol, but is not limited thereto.
  • the detection module 230 receives a multi-spectral image of the golf course taken by the multi-spectral camera 110 to detect the divot from the unmanned aerial vehicle 100 . And the detection module 230 may detect the divot object from the received multi-spectral image based on the pre-learned modeling.
  • the detection module 230 may use an image analysis algorithm such as a Convolution Neural Network (CNN) or Recurrent Neural Network (RNN) when detecting a divot object from a multispectral image.
  • CNN Convolution Neural Network
  • RNN Recurrent Neural Network
  • FIGS. 7 and 8 a CNN or RNN used to detect a divot in the detection module 230 will be described using FIGS. 7 and 8 .
  • FIG. 7 is a conceptual diagram illustrating the operation principle of a CNN.
  • CNN Convolution Neural Network
  • the feature extraction layer is composed of a plurality of convolutional layers, and the convolutional layer of any one stage is a new feature map (feature map) through the convolution operation of the input data (image data, feature map) and the synthesis kernel that plays the role of a filter. map) and input the generated feature map to the next convolutional layer.
  • Each convolutional layer is composed of weights and biases, which are parameters whose values change according to learning, and the values of the synthesis kernel are automatically adjusted during the learning process to extract useful information for object detection such as color, shape, and contour.
  • connection layer is composed of a flatten layer that transforms the multidimensional feature map extracted from the feature extraction layer into one dimension and a multi-layer perceptron (MLP).
  • MLP multi-layer perceptron
  • the detection module 230 performs the feature extraction layer of CNN on the multispectral image, but performs the entire connection layer by inputting the flattening layer to which the sensor fusion is applied to the multi-layer perceptron. After re-evaluating the reliability, the object is finally detected as a feature with high reliability.
  • FIG. 8 is a conceptual diagram illustrating an operation algorithm of an RNN.
  • a recurrent neural network determines the state of the object, that is, the state of the object by analyzing sequentially input time series data.
  • RNN is a basic structure with recurrent weight (W) from the hidden layer to itself.
  • RNN is a neural network algorithm that includes a Recuurent Weight that points to itself by forming a Directed Cycle in the connection between units.
  • RNN is a combination of MLP and cyclic edge (W), and when time series data is input, past output values are also input through cyclic edges. Accordingly, in that the output value of the RNN at time t is affected by the output value at the previous time point t-1, it can be defined as a network of a feedback structure including 'memory' information that stores past values.
  • the output module 240 of the course keeper server 200 displays the map coordinates for the divot object detected by the detection module 230 .
  • the output module 240 may provide map coordinates to a mobile terminal, a desktop, or a tablet PC.
  • a separate mark and map coordinates may be displayed and provided on the RGB image so that the administrator can intuitively know the location where the divot object is generated.
  • FIG. 6 is a flowchart illustrating a divot detection system of a golf course according to a second embodiment of the present invention.
  • the divot detection method of a golf course is a divot detection method performed by a course keeper server for golf course management, the step of learning a divot object (S100), multi-spectral Receiving an image (S200), detecting the divot object (S300), and outputting the map coordinates of the divot object (S400) include.
  • the step (S100) of learning the divot object is a step (S100) of learning the divot object using the primary reading result of the multi-spectral image taken by the machine learning module and the secondary reading result of the RGB image.
  • the machine learning module receives the multispectral image and the RGB image taken from the unmanned aerial vehicle through the communication module, matches the multispectral image with a predetermined criterion to first read the divot object, , if detailed reading is required, the divot object can be learned by secondary reading using the RGB image corresponding to the multispectral image.
  • the step of learning the divot object (S100) is the step of separating the objects (S110), the first reading step (S120) of storing it in the machine learning DB, the step of transmitting it to the expert system (S130), and the second step of storing it in the machine learning DB It may include a difference reading step (S140).
  • Separating the objects ( S110 ) is a step ( S110 ) of the image processing module separating objects matching at least one of a predefined color, size, and shape from a multispectral image of a golf course.
  • the image processing module separates objects that match at least one of three predefined criteria, ie, color, size, and shape, as divot suspect objects in the multispectral image of the golf course taken by the unmanned aerial vehicle.
  • the image processing module may set the predefined criteria as a range rather than as a single value.
  • the image processing module may separate an object corresponding to a spectral band of 540 nm to 550 nm of an ocher color series as a divot suspicious object in the multispectral image. And the image processing module can separate the object corresponding to 100mm ⁇ 300mm in the multispectral image as a divot suspicious object. In addition, the image processing module can separate an object corresponding to a ratio of 1:0.5 to 0.7 in the multispectral image as a divot suspect object.
  • the predefined criteria for separating the suspected divot object in the image processing module have been defined and described in three ways, but four or more may be defined.
  • an object satisfying all three criteria among the objects in which the reading module is separated is defined as a divot and stored in the machine learning DB.
  • the reading module determines that detailed reading is necessary for objects matching two or less criteria among the divot suspicious objects separated from the image processing module, and displays the objects on the RGB image, , and transmits the RGB image to the expert system through the communication module.
  • the pseudo-divot may be a place where the soil is exposed by a wild animal, lost due to a landslide, or where the grass is partially destroyed.
  • the reading module In the second reading step (S140) of storing in the machine learning DB, when an object additionally identified as a divot or a similar divot in the expert system is notified to the reading module, the reading module generates the additionally determined object as a learning modeling It is stored in the machine learning DB.
  • an object secondarily read as a divot or similar divot by an expert system in an RGB image is utilized as basic data when the reading module first reads a divot from a multispectral image, thereby increasing the accuracy in the primary reading.
  • the learning modeling stored in the machine learning DB by the reading module can be used to detect the divot object in the taken multi-spectral image when the unmanned aerial vehicle shoots a golf course with a multi-spectral camera later.
  • the reading module matches two or less of three predefined criteria (color, size, shape) and transmits it to the expert system. You can create a model and store it in a machine learning DB.
  • the object analyzed as not a divot by the reading module may be any one of a drain hole, fallen leaves, a pond, and a bunker.
  • the reading module uses three predefined criteria (color, size) , shape) may be compared with an image pre-analyzed as not a divot for an object matching two or less, and an object matching an image pre-analyzed as not a divot may not be displayed on the RGB image.
  • the reading module was separated from the image processing module as it was suspected of being a divot object, but objects such as drains, fallen leaves, ridges, and bunkers are not displayed in the RGB image, thereby reducing the processing time that occurs for secondary reading in the expert system. There is an advantage.
  • the step of receiving the multi-spectral image (S200) is a step of receiving a multi-spectral image of the golf course from the unmanned aerial vehicle so that the detection module can detect the divot from the multi-spectral image of the golf course based on the previously learned modeling. am.
  • the step of detecting the divot object (S300) is performed.
  • the divot object is detected in the multi-spectral image received from the unmanned aerial vehicle.
  • the detection module may detect the divot object from the received multispectral image based on the pre-learned modeling.
  • the detection module may use an image analysis algorithm such as a Convolution Neural Network (CNN) or Recurrent Neural Network (RNN) when detecting a divot object from a multispectral image. Since the contents of the Convolution Neural Network (CNN) or the Recurrent Neural Network (RNN) have been described through the first embodiment, a redundant description will be omitted.
  • CNN Convolution Neural Network
  • RNN Recurrent Neural Network
  • step S400 of outputting the map coordinates of the divot object the output module displays the map coordinates of the divot object detected by the detection module.
  • the output module may provide map coordinates to a mobile terminal, a desktop, or a tablet PC.
  • a separate mark and map coordinates may be displayed and provided on the RGB image so that the administrator can intuitively know the location where the divot object is generated.
  • All or part of the functions of the present invention described above are implemented as software translated into machine language alone or in combination with a series of program instructions, data files, data structures, etc., or such software is stored in a computer-readable recording medium.
  • a computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and floppy disks. magneto-optical media, and hardware devices specially configured to store and carry out program instructions, such as ROM, RAM, flash memory, USB memory, and the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like, in addition to machine language codes such as those generated by a compiler.
  • the hardware device may be configured to operate as one or more software modules to perform the operations of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 다중분광 이미지와 RGB 이미지를 판독하여 디봇 객체를 학습하고, 학습된 결과를 기초로 골프 코스를 촬영한 다중분광 이미지에서 디봇 객체를 탐지하는 골프 코스의 디봇 탐지 시스템에 관한 것으로서, 다중분광 카메라와 RGB 카메라를 탑재하고 골프 코스를 촬영하는 무인항공기 및 상기 무인항공기가 촬영한 다중분광 이미지의 1차 판독 결과와 RGB 이미지의 2차 판독 결과를 이용하여 디봇 객체를 학습하는 머신러닝 모듈, 상기 무인항공기가 촬영한 다중분광 이미지를 수신하는 통신 모듈, 상기 수신된 다중분광 이미지로부터 디봇 객체를 탐지하는 탐지 모듈 및 상기 탐지된 디봇 객체의 지도 좌표를 디스플레이하는 출력 모듈을 포함하는 코스 키퍼 서버를 포함할 수 있다.

Description

골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법
본 발명은 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법에 관한 것으로, 더욱 상세하게는 다중분광 이미지를 이용해 디봇 객체를 1차 판독하고 RGB 이미지를 이용해 2차 판독한 결과를 이용하여 높은 판독률로 디봇 객체를 학습하며, 학습된 결과를 기초로 골프 코스를 촬영한 다중분광 이미지에서 디봇 객체를 탐지하는 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법에 관한 것이다.
일반적으로 드론은 무선통신을 통해 기 설정된 경로를 따라 비행하거나 사람이 직접 육안으로 조정하면서 비행하는 비행기나 헬리콥터 모양의 비행체로서, 처음에는 공군기나 고사포, 미사일의 연습사격에 적기 대신 표적 구실로 사용되었으며, 점차 무선 기술의 발달과 함께 정찰기로 개발되어 적의 내륙 깊숙이 침투하여 정찰, 감시의 용도로도 사용되었다.
이러한 드론은 최근 들어 수송목적에도 활용되는 등 활용 범위가 점차 넓어지고 있고, 활용 목적에 따라 다양한 크기와 성능을 가진 제품이 다양하게 개발되고 있으며, 초소형 드론은 물론 개인의 취미활동으로도 개발되어 상품화되고 있다.
한편, 골프장의 티그라운드(teeing ground), 페어웨이(fairway), 퍼팅그린(putting green)에는 골퍼가 그린 위에 올려놓은 공을 칠 때 골프채의 헤드에 맞아 그린과 토양이 패인 자국 또는 골퍼가 친 공이 그린 위에 떨어질 때 생기는 홈을 디봇(divot)이라 한다.
디봇 자국은 게임 중에 골퍼의 불만족을 초래하는 원인이 되기 때문에 가능한 빠르게 보수 작업을 완료해야한다. 실제로, 디봇 자국이 많은 페어웨이에서는 골퍼의 드라이버 샷이 디봇 자국에 들어가는 일이 자주 발생하여 골퍼의 기준을 상하게 하고, 이런 이유는 골프장의 이용객을 감소시키는 주된 요인이 된다.
한편, 머신 러닝 또는 기계 학습은 컴퓨터 과학 중 인공지능의 한 분야로, 패턴인식과 컴퓨터 학습 이론의 연구로부터 진화한 분야이다. 머신 러닝은 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취한다.
종래에는 골프장의 디봇을 빠르게 확인하고 보수하기 위해 골프장을 RGB 센서로 촬영하고 RGB 이미지를 이용하여 디봇을 판단하는 방식을 주로 이용하였다. 그러나 RGB 이미지는 해상도가 높아 육안으로도 디봇의 판별 가능한 장점이 있지만, 시각적으로 구분이 힘든 구역에서는 디봇을 탐지할 수 있는 정확도가 낮아진다는 문제가 있다. 특히, 실제 디봇이 발생한 경우에도 해당 디봇의 규모가 작거나 그늘진 경우 사람이 육안으로 RGB 이미지를 통해서 디봇을 탐지하거나 또는 RGB 이미지에서 객체탐지 알고리즘을 이용하더라도 디봇을 탐지할 수 없는 단점이 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위해 도출된 것으로서, 본 발명은 다중분광 이미지를 이용해 디봇 객체를 1차 판독하고 RGB 이미지를 이용해 2차 판독한 결과를 이용하여 높은 판독률로 디봇 객체를 학습하며, 학습된 결과를 기초로 골프 코스를 촬영한 다중분광 이미지에서 디봇 객체를 높은 정확도로 탐지하는 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이하에 서술되는 실시예를 통하여 더욱 명확해질 것이다.
본 발명의 일 측면에 따른 골프 코스의 디봇 탐지 시스템은 다중분광 카메라와 RGB 카메라를 탑재하고 골프 코스를 촬영하는 무인항공기; 및 상기 무인항공기가 촬영한 다중분광 이미지의 1차 판독 결과와 RGB 이미지의 2차 판독 결과를 이용하여 디봇 객체를 학습하는 머신러닝 모듈, 상기 무인항공기가 촬영한 다중분광 이미지를 수신하는 통신 모듈, 상기 수신된 다중분광 이미지로부터 디봇 객체를 탐지하는 탐지 모듈 및 상기 탐지된 디봇 객체의 지도 좌표를 디스플레이하는 출력 모듈을 포함하는 코스 키퍼 서버를 포함할 수 있다.
상기 머신러닝 모듈은, 골프 코스의 다중분광 이미지에서 미리 정의된 색상, 크기 및 형상 중 적어도 하나 이상 매칭되는 객체들을 분리하는 이미지 처리 모듈;
상기 분리된 객체들 중 3가지 기준 모두를 만족하는 객체를 디봇으로 1차 판독하여 머신러닝 DB에 저장하고, 상기 분리된 객체들 중 2개 이하의 기준이 매칭되는 객체들을 상기 RGB 이미지 상에 표시하여 상기 통신 모듈을 통해 상기 RGB 이미지를 전문가 시스템으로 전송하며, 상기 전문가 시스템에서 디봇 또는 유사 디봇으로 2차 판독된(annotated) 객체를 상기 머신러닝 DB에 저장하는 판독 모듈을 포함할 수 있다.
상기 유사 디봇은, 야생동물이 파헤쳐 토양이 드러난 구역, 산사태로 유실된 구역, 부분적으로 잔디가 사멸한 구역 중 어느 하나일 수 있다.
상기 판독 모듈은, 색상, 크기 및 형상 중 2개 이하가 매칭되는 객체들 중 디봇이 아닌 것으로 미리 분석된 이미지와 매칭되는 것은 상기 RGB 이미지 상에 표시하지 않을 수 있다. 예를 들면, 상기 디봇이 아닌 것으로 분석된 이미지는, 배수구, 낙엽, 수리지, 벙커 중 어느 하나일 수 있다.
본 발명의 다른 측면에 따른 골프 코스의 디봇 탐지 방법은 골프 코스 관리를 위한 코스 키퍼 서버의 디봇 탐지 방법에 있어서, 머신러닝 모듈이 골프코스를 촬영한 다중분광 이미지의 1차 판독 결과와 RGB 이미지의 2차 판독 결과를 이용하여 디봇 객체를 학습하는 단계; 통신 모듈이 골프코스를 촬영한 다중분광 이미지를 수신하는 단계; 탐지 모듈이 상기 수신된 다중분광 이미지로부터 디봇 객체를 탐지하는 단계; 및 출력 모듈이 상기 탐지된 디봇 객체의 지도 좌표를 출력하는 단계를 포함할 수 있다.
상기 디봇 객체 학습 단계는, 이미지 처리 모듈이 골프 코스의 다중분광 이미지에서 미리 정의된 색상, 크기 및 형상 중 적어도 하나 이상 매칭되는 객체들을 분리하는 단계; 판독 모듈이 상기 분리된 객체들 중 3가지 모두를 만족하는 객체를 디봇으로 정의하여 머신러닝 DB에 저장하는 1차 판독 단계; 상기 판독 모듈이 상기 분리된 객체들 중 2개 이하가 매칭되는 객체들을 상기 RGB 이미지 상에 표시하고, 상기 통신 모듈을 통해 상기 RGB 이미지를 전문가 시스템으로 전송하는 단계; 및 상기 전문가 시스템에서 디봇 또는 유사 디봇으로 추가 판명(annotated)된 객체를 상기 판독 모듈에 통지하면, 상기 판독 모듈은 상기 추가 판명된 객체를 상기 머신러닝 DB에 저장하는 2차 판독 단계를 포함할 수 있다.
상기 유사 디봇은, 야생동물이 파헤쳐 토양이 드러난 구역, 산사태로 유실된 구역, 부분적으로 잔디가 사멸한 구역 중 어느 하나일 수 있다.
상기 판독 모듈은, 색상, 크기 및 형상 중 2개 이하가 매칭되는 객체들 중 디봇이 아닌 것으로 미리 분석된 이미지와 매칭되는 것은 상기 RGB 이미지 상에 표시하지 않을 수 있다. 예를 들면, 상기 디봇이 아닌 것으로 분석된 이미지는, 배수구, 낙엽, 수리지, 벙커 중 어느 하나일 수 있다.
본 발명에 따른 골프 코스의 디봇 탐지 시스템은 다음과 같은 효과를 제공한다.
본 발명은 다중분광 이미지를 이용해 디봇 객체를 1차 판독하고 RGB 이미지를 이용해 2차 판독한 결과를 이용하여 높은 판독률로 디봇 객체를 학습할 수 있는 효과가 있다.
또한, 본 발명은 높은 판독률로 학습된 결과를 기초로 골프 코스를 촬영한 다중분광 이미지에서 디봇 객체를 탐지하기 때문에 디봇 객체 탐지의 정확성을 높일 수 있는 효과가 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 골프 코스의 디봇 탐지 시스템을 예시한 개략도.
도 2는 도 1에 예시된 무인한공기 및 코스 키퍼 서버의 구성을 예시한 블록도.
도 3은 도 2에 예시된 머신러닝 모듈의 구성을 예시한 블록도.
도 4는 다중분광 카메라로 촬영된 골프 코스의 다중분광 이미지.
도 5는 RGB 카메라로 촬영된 골프 코스의 RGB 이미지.
도 6은 본 발명의 제2 실시예에 따른 골프 코스의 디봇 탐지 시스템을 예시한 흐름도.
도 7은 CNN의 동작 원리를 도시한 개념도.
도 8은 RNN의 동작 알고리즘을 설명하는 개념도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 명세서에서 기재한 모듈(MODULE)이란 용어는 특정한 기능이나 동작을 처리하는 하나의 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합을 의미할 수 있다.
또한 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 첨부한 도면들을 참조하여 본 발명에 따른 실시예들을 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
[제1 실시예]
이하 본 발명의 제1 실시예에 따른 골프 코스의 디봇 탐지 시스템에 대하여 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 제1 실시예에 따른 골프 코스의 디봇 탐지 시스템을 예시한 개략도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 골프 코스의 디봇 탐지 시스템은 무인항공기(100)가 식생구역(10)을 항공촬영하여 다중분광 이미지 및 RGB 이미지를 획득하고, 다중분광 이미지 및 RGB 이미지를 코스 키퍼 서버(200)로 전송한다.
코스 키퍼 서버(200)는 무인항공기(100)로부터 전송받은 다중분광 이미지를 미리 정해진 기준으로 1차 판독하고, 세부 판독이 필요한 경우 다중분광 이미지에 대응하는 RGB 이미지를 이용해 2차 판독하여 디봇 객체를 학습할 수 있다.
그리고 코스 키퍼 서버(200)는 디봇을 탐지하기 위한 식생 구역(10)의 다중분광 이미지를 무인항공기(100)로부터 전송받으면, 기 학습된 디봇 객체의 학습 모델링을 기초로 전송받은 다중분광 이미지에서 디봇 객체를 탐지하여 해당 디봇 객체에 대한 지도 좌표를 관리자에게 제공할 수 있다.
본 실시예에서 식생 구역(10)은 관리 식물이 다수 분포하는 구역으로서 골프장의 골프 코스, 정원 및 공원 등과 같은 곳일 수 있으며, 이하에서 설명의 편의를 위해 식생 구역(10)을 골프 코스로 정의하여 설명하기로 한다.
본 실시예에서 설명하는 디봇(divot)은 골프 코스 내에서 골프공을 칠 때 골프채에 의해 뜯기거나 한 잔디 조각을 의미할 수 있다.
도 2는 도 1에 예시된 무인한공기 및 코스 키퍼 서버(200)의 구성을 예시한 블록도이다.
도 2를 참조하면 본 발명의 일 실시예에 따른 골프 코스의 디봇 탐지 시스템은 무인항공기(100) 및 코스 키퍼 서버(200)를 포함한다.
무인항공기(100)는 골프 코스를 항공 촬영하기 위한 것으로서, 무인비행체 또는 드론을 포함할 수 있다. 또한, 무인항공기(100)는 명칭과 달리 유인 비행체, 위성, 열기구 및 cctv 중 어느 하나를 포함할 수도 있다. 즉, 무인항공기(100)는 골프 코스를 일정 높이에서 촬영할 수 있다면 어떠한 장치로 대체되어도 무방하다.
무인항공기(100)는 다중분광 카메라(110) 및 RGB 카메라(120)를 포함한다.
다중분광 카메라(110)는 다중분광(Multi-spectral) 센서를 이용해 골프 코스를 촬영하여 다중분광 이미지를 획득한다. 다중분광 카메라(110)에 의해 촬영된 다중분광 이미지는 다양한 파장 내에서 이미지 데이터를 추출하는 것으로, 사람의 눈으로 볼 수 없는 것을 볼 수 있도록 하며, 이로 인해 토양, 수분 등 식생 환경 현황을 파악하는데 주로 활용될 수 있다.
다중분광 이미지는 가시영역과 중적외선 영역 내에서 일반적으로 10개 이하의 불연속적인 밴드에서 이미지를 얻으며, 데이터에 저장된 역이 분리된 형태이기 때문에 각 픽셀에 해당하는 독립된 데이터를 생성한다.
다중분광 카메라(110)는 분광대마다 추출할 수 있는 이미지가 다르며, 예를 들면, 파란색 영역(450~510nm)에서는 대기나 50m의 깊은 물을 강조하고, 초록 영역(530~590nm)에서는 나무들과 같은 초목(vegetation)을 강조하며, 빨간 영역(640~670)에서는 나무와의 경계를 구분 짓는 데 사용될 수 있다.
위와 같은 이유로 다중분광 카메라(110)에 의해 획득된 다중분광 이미지는 RGB 이미지에서 찾을 수 없는 디봇 객체를 용이하게 찾을 수 있다. 예를 들면, 다중분광 이미지는 다양한 파장 내에서 이미지 데이터를 추출하기 때문에 색상차가 RGB 이미지에 비해 더욱 명확하고, 이에 따라 디봇의 크기가 작거나 그늘진 곳을 촬영한 RGB 이미지에서는 탐지하지 못하는 디봇 객체를 다중분광 이미지에서는 탐지하는 것이 가능하다. 또한, 다중분광 이미지는 디봇 객체가 아니더라도 식생지수가 불량한(예를 들어 병든 잔디 또는 죽은 잔디) 지점을 탐지하는 것이 가능하여 보수에 용이할 수 있다.
본 실시예에서 다중분광 카메라(110)는 다중분광 센서 대신 초분광 센서(Hyperspectral Sensor)를 이용해 초분광 이미지를 획득할 수 있다. 초분광 영상 데이터는 가시영역, 근적외선, 중적외선, 그리고 열적외선 영역에 걸쳐 일반적으로 100개 이상의 연속적인 밴드에서 이미지를 얻고, 각 픽셀로부터 전체 스펙트럼이 추출한다. 초분광센서(Hyperspectral Sensor)는 입사되는 빛을 분광시켜 영상의 각 화소에 해당하는 지표상 물체의 연속적이고 좁은 파장역으로 수십에서 수백 개의 분광 정보를 취득한다. 초분광센서를 이용한 다중분광 카메라(110)는 물질마다 존재하는 고유의 광학적 성질 및 물질의 흡수와 반사 특징을 촬영하고 이에 대한 데이터는 토지피복, 식생, 그리고 수질 등의 식별에 주로 이용될 수 있다.
RGB 카메라(120)는 RGB(Red Green Blue) 센서를 통해 RGB 영상 데이터를 획득한다. RGB 방식은 빨간색, 녹색, 파란색을 섞어 영상이나 이미지를 표현하는 방식이다. RGB 카메라(120)에 의해 촬영된 RGB 이미지는 해상도가 높고 육안으로 확인하기 용이한 특징이 있다.
코스 키퍼 서버(200)는 무인항공기(100) 촬영한 다중분광 이미지 및 RGB 이미지를 판독한 결과를 이용하여 디봇 객체를 학습하고, 기 학습된 모델링을 기초로 무인항공기(100)에서 촬영된 다중분광 이미지에서 디봇 객체를 탐지하며, 탐지된 디봇 객체의 지도 좌표를 관리자에게 디스플레이하여 제공한다.
코스 키퍼 서버(200)는 머신러닝 모듈(210), 통신 모듈(220), 탐지 모듈(230) 및 출력 모듈(240)을 포함한다.
머신러닝 모듈(210)은 통신 모듈(220)을 통해 무인항공기(100)에서 촬영한 다중분광 이미지 및 RGB 이미지를 제공받고, 다중분광 이미지를 미리 정해진 기준과 매칭시켜 디봇 객체를 1차 판독하고, 세부 판독이 필요한 경우 다중분광 이미지에 대응하는 RGB 이미지를 이용해 2차 판독하여 디봇 객체를 학습할 수 있다.
이하 도 3을 통해 머신러닝 모듈(210)이 디봇 객체를 학습하는 방식을 설명하기로 한다.
도 3은 도 2에 예시된 머신러닝 모듈(210)의 구성을 예시한 블록도이다.
도 2 및 도 3을 참조하면, 머신러닝 모듈(210)은 이미지 처리 모듈(211) 및 판독 모듈(212)을 포함한다.
이미지 처리 모듈(211)은 무인항공기(100)가 촬영한 골프 코스의 다중분광 이미지에서 미리 정의된 3 가지의 기준 즉, 색상, 크기, 형상 중 적어도 하나 이상 매칭되는 객체들을 디봇 의심 객체로 분리한다.
예컨대, 이미지 처리 모듈(211)은 미리 정의된 기준을 단일 값이 아닌 범위로 설정할 수 있다.
예를 들면, 이미지 처리 모듈(211)은 다중분광 이미지에서 황토색 계열 540~550nm의 분광대에 대응하는 객체를 디봇 의심 객체로 분리할 수 있다. 그리고 이미지 처리 모듈(211)은 다중분광 이미지에서 100mm~300mm에 해당하는 객체를 디봇 의심 객체로 분리할 수 있다. 뿐만 아니라, 이미지 처리 모듈(211)은 다중분광 이미지에서 특이 객체에 대한 장지름과 단지름의 비율 1:0.5~0.7에 해당하는 객체를 디봇 의심 객체로 분리할 수 있다. 여기서 장지름의 방향은 콜프 코스의 진행 방향에 대응하는 방향일 수 있다.
본 실시예에서 이미지 처리 모듈(211)에서 디봇 의심 객체를 분리하기 위한 미리 정의된 기준은 3가지로 정의하여 설명하였지만, 4가지 이상으로 정의되어도 무방하다.
판독 모듈(212)은 이미지 처리 모듈(211)에서 분리된 디봇 의심 객체들 중 3가지 기준 모두에 매칭되는 객체(도 4 참조)를 디봇으로 1차 판독하여 머신러닝 DB에 저장한다.
그리고 판독 모듈(212)은 이미지 처리 모듈(211)에서 분리된 디봇 의심 객체들 중 2가지 이하의 기준에 매칭되는 객체들을 세부 판독이 필요하다고 판단하며, 해당 객체들을 RGB 이미지 상에 표시하고(도 5참조), 그 RGB 이미지를 통신 모듈(220)을 통해 전문가 시스템으로 전송한다.
전문가 시스템으로 전송된 RGB 이미지 중 2가지 이하의 기준에 매칭되어 디봇 의심 객체로 표시된 객체들은 별도의 알고리즘 또는 전문가에 의해 디봇 또는 유사 디봇으로 주기(annotation)되는 방식으로 2차 판독될 수 있다. 여기서 유사 디봇이라 함은 야생동물이 파헤쳐 토양이 드러나거나, 산사태로 유실되거나 또는 부분적으로 잔디가 사멸한 곳 등이 될 수 있다.
판독 모듈(212)은 이와 같은 방식으로 다중분광 이미지에서 디봇으로 1차 판독된 디봇 객체와, RGB 이미지에서 전문가 시스템에 의해 디봇 또는 유사 디봇으로 2차 판독된 객체를 학습 모델링으로 생성하여 머신러닝 DB에 저장한다.
예컨대, RGB 이미지에서 전문가 시스템에 의해 디봇 또는 유사 디봇으로 2차 판독된 객체는 판독 모듈(212)이 다중분광 이미지에서 디봇으로 1차 판독할 때 기초데이터로 활용됨으로써 1차 판독에서의 정확도를 높일 수 있다.
판독 모듈(212)에 의해 머신러닝 DB에 저장된 학습 모델링은 추후에 무인항공기(100)가 다중분광 카메라(110)로 골프 코스를 촬영하면, 촬영된 다중분광 이미지에서 디봇 객체를 탐지하는데 사용될 수 있다.
한편, 판독 모듈(212)은 미리 정의된 3 가지의 기준(색상, 크기, 형상) 중 2개 이하가 매칭되어 전문가 시스템으로 전송된 후 디봇이 아닌 것으로 분석된 객체는 그 조건에 대응하는 학습 모델링을 생성하여 머신러닝 DB에 저장할 수 있다. 여기서 판독 모듈(212)에 의해 디봇이 아닌 것으로 분석된 객체는 배수구, 낙엽, 수리지, 벙커 중 어느 하나일 수 있다.
그리고 판독 모듈(212)은 이미지 처리 모듈(211)에 의해 다중분광 이미지에서 분리된 디봇 의심 객체들 중 2가지 이하의 기준에 매칭되는 객체들을 RGB 이미지 상에 표시하는 과정에서, 미리 정의된 3 가지의 기준(색상, 크기, 형상) 중 2개 이하가 매칭되는 객체를 디봇이 아닌 것으로 미리 분석된 이미지와 비교하고, 디봇이 아닌 것으로 미리 분석된 이미지와 매칭되는 객체는 RGB 이미지 상에 표시하지 않을 수 있다.
따라서, 판독 모듈(212)은 디봇 객체로 의심되어 이미지 처리 모듈(211)에서 분리되었으나, 배수구, 낙엽, 수리지, 벙커와 같은 객체는 디봇이 아닌 것으로 판단되어 RGB 이미지에 표시하지 않음으로써 전문가 시스템에서 2차 판독하는데 발생하는 처리 시간을 줄일 수 있는 이점이 있다.
다시 도 2로 돌아와서, 코스 키퍼 서버(200)의 통신 모듈(220)은 무인항공기(100) 및 전문가 시스템과 통신할 수 있다.
예컨대, 통신 모듈(220)은 무인항공기(100)와 통신하여 무인항공기(100)로부터 다중분광 이미지 및 RGB 이미지를 전송받거나, RGB 이미지를 전문가 시스템으로 전송할 수 있다.
본 실시예에서, 통신 모듈(220)은 2G, 3G, 4G, 5G와 같은 이동 통신 프로토콜이나, Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등의 이동통신 프로토콜을 통해 무인항공기(100) 및 전문가 시스템과 통신할 수 있으며, 어느 하나로 한정하지 않는다.
탐지 모듈(230)은 무인항공기(100)로부터 디봇을 탐지하기 위해 다중분광 카메라(110)로 골프 코스를 촬영한 다중분광 이미지를 전송받는다. 그리고 탐지 모듈(230)은 기 학습된 모델링 기반으로 수신받은 다중분광 이미지로부터 디봇 객체를 탐지할 수 있다.
탐지 모듈(230)은 다중분광 이미지로부터 디봇 객체를 탐지할 때 CNN(Convolution Neural Network) 또는 RNN(Recurrent Neural Network)과 같은 영상분석 알고리즘을 이용할 수 있다.
이하에서는 도 7 및 도 8을 이용해 탐지 모듈(230)에서 디봇을 탐지하기 위해 사용되는 CNN 또는 RNN을 설명하기로 한다.
도 7은 CNN의 동작 원리를 도시한 개념도이다.
도 7을 참조하면, CNN(Convolution Neural Network)은 입력된 영상 데이터로부터 합성곱 연산을 통해 특징을 추출하고, 추출된 특징을 통해 영상 데이터에 포함된 객체를 탐지하는 네트워크로서, 객체의 특징 정보를 추출하는 특징 추출 계층(feature extraction layers)과, 추출된 특징정보를 이용하여 객체를 분류하는 전체 연결 계층(fully connected layers)으로 구성된다. 다시 말해 CNN은 영상 데이터에 포함된 특정 객체의 크기나 위치 등의 기하학적 정보를 도출(localization)하고 상기 특정 객체를 분류(classification)하는 객체 탐지(object detection) 기술 중 하나로 정의될 수 있다.
특징 추출 계층은 복수 개의 컨볼루션 계층으로 구성되며, 어느 일 단계의 컨볼루션 계층은 입력 데이터(영상 데이터, 특징 맵)와 필터의 역할을 담당하는 합성 커널의 합성곱 연산을 통해 새로운 특징 맵(feature map)을 생성하고, 생성된 특징 맵을 다음 단계의 컨볼루션 계층에 입력한다. 각 컨볼루션 계층은 학습에 따라 값이 변하는 파라미터인 가중치, 바이어스로 구성되며 색상, 형태, 윤곽선 등과 같이 객체 탐지에 유용한 정보를 추출하도록 학습 과정에서 합성 커널의 값이 자동으로 조정된다.
전체 연결 계층은 특징 추출 계층에서 추출된 다차원 특징 맵을 1차원으로 변환하는 편평화 계층(flatten layer)과 멀티 계층 퍼셉트론(multi-layer perceptron, MLP)으로 구성된다. 1차원으로 변환된 특징 맵을 학습 알고리즘인 MLP에 입력함으로써 영상 데이터의 파라미터를 조정한다.
탐지 모듈(230)은 다중분광 이미지에 대하여 CNN의 특징 추출 계층을 수행하되, 센서 융합이 적용된 편평화 계층을 멀티 계층 퍼셉트론에 입력하는 방식으로 전체 연결 계층을 수행함으로써 영상의 특징(feature)에 대한 신뢰성을 재평가한 후, 신뢰성이 높은 특징으로 객체를 최종 탐지한다.
도 8은 RNN의 동작 알고리즘을 설명하는 개념도이다.
도 8을 참조하면, RNN(Recurrent Neural Network)은 순차적으로 입력되는 시계열 데이터를 분석함으로써 객체의 상황 즉, 객체의 상황을 판단한다.
RNN은 은닉층(Hidden layer)에서 자기 자신으로의 W(Recurrent weight)를 가진 기본 구조이다. 그리고 RNN은 unit 사이의 연결이 Directed Cycle을 형성하여 자신을 가리키는 Recuurent Weight를 포함하는 신경망 알고리즘이다.
RNN은 MLP와 순환 엣지(W)가 결합된 형태로서, 시계열 데이터를 입력 받을 때 순환 엣지를 통해 과거의 출력값을 함께 입력 받는다. 따라서, t 시점에서의 RNN의 출력값은 이전 t-1 시점의 출력값에 영향을 받는다는 점에서 과거 값을 기억하는 '메모리(memory)'정보를 포함하는 피드백 구조의 네트워크라 정의할 수 있다.
다시 도 2로 돌아와서, 코스 키퍼 서버(200)의 출력 모듈(240)은 탐지 모듈(230)에서 탐지된 디봇 객체에 대한 지도 좌표를 디스플레이한다. 예컨대, 출력 모듈(240)은 이동 단말, 데스크탑, 태블릿 PC에 지도 좌표를 제공할 수 있다.
또한, 관리자가 디봇 객체가 발생된 위치를 직관적으로 알 수 있도록 RGB 이미지에 별도의 마크 및 지도좌표를 표시하여 제공할 수 있다.
[제2 실시예]
이하 본 발명의 제2 실시예에 따른 골프 코스의 디봇 탐지 방법에 대하여 도면을 참조하여 상세히 설명한다.
도 6은 본 발명의 제2 실시예에 따른 골프 코스의 디봇 탐지 시스템을 예시한 흐름도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 골프 코스의 디봇 탐지 방법은 골프 코스 관리를 위한 코스 키퍼 서버에 의해 수행되는 디봇 탐지 방법으로서, 디봇 객체를 학습하는 단계(S100), 다중분광 이미지를 수신하는 단계(S200), 디봇 객체를 탐지 하는 단계(S300) 및 디봇 객체의 지도 좌표를 출력하는 단계(S400)를 포함한다.
디봇 객체를 학습하는 단계(S100)는 머신러닝 모듈이 골프코스를 촬영한 다중분광 이미지의 1차 판독 결과와 RGB 이미지의 2차 판독 결과를 이용하여 디봇 객체를 학습하는 단계(S100)이다.
디봇 객체를 학습하는 단계(S100)에서 머신러닝 모듈은 통신 모듈을 통해 무인항공기에서 촬영한 다중분광 이미지 및 RGB 이미지를 제공받고, 다중분광 이미지를 미리 정해진 기준과 매칭시켜 디봇 객체를 1차 판독하고, 세부 판독이 필요한 경우 해당 다중분광 이미지에 대응하는 RGB 이미지를 이용해 2차 판독하여 디봇 객체를 학습할 수 있다.
디봇 객체를 학습하는 단계(S100)는 객체들을 분리하는 단계(S110), 머신러닝 DB에 저장하는 1차 판독 단계(S120), 전문가 시스템으로 전송하는 단계(S130) 및 머신러닝 DB에 저장하는 2차 판독 단계(S140)를 포함할 수 있다.
객체들을 분리하는 단계(S110)는 이미지 처리 모듈이 골프 코스의 다중분광 이미지에서 미리 정의된 색상, 크기 및 형상 중 적어도 하나 이상 매칭되는 객체들을 분리하는 단계(S110)이다.
예컨대, 이미지 처리 모듈은 무인항공기가 촬영한 골프 코스의 다중분광 이미지에서 미리 정의된 3 가지의 기준 즉, 색상, 크기, 형상 중 적어도 하나 이상 매칭되는 객체들을 디봇 의심 객체로 분리한다. 여기서, 이미지 처리 모듈은 미리 정의된 기준을 단일값으로 설정하지 않고 범위로 설정할 수 있다.
예를 들면, 이미지 처리 모듈은 다중분광 이미지에서 황토색 계열 540~550nm의 분광대에 대응하는 객체를 디봇 의심 객체로 분리할 수 있다. 그리고 이미지 처리 모듈은 다중분광 이미지에서 100mm~300mm에 해당하는 객체를 디봇 의심 객체로 분리할 수 있다. 뿐만 아니라, 이미지 처리 모듈은 다중분광 이미지에서 장지름과 단지름의 비율 1:0.5~0.7에 해당하는 객체를 디봇 의심 객체로 분리할 수 있다.
본 실시예에서 이미지 처리 모듈에서 디봇 의심 객체를 분리하기 위한 미리 정의된 기준은 3가지로 정의하여 설명하였지만, 4가지 이상으로 정의되어도 무방하다.
머신러닝 DB에 저장하는 1차 판독 단계(S120)는 판독 모듈이 분리된 객체들 중 3가지 기준 모두를 만족하는 객체를 디봇으로 정의하여 머신러닝 DB에 저장한다.
전문가 시스템으로 전송하는 단계(S130)는 판독 모듈이 이미지 처리 모듈에서 분리된 디봇 의심 객체들 중 2가지 이하의 기준에 매칭되는 객체들을 세부 판독이 필요하다고 판단하여 해당 객체들을 RGB 이미지 상에 표시하고, 그 RGB 이미지를 통신 모듈을 통해 전문가 시스템으로 전송한다.
전문가 시스템으로 전송된 RGB 이미지 중 2가지 이하의 기준에 매칭되어 디봇 의심 객체로 표시된 객체들은 별도의 알고리즘 또는 전문가에 의해 디봇 또는 유사 디봇으로 주기(annotation)되는 방식으로 2차 판독될 수 있다. 여기서 유사 디봇이라 함은 야생동물이 파헤쳐 토양이 드러나거나, 산사태로 유실되거나 또는 부분적으로 잔디가 사멸한 곳 등이 될 수 있다.
머신러닝 DB에 저장하는 2차 판독 단계(S140)는 전문가 시스템에서 디봇 또는 유사 디봇으로 추가 판명(annotated)된 객체를 상기 판독 모듈에 통지하면, 판독 모듈이 추가 판명된 객체를 학습 모델링으로 생성하여 머신러닝 DB에 저장한다.
예컨대, RGB 이미지에서 전문가 시스템에 의해 디봇 또는 유사 디봇으로 2차 판독된 객체는 판독 모듈이 다중분광 이미지에서 디봇으로 1차 판독할 때 기초데이터로 활용됨으로써 1차 판독에서의 정확도를 높일 수 있다.
판독 모듈에 의해 머신러닝 DB에 저장된 학습 모델링은 추후에 무인항공기가 다중분광 카메라로 골프 코스를 촬영하면, 촬영된 다중분광 이미지에서 디봇 객체를 탐지하는데 사용될 수 있다.
한편, 판독 모듈은 미리 정의된 3 가지의 기준(색상, 크기, 형상) 중 2개 이하가 매칭되어 전문가 시스템으로 전송된 후 전문가 시스템에 의해 디봇이 아닌 것으로 분석된 객체는 그 조건에 대응하는 학습 모델링을 생성하여 머신러닝 DB에 저장할 수 있다. 여기서 판독 모듈에 의해 디봇이 아닌 것으로 분석된 객체는 배수구, 낙엽, 수리지, 벙커 중 어느 하나일 수 있다.
그리고 판독 모듈은 이미지 처리 모듈에 의해 다중분광 이미지에서 분리된 디봇 의심 객체들 중 2가지 이하의 기준에 매칭되는 객체들을 RGB 이미지 상에 표시하는 과정에서, 미리 정의된 3 가지의 기준(색상, 크기, 형상) 중 2개 이하가 매칭되는 객체를 디봇이 아닌 것으로 미리 분석된 이미지와 비교하고, 디봇이 아닌 것으로 미리 분석된 이미지와 매칭되는 객체는 RGB 이미지 상에 표시하지 않을 수 있다.
따라서, 판독 모듈은 디봇 객체로 의심되어 이미지 처리 모듈에서 분리되었으나, 배수구, 낙엽, 수리지, 벙커와 같은 객체는 RGB 이미지에 표시하지 않음으로써 전문가 시스템에서 2차 판독하는데 발생하는 처리 시간을 줄일 수 있는 이점이 있다.
다중분광 이미지를 수신하는 단계(S200)는 탐지 모듈이 기 학습된 모델링 기반으로 골프 코스를 촬영한 다중분광 이미지에서 디봇을 탐지할 수 있도록 무인항공기로부터 골프 코스를 촬영한 다중분광 이미지를 전송받는 단계이다.
다중분광 이미지를 수신하는 단계(S200)에서 무인항공기로부터 다중분광 이미지를 수신받으면, 디봇 객체를 탐지 하는 단계(S300)가 수행된다.
디봇 객체를 탐지 하는 단계(S300)는 무인항공기로부터 수신받은 다중분광 이미지에서 디봇 객체를 탐지한다. 디봇 객체를 탐지 하는 단계(S300)에서 탐지 모듈은 기 학습된 모델링 기반으로 수신받은 다중분광 이미지로부터 디봇 객체를 탐지할 수 있다.
탐지 모듈은 다중분광 이미지로부터 디봇 객체를 탐지할 때 CNN(Convolution Neural Network) 또는 RNN(Recurrent Neural Network) 과 같은 영상분석 알고리즘을 이용할 수 있다. CNN(Convolution Neural Network) 또는 RNN(Recurrent Neural Network)에 대한 내용은 제1 실시예를 통해 설명하였으므로 중복된 설명을 생략한다.
디봇 객체의 지도 좌표를 출력하는 단계(S400)는 출력 모듈이 탐지 모듈에서 탐지된 디봇 객체의 지도 좌표를 디스플레이한다. 예컨대, 출력 모듈은 이동 단말, 데스크탑, 태블릿 PC에 지도 좌표를 제공할 수 있다.
또한, 관리자가 디봇 객체가 발생된 위치를 직관적으로 알 수 있도록 RGB 이미지에 별도의 마크 및 지도좌표를 표시하여 제공할 수 있다.
이상에서 설명한 본 발명의 전체 또는 부분적 기능들은 일련의 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 기계어로 번역한 소프트웨어로 구현되거나, 그러한 소프트웨어가 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수 있음을 당업자가 쉽게 이해할 수 있을 것이다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 외에도, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
또한 이상에서는 본 발명에 관한 몇 가지 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 다중분광 카메라와 RGB 카메라를 탑재하고 골프 코스를 촬영하는 무인항공기; 및
    상기 무인항공기가 촬영한 다중분광 이미지의 1차 판독 결과와 RGB 이미지의 2차 판독 결과를 이용하여 디봇 객체를 학습하는 머신러닝 모듈, 상기 무인항공기가 촬영한 다중분광 이미지를 수신하는 통신 모듈, 상기 수신된 다중분광 이미지로부터 디봇 객체를 탐지하는 탐지 모듈 및 상기 탐지된 디봇 객체의 지도 좌표를 디스플레이하는 출력 모듈을 포함하는 코스 키퍼 서버
    를 포함하는 골프 코스의 디봇 탐지 시스템.
  2. 제1항에 있어서,
    상기 머신러닝 모듈은,
    골프 코스의 다중분광 이미지에서 미리 정의된 색상, 크기 및 형상 중 적어도 하나 이상 매칭되는 객체들을 분리하는 이미지 처리 모듈;
    상기 분리된 객체들 중 3가지 기준 모두를 만족하는 객체를 디봇으로 1차 판독하여 머신러닝 DB에 저장하고,
    상기 분리된 객체들 중 2개 이하의 기준이 매칭되는 객체들을 상기 RGB 이미지 상에 표시하여 상기 통신 모듈을 통해 상기 RGB 이미지를 전문가 시스템으로 전송하며,
    상기 전문가 시스템에서 디봇 또는 유사 디봇으로 2차 판독된(annotated) 객체를 상기 머신러닝 DB에 저장하는 판독 모듈
    을 포함하는 골프 코스의 디봇 탐지 시스템.
  3. 제2항에 있어서,
    상기 유사 디봇은, 야생동물이 파헤쳐 토양이 드러난 구역, 산사태로 유실된 구역, 부분적으로 잔디가 사멸한 구역 중 어느 하나인 것을 특징으로 하는 골프 코스의 디봇 탐지 시스템.
  4. 제2항에 있어서,
    상기 판독 모듈은,
    색상, 크기 및 형상 중 2개 이하가 매칭되는 객체들 중 디봇이 아닌 것으로 미리 분석된 이미지와 매칭되는 것은 상기 RGB 이미지 상에 표시하지 않는 것을 특징으로 하는 골프 코스의 디봇 탐지 시스템.
  5. 제4항에 있어서,
    상기 디봇이 아닌 것으로 분석된 이미지는,
    배수구, 낙엽, 수리지, 벙커 중 어느 하나인 것을 특징으로 하는 골프 코스의 디봇 탐지 시스템.
  6. 골프 코스 관리를 위한 코스 키퍼 서버의 디봇 탐지 방법에 있어서,
    머신러닝 모듈이 골프코스를 촬영한 다중분광 이미지의 1차 판독 결과와 RGB 이미지의 2차 판독 결과를 이용하여 디봇 객체를 학습하는 단계;
    통신 모듈이 골프코스를 촬영한 다중분광 이미지를 수신하는 단계;
    탐지 모듈이 상기 수신된 다중분광 이미지로부터 디봇 객체를 탐지하는 단계; 및
    출력 모듈이 상기 탐지된 디봇 객체의 지도 좌표를 출력하는 단계
    를 포함하는 골프 코스의 디봇 탐지 방법.
  7. 제6항에 있어서,
    상기 디봇 객체 학습 단계는,
    이미지 처리 모듈이 골프 코스의 다중분광 이미지에서 미리 정의된 색상, 크기 및 형상 중 적어도 하나 이상 매칭되는 객체들을 분리하는 단계;
    판독 모듈이 상기 분리된 객체들 중 3가지 모두를 만족하는 객체를 디봇으로 정의하여 머신러닝 DB에 저장하는 1차 판독 단계;
    상기 판독 모듈이 상기 분리된 객체들 중 2개 이하가 매칭되는 객체들을 상기 RGB 이미지 상에 표시하고, 상기 통신 모듈을 통해 상기 RGB 이미지를 전문가 시스템으로 전송하는 단계; 및
    상기 전문가 시스템에서 디봇 또는 유사 디봇으로 추가 판명(annotated)된 객체를 상기 판독 모듈에 통지하면, 상기 판독 모듈은 상기 추가 판명된 객체를 상기 머신러닝 DB에 저장하는 2차 판독 단계
    를 포함하는 골프 코스의 디봇 탐지 방법.
  8. 제7항에 있어서,
    상기 유사 디봇은, 야생동물이 파헤쳐 토양이 드러난 구역, 산사태로 유실된 구역, 부분적으로 잔디가 사멸한 구역 중 어느 하나인 것을 특징으로 하는 골프 코스의 디봇 탐지 방법.
  9. 제7항에 있어서,
    상기 판독 모듈은,
    색상, 크기 및 형상 중 2개 이하가 매칭되는 객체들 중 디봇이 아닌 것으로 미리 분석된 이미지와 매칭되는 것은 상기 RGB 이미지 상에 표시하지 않는 것을 특징으로 하는 골프 코스의 디봇 탐지 방법.
  10. 제9항에 있어서,
    상기 디봇이 아닌 것으로 분석된 이미지는,
    배수구, 낙엽, 수리지, 벙커 중 어느 하나인 것을 특징으로 하는 골프 코스의 디봇 탐지 방법.
PCT/KR2020/017120 2020-05-20 2020-11-27 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법 WO2021235634A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022570299A JP7493841B2 (ja) 2020-05-20 2020-11-27 ゴルフコースのディボット探知システム及びこれを用いた探知方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20200060369 2020-05-20
KR10-2020-0060369 2020-05-20
KR1020200161575A KR102583303B1 (ko) 2020-05-20 2020-11-26 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법
KR10-2020-0161575 2020-11-26

Publications (1)

Publication Number Publication Date
WO2021235634A1 true WO2021235634A1 (ko) 2021-11-25

Family

ID=78698111

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/017120 WO2021235634A1 (ko) 2020-05-20 2020-11-27 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법

Country Status (3)

Country Link
JP (1) JP7493841B2 (ko)
KR (1) KR102583303B1 (ko)
WO (1) WO2021235634A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102528034B1 (ko) * 2021-12-09 2023-05-18 주식회사 유에프오에스트로넛 스마트 디봇 보수 시스템 및 방법
KR102512529B1 (ko) * 2022-11-04 2023-03-21 주식회사 유오케이 골프장 운영 관리 장치 및 방법
KR102620094B1 (ko) * 2023-02-06 2024-01-03 (주) 다음기술단 골프장 페어웨이 디봇 보수장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772210B1 (ko) * 2017-04-20 2017-08-28 주식회사 일도엔지니어링 드론촬영 데이터와 지아이에스(gis) 분석 기법을 이용한 골프장 스프링클러 관리장치
KR101860548B1 (ko) * 2018-02-27 2018-05-23 주식회사 일도엔지니어링 드론의 식생 촬영 데이터와 gis 분석 기법을 이용한 골프장 잔디 관리 장치
US20180150726A1 (en) * 2016-11-29 2018-05-31 Google Inc. Training and/or using neural network models to generate intermediary output of a spectral image
KR20180076753A (ko) * 2016-12-28 2018-07-06 주식회사 엘렉시 이상패턴 감지 시스템 및 방법
KR102069780B1 (ko) * 2018-09-10 2020-01-23 김두수 잔디관리 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018130065A (ja) * 2017-02-15 2018-08-23 株式会社 神崎高級工機製作所 ディボット修復システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180150726A1 (en) * 2016-11-29 2018-05-31 Google Inc. Training and/or using neural network models to generate intermediary output of a spectral image
KR20180076753A (ko) * 2016-12-28 2018-07-06 주식회사 엘렉시 이상패턴 감지 시스템 및 방법
KR101772210B1 (ko) * 2017-04-20 2017-08-28 주식회사 일도엔지니어링 드론촬영 데이터와 지아이에스(gis) 분석 기법을 이용한 골프장 스프링클러 관리장치
KR101860548B1 (ko) * 2018-02-27 2018-05-23 주식회사 일도엔지니어링 드론의 식생 촬영 데이터와 gis 분석 기법을 이용한 골프장 잔디 관리 장치
KR102069780B1 (ko) * 2018-09-10 2020-01-23 김두수 잔디관리 시스템

Also Published As

Publication number Publication date
JP2023526390A (ja) 2023-06-21
KR20210143634A (ko) 2021-11-29
JP7493841B2 (ja) 2024-06-03
KR102583303B1 (ko) 2023-09-26

Similar Documents

Publication Publication Date Title
WO2021235634A1 (ko) 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법
US10943114B2 (en) Method for aerial imagery acquisition and analysis
WO2020040391A1 (ko) 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템
WO2021091021A1 (ko) 화재 검출 시스템
TW201921316A (zh) 偵測航拍影像內物體之非暫態電腦可讀取媒體及系統，以及航拍影像中物體偵測之方法
KR102098259B1 (ko) 무인항공기를 이용한 산림병해충 의심목 선별 시스템
CN112149513A (zh) 基于深度学习的工业制造现场安全帽佩戴识别系统和方法
CN109255286A (zh) 一种基于yolo深度学习网络框架的无人机光学快速检测识别方法
CN113486697B (zh) 基于空基多模态图像融合的森林烟火监测方法
Yimyam et al. The Development of an Alerting System for Spread of Brown planthoppers in Paddy Fields Using Unmanned Aerial Vehicle and Image Processing Technique
WO2020141888A1 (ko) 사육장 환경 관리 장치
CN117574317A (zh) 一种基于星空地多模态数据融合的山火监测方法和装置
CN113378754A (zh) 一种工地裸土监测方法
CN114358178A (zh) 一种基于YOLOv5算法的机载热成像野生动物物种分类方法
WO2022196999A1 (ko) 과실 수량 측정 시스템 및 그 방법
Mou et al. Spatial relational reasoning in networks for improving semantic segmentation of aerial images
CN115994953A (zh) 电力现场安监追踪方法及系统
CN110517435A (zh) 一种便携式即时防火预警及信息采集处理预警系统及方法
Kalmukov et al. Methods for Automated Remote Sensing and Counting of Animals
CN114119713A (zh) 一种基于人工智能与无人机遥感的林地空秃检测方法
TW202125324A (zh) 航拍影像自動物體偵測之方法及系統
CN112699745A (zh) 一种用于火灾现场的被困人员定位方法
Hung et al. Vision-based shadow-aided tree crown detection and classification algorithm using imagery from an unmanned airborne vehicle
WO2023106704A1 (ko) 스마트 디봇 보수 시스템 및 방법
RU2193308C2 (ru) Способ подсчета теплокровных животных с летательного аппарата

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20937015

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022570299

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20937015

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20937015

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 07.07.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20937015

Country of ref document: EP

Kind code of ref document: A1