WO2024014627A1 - 스마트 하천 관제를 위한 통합 플랫폼 - Google Patents

스마트 하천 관제를 위한 통합 플랫폼 Download PDF

Info

Publication number
WO2024014627A1
WO2024014627A1 PCT/KR2022/019341 KR2022019341W WO2024014627A1 WO 2024014627 A1 WO2024014627 A1 WO 2024014627A1 KR 2022019341 W KR2022019341 W KR 2022019341W WO 2024014627 A1 WO2024014627 A1 WO 2024014627A1
Authority
WO
WIPO (PCT)
Prior art keywords
water level
interest
image
water
camera
Prior art date
Application number
PCT/KR2022/019341
Other languages
English (en)
French (fr)
Inventor
신창국
정운근
조규득
이선미
이말희
Original Assignee
(주)동아씨앤지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)동아씨앤지 filed Critical (주)동아씨앤지
Publication of WO2024014627A1 publication Critical patent/WO2024014627A1/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02B—HYDRAULIC ENGINEERING
    • E02B7/00—Barrages or weirs; Layout, construction, methods of, or devices for, making same
    • E02B7/20—Movable barrages; Lock or dry-dock gates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather

Definitions

  • This disclosure relates to an integrated platform for smart river control. Specifically, images taken through a camera with detection functions such as artificial intelligence-based water level, water level gauge, and foreign matter are converted into a plurality of slice images in the vertical direction, This relates to a platform that calculates the average height of the water level in each slice image to detect the water level within the region of interest (ROI) and controls the water gate based on the calculated average height.
  • ROI region of interest
  • the present disclosure provides an integrated platform for smart river control that can efficiently measure water level and control hydrology through an artificial intelligence-based water level detection camera.
  • an image captured through an artificial intelligence camera is converted into a plurality of slice images in the vertical direction, a region of interest (ROI) capable of measuring water level is set at or around the water gate, and the set region of interest is set.
  • ROI region of interest
  • a method and system are provided that can automatically execute flood control in real time by detecting changes in water level within the range.
  • images captured through a camera with detection functions such as artificial intelligence-based water level, water level gauge, and foreign matter are converted into a plurality of slice images in the vertical direction, thereby creating a region of interest (ROI) range.
  • ROI region of interest
  • the average height of the water level is calculated from each slice image, and the water gate can be controlled based on the calculated average height of the water level.
  • a water level measurement model configured to detect and classify areas of interest, water levels, foreign substances, etc. set in the water gate through deep learning learning can be mounted on an edge camera installed around the water gate. Accordingly, at the floodgate site, the camera itself can judge the change in water level, the height or open/closed state of the floodgate, and automatically control the height or opening/closing of the floodgate according to the judgment results. In addition, more efficient flood damage prevention and flood management is possible by transmitting the detection and judgment results by the camera in the form of an alarm or push to the manager's terminal device through the network.
  • the present disclosure can be implemented in a variety of ways, including devices and methods.
  • a camera configured to capture an image of at least one sluice gate configured to regulate the flow of water through a waterway, an actuator configured to adjust the height of the sluice gate, and It includes a control unit that sets a virtual area of interest by overlapping it on an image captured by a camera, detects a change in the water level within each area of interest, and controls an actuator according to the change in the water level, and the control unit controls the captured image. is converted into a plurality of slice images in the vertical direction, and the height of the region of interest is measured for each slice image to determine whether foreign matter is present.
  • a water level gauge installed on one side of a water gate to detect changes in water level and configured to distinguish a section of interest, caution section, or boundary section according to a preset water level section. It further includes.
  • control unit reads the text of the water level section of the water level gauge corresponding to the water level of the waterway in the water level gauge in the image captured by the camera, and according to the read text Determine whether the water gate is open or closed.
  • the control unit detects the area of interest, water level, and objects (e.g., water level gauge (OCR), foreign matter) through collected images collected through a camera or external learning images. It includes an image learning unit trained based on artificial intelligence.
  • objects e.g., water level gauge (OCR), foreign matter
  • control unit includes a water level measurement unit configured to calculate the water level for each area of interest learned through the image learning unit and calculate the average water level for each area of interest. do.
  • preprocessing and detection are performed to detect objects excluding water areas and water gates in the area of interest through an image learning unit, and the detected objects are removed from the image as object data (water level gauge)
  • object data water level gauge
  • the control unit averages the height of the region of interest in each slice image, and the height of the region of interest in each slice image is a preset height area or average height. If it escapes, it is judged that a foreign substance exists.
  • control unit in the integrated platform for smart river control, is configured to transmit information about the image of the water gate and the area of interest to the user terminal device and enable remote control from the user terminal device.
  • the height of the area of interest in each slice image is averaged by the control unit, and the height of the area of interest in each slice image is a preset height area or average. If it is out of height, it includes a step of determining that foreign matter exists.
  • an artificial intelligence-based water level detection model learned about the water gate and the surrounding environment is installed in a camera installed at the water gate, so efficient water level measurement and water gate according to the environmental change or purpose of the water gate to be measured Control is possible.
  • the change in water level around the water gate and the status of the water gate opening and closing can be checked in real time by transmitting the water level change detected by the surveillance camera installed at the water gate to a user terminal or smartphone operating at a distance through wireless communication. This has the effect of greatly improving efficiency by simplifying the management of the water gate.
  • the water level or the height of surface water is measured on the slice image through a slice image that is vertically divided from the image captured by the camera, and the presence of foreign substances is determined by calculating the average height. Since the water level is measured by checking, the presence of foreign substances can be confirmed, and the accuracy of water level measurement is improved.
  • Figure 1 is a diagram showing an example of implementing an integrated platform for smart river control according to an embodiment of the present disclosure.
  • Figure 2 is a diagram showing a configuration in which a camera, an information processing system, and a user terminal are connected to enable communication in order to provide an integrated platform for smart river control according to an embodiment of the present disclosure.
  • Figure 3 is a block diagram showing the internal configuration of a user terminal and an information processing system according to an embodiment of the present disclosure.
  • Figure 4 is a block diagram showing the internal configuration of an information processing system and a camera according to an embodiment of the present disclosure.
  • Figure 5 is a diagram illustrating an example of a water level measurement method according to the height of each slide image when measuring water level through an integrated platform for smart river control according to an embodiment of the present disclosure.
  • Figure 6 is a diagram showing an example of implementing an integrated platform for smart river control according to another embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating the configuration of an object recognition model learned to generate data on water level measurement and presence of foreign substances based on collected images and learning images according to an embodiment of the present disclosure.
  • Figure 8 is a flowchart showing a water level measurement and water control method using an artificial intelligence-based water level detection camera according to another embodiment of the present disclosure.
  • Figure 9 is a diagram illustrating an example of outputting an integrated platform for smart river control according to an embodiment of the present disclosure through a user interface of a user terminal device.
  • FIGS. 10 and 11 are diagrams showing an example of a user interface for setting a virtual water level gauge in a user terminal device for water level measurement and water control through an integrated platform for smart river control according to an embodiment of the present disclosure.
  • a and/or B herein means A, or B, or A and B.
  • a modulee' or 'unit' refers to a software or hardware component, and the 'module' or 'unit' performs certain roles.
  • 'module' or 'part' is not limited to software or hardware.
  • a 'module' or 'unit' may be configured to reside on an addressable storage medium and may be configured to run on one or more processors. Therefore, as an example, a 'module' or 'part' refers to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, It may include at least one of procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, or variables. Components and 'modules' or 'parts' may be combined into smaller components and 'modules' or 'parts' or further components and 'modules' or 'parts'.
  • FIG. 1 is a diagram showing an example of implementing an integrated platform 100 for smart river control according to an embodiment of the present disclosure.
  • the integrated platform 100 for smart river control includes a water gate 160 that can be opened and closed, and a camera 120 that detects changes in the water level 170 within the region of interest 130 (ROI: Region Of Interest) set in the water gate 160. ) and an actuator 150 that controls the height or opening and closing of the water gate.
  • the camera 120 may be configured to capture an image of at least one sluice gate 160 configured to regulate the flow of water through the waterway.
  • a control unit (not shown) sets a virtual area of interest 130 by overlapping it on the image captured by the camera 120, detects a change in the water level 170 within the area of interest 130, and detects a change in the water level 170 in the area of interest 130.
  • the actuator 150 can be controlled according to changes in 170).
  • the water level gauge 132 is installed on one side of the water gate to detect changes in the water level 170, and can be configured to classify the water level into a section of interest, a caution section, or a boundary section according to a preset water level section.
  • the camera 120 may store and execute an artificial intelligence-based water level measurement model and/or an object recognition model learned to detect the water level of the water gate 160 or the surrounding environment.
  • the camera 120 may store and/or execute a water level measurement model based on an artificial neural network learned to detect the water level of a specific water gate 160 that is a detection target.
  • the camera 120 is implemented to store and execute a pre-learned water level measurement model and/or object recognition model, so that the camera 120 is installed at the water gate and can efficiently detect changes in water level in real time during operation. You can.
  • the camera 120 may be equipped with a lens configured to specifically capture the region of interest 130. Additionally, the camera 120 can detect changes in the water level included in the input image or video by inputting the captured photographic image or video into the built-in water level measurement model for each frame. The water level detection result by the camera 120 is transmitted to a remote user terminal through a communication unit (not shown), so that the user can be provided with various information and services based on the water level detection result.
  • the camera 120 detects the water level 170 within the region of interest 130 including at least a portion of the water gate 160 and/or the water level 170 using a built-in water level measurement model, or The water level measurement value of the water level gauge included in the area of interest 130 can be determined.
  • the integrated platform 100 for smart river control converts the image captured through the camera 120 into a plurality of slice images in the vertical direction by the control unit, and defines a region of interest for each slice image (
  • the presence of foreign matter 172 can be determined by measuring the height of 130).
  • the region of interest 130 may represent each region of interest 130 for a slice image.
  • the average water level 170 for each area of interest 130 is calculated.
  • the average height is calculated by measuring the height to the surface water (or water surface) within each area of interest 130. It is possible to determine whether foreign matter exists.
  • the water level 170 of the corresponding area of interest 130 is measured to be high, and in the case of the area of interest 130 where foreign matter 172 is not present in the waterway, the water level 170 is measured to be high. (170) may be measured lower than when foreign matter (172) is present. A detailed description of the water level will be provided later in FIG. 5.
  • the integrated platform 100 for smart river control is configured by the control unit to determine the water level 170 of the waterway in the water level gauge 132 in the image captured by the camera 120.
  • the text in the water level section 170 can be read, and it can be determined whether the water gate 160 is open or closed based on the read text. For example, as shown, when the water level 170 is located within the interest section of the water level gauge 132, the character 'interest' displayed on the water level gauge 132 is read, and the water gate 160 is opened and closed according to a preset range. You can judge whether or not.
  • the water level gauge 132 has been described as a physical area installed on one side of the actual water gate 160, but it is not limited to this.
  • the water level gauge 132 may be a virtual water level gauge set on an image or video captured by the camera 120.
  • the camera 120 superimposes the area of interest 130 and the water level gauge 132 on the image or video captured of the water gate 160 or its surroundings, and changes in the water level within the area of interest 130 or the water level gauge 132 ) can detect the water level measurement value measured by .
  • the camera 120 may be configured to control the height or opening and closing of the water gate 160 according to the water level change detected within the area of interest 130 or the water level measurement value measured by the water level gauge 132. .
  • the camera 120 may control the height or opening/closing of the water gate 160 by wirelessly or wiredly controlling the actuator 150 according to the detected water level change or water level measurement value. That is, when the camera 120 controls the actuator 150 according to the detected water level change or water level measurement value, the actuator 150 moves the shaft 152 connected to the water gate 160 up and down, thereby controlling the water level of the water gate 160. Height or opening/closing can be adjusted.
  • the camera 120 may transmit a control command signal for the height or opening and closing of the water gate 160 to a remote terminal unit (RTU) (not shown) connected to the water gate 160 according to the detected water level change or water level measurement value.
  • RTU remote terminal unit
  • the RTU may drive the actuator 150 to control the height or opening and closing of the water gate 160.
  • the region of interest 130 is set at the water gate 160 or structures surrounding it, but the area of interest 130 is not limited thereto.
  • the region of interest 130 may be set to include at least a portion of the shaft 152 driven by the actuator 150.
  • the camera 120 moves the shaft 152 up and down within the region of interest 130 with the region of interest 130 and the water level gauge 132 superimposed on an image or video of at least a portion of the shaft 152.
  • the degree can be sensed.
  • the camera 120 can detect the current height or open/closed state of the water gate 160 according to the degree of vertical movement of the shaft 152 detected within the region of interest 130.
  • FIG. 1 shows a plurality of regions of interest 130 displayed in the horizontal direction
  • the present invention is not limited thereto.
  • the region of interest 130 shown in FIG. 1 is assumed to be the region of interest 130 for each horizontally divided slice image, and may be displayed as a single region of interest 130 on the actual image.
  • Figure 2 is a diagram showing a configuration in which a camera, an information processing system, and a user terminal are connected to enable communication in order to provide an integrated platform for smart river control according to an embodiment of the present disclosure.
  • a plurality of user terminals 210_1, 210_2, and 210_3 may communicate with the information processing system 230 and the camera 120 through the network 220.
  • the network 220 may be configured to enable communication between a plurality of user terminals 210_1, 210_2, and 210_3 and/or the camera 120 and the information processing system 230.
  • the network 220 may be, for example, a wired network 220 such as Ethernet, a wired home network (Power Line Communication), a telephone line communication device, and RS-serial communication, a mobile communication network, or a WLAN (Wireless Network). It may be comprised of a wireless network 220 such as LAN), Wi-Fi, Bluetooth, and ZigBee, or a combination thereof.
  • the communication method is not limited, and may include communication methods utilizing communication networks that the network 220 may include (e.g., mobile communication networks, wired Internet, wireless Internet, broadcasting networks, satellite networks, etc.), as well as user terminals (210_1, 210_2, 210_3), short-range wireless communication may also be included.
  • the network 220 may include a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), and a broadband network (BBN). , may include one or more arbitrary networks such as the Internet. Additionally, the network 220 may include any one or more of network topologies including a bus network, star network, ring network, mesh network, star-bus network, tree or hierarchical network, etc. Not limited.
  • a mobile phone or smartphone 210_1, a tablet computer 210_2, and a laptop or desktop computer 210_3 are shown as examples of user terminals running or operating a user interface that provides an integrated platform for smart river control. It is not limited to this, and the user terminals 210_1, 210_2, and 210_3 are capable of wired and/or wireless communication, and a web browser, mobile browser application, or integrated platform (e.g., program, etc.) for smart river control is installed. It may be any computing device capable of executing a user interface providing river control integrated platform services.
  • user terminals 210_1, 210_2, and 210_3 include smartphones, mobile phones, navigation terminals, desktop computers, laptop computers, digital broadcasting terminals, PDAs (Personal Digital Assistants), PMPs (Portable Multimedia Players), tablet computers, It may include a game console, wearable device, IoT (internet of things) device, VR (virtual reality) device, AR (augmented reality) device, etc.
  • three user terminals (210_1, 210_2, 210_3) are shown as communicating with the information processing system 230 through the network 220, but this is not limited to this, and a different number of user terminals are connected to the network ( It may be configured to communicate with the information processing system 230 through 220).
  • the integrated platform for smart river control includes the presence or absence of foreign substances in the image captured by the camera 120, the average height of the calculated water level, water level information and water level according to the degree of reaching the water level in the water level section of the water level gauge.
  • One or more server devices and/or databases capable of storing, providing and executing computer-executable programs and data related to the control of the water gate 242 and the provision of status information provision services based on water level changes according to the information, or cloud computing services. It may include one or more distributed computing devices and/or distributed databases.
  • the integrated platform for smart river control or the artificial intelligence-based water level detection camera 120 is a computing device that can communicate with other devices through a wired or wireless network, and includes a CPU (central processing unit), GPU ( It may include, but is not limited to, a computing device capable of performing calculation operations using a processing device such as a graphic processing unit (DSP) or a digital signal processor (DSP).
  • a processing device such as a graphic processing unit (DSP) or a digital signal processor (DSP).
  • the camera 120 may provide captured images, object (eg, foreign matter, text on a water level gauge) recognition data, or calculated water level data to the information processing system 230.
  • Captured images, object recognition data, or calculated water level data received by the information processing system 230 (or control unit) can be monitored through the user terminals 210_1, 210_2, and 210_3.
  • the user terminals 210_1, 210_2, and 210_3 are monitored by the information processing system 230 (or the control unit) for the presence of foreign matter in the image captured through the camera 120, the average height for the calculated water level, and the water level section of the water level gauge. You can monitor water level information according to the degree to which the water level has been reached, or perform remote control through the control function.
  • each of the user terminals 210_1, 210_2, and 210_3 or the camera 120 and the information processing system 230 are shown as separately configured elements, but the information processing system 230 is not limited thereto, and the user terminal 210_1 , 210_2, 210_3) or may be configured to be included in the camera 120.
  • the information processing system 230 includes an input/output interface and determines the presence or absence of foreign matter in the image captured through the camera 120 and the average of the calculated water level without communication with the user terminals 210_1, 210_2, and 210_3. It can be configured to monitor water level information according to the height and degree of water level reached in the water level section of the water level gauge, or to perform remote control through a control function.
  • the camera 120 determines whether foreign substances are present, the average height for the calculated water level, and the water level gauge based on images or videos taken of the area of interest including the water gate 242 installed in the integrated platform for smart river control or its surroundings. It can be configured to embed and execute one or more artificial intelligence-based water level measurement models that have been learned to detect water level information, water level changes, water level measurement values, and the open/closed state of the water gate 242 according to the water level reach of the water level section.
  • the camera 120 receives information about the type and location of the area of interest received from the user terminals 210_1, 210_2, and 210_3, and executes a water level measurement model based on the received area of interest information, thereby allowing the user to determine the detection target. You can more accurately determine changes in water level within the area of interest set.
  • the camera 120 may transmit a control command signal that can control the height or opening and closing of one or more water gates 242 to the RTU 240 based on the sensed water level change. Accordingly, the RTU 240 can control the height or opening and closing of one or more water gates 242.
  • the user terminals 210_1, 210_2, and 210_3 receive water level change information or open/closed state information of the water gate 242 (e.g., real-time captured video of the water gate 242) received from the camera 120 through the network 220. ) can be output to the user through the user interface.
  • the user terminals 210_1, 210_2, and 210_3 receive the water gate 242 input from the user through the user interface, information on the area of interest set in the vicinity, and the height or opening/closing control command of the water gate 242 through the network 220. It can be transmitted to RTU (240). Accordingly, the RTU 240 can control the height or opening and closing of one or more water gates 242.
  • FIG. 3 is a block diagram showing the internal configuration of a user terminal and an information processing system according to an embodiment of the present disclosure.
  • the user terminal 210 may refer to any computing device capable of wired/wireless communication, for example, a mobile phone or smartphone 210_1, a tablet computer 210_2, and a laptop or desktop computer 210_3 in FIG. 2. It may include etc.
  • the user terminal 210 may include a memory 312, a processor 314, a communication module 316, and an input/output interface 318.
  • information processing system 230 may include memory 332, processor 334, communication module 336, and input/output interface 338. As shown in FIG.
  • the user terminal 210 and the information processing system 230 are configured to communicate information and/or data through the network 220 using respective communication modules 316 and 336. It can be. Additionally, the input/output device 320 may be configured to input information and/or data to the user terminal 210 through the input/output interface 318 or to output information and/or data generated from the user terminal 210.
  • Memories 312 and 332 may include any non-transitory computer-readable recording medium. According to one embodiment, the memories 312 and 332 are non-perishable mass storage devices such as random access memory (RAM), read only memory (ROM), disk drive, solid state drive (SSD), and flash memory. It may include a (permanent mass storage device). As another example, non-perishable mass storage devices such as ROM, SSD, flash memory, disk drive, etc. may be included in the user terminal 210 and/or the information processing system 230 as a separate persistent storage device distinct from memory. .
  • RAM random access memory
  • ROM read only memory
  • SSD solid state drive
  • flash memory it may include a (permanent mass storage device).
  • non-perishable mass storage devices such as ROM, SSD, flash memory, disk drive, etc. may be included in the user terminal 210 and/or the information processing system 230 as a separate persistent storage device distinct from memory. .
  • the memories 312 and 332 include an operating system and at least one program code (e.g., code for learning object information (e.g., foreign matter, letters on a water level gauge, etc.) based on collected images and/or learning images. , a code for performing object recognition through learned object information, a code for measuring the height of the water level in each slice image, a code for averaging the height of the measured water level, etc.) can be stored.
  • code for learning object information e.g., foreign matter, letters on a water level gauge, etc.
  • a code for performing object recognition through learned object information e.g., a code for measuring the height of the water level in each slice image, a code for averaging the height of the measured water level, etc.
  • These software components may be loaded from a computer-readable recording medium separate from the memories 312 and 332.
  • Recording media readable by such a separate computer may include recording media directly connectable to the user terminal 210 and the information processing system 230, for example, floppy drives, disks, tapes, DVD/CD- It may include computer-readable recording media such as ROM drives and memory cards.
  • software components may be loaded into the memories 312 and 332 through the communication modules 316 and 336 rather than computer-readable recording media.
  • at least one program is a computer program installed by files provided through the network 220 by developers or a file distribution system that distributes installation files of applications (e.g., integrated system for smart river control may be loaded into the memories 312 and 332 based on the platform or program).
  • the processors 314 and 334 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. Instructions may be provided to the processors 314 and 334 by memories 312 and 332 or communication modules 316 and 336. For example, the processors 314 and 334 may be configured to execute instructions received according to program codes stored in a recording device such as the memory 312 and 332.
  • the communication modules 316 and 336 may provide a configuration or function for the user terminal 210 and the information processing system 230 to communicate with each other through the network 220, and may provide a configuration or function for the user terminal 210 and/or information processing.
  • the system 230 may provide a configuration or function for communicating with other user terminals or other systems (for example, a separate cloud system, an integrated platform for smart river control, etc.). For example, a request generated by the processor 314 of the user terminal 210 according to a program code stored in a recording device such as the memory 312 (e.g., an image captured by a camera, object recognition information, slice image, etc.
  • a request for water level information measured in, etc. may be transmitted to the information processing system 230 through the network 220 under the control of the communication module 316.
  • a control signal or command provided under the control of the processor 334 of the information processing system 230 is transmitted through the communication module 316 of the user terminal 210 through the communication module 336 and the network 220. It may be received by the user terminal 210.
  • the input/output interface 318 may be a means for interfacing with the input/output device 320.
  • the input device may include devices such as a keyboard, microphone, mouse, and camera including an image sensor
  • the output device may include devices such as a display, speaker, and haptic feedback device.
  • the input/output interface 318 may be a means for interfacing with a device that has components or functions for performing input and output, such as a touch screen, integrated into one. For example, when the processor 314 of the user terminal 210 processes instructions of a computer program loaded in the memory 312, information provided by the information processing system 230 or another user terminal 210 and/or A service screen or user interface constructed using data may be displayed on the display through the input/output interface 318.
  • the input/output device 320 is shown not to be included in the user terminal 210, but the present invention is not limited to this and may be configured as a single device with the user terminal 210. Additionally, the input/output interface 338 of the information processing system 230 may be connected to the information processing system 230 or means for interfacing with a device (not shown) for input or output that the information processing system 230 may include. It can be. In FIG. 3, the input/output interfaces 318 and 338 are shown as elements configured separately from the processors 314 and 334, but the present invention is not limited thereto, and the input/output interfaces 318 and 338 may be configured to be included in the processors 314 and 334. there is.
  • the user terminal 210 and information processing system 230 may include more components than those in FIG. 3 . However, there is no need to clearly show most prior art components. According to one embodiment, the user terminal 210 may be implemented to include at least some of the input/output devices 320 described above. Additionally, the user terminal 210 may further include other components such as a transceiver, a global positioning system (GPS) module, a camera, various sensors, and a database. For example, if the user terminal 210 is a smartphone, it may include components generally included in a smartphone, such as an acceleration sensor, a gyro sensor, a camera module, various physical buttons, and a touch screen. Various components such as buttons using a panel, input/output ports, and a vibrator for vibration may be implemented to be further included in the user terminal 210.
  • GPS global positioning system
  • the processor 314 of the user terminal 210 may be configured to operate an integrated application for smart river control. At this time, code associated with the corresponding application and/or program may be loaded into the memory 312 of the user terminal 210. While the application and/or program is operating, the processor 314 of the user terminal 210 receives information and/or data provided from the input/output device 320 through the input/output interface 318 or through the communication module 316. Information and/or data may be received from the information processing system 230, and the received information and/or data may be processed and stored in memory 312. Additionally, such information and/or data may be provided to the information processing system 230 through the communication module 316.
  • the processor 314 can receive input or selected images through an input device 320 such as a touch screen or keyboard connected to the input/output interface 318.
  • the received image can be stored in the memory 312 or provided to the information processing system 230 through the communication module 316 and the network 220.
  • the processor 314 may receive input for an image (such as an image captured by a camera) through the input device 320.
  • the processor 314 uses an input device 320 to input arbitrary information for displaying or selecting an image, such as whether an object is recognized, water level information according to object recognition, water level information according to the average height of the water level measured in each slice image, etc. It can be received through
  • the processor 314 may receive an input for an image through the input device 320 through the input/output interface 318.
  • the processor 314 displays the water gate through a user interface at least one image including whether an object is recognized, water level information according to the object recognition, and water level information according to the average height of the water level measured in each slice image.
  • Control signals can be received through the input device 320 and the input/output interface 318.
  • the processor 314 determines whether an object is recognized through the image captured by the camera corresponding to the input from the memory 312, water level information according to object recognition, and the average of the water level measured in each slice image.
  • Water level information according to height can be received, and a water gate control signal received through the input device 320 and the input/output interface 318 can be received.
  • a water gate control signal received through the input device 320 and the input/output interface 318 can be received.
  • information is processed through the communication module 316 to determine whether an object is recognized, water level information according to object recognition, water level information according to the average height of the water level measured in each slice image, and a water gate control signal. It can be provided to the system 230.
  • the processor 314 reports whether an object is recognized through an image captured by a camera, water level information according to object recognition, water level information according to the average height of the water level measured in each slice image, and a water control signal to the communication module 316.
  • the information processing system 230 is provided to the information processing system 230, and whether an object is recognized through an image captured by a camera corresponding to a water control signal from the information processing system 230, and water level information according to object recognition is measured from each slice image. It may be configured to receive water level information according to the average height of the water level.
  • the processor 314 outputs the processed information and/or data through an output device such as a display output capable device (e.g., touch screen, display, etc.) and an audio output capable device (e.g., speaker) of the user terminal 210.
  • an output device such as a display output capable device (e.g., touch screen, display, etc.) and an audio output capable device (e.g., speaker) of the user terminal 210.
  • the processor 314 may represent an image captured by a camera received from at least one of the input device 320, memory 312, or information processing system 230, or may represent an object through an image captured by the camera. Water level information according to recognition status and object recognition, and water level information according to the average height of the water level measured in each slice image can be output through the screen of the user terminal 210.
  • the processor 334 of the information processing system 230 may be configured to manage, process, and/or store information and/or data received from a plurality of user terminals, including the user terminal 210, and/or a plurality of external systems. there is. Information and/or data processed by the processor 334 may be provided to the user terminal 210 through the communication module 336. In one embodiment, the processor 334 receives information representing or selecting user setting conditions and/or at least one image from the user terminal 210, memory 332, and/or an external storage device, and/or a memory ( 332) and/or whether an object included in an external storage device is recognized, water level information according to object recognition, and water level information according to the average height of the water level measured in each slice image may be obtained or determined.
  • FIG. 4 is a block diagram 400 showing the internal configuration of the information processing system 230 and the camera 120 according to an embodiment of the present disclosure.
  • the information processing system 230 may include a processor 334 and a memory 332 to learn a water level measurement model for detecting water level changes.
  • the processor 334 may include an image learning unit 460, and the memory 332 may include a collected image 470, a learning image 472, and an object recognition model 474.
  • the collected image 470 and the learning image 472 may be the collected image 470 and the learning image 472 captured through the camera 120 for learning a water level measurement model for detecting water level changes. there is.
  • the object recognition model 474 may be configured to recognize objects (e.g., foreign substances, water level text data, etc.) by learning the collected image 470 and the learning image 472 through the image learning unit 460. there is.
  • the camera 120 saves and executes a water level measurement model learned to detect water level changes, so that the configuration and process of detecting the water level measurement value within the area of interest or area of interest set in and around the water gate can be explained in detail.
  • the camera 120 may be configured to include an image sensor unit 410, a communication module 420, a processor 430, a power unit 440, and a memory 450, as shown in FIG. 4. You can.
  • the communication module 420 transmits the detection result of water level change or floodgate opening/closing status to the information processing system 230 or an external user terminal through the network, or receives data about setting an area of interest, floodgate opening/closing control command, etc. from the user terminal device. It can be configured to do so. According to one embodiment, the communication module 420 may receive information about a preset area of interest or water gate opening/closing control from an external user terminal device.
  • data on the area of interest may include data related to a virtual area of interest or a water level gauge set on an image captured by the camera 120.
  • data on the region of interest may be obtained by converting the image captured by the camera 120 into a slice image in the vertical direction by the control unit and measuring the height of the region of interest for each slice image to determine whether foreign matter is present.
  • it may include data related to calculating the average height of the water level for each slice image, but is not limited to this.
  • data on the area of interest may be related to the range of the target area to be analyzed by the camera 120 based on artificial intelligence, the water level gauge photographed in the area or set within the area, the division and classification of the area according to the water level, etc.
  • a variety of additional information may be included.
  • the communication module 420 can provide the received data to the memory 450, and provide information about the water level change detected by the processor 430 or information analyzed or processed such information to an external user through the network. It may be configured to transmit to a terminal device.
  • the power supply unit 440 may be implemented in the form of a rechargeable secondary battery or battery, and boosts the voltage (Vcc) output from the power supply unit 440 to connect the image sensor unit 410 and the communication module 420 of the camera 120. ), can be supplied to the processor 430 and memory 450.
  • the power supply unit 440 is composed of a plurality of solar cells (SOLAR) that convert solar energy obtained from natural sunlight into electrical energy. The solar energy converted into electrical energy by the solar cells is converted into electrical energy by the camera 120. The battery can be charged. In this way, the electrical energy charged in the battery can be used as driving power for the image sensor unit 410, communication module 420, processor 430, and memory 450.
  • SOLAR solar cells
  • the processors 334 and 430 include at least one of a central processing unit (CPU), a graphic processing unit (GPU), a digital signal processor (DSP), a field programmable gate array (FPGA), and an application specific integrated circuit (ASIC). It may be configured to perform calculation operations and manage, process, and/or store data received from an external device and/or data obtained by analyzing or processing the received data in the memories 332 and 450.
  • CPU central processing unit
  • GPU graphic processing unit
  • DSP digital signal processor
  • FPGA field programmable gate array
  • ASIC application specific integrated circuit
  • the processor 430 may store data about the artificial intelligence-based water level measurement model received from an external device in the memory 450.
  • the water level measurement model stored in the memory 450 may be stored as one or more than one depending on the type of area of interest, water level gauge, and/or water gate (or structure around the water gate) determined by the camera 120. For example, if the camera 120 is set to analyze and detect a type of water gate (or surrounding structure) and an area of interest related thereto, the memory 450 creates a water level measurement model learned to detect the water gate and the area of interest. You can save it.
  • the memory 450 stores all water level measurement models learned to detect each of the plurality of types of floodgates and regions of interest. You can also save it. Additionally or alternatively, the memory 450 converts the image captured by the camera 120 into a vertically divided slice image and measures the average height of the water level for the region of interest for each divided slice image. You can save the learned water level measurement model. For example, when the camera 120 is set to analyze and detect one or more water gates and an area of interest related thereto, the water level measurement model measures the height of the water level on each vertically divided slice image and measures the measured water level. It can be configured to calculate the average height for height.
  • the camera 120 may set the area of interest by designating the area of interest by the user or by recognizing the watermark through the object recognition unit 432. It may be configured to generate a slice image by dividing the image vertically within a set region of interest, measure the height of the water level for each slice image, and calculate the average height for the measured height of the water level.
  • the processor 430 analyzes the image or video captured by the image sensor unit 410 using the water level measurement model stored in the memory 450, and sends the analysis result to an external user terminal device through the communication module 420. Can be transmitted.
  • the water level measurement unit 434 may be configured to calculate the water level for each region of interest learned through the image learning unit 460 and calculate the average water level for each region of interest.
  • the object recognition unit 432 preprocesses and detects objects excluding the water area and the water gate in the area of interest through the image learning unit 460, and converts the detected objects into object data removed from the image (e.g., It may be configured to transmit text data of the water level gauge, foreign matter data, etc.) to the memory 450.
  • the processor 430 detects foreign matter when the height of the region of interest in each of the divided slice images deviates from the preset height area or average height. It can be judged to exist.
  • the water level measurement model stored in the memory 450 and executed by the processor 430 may be learned in advance through a machine learning algorithm.
  • the machine learning algorithm used to learn the water level measurement model is one of machine learning or artificial neural network-based image identification models such as artificial neural network, deep learning, decision tree, etc. It may be, but is not limited to this.
  • the object recognition model 474 in FIG. 4 is shown as being configured in the memory 332 built into the information processing system 230, but it is not limited to this and may be configured in the memory 450 of the camera 120. .
  • FIG. 5 is a diagram illustrating an example of a method 500 for measuring the water level 170 according to the height of each slide image when measuring the water level 170 through an integrated platform for smart river control according to an embodiment of the present disclosure.
  • the illustrated water level measurement method 500 can measure the water level 170 through slice images divided in each vertical direction based on images captured by a camera.
  • the water level measurement method 500 reads the text of the water level gauge 132 displayed on the image based on the image captured by the camera, determines the water level section according to the water level, and determines whether the water gate 160 is opened or closed. You can judge.
  • the water level gauge 173 is installed on one side of the water gate 160 to detect changes in the water level 170, and can be configured to classify the water level into a section of interest, a caution section, or a boundary section according to a preset water level section.
  • the water level measurement method 500 may measure the water level 170 in each slice image. As shown, it can be measured as a first height h1 where the foreign substances 172_1 and 172_2 measured in each slice image are not present, and a second height h2 where the foreign substances 172_1 and 172_2 are present. .
  • the heights (h1, h2) of the water level measured in each slice image are averaged, and the height (h1, h2) of the water level 170 for the region of interest 130 in each slice image exceeds the preset height area or average height. In this case, it may be determined that foreign substances 172_1 and 172_2 exist.
  • the water level is higher than the preset height area or average height. It may be determined that foreign matter (172_1, 172_2) exists in the corresponding slice image measured by (170).
  • this water level measurement method 500 when foreign substances 172_1 and 172_2 are present on surface water (or, water surface), it is possible to prevent the water level 170 from being incorrectly measured as being high.
  • the water level measurement method 500 reads the character of the water level section of the water level gauge 132 corresponding to the water level 170 of the waterway in the water level gauge 132 in the image captured by the camera, and reads the Depending on the text, it is possible to determine whether the water gate is open or closed. For example, as shown, in the image captured by the camera, if the water level section of the water level 170 is a 'section of interest', the object (e.g., 'interest' expressed in letters) is recognized through the object recognition unit. By recognizing it, you can determine whether the water gate is open or closed.
  • FIG. 6 is a diagram showing an example of implementing an integrated platform for smart river control according to another embodiment of the present disclosure.
  • the integrated platform for smart river control includes a plurality of open and close water gates 160, a camera ( 120_1), a second camera 120_2 that monitors the open/closed state of the water gate 160, and an actuator 150 that controls the height or opening/closing of the water gate 160.
  • the first camera 120_1 may be configured to store and execute an artificial intelligence-based water level measurement model and/or an object recognition model learned to detect the water level of structures around the water gate 160.
  • the first camera 120_1 may store and execute a water level measurement model based on an artificial neural network learned to detect the water level of a structure around a water gate that is a detection target (for example, a dam structure adjacent to water).
  • the first camera 120_1 may store and execute an object recognition model based on a human neural network learned to recognize characters on the water level gauge 132 constructed in a structure around the water gate.
  • the first camera 120_1 is implemented to be capable of embedding and executing a water level measurement model and/or an object recognition model learned in advance, so that the first camera 120_1 is installed on the surrounding structure of the water gate and displays it in real time during operation. Changes in water level can be detected effectively.
  • the first camera 120_1 may be equipped with a lens set to specifically capture the region of interest 130. Additionally, the first camera 120_1 may detect changes in the water level included in the input image or video by inputting the captured photographic image or video into the built-in water level measurement model for each frame. For example, the water level detection result by the first camera 120_1 is transmitted to a remote user terminal through a communication unit (not shown), so that the user can be provided with various information and services based on the water level detection result.
  • the first camera 120_1 uses a built-in water level measurement model to detect the water level 170 within the region of interest 130 including at least a portion of the water level 170 and/or the surrounding structures of the water gate 160. ) can be detected or the water level measurement value of the water level gauge 232 included in the area of interest 130 can be determined.
  • the integrated platform for smart river control converts the image captured through the first camera 120_1 into a plurality of slice images in the vertical direction by the control unit, and creates a region of interest 130 for each slice image. ) can be used to determine the presence of foreign matter.
  • the region of interest 130 may represent each region of interest 130 for a slice image.
  • the average water level for each area of interest 130 is calculated. The height to the surface water (or water surface) within each area of interest 130 is measured to calculate the average height to determine whether foreign substances are present. can be judged.
  • the water level 170 of the corresponding area of interest 130 is measured to be high, and in the case of the area of interest 130 where foreign matter does not exist in the waterway, the water level 170 is measured to be high. It may be measured lower than if it existed.
  • the integrated platform for smart river control is configured by the control unit to determine the water level of the water level gauge 132 to which the water level 170 of the waterway corresponds in the water level gauge 132 in the image captured by the first camera 120_1.
  • the text in the section can be read, and it can be determined whether the water gate 160 is open or closed based on the read text. For example, as shown, when the water level 170 is located within the interest section of the water level gauge 132, the character 'interest' displayed on the water level gauge 132 is read, and the water gate 160 is opened and closed according to a preset range. You can judge whether or not.
  • the water level gauge 132 has been described as a physical area installed on one side of the actual water gate 160, but it is not limited to this.
  • the water level gauge 132 may be a virtual water level gauge set on an image or video captured by the camera 120.
  • the camera 120 superimposes the area of interest 130 and the water level gauge 132 on the image or video captured of the water gate 160 or its surroundings, and changes in the water level within the area of interest 130 or the water level gauge 132 ) can detect the water level measurement value measured by .
  • the first camera 120_1 may be configured to control the height or opening and closing of the water gate 160 according to the water level change detected within the area of interest 130 or the water level measurement value measured by the water level gauge 132. You can.
  • the first camera 120_1 may control the height or opening and closing of the water gate 160 by wirelessly or wiredly controlling the actuator 150 according to the detected water level change or water level measurement value. That is, when the camera 120 controls the actuator 150 according to the detected water level change or water level measurement value, the actuator 150 moves the shaft 152 connected to the water gate 160 up and down, thereby controlling the water level of the water gate 160. Height or opening/closing can be adjusted.
  • the first camera 120_1 sends a control command signal for the height or opening/closing of the water gate 160 to a remote terminal unit (RTU (not shown)) connected to the water gate 160 according to the detected water level change or water level measurement value. Can be transmitted.
  • the RTU may drive the actuator 150 to control the height or opening and closing of the water gate 160.
  • the region of interest 130 is set at the water gate 160 or structures surrounding it, but the area of interest 130 is not limited thereto.
  • the region of interest 130 may be set to include at least a portion of the shaft 152 driven by the actuator 150.
  • the first camera 120_1 overlaps the region of interest 130 and the water level gauge 132 on an image or video of at least a portion of the shaft 152, and The degree of up and down movement can be detected.
  • the first camera 120 can detect the current height or open/closed state of the water gate 160 according to the degree of vertical movement of the shaft 152 detected within the region of interest 130.
  • the second camera 120_2 may be configured to monitor the height or open/closed state of one or more of the plurality of water gates 160.
  • the second camera 120_2 may be configured to photograph one of the plurality of water gates 160 under the control of a remote user terminal device or RTU.
  • the second camera 120_2 controls the corresponding water gate ( 160) may be configured to shoot.
  • each of the regions of interest 130_1, 130_2, and 130_3 is shown as a plurality of regions displayed in the horizontal direction, but the area of interest is not limited thereto.
  • the regions of interest (130_1, 130_2, 130_3) shown in FIG. 6 are assumed to be regions of interest (130_1, 130_2, 130_3) for each slice image divided in the horizontal direction, and on the actual image, each of the water gates 160 is displayed. It may be displayed as one area of interest (130_1, 130_2, 130_3).
  • FIG. 6 only one water level gauge 132 is shown, but the present invention is not limited to this, and each water level gauge 132 may be configured on one side of the water gate 160 .
  • FIG. 7 is a diagram illustrating the configuration of an object recognition model learned to generate data on water level measurement and object recognition based on collected images and learning images according to an embodiment of the present disclosure.
  • the image 710 shown in FIG. 7 may be an image collected by a camera and/or a learning image.
  • the image learning unit 460 is an artificial neural network model (1000) trained to extract water level measurement and/or object recognition based on the stored image 710 of the server (e.g., a collected image or a learning image, etc.) ) may include.
  • the image learning unit 460 or the artificial neural network model 1000 used by the image learning unit may be created, stored, or updated by an external computing device and executed by the processor 334 shown in FIG. 3.
  • the image learning unit 460 generates object data 720 and 722 based on information (e.g., collected images or learning images, etc.) previously stored in the memory of the server (e.g., information processing system). ) can be extracted.
  • information e.g., collected images or learning
  • the above-described artificial neural network water level measurement model and/or artificial neural network object recognition model may be implemented as an artificial neural network model 1000.
  • the artificial neural network model 1000 is a statistical learning algorithm implemented based on the structure of a biological neural network or a structure for executing the algorithm in machine learning technology and cognitive science.
  • the artificial neural network model 1000 has nodes, which are artificial neurons that form a network through the combination of synapses, as in a biological neural network, repeatedly adjusting the weights of synapses to determine the correct input corresponding to a specific input.
  • an artificial neural network model with problem-solving capabilities can be represented.
  • the artificial neural network model 1000 may include a random probability model, a neural network model, etc. used in artificial intelligence learning methods such as machine learning and deep learning.
  • the artificial neural network model 1000 can be implemented as a multilayer perceptron (MLP) consisting of multiple layers of nodes and their different connections.
  • the artificial neural network model 1000 according to this embodiment can be implemented using one of various artificial neural network structures including MLP.
  • the artificial neural network model 1000 includes an input layer 1020 that receives an input signal or data 1010 from the outside, and an output layer that outputs an output signal or data 1050 corresponding to the input data ( 1040), located between the input layer 1020 and the output layer 1040, and may be composed of n hidden layers (1030_1 to 1030_n) that receive signals from the input layer 1020, extract characteristics, and transmit them to the output layer 1040.
  • the output layer 1040 can receive signals from the hidden layers 1030_1 to 1030_n and output them to the outside.
  • the learning method of the artificial neural network model (1000) includes a supervised learning method that learns to optimize problem solving by inputting a teacher signal (correct answer), and an unsupervised learning method that does not require a teacher signal. )
  • a method of outputting object data based on collected images and/or external learning images through an artificial intelligence-based mechanical parking lot video integrated control system includes supervised learning and unsupervised learning. And/or semi-supervised learning may be used to train an artificial neural network model 1000 configured to output analysis results from collected image information and/or external learning image information.
  • the artificial neural network model 1000 may be trained to infer object information by receiving a plurality of learning images. The artificial neural network model 1000 learned in this way can output object information to be displayed in at least one image received from the camera.
  • the method of recommending real estate listings according to the user's user setting conditions through an artificial intelligence-based mechanical parking lot video integrated control system includes supervised learning, unsupervised learning, and/or semi-supervised learning.
  • supervised learning Using (Semi-supervised Learning), collected images input by a camera (e.g., images containing a water gate or its surrounding structures, water level images, images containing water level gauge characters, etc.) and learning images (e.g.
  • an artificial neural network model 1000 configured to output analysis results from one or more arrangements of images (images containing a water gate or its surrounding structures, water level images, images containing text of water level gauges, etc.) may be trained.
  • the artificial neural network model 1000 learned in this way can output object data.
  • the input variable of the artificial neural network model 1000 that can output analysis results is a vector data element of one of collected images, learning images, water level data, and object data. It may be a vector 1010 representing a batch containing a set of patches extracted from the collected images, learning images, water level data, and object data. Under this configuration, the output variable may be composed of a result vector 1050 representing the analysis result for the input batch.
  • object information e.g., foreign matter, text data of the water level gauge, etc.
  • recognized water level data e.g., the height of each water level for the slice image, the water level for the slice image
  • An artificial neural network model (1000) is trained to generate water level section information (e.g., average height, etc.) for object data or water level data (e.g., water level section for recognized water level text, water level section for recognized water level data, etc.) It can be.
  • such an input variable may be a vector 1010 composed of vector data elements representing multiple analysis results for multiple batches included in collected images, training images, and sensor data.
  • the output variable may be composed of a collection image, a training image, water level data, and a result vector 1050 representing object information associated with object data, water level data, or water level section information.
  • the artificial neural network model 1000 can be learned to infer the correct output corresponding to a specific input.
  • the correct answer data from the analysis results can be used, and this correct answer data can be obtained as a result of the annotator's annotation work.
  • the characteristics hidden in the input variables of the artificial neural network model (1000) can be identified, and the nodes of the artificial neural network model (1000) can be used to reduce the error between the output variables calculated based on the input variables and the target output. Synapse values (or weights) between them can be adjusted.
  • object information, water level data, or water level section information can be extracted from collected images, learning images, water level data, and object data.
  • object information, water level data, or water level section information according to at least one of collected images, learning images, water level data, and object data can be extracted.
  • the artificial neural network model 1000 can be used to extract object information, water level data, or water level section information according to at least one of collected images, learning images, water level data, and object data.
  • the artificial neural network model 1000 may distinguish water level information and/or object information for each slice image of the collected image and extract them as object data 720 and 722. .
  • the artificial neural network model 1000 measures the water level for each slice image of the collected images based on the collected images and learning images, calculates the average water level on the collected images, and provides information on water level information.
  • Object data 720 and 722 may be extracted and water level section information based on water level information may be extracted to generate object data 720 and 722.
  • the artificial neural network model 1000 extracts character (or object) data recognized through the characters of the water level gauge through an image containing the characters of the water level gauge captured by a camera, based on the collected images and learning images.
  • object data 720 and 722 can be generated by extracting water level section information based on the recognized text data.
  • FIG. 8 is a flowchart showing a water level measurement and water control method using an artificial intelligence-based water level detection camera according to another embodiment of the present disclosure.
  • the smart river integrated control method 800 may begin with a step (S810) of capturing an image of a water gate using a camera.
  • the camera may photograph a floodgate installed within an integrated platform for smart river control or an area of interest around it.
  • the camera may perform preprocessing to remove objects other than the water gate and water area within the area of interest on the captured image (S820).
  • preprocessing of the image involves an artificial neural network trained to identify objects other than the water gate and water area (e.g., water plants, various floating or foreign substances such as trash, letters on the water level gauge, etc.) and measure the height of the water level. can be used, and this artificial neural network can be stored and installed in the camera's storage unit and executed by the control unit.
  • an artificial neural network trained to identify objects other than the water gate and water area (e.g., water plants, various floating or foreign substances such as trash, letters on the water level gauge, etc.) and measure the height of the water level.
  • this artificial neural network can be stored and installed in the camera's storage unit and executed by the control unit.
  • the camera can detect the water level measurement value or water level section within the area of interest by analyzing the preprocessed image (S830). According to one embodiment, the camera can detect the water level measurement value or water level section within the area of interest of the image using an artificial intelligence-based water level measurement model.
  • the water level measurement model is a first artificial neural network model that outputs a water area identification image reflecting the segmentation of the water area based on the collected image, and a water level value based on a region of interest overlaid on the water area identification image. It may include a second artificial neural network model 534.
  • the first artificial neural network model may output a water area identification image reflecting the segmentation of the water area based on the input hydrological image.
  • the first artificial neural network model may perform instance segmentation to distinguish water areas from other areas in the hydrological image and display them as different instances. Additionally, the second artificial neural network model may output a water level value based on the region of interest overlaid on the water region identification image. Additionally, the second artificial neural network model may output a water level value based on the region of interest overlaid on each slice image in which the water region identification image is vertically divided.
  • the water level measurement model can superimpose a virtual region of interest on the water region identification image output from the first artificial neural network model, based on information about the type and location of the virtual region of interest extracted from the memory (or storage unit). there is.
  • the second artificial neural network model can be learned to determine which range of the “interest” level, “caution” level, and “alert” level the current water level falls from the water area identification image with the region of interest overlapping. For example, among the water level levels, the “Concern” level may represent the lowest water level, and the “Alert” level may represent the highest water level.
  • the second artificial neural network model can calculate an association score for a plurality of water level levels using an image or its visual characteristics as input.
  • the second artificial neural network model can be trained to calculate an association score of a plurality of water level levels for an image using learning data extracted from a hydrological image and image database (not shown) with overlapping regions of interest.
  • the water level measurement model may output one or more water level level information associated with the hydrological image based on the calculated correlation scores.
  • the water level measurement model may select and output one or more water level level information that exceeds a predetermined threshold (eg, 0.5) from the water level level classification.
  • the camera may wait to receive a user control command from the user terminal (S840).
  • the camera 120 captures the area of interest set in the water gate 242 or its surrounding structures and transmits the detected water level measurement value or water level detection result to the user terminal ( 210_1, 210_2, 210_3). Afterwards, the camera 120 may wait to receive a user control command for controlling the floodgate 242 or the RTU 240 from the user terminals 210_1, 210_2, and 210_3.
  • the camera may monitor whether the waiting time for receiving a user control command exceeds a predetermined time (t). As a result of monitoring, if the waiting time for receiving the user control command exceeds the predetermined time (t), the camera automatically controls the RTU or the actuator of the water gate based on the detected water level measurement value or water level detection result to increase or decrease the height of the water gate. Opening and closing can be adjusted (S860). On the other hand, if the waiting time for receiving the user control command does not exceed the predetermined time (t) (i.e., when the user control command is received from the user terminal before the predetermined time (t) has elapsed), the camera receives Water gate control can be executed according to the user control command (S870). For example, the user control command may include information about whether the floodgate is open or closed, the height value of the floodgate, etc., which is input by the user through a user interface displayed on the user terminal.
  • setting an area of interest for camera captured images and learning hydrological and water level data through deep learning are used to receive user feedback on the water level measurement value or water level detection result detected by the camera or to automatically control the water gate. By doing so, it is possible to effectively prevent flood damage due to sudden changes in water level, etc.
  • Figure 9 is a diagram illustrating an example of outputting an integrated platform for smart river control according to an embodiment of the present disclosure through a user interface of a user terminal device.
  • the user terminal may output an image or video of the state of the floodgate and its surroundings that are currently captured and monitored by a camera.
  • a virtually set area of interest 910 is displayed in the image output to the user terminal, so that the user can check in real time which water level section within the area of interest 910 the current water level 920 corresponds to.
  • the user terminal may display one or more user interfaces 930 and 940 through which commands regarding opening and closing or height adjustment of the water gate can be input.
  • the user can determine whether to open or close the currently displayed water gate by selecting the 'open' or 'close' button on the user interface 930. For example, when the user selects the 'open' button on the user interface 930, the user terminal transmits the corresponding user control command to the actuator of the RTU or sluice gate through the network, and responds to the user control command of the RTU or sluice gate.
  • the floodgates can be opened accordingly. Additionally, the user can adjust the height of the currently displayed water gate by moving the slide bar of the user interface 940.
  • the user terminal transmits a corresponding user control command to the RTU or the actuator of the sluice through the network
  • the RTU or sluice actuator can adjust the height of the sluice to 65% according to user control commands.
  • water level information (not shown) of the corresponding floodgate may be displayed in real time on a portion of the display of the user terminal.
  • the water level information may display the average water level of the corresponding water gate or information about the water level section corresponding to the average water level in text.
  • FIGS. 10 and 11 are diagrams showing an example of a user interface for setting a virtual water level gauge in a user terminal device for water level measurement and water control through an integrated platform for smart river control according to an embodiment of the present disclosure.
  • the user terminal may output an image or video of the water gate and its surrounding conditions that are currently captured and monitored by a camera.
  • the user can set the location of the region of interest 1120 on the image output to the user terminal. That is, in operation 1110, the user can touch and drag a portion of the region of interest 1120 to change its location to another location on the image.
  • the water level can be measured by dividing the image within the range of the region of interest 1120 and converting it into a slice image.
  • the user touches and drags a portion of the region of interest 1120 through operation 1110 to designate a location to perform water level measurement, and the camera displays divided slices within the region of interest 1120 at the designated location.
  • you can measure the water level corresponding to each slice image.
  • the measured water level is calculated as the average water level, and it can be determined that foreign matter (or floating matter, etc.) exists in the slice image measured at a preset water level range or a water level higher than the average water level.
  • the user sets a virtual area of interest (1120) on the image of the water gate and surrounding conditions captured by the camera using the user terminal and configures it to change its location appropriately, thereby determining the open and closed state of the water gate and the environment around the water gate.
  • the water level section can be appropriately adjusted according to changes.
  • the setting function of the virtual area of interest 1120 it is possible to detect water level changes and control the water gate even for water gates where the water level gauge is not physically displayed.
  • the integrated platform or techniques for smart river control described herein may be implemented by various means. For example, these techniques may be implemented in hardware, firmware, software, or a combination thereof.
  • Those skilled in the art will further appreciate that the various illustrative logical blocks, modules, circuits, and algorithm steps described in connection with the disclosure herein may be implemented in electronic hardware, computer software, or a combination of both.
  • various illustrative components, blocks, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends on the specific application and design constraints imposed on the overall system. Skilled artisans may implement the described functionality in varying ways for each particular application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present disclosure.
  • the processing units used to perform the techniques include one or more ASICs, DSPs, digital signal processing devices (DSPDs), programmable logic devices (PLDs). ), field programmable gate arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, electronic devices, and other electronic units designed to perform the functions described herein. , a computer, or a combination thereof.
  • the various example logical blocks, modules, and circuits described in connection with the disclosure herein may include general-purpose processors, DSPs, ASICs, FPGAs or other programmable logic devices, discrete gate or transistor logic, discrete hardware components, Alternatively, it may be implemented or performed as any combination of those designed to perform the functions described herein.
  • a general-purpose processor may be a microprocessor, but in the alternative, the processor may be any conventional processor, controller, microcontroller, or state machine.
  • a processor may also be implemented as a combination of computing devices, such as a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors in conjunction with a DSP core, or any other such configuration.
  • RAM random access memory
  • ROM read-only memory
  • NVRAM non-volatile random access memory
  • PROM on computer-readable media such as programmable read-only memory (EPROM), electrically erasable PROM (EEPROM), flash memory, compact disc (CD), magnetic or optical data storage devices, etc. It can also be implemented as stored instructions. Instructions may be executable by one or more processors and may cause the processor(s) to perform certain aspects of the functionality described herein.
  • Computer-readable media includes both computer storage media and communication media, including any medium that facilitates transfer of a computer program from one place to another.
  • Storage media may be any available media that can be accessed by a computer.
  • such computer-readable media may include RAM, ROM, EEPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage devices, or the desired program code in the form of instructions or data structures. It can be used to transfer or store data and can include any other media that can be accessed by a computer. Any connection is also properly termed a computer-readable medium.
  • disk and disk include CD, laser disk, optical disk, digital versatile disc (DVD), floppy disk, and Blu-ray disk, where disks are usually They reproduce data magnetically, while discs reproduce data optically using lasers. Combinations of the above should also be included within the scope of computer-readable media.
  • a software module may reside in RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, removable disk, CD-ROM, or any other form of storage medium known.
  • An exemplary storage medium can be coupled to the processor such that the process can read information from or write information to the storage medium.
  • the storage medium may be integrated into the processor.
  • the processor and storage medium may reside within an ASIC.
  • ASIC may exist within the user terminal.
  • the processor and storage medium may exist as separate components in the user terminal.
  • example implementations may refer to utilizing aspects of the presently disclosed subject matter in the context of one or more standalone computer systems, the subject matter is not so limited, but rather may be utilized in conjunction with any computing environment, such as a network or distributed computing environment. It may be implemented as follows. Furthermore, aspects of the presently disclosed subject matter may be implemented in or across multiple processing chips or devices, and storage may be similarly effected across the multiple devices. These devices may include PCs, network servers, and handheld devices.
  • Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. Additionally, computer-readable recording media can be distributed across computer systems connected to a network, so that computer-readable code can be stored and executed in a distributed manner. And, functional programs, codes, and code segments for implementing the embodiments can be easily deduced by programmers in the technical field to which the present invention pertains.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Structural Engineering (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Civil Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Levels Of Liquids Or Fluent Solid Materials (AREA)

Abstract

스마트 하천 관제를 위한 통합 플랫폼에 있어서, 수로를 통한 물의 흐름을 조절하도록 구성된 적어도 하나의 수문의 이미지를 촬영하도록 구성된 카메라, 수문의 높이를 조절할 수 있도록 구성된 액츄에이터 및 카메라에 의해 촬영된 이미지 상에 가상의 관심영역을 중첩하여 설정하고, 각각의 관심영역 내의 수위의 변화를 감지하며, 수위의 변화에 따라 액츄에이터를 제어하는 제어부를 포함하고, 제어부는, 촬영된 이미지를 세로 방향으로 복수 개의 슬라이스 이미지로 변환하고, 슬라이스 이미지 각각에 대해 관심영역의 높이를 측정하여 이물질 존재 여부를 판단한다.

Description

스마트 하천 관제를 위한 통합 플랫폼
본 개시는 스마트 하천 관제를 위한 통합 플랫폼에 관한 것으로, 구체적으로, 인공지능 기반의 수위, 수위계, 이물질 등의 감지 기능이 있는 카메라를 통해 촬영된 이미지를 세로방향으로 복수 개의 슬라이스 이미지로 변환하여, 관심영역(ROI, Region Of Interest) 범위 내 수위를 감지하기 위해 각각의 슬라이스 이미지에서 수위에 대한 평균 높이를 산출하고, 산출된 평균 높이에 의해 수문에 대한 제어를 수행하는 플랫폼에 관한 것이다.
최근 지구 온난화, 엘니뇨 현상 등과 같은 기후 및 환경 변화에 따라, 국지적인 폭우 발생이나 이에 따른 하천 범람과 같은 자연재해가 증가하고 있다. 이러한 기상이변이나 수해에 따른 피해를 감소시키기 위해서, 하천의 본류와 지류 사이에 물의 흐름을 제어하기 위한 수문을 설치하고, 수문의 높이를 조절하는 방법이 사용된다. 이러한 수문의 높이 조절 내지 개폐를 조절하기 위해서는, 수문 주변의 수위를 계측하고 계측된 수위에 대응하는 적절한 수문 조절이 필요하다.
하천의 수위 변화에 따른 수문 제어를 위해서는, 수문 주변의 수위를 사람이 직접 관측하거나 CCTV를 설치하여 원격으로 수문의 개폐 상태와 수위를 감시하는 방법이 사용될 수 있다. 그러나, 이러한 수위 계측 및 수문 제어 방법에는 많은 인력과 비용이 소요되며, 수문 제어와 수문 계측을 담당하는 운영자의 부재 시 급격한 수위 변화에 실시간으로 대응하기 어려운 문제점이 있다.
또한, CCTV를 설치하여 원격으로 수문의 개폐 상태와 수위를 감시하는 방법을 사용함에 있어서, 종래의 수위 계측은 하천에 유입되는 이물질로 인하여 계측에 오류가 발생하거나, 수문 운영과정에서 이물질 끼임이 발생하는 등의 문제점이 있다. 이에 따라, 이물질의 존재 여부를 확인하고 이물질 존재에 따른 새로운 수위 계측 방법이 필요한 실정이다.
본 개시는 상기와 같은 문제점을 해결하기 위해, 인공지능 기반의 수위 감지 카메라를 통해 수위 계측 및 수문 제어를 효율적으로 실행할 수 있는, 스마트 하천 관제를 위한 통합 플랫폼을 제공한다.
본 개시에 따르면, 인공지능 카메라를 통해 촬영된 이미지를 세로방향으로 복수 개의 슬라이스 이미지로 변환하여, 수문 또는 그 주변에 수위 계측이 가능한 관심영역(ROI, Region Of Interest)을 설정하고, 설정된 관심영역 범위 내 수위 변화를 감지하여 실시간으로 수문 제어를 자동 실행할 수 있는 방법 및 시스템이 제공된다.
또한, 본 개시에 따르면, 인공지능 기반의 수위, 수위계, 이물질 등의 감지 기능이 있는 카메라를 통해 촬영된 이미지를 세로방향으로 복수 개의 슬라이스 이미지로 변환하여, 관심영역(ROI, Region Of Interest) 범위 내 수위를 감지하기 위해 각각의 슬라이스 이미지에서 수위에 대한 평균 높이를 산출하고, 산출된 수위의 평균 높이에 기초하여 수문에 대한 제어가 가능하다.
또한, 본 개시에 따르면, 딥러닝 학습을 통하여 수문에 설정된 관심영역, 수위, 이물질 등을 감지 및 분류할 수 있도록 구성된 수위 계측 모델을 수문 주변에 설치된 엣지 카메라에 탑재될 수 있다. 이에 따라, 수문 현장에서 카메라 스스로 수위의 변화, 수문의 높이 또는 개폐 상태 등을 판단하고, 그 판단결과에 따라 수문의 높이 또는 개폐를 자동 제어할 수 있다. 또한, 카메라에 의한 감지 및 판단 결과를 네트워크를 통하여 관리자의 단말 장치에게 알람 또는 푸쉬 형태로 전송하여 보다 효율적인 수해 방지 및 수문 관리가 가능하다.
또한, 본 개시에 따르면, 카메라가 촬영하는 수문 상에 가상의 수위계를 포함하는 관심 영역을 사용자가 설정 가능하게 구성함으로써, 수위계가 표시되지 않은 수문에 대한 수위 계측이 가능하며, 수문 주변의 환경 변화에 따라 가상의 수위계의 위치 또는 측정 범위를 적절히 조절하는 것이 가능하다.
본 개시는 장치 및 방법을 포함한 다양한 방식으로 구현될 수 있다.
본 개시의 일 실시예에 따른, 스마트 하천 관제를 위한 통합 플랫폼에 있어서, 수로를 통한 물의 흐름을 조절하도록 구성된 적어도 하나의 수문의 이미지를 촬영하도록 구성된 카메라, 수문의 높이를 조절할 수 있도록 구성된 액츄에이터 및 카메라에 의해 촬영된 이미지 상에 가상의 관심영역을 중첩하여 설정하고, 각각의 관심영역 내의 수위의 변화를 감지하며, 수위의 변화에 따라 액츄에이터를 제어하는 제어부를 포함하고, 제어부는, 촬영된 이미지를 세로 방향으로 복수 개의 슬라이스 이미지로 변환하고, 슬라이스 이미지 각각에 대해 관심영역의 높이를 측정하여 이물질 존재 여부를 판단한다.
일 실시예에 따른, 스마트 하천 관제를 위한 통합 플랫폼에 있어서, 수위의 변화를 감지하기 위해 수문의 일측면에 설치되어, 기 설정된 수위 구간에 따라 관심구간, 주의구간 또는 경계구간을 구분하도록 구성된 수위계를 더 포함한다.
일 실시예에 따른, 스마트 하천 관제를 위한 통합 플랫폼에 있어서, 제어부는, 카메라에 의해 촬영된 이미지 내의 수위계에서, 수로의 수위가 해당하는 수위계의 수위 구간의 문자를 판독하고, 판독된 문자에 따라 수문의 개폐여부를 판단한다.
일 실시예에 따른, 스마트 하천 관제를 위한 통합 플랫폼에 있어서, 제어부는, 카메라를 통해 수집된 수집 이미지 또는 외부 학습 이미지를 통해 관심영역, 수위 및 객체(예: 수위계(OCR), 이물질)를 감지하도록 인공지능 기반으로 학습된 이미지 학습부를 포함한다.
일 실시예에 따른, 스마트 하천 관제를 위한 통합 플랫폼에 있어서, 제어부는, 이미지 학습부를 통해 학습된 관심영역 각각에 대한 수위를 산출하고, 관심영역 각각에 대한 평균 수위를 산출하도록 구성된 수위 계측부를 포함한다.
일 실시예에 따른, 스마트 하천 관제를 위한 통합 플랫폼에 있어서, 이미지 학습부를 통해 관심영역에서 물 영역 및 수문을 제외한 객체를 감지하도록 전처리 및 감지하고, 감지된 객체를 이미지에서 제거된 객체 데이터(수위계(OCR), 이물질 데이터)를 저장부에 전송하도록 구성된 객체인식부를 포함한다.
일 실시예에 따른, 스마트 하천 관제를 위한 통합 플랫폼에 있어서, 제어부는, 슬라이스 이미지 각각에서 관심영역에 대한 높이를 평균화하고, 슬라이스 이미지 각각에서 관심영역에 대한 높이가 기 설정된 높이 영역 또는 평균 높이를 벗어날 경우, 이물질이 존재하는 것으로 판단한다.
일 실시예에 따른, 스마트 하천 관제를 위한 통합 플랫폼에 있어서, 제어부는, 사용자 단말 장치로 수문의 이미지 및 관심영역에 대한 정보를 전송하고, 사용자 단말 장치로부터 원격 제어가 가능하도록 구성된다.
본 개시의 다른 실시예에 따른, 스마트 하천 관제를 위한 통합 플랫폼을 통합 관제 방법에 있어서, 카메라에 의해, 수로를 통한 물의 흐름을 조절하도록 구성된 적어도 하나의 수문의 이미지를 촬영하는 단계, 제어부에 의해, 이미지 상에 가상의 관심영역을 중첩하여 설정하고, 각각의 관심영역 내의 수위의 변화를 감지하며, 수위의 변화에 따라 수문의 높이를 조절할 수 있도록 구성된 액츄에이터를 제어하는 단계를 포함하고, 제어부에 의해, 촬영된 이미지를 세로 방향으로 복수 개의 슬라이스 이미지로 변환하고, 슬라이스 이미지 각각에 대해 관심영역의 높이를 측정하여 이물질 존재 여부를 판단하는 단계를 포함한다.
일 실시예에 따른, 스마트 하천 관제를 위한 통합 관제 방법에 있어서, 제어부에 의해, 슬라이스 이미지 각각에서 관심영역에 대한 높이를 평균화하고, 슬라이스 이미지 각각에서 관심영역에 대한 높이가 기 설정된 높이 영역 또는 평균 높이를 벗어날 경우, 이물질이 존재하는 것으로 판단하는 단계를 포함한다.
본 개시의 일부 실시예에 따르면, 수문에 설치된 카메라에 해당 수문과 주변 환경에 대해 학습된 인공지능 기반의 수위 감지 모델이 설치되기 때문에, 계측 대상 수문의 환경 변화 또는 목적에 맞게 효율적인 수위 계측 및 수문 제어가 가능하다.
본 개시의 일부 실시예에 따르면, 수문에 설치된 감시 카메라에 의해 감지된 수위 변화를 무선통신을 통해 원거리에서 동작하는 사용자 단말기 또는 스마트폰에 전송함으로써 수문 주변의 수위 변화 및 수문 개폐 상태를 실시간 확인할 수 있어, 수문의 관리가 간편해지면서 효율성이 대폭 향상되는 효과가 있다.
본 개시의 일부 실시예에 따르면, 카메라가 촬영하는 이미지를 세로 방향으로 분할한 슬라이스 이미지를 통해 슬라이스 이미지 상에서 수위 또는 표면수(Surface water)의 높이를 측정하고, 평균 높이를 산출하여 이물질 존재 여부를 확인하여 수위를 계측하기 때문에, 이물질 존재 여부를 확인할 수 있으며, 수위 계측에 대한 정확도가 향상되는 효과가 있다.
도 1은 본 개시의 일 실시예에 따른 스마트 하천 관제를 위한 통합 플랫폼을 실시하는 예시를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 스마트 하천 관제를 위한 통합 플랫폼을 제공하기 위해 카메라, 정보 처리 시스템 및 사용자 단말이 통신 가능하도록 연결된 구성을 나타내는 도면이다.
도 3은 본 개시의 일 실시예에 따른 사용자 단말 및 정보 처리 시스템의 내부 구성을 나타내는 블록도이다.
도 4는 본 개시의 일 실시예에 따른 정보 처리 시스템 및 카메라의 내부 구성을 나타내는 블록도이다.
도 5는 본 개시의 일 실시예에 따라 스마트 하천 관제를 위한 통합 플랫폼을 통한 수위 계측 시 각 슬라이드 이미지의 높이에 따른 수위 계측 방법에 대한 예시를 나타내는 도면이다.
도 6은 본 개시의 다른 실시예에 따른 스마트 하천 관제를 위한 통합 플랫폼을 실시하는 예시를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 수집 이미지 및 학습 이미지를 기반하여 수위 계측 및 이물질 존재 여부에 대한 데이터를 생성하도록 학습된 객체 인식 모델의 구성을 나타내는 도면이다.
도 8은 본 개시의 다른 실시예에 따른 인공지능 기반의 수위 감지 카메라를 통한 수위 계측 및 수문 제어 방법을 나타내는 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 스마트 하천 관제를 위한 통합 플랫폼을 사용자 단말 장치의 사용자 인터페이스를 통해 출력하는 예시를 나타내는 도면이다.
도 10 및 도 11은 본 개시의 일 실시예에 따른 스마트 하천 관제를 위한 통합 플랫폼을 통한 수위 계측 및 수문 제어를 위해, 사용자 단말 장치에서 가상의 수위계를 설정하는 사용자 인터페이스의 예시를 보여주는 도면이다.
이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조 부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 개시에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다.
본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다.
본 개시의 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
본 명세서에서 "A 및/또는 B"의 기재는 A, 또는 B, 또는 A 및 B를 의미한다.
또한, 명세서에서 사용되는 '모듈' 또는 '부'라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '모듈' 또는 '부'는 어떤 역할들을 수행한다. 그렇지만 '모듈' 또는 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '모듈' 또는 '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '모듈' 또는 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 또는 변수들 중 적어도 하나를 포함할 수 있다. 구성요소들과 '모듈' 또는 '부'들은 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '모듈' 또는 '부'들로 결합되거나 추가적인 구성요소들과 '모듈' 또는 '부'들로 더 분리될 수 있다.
도 1은 본 개시의 일 실시예에 따른 스마트 하천 관제를 위한 통합 플랫폼(100)을 실시하는 예시를 나타내는 도면이다. 스마트 하천 관제를 위한 통합 플랫폼(100)은, 개폐 가능한 수문(160), 수문(160)에 설정된 관심영역(130; ROI: Region Of Interest) 범위 내 수위(170)의 변화를 감지하는 카메라(120) 및 수문의 높이 또는 개폐를 조절하는 액츄에이터(150)를 포함할 수 있다. 도시된 바에 따르면, 카메라(120)는, 수로를 통한 물의 흐름을 조절하도록 구성된 적어도 하나의 수문(160)의 이미지를 촬영하도록 구성될 수 있다. 제어부(미도시)에 의해, 카메라(120)에 의해 촬영된 이미지 상에 가상의 관심영역(130)을 중첩하여 설정하고, 관심영역(130) 내의 수위(170)의 변화를 감지하며, 수위(170)의 변화에 따라 액츄에이터(150)를 제어할 수 있다. 수위계(132)는, 수위(170)의 변화를 감지하기 위해 수문의 일측면에 설치되어, 기 설정된 수위 구간에 따라 관심구간, 주의구간 또는 경계구간으로 구분하도록 구성될 수 있다.
일 실시예로, 카메라(120)는 수문(160) 또는 주변 환경의 수위를 감지 가능하도록 학습된 인공지능 기반의 수위 계측 모델 및/또는 객체 인식 모델을 저장 및 실행할 수 있다. 예를 들어, 카메라(120)는, 감지 대상인 특정 수문(160)의 수위를 감지하도록 학습된 인공신경망 기반의 수위 계측 모델을 저장 및/실행할 수 있다. 이와 같이, 카메라(120)가 사전에 학습된 수위 계측 모델 및/또는 객체 인식 모델을 저장 및 실행 가능하도록 구현됨으로써, 카메라(120)가 수문에 설치되어 동작 중에 실시간으로 효율적인 수위의 변화를 감지할 수 있다.
일 실시예로, 카메라(120)는, 특히 관심영역(130)을 촬영 가능하도록 설정된 렌즈를 구비할 수 있다. 또한, 카메라(120)는 촬영된 사진 이미지 또는 동영상을 프레임 별로 내장된 수위 계측 모델에 입력함으로써, 입력된 이미지 또는 동영상에 포함된 수위의 변화를 감지할 수 있다. 카메라(120)에 의한 수위 감지 결과는, 통신부(미도시)를 통해 원격의 사용자 단말에 전송됨으로써, 사용자에게 수위 감지 결과에 기초한 다양한 정보 및 서비스가 제공될 수 있다.
좀 더 구체적으로, 카메라(120)는 내장된 수위 계측 모델을 이용하여 수문(160) 및/또는 수위(170)의 적어도 일부를 포함하는 관심영역(130)내에서 수위(170)를 감지하거나, 관심영역(130) 내에 포함된 수위계의 수위 계측값을 판별할 수 있다.
일 실시예로, 스마트 하천 관제를 위한 통합 플랫폼(100)은, 제어부에 의해, 카메라(120)를 통해 촬영되는 이미지를 세로 방향으로 복수 개의 슬라이스 이미지로 변환하고, 슬라이스 이미지 각각에 대해 관심영역(130)의 높이를 측정하여 이물질(172) 존재 여부를 판단할 수 있다. 도시된 바와 같이, 관심영역(130)은 슬라이스 이미지에 대한 각각의 관심영역(130)을 나타낼 수 있다. 일 예로, 관심영역(130) 각각에 대한 평균 수위(170)를 산출하는데, 각각의 관심영역(130) 내에서 표면수(Surface water; 또는 수표면)까지의 높이를 측정하여 평균 높이를 산출하여 이물질 존재 여부를 판단할 수 있다. 예를 들어, 수로에 이물질(172)이 존재할 경우, 해당 관심영역(130)의 수위(170)는 높은 것으로 측정되고, 수로에 이물질(172)이 존재하지 않는 관심영역(130)의 경우, 수위(170)가 이물질(172)이 존재하는 경우보다 낮게 측정될 수 있다. 수위에 대한 상세한 설명은 도 5에서 후술하도록 한다.
일 실시예로, 스마트 하천 관제를 위한 통합 플랫폼(100)은, 제어부에 의해, 카메라(120)에 의해 촬영된 이미지 내의 수위계(132)에서 수로의 수위(170)가 해당하는 수위계(132)의 수위(170) 구간의 문자를 판독하고, 판독된 문자에 따라 수문(160)의 개폐 여부를 판단할 수 있다. 예를 들어, 도시된 바와 같이, 수위(170)가 수위계(132)의 관심구간 내에 위치하면 수위계(132)에 표시된 문자인 '관심'을 판독하여, 기 설정된 범위에 따른 수문(160)의 개폐 여부를 판단할 수 있다. 한편, 상술된 예시에서 수위계(132)는 실제 수문(160)의 일측에 설치된 물리적인 영역으로 설명하였지만, 이에 한정하지는 않는다. 예를 들어, 수위계(132)는 카메라(120)에 의해 촬영되는 이미지 또는 동영상 상에 설정된 가상의 수위계일 수 있다. 이 경우, 카메라(120)는 수문(160) 또는 그 주변을 촬영한 이미지 또는 영상 위에 관심영역(130) 및 수위계(132)를 중첩한 상태에서 관심영역(130) 내의 수위의 변화 또는 수위계(132)에 의해 측정된 수위 계측 값을 감지할 수 있다.
일 실시예로, 카메라(120)는 관심영역(130) 내에서 감지된 수위 변화 또는 수위계(132)에 의해 측정된 수위 계측 값에 따라 수문(160)의 높이 또는 개폐를 제어하도록 구성될 수 있다. 예를 들어, 카메라(120)는 감지된 수위 변화 또는 수위 계측 값에 따라 액츄에이터(150)를 무선 또는 유선으로 제어함으로써, 수문(160)의 높이 또는 개폐를 제어할 수 있다. 즉, 카메라(120)가 감지된 수위 변화 또는 수위 계측 값에 따라 액츄에이터(150)를 제어하면, 액츄에이터(150)는 수문(160)과 연결된 샤프트(152)를 상하 이동함으로써, 수문(160)의 높이 또는 개폐를 조절할 수 있다. 다른 예에서, 카메라(120)는 감지된 수위 변화 또는 수위 계측 값에 따라 수문(160)의 높이 또는 개폐의 제어 명령 신호를 수문(160)에 연결된 RTU(Remote terminal unit; 미도시)에 전송할 수 있다. 수신된 제어 명령 신호에 따라, RTU는 수문(160)의 높이 또는 개폐를 제어하도록 액츄에이터(150)를 구동할 수 있다. 이와 같이, 카메라(120)에 의해 감지된 수위 변화 또는 수위 계측 값에 따라 수문(160)의 높이 또는 개폐를 자동 제어함으로써, 수문(160)과 연결된 하천 또는 수로의 수위(170)를 효과적으로 조절할 수 있다.
이상 설명한 실시예에서는, 관심영역(130)이 수문(160) 또는 그 주변의 구조물에 설정되었으나, 이에 한정되는 것은 아니다. 예를 들어, 관심영역(130)은 액츄에이터(150)에 의해 구동되는 샤프트(152)의 적어도 일부를 포함하도록 설정할 수도 있다. 이 경우, 카메라(120)는 샤프트(152)의 적어도 일부를 촬영한 이미지 또는 영상 위에 관심영역(130) 및 수위계(132)를 중첩한 상태에서 관심영역(130) 내의 샤프트(152)의 상하 이동 정도를 감지할 수 있다. 카메라(120)는 관심영역(130) 내에서 감지된 샤프트(152)의 상하 이동 정도에 따라 수문(160)의 현재 높이 또는 개폐 상태를 감지할 수 있다.
또한, 도 1은 관심영역(130)이 가로 방향으로 복수 개로 표시된 것으로 도시하였지만, 이에 한정되지 않는다. 도 1에 도시된 관심영역(130)은 가로 방향으로 분할된 슬라이스 이미지 각각에 대한 관심영역(130)으로 가정하여 표시한 것이며, 실제 이미지 상에는 하나의 관심영역(130)으로 표시될 수 있다.
도 2는 본 개시의 일 실시예에 따른 스마트 하천 관제를 위한 통합 플랫폼을 제공하기 위해 카메라, 정보 처리 시스템 및 사용자 단말이 통신 가능하도록 연결된 구성을 나타내는 도면이다. 복수의 사용자 단말(210_1, 210_2, 210_3)은 네트워크(220)를 통해 정보 처리 시스템(230) 및 카메라(120)와 통신할 수 있다. 네트워크(220)는 복수의 사용자 단말(210_1, 210_2, 210_3) 및/또는 카메라(120)와 정보 처리 시스템(230) 사이의 통신이 가능하도록 구성될 수 있다. 네트워크(220)는 설치 환경에 따라, 예를 들어, 이더넷(Ethernet), 유선 홈 네트워크(Power Line Communication), 전화선 통신 장치 및 RS-serial 통신 등의 유선 네트워크(220), 이동통신망, WLAN(Wireless LAN), Wi-Fi, Bluetooth 및 ZigBee 등과 같은 무선 네트워크(220) 또는 그 조합으로 구성될 수 있다. 통신 방식은 제한되지 않으며, 네트워크(220)가 포함할 수 있는 통신망(예를 들어, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망, 위성망 등)을 활용하는 통신 방식 뿐만 아니라 사용자 단말(210_1, 210_2, 210_3) 사이의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(220)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(220)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
도 2에서 휴대폰 또는 스마트폰(210_1), 태블릿 컴퓨터(210_2) 및 랩탑 또는 데스크탑 컴퓨터(210_3)가 스마트 하천 관제를 위한 통합 플랫폼을 제공하는 사용자 인터페이스를 실행하거나 동작하는 사용자 단말의 예로서 도시하였으나, 이에 한정되지 않으며, 사용자 단말(210_1, 210_2, 210_3)은 유선 및/또는 무선 통신이 가능하고, 웹 브라우저, 모바일 브라우저 애플리케이션 또는 스마트 하천 관제를 위한 통합 플랫폼(예를 들어, 프로그램 등)이 설치되어 하천 관제 통합 플랫폼 서비스를 제공하는 사용자 인터페이스가 실행될 수 있는 임의의 컴퓨팅 장치일 수 있다. 예를 들어, 사용자 단말(210_1, 210_2, 210_3)은, 스마트폰, 휴대폰, 내비게이션 단말기, 데스크탑 컴퓨터, 랩탑 컴퓨터, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 컴퓨터, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등을 포함할 수 있다. 또한, 도 2에는 3개의 사용자 단말(210_1, 210_2, 210_3)이 네트워크(220)를 통해 정보 처리 시스템(230)과 통신하는 것으로 도시되어 있으나, 이에 한정되지 않으며, 상이한 수의 사용자 단말이 네트워크(220)를 통해 정보 처리 시스템(230)과 통신하도록 구성될 수도 있다.
일 실시예에 따르면, 스마트 하천 관제를 위한 통합 플랫폼은, 카메라(120)에 의해 촬영된 이미지 상의 이물질 존재 여부, 산출된 수위에 대한 평균 높이, 수위계 수위 구간의 수위 도달 정도에 따른 수위 정보 및 수위 정보에 따른 수위 변화에 기초하여 수문(242)의 제어 및 상태 정보 제공 서비스의 제공과 관련된 컴퓨터 실행 가능한 프로그램 및 데이터를 저장, 제공 및 실행할 수 있는 하나 이상의 서버 장치 및/또는 데이터베이스, 또는 클라우드 컴퓨팅 서비스 기반의 하나 이상의 분산 컴퓨팅 장치 및/또는 분산 데이터베이스를 포함할 수 있다. 예를 들어, 스마트 하천 관제를 위한 통합 플랫폼 또는 인공지능 기반의 수위 감지 카메라(120)는, 유선 또는 무선 네트워크를 통해 다른 장치와 통신할 수 있는 컴퓨팅 장치로서, CPU(central processing unit), GPU(graphic processing unit), DSP(digital signal processor) 등과 같은 처리 장치를 이용하여 연산 동작을 수행할 수 있는 컴퓨팅 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서, 카메라(120)는 촬영된 이미지, 객체(예를 들어, 이물질, 수위계의 문자) 인식 데이터 또는 산출된 수위 데이터를 정보 처리 시스템(230)으로 제공할 수 있다. 정보 처리 시스템(230; 또는 제어부)에 수신된 촬영된 이미지, 객체 인식 데이터 또는 산출된 수위 데이터는 사용자 단말(210_1, 210_2, 210_3)을 통해 모니터링 할 수 있다. 이 때, 사용자 단말(210_1, 210_2, 210_3)은 정보 처리 시스템(230; 또는 제어부)에 의해 카메라(120)를 통해 촬영된 이미지 내의 이물질 존재 여부, 산출된 수위에 대한 평균 높이, 수위계 수위 구간의 수위 도달 정도에 따른 수위 정보를 모니터링하거나, 제어기능을 통한 원격제어를 수행할 수 있다.
도 2에서는 사용자 단말(210_1, 210_2, 210_3)의 각각 또는 카메라(120)와 정보 처리 시스템(230)은 별도로 구성된 요소로서 도시되었으나, 이에 한정되지 않으며, 정보 처리 시스템(230)이 사용자 단말(210_1, 210_2, 210_3)의 각각 또는 카메라(120)에 포함되도록 구성될 수 있다. 이와 달리, 정보 처리 시스템(230)이 입출력 인터페이스를 포함하여, 사용자 단말(210_1, 210_2, 210_3)과의 통신 없이, 카메라(120)를 통해 촬영된 이미지 내의 이물질 존재 여부, 산출된 수위에 대한 평균 높이, 수위계 수위 구간의 수위 도달 정도에 따른 수위 정보를 모니터링하거나, 제어기능을 통한 원격제어를 수행하도록 구성될 수 있다.
카메라(120)는, 스마트 하천 관제를 위한 통합 플랫폼 내에 설치된 수문(242) 또는 그 주변을 포함하는 관심영역을 촬영한 이미지 또는 영상에 기초하여, 이물질 존재 여부, 산출된 수위에 대한 평균 높이, 수위계 수위 구간의 수위 도달 정도에 따른 수위 정보, 수위 변화, 수위 계측 값, 수문(242)의 개폐 상태 등을 감지하도록 학습된 하나 이상의 인공지능 기반의 수위 계측 모델을 내장 및 실행하도록 구성될 수 있다. 카메라(120)는, 사용자 단말(210_1, 210_2, 210_3)로부터 수신된 관심영역의 종류 및 위치에 대한 정보를 수신하고, 수신된 관심영역 정보에 기초하여 수위 계측 모델을 실행함으로써, 사용자가 감지 대상으로 설정한 관심영역 내의 수위 변화를 보다 정확하게 판단할 수 있다.
또한, 카메라(120)는, 감지된 수위 변화에 기초하여, 하나 이상의 수문(242)의 높이 또는 개폐를 제어할 수 있는 제어 명령 신호를 RTU(240)로 전송할 수 있다. 이에 따라, RTU(240)는, 하나 이상의 수문(242)의 높이 또는 개폐를 제어할 수 있다.
한편, 사용자 단말(210_1, 210_2, 210_3)는 네트워크(220)를 통해 카메라(120)로부터 수신된 수위 변화 정보 또는 수문(242)의 개폐 상태 정보(예를 들어, 수문(242)의 실시간 촬영 동영상)를 사용자 인터페이스를 통해 사용자에게 출력할 수 있다. 또한, 사용자 단말(210_1, 210_2, 210_3)는, 사용자 인터페이스를 통해 사용자로부터 입력된 수문(242), 주변에 설정된 관심영역 정보, 수문(242)의 높이 또는 개폐 제어 명령을 네트워크(220)를 통해 RTU(240)로 전송할 수 있다. 이에 따라, RTU(240)는, 하나 이상의 수문(242)의 높이 또는 개폐를 제어할 수 있다.
도 3은 본 개시의 일 실시예에 따른 사용자 단말 및 정보 처리 시스템의 내부 구성을 나타내는 블록도이다. 사용자 단말(210)은 유/무선 통신이 가능한 임의의 컴퓨팅 장치를 지칭할 수 있으며, 예를 들어, 도 2의 휴대폰 또는 스마트폰(210_1), 태블릿 컴퓨터(210_2), 랩탑 또는 데스크톱 컴퓨터(210_3) 등을 포함할 수 있다. 도시된 바와 같이, 사용자 단말(210)은 메모리(312), 프로세서(314), 통신 모듈(316) 및 입출력 인터페이스(318)를 포함할 수 있다. 이와 유사하게, 정보 처리 시스템(230)은 메모리(332), 프로세서(334), 통신 모듈(336) 및 입출력 인터페이스(338)를 포함할 수 있다. 도 3에서 도시된 바와 같이, 사용자 단말(210) 및 정보 처리 시스템(230)은 각각의 통신 모듈(316, 336)을 이용하여 네트워크(220)를 통해 정보 및/또는 데이터를 통신할 수 있도록 구성될 수 있다. 또한, 입출력 장치(320)는 입출력 인터페이스(318)를 통해 사용자 단말(210)에 정보 및/또는 데이터를 입력하거나 사용자 단말(210)로부터 생성된 정보 및/또는 데이터를 출력하도록 구성될 수 있다.
메모리(312, 332)는 비-일시적인 임의의 컴퓨터 판독 가능한 기록매체를 포함할 수 있다. 일 실시예에 따르면, 메모리(312, 332)는 RAM(random access memory), ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 다른 예로서, ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리와는 구분되는 별도의 영구 저장 장치로서 사용자 단말(210) 및/또는 정보 처리 시스템(230)에 포함될 수 있다. 또한, 메모리(312, 332)에는 운영체제와 적어도 하나의 프로그램 코드(예를 들어, 수집 이미지 및/또는 학습 이미지를 기초로 객체 정보(예를 들어, 이물질, 수위계의 문자 등)를 학습하기 위한 코드, 학습된 객체 정보를 통한 객체 인식을 수행하기 위한 코드, 슬라이스 이미지 각각에서 수위의 높이를 계측하는 코드, 계측된 수위의 높이를 평균화를 수행하는 코드 등)가 저장될 수 있다.
이러한 소프트웨어 구성요소들은 메모리(312, 332)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 이러한 사용자 단말(210) 및 정보 처리 시스템(230)에 직접 연결 가능한 기록 매체를 포함할 수 있는데, 예를 들어, 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 예로서, 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(316, 336)을 통해 메모리(312, 332)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 애플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 네트워크(220)를 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램(예를 들어, 스마트 하천 관제를 위한 통합 플랫폼 또는 프로그램)에 기반하여 메모리(312, 332)에 로딩될 수 있다.
프로세서(314, 334)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(312, 332) 또는 통신 모듈(316, 336)에 의해 프로세서(314, 334)로 제공될 수 있다. 예를 들어, 프로세서(314, 334)는 메모리(312, 332)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 모듈(316, 336)은 네트워크(220)를 통해 사용자 단말(210)과 정보 처리 시스템(230)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있으며, 사용자 단말(210) 및/또는 정보 처리 시스템(230)이 다른 사용자 단말 또는 다른 시스템(일례로 별도의 클라우드 시스템, 스마트 하천 관제를 위한 통합 플랫폼 등)과 통신하기 위한 구성 또는 기능을 제공할 수 있다. 일례로, 사용자 단말(210)의 프로세서(314)가 메모리(312) 등과 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청(예를 들어, 카메라에 의해 촬영된 이미지, 객체 인식 정보, 슬라이스 이미지 각각에서 계측된 수위 정보 등을 요청 등)은 통신 모듈(316)의 제어에 따라 네트워크(220)를 통해 정보 처리 시스템(230)으로 전달될 수 있다. 역으로, 정보 처리 시스템(230)의 프로세서(334)의 제어에 따라 제공되는 제어 신호나 명령이 통신 모듈(336)과 네트워크(220)를 거쳐 사용자 단말(210)의 통신 모듈(316)을 통해 사용자 단말(210)에 수신될 수 있다.
입출력 인터페이스(318)는 입출력 장치(320)와의 인터페이스를 위한 수단일 수 있다. 일 예로서, 입력 장치는 키보드, 마이크로폰, 마우스, 이미지 센서를 포함한 카메라 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커, 햅틱 피드백 디바이스(haptic feedback device) 등과 같은 장치를 포함할 수 있다. 다른 예로, 입출력 인터페이스(318)는 터치스크린 등과 같이 입력과 출력을 수행하기 위한 구성 또는 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 사용자 단말(210)의 프로세서(314)가 메모리(312)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 정보 처리 시스템(230)이나 다른 사용자 단말(210)이 제공하는 정보 및/또는 데이터를 이용하여 구성되는 서비스 화면이나 사용자 인터페이스가 입출력 인터페이스(318)를 통해 디스플레이에 표시될 수 있다.
도 3에서는 입출력 장치(320)가 사용자 단말(210)에 포함되지 않도록 도시되어 있으나, 이에 한정되지 않으며, 사용자 단말(210)과 하나의 장치로 구성될 수 있다. 또한, 정보 처리 시스템(230)의 입출력 인터페이스(338)는 정보 처리 시스템(230)과 연결되거나 정보 처리 시스템(230)이 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 도 3에서는 입출력 인터페이스(318, 338)가 프로세서(314, 334)와 별도로 구성된 요소로서 도시되었으나, 이에 한정되지 않으며, 입출력 인터페이스(318, 338)가 프로세서(314, 334)에 포함되도록 구성될 수 있다.
사용자 단말(210) 및 정보 처리 시스템(230)은 도 3의 구성요소들보다 더 많은 구성요소들을 포함할 수 있다. 그러나, 대부분의 종래 기술적 구성요소들을 명확하게 도시할 필요성은 없다. 일 실시예에 따르면, 사용자 단말(210)은 상술된 입출력 장치(320) 중 적어도 일부를 포함하도록 구현될 수 있다. 또한, 사용자 단말(210)은 트랜시버(transceiver), GPS(Global Positioning system) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수 있다. 예를 들어, 사용자 단말(210)이 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 구성요소를 포함할 수 있으며, 예를 들어, 가속도 센서, 자이로 센서, 카메라 모듈, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 사용자 단말(210)에 더 포함되도록 구현될 수 있다.
일 실시예에 따르면, 사용자 단말(210)의 프로세서(314)는 스마트 하천 관제를 위한 통합 어플리케이션 등이 동작하도록 구성될 수 있다. 이 때, 해당 어플리케이션 및/또는 프로그램과 연관된 코드가 사용자 단말(210)의 메모리(312)에 로딩될 수 있다. 어플리케이션 및/또는 프로그램이 동작되는 동안에, 사용자 단말(210)의 프로세서(314)는 입출력 장치(320)로부터 제공된 정보 및/또는 데이터를 입출력 인터페이스(318)를 통해 수신하거나 통신 모듈(316)을 통해 정보 처리 시스템(230)으로부터 정보 및/또는 데이터를 수신할 수 있으며, 수신된 정보 및/또는 데이터를 처리하여 메모리(312)에 저장할 수 있다. 또한, 이러한 정보 및/또는 데이터는 통신 모듈(316)을 통해 정보 처리 시스템(230)에 제공할 수 있다.
스마트 하천 관제를 위한 통합 어플리케이션 등을 위한 프로그램이 동작되는 동안에, 프로세서(314)는 입출력 인터페이스(318)와 연결된 터치 스크린, 키보드 등의 입력 장치(320)를 통해 입력되거나 선택된 이미지 등을 수신할 수 있으며, 수신된 이미지를 메모리(312)에 저장하거나 통신 모듈(316) 및 네트워크(220)를 통해 정보 처리 시스템(230)에 제공할 수 있다. 예를 들어, 프로세서(314)는 이미지(카메라에 의해 촬영된 이미지 등)에 대한 입력을 입력 장치(320)를 통해 수신할 수 있다. 추가적으로, 프로세서(314)는 객체 인식 여부 및 객체 인식에 따른 수위 정보, 슬라이스 이미지 각각에서 계측된 수위의 평균 높이에 따른 수위 정보 등에 대한 이미지를 나타내거나 선택하는 임의의 정보를 입력 장치(320)를 통해 수신할 수 있다.
일 실시예에 따르면, 프로세서(314)는 입력 장치(320)를 통한, 이미지에 대한 입력을 입출력 인터페이스(318)를 통해 수신할 수 있다. 다른 실시예에 따르면, 프로세서(314)는 객체 인식 여부 및 객체 인식에 따른 수위 정보, 슬라이스 이미지 각각에서 계측된 수위의 평균 높이에 따른 수위 정보를 포함하는 적어도 하나의 이미지를 사용자 인터페이스를 통해 수문을 제어하는 신호를 입력 장치(320) 및 입출력 인터페이스(318)를 통해 수신할 수 있다. 여기서, 프로세서(314)는 이러한 입력에 응답하여, 메모리(312)로부터 입력에 대응하는 카메라에 의해 촬영된 이미지를 통해 객체 인식 여부 및 객체 인식에 따른 수위 정보, 슬라이스 이미지 각각에서 계측된 수위의 평균 높이에 따른 수위 정보를 수신하고, 입력 장치(320) 및 입출력 인터페이스(318)를 통해 수신된 수문 제어신호를 수신할 수 있다. 이렇게 수신된 카메라에 의해 촬영된 이미지를 통해 객체 인식 여부 및 객체 인식에 따른 수위 정보, 슬라이스 이미지 각각에서 계측된 수위의 평균 높이에 따른 수위 정보 및 수문 제어신호를 통신 모듈(316)을 통해 정보 처리 시스템(230)에 제공할 수 있다. 이와 달리, 프로세서(314)는 카메라에 의해 촬영된 이미지를 통해 객체 인식 여부 및 객체 인식에 따른 수위 정보, 슬라이스 이미지 각각에서 계측된 수위의 평균 높이에 따른 수위 정보 및 수문 제어신호를 통신 모듈(316)을 통해 정보 처리 시스템(230)에 제공하고, 정보 처리 시스템(230)으로부터 수문 제어신호에 대응하는 카메라에 의해 촬영된 이미지를 통해 객체 인식 여부 및 객체 인식에 따른 수위 정보, 슬라이스 이미지 각각에서 계측된 수위의 평균 높이에 따른 수위 정보를 수신하도록 구성될 수 있다.
프로세서(314)는 사용자 단말(210)의 디스플레이 출력 가능 장치(예: 터치 스크린, 디스플레이 등), 음성 출력 가능 장치(예: 스피커) 등의 출력 장치를 통해 처리된 정보 및/또는 데이터를 출력하도록 구성될 수 있다. 예를 들면, 프로세서(314)는 입력 장치(320), 메모리(312) 또는 정보 처리 시스템(230) 중 적어도 하나로부터 수신된 카메라에 의해 촬영된 이미지를 나타내거나, 카메라에 의해 촬영된 이미지 통해 객체 인식 여부 및 객체 인식에 따른 수위 정보, 슬라이스 이미지 각각에서 계측된 수위의 평균 높이에 따른 수위 정보를 사용자 단말(210)의 화면을 통해 출력할 수 있다.
정보 처리 시스템(230)의 프로세서(334)는 사용자 단말(210)을 포함한 복수의 사용자 단말 및/또는 복수의 외부 시스템으로부터 수신된 정보 및/또는 데이터를 관리, 처리 및/또는 저장하도록 구성될 수 있다. 프로세서(334)에 의해 처리된 정보 및/또는 데이터는 통신 모듈(336)을 통해 사용자 단말(210)에 제공할 수 있다. 일 실시예에서, 프로세서(334)는 사용자 단말(210), 메모리(332) 및/또는 외부 저장 장치로부터 사용자 설정 조건을 나타내거나 선택하는 정보, 및/또는 적어도 하나의 이미지를 수신하고, 메모리(332) 및/또는 외부 저장 장치에 포함된 객체 인식 여부 및 객체 인식에 따른 수위 정보, 슬라이스 이미지 각각에서 계측된 수위의 평균 높이에 따른 수위 정보를 획득하거나 결정할 수 있다.
도 4는 본 개시의 일 실시예에 따른 정보 처리 시스템(230) 및 카메라(120)의 내부 구성을 나타내는 블록도(400)이다. 정보 처리 시스템(230)은, 수위 변화 감지를 위한 수위 계측 모델의 학습을 위해 프로세서(334) 및 메모리(332)를 포함할 수 있다. 프로세서(334)는 이미지 학습부(460)를 포함할 수 있으며, 메모리(332)는 수집 이미지(470), 학습 이미지(472) 및 객체 인식 모델(474)을 포함할 수 있다. 수집 이미지(470) 및 학습 이미지(472)는, 수위 변화 감지를 위한 수위 계측 모델의 학습을 위해, 카메라(120)를 통해 촬영된 수집 이미지(470) 및 학습을 위한 학습 이미지(472)일 수 있다. 객체 인식 모델(474)은, 이미지 학습부(460)를 통해 수집 이미지(470) 및 학습 이미지(472)를 학습하여, 객체(예를 들어, 이물질, 수위계 문자 데이터 등)를 인식하도록 구성될 수 있다.
카메라(120)는, 수위 변화 감지가 가능하도록 학습된 수위 계측 모델을 저장 및 실행함으로써, 수문 및 그 주변에 설정된 관심영역 또는 관심영역 내 수위 계측 값을 감지하는 구성 및 과정에 대해서 상세히 설명될 수 있다. 일 실시예에서, 카메라(120)는 도 4세 도시된 바와 같이, 이미지 센서부(410), 통신 모듈(420), 프로세서(430), 전원부(440) 및 메모리(450)를 포함하도록 구성될 수 있다.
통신 모듈(420)은 네트워크를 통해 수위 변화 또는 수문 개폐 상태의 감지 결과를 정보 처리 시스템(230) 또는 외부 사용자 단말로 전송하거나, 사용자 단말 장치로부터 관심영역 설정, 수문 개폐 제어 명령 등에 대한 데이터를 수신하도록 구성될 수 있다. 일 실시예에 따르면, 통신 모듈(420)은 미리 설정된 관심영역 또는 수문 개폐 제어에 대한 외부 사용자 단말 장치로부터 수신할 수 있다. 여기서 관심영역에 대한 데이터는, 카메라(120)에 의해 촬영되는 이미지 상에 설정되는 가상의 관심영역 또는 수위계 등과 관련된 데이터를 포함할 수 있다. 추가적으로 또는 대안적으로, 관심영역에 대한 데이터는, 카메라(120)에 의해 촬영되는 이미지를 제어부에 의해 세로 방향으로 슬라이스 이미지로 변환하고, 슬라이스 이미지 각각에 대해 관심영역의 높이를 측정하여 이물질 존재 여부 또는 각각의 슬라이스 이미지에 대한 수위의 평균 높이를 산출 등과 관련된 데이터를 포함할 수 있으나, 이에 한정되지 않는다. 예를 들어, 관심영역에 대한 데이터는, 카메라(120)가 인공지능 기반으로 분석할 대상 영역의 범위, 해당 영역에 촬영된 또는 해당 영역 내에 설정된 수위계, 수위에 따른 해당 영역의 구분과 분류 등과 관련된 다양한 정보를 더 포함할 수 있다. 또한, 통신 모듈(420)은 수신한 데이터를 메모리(450)로 제공할 수 있고, 프로세서(430)에 의해 감지된 수위 변화에 대한 정보 또는 그러한 정보를 분석 또는 가공한 정보를 네트워크를 통해 외부 사용자 단말 장치로 송신하도록 구성될 수 있다.
전원부(440)는, 충전 가능한 2차 전지 또는 배터리 형태로 구현될 수 있으며, 전원부(440)에서 출력되는 전압(Vcc)을 승압시켜 카메라(120)의 이미지 센서부(410), 통신 모듈(420), 프로세서(430) 및 메모리(450)로 공급할 수 있다. 일 실시예에서, 전원부(440)는 자연광으로부터 획득한 태양열 에너지를 전기 에너지로 변환시키는 다수의 태양전지(SOLAR)로 구성되어 있는데, 태양전지에 의해 전기 에너지로 변환된 태양열 에너지는 카메라(120) 배터리에 충전될 수 있다. 이와 같이, 배터리에 충전된 전기 에너지가 이미지 센서부(410), 통신 모듈(420), 프로세서(430) 및 메모리(450)의 구동전원으로 사용하게 될 수 있다.
프로세서(334, 430)는 CPU(central processing unit), GPU(graphic processing unit), DSP(digital signal processor), FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit) 중 적어도 하나를 포함하여 임의의 연산 동작을 수행하고, 외부 장치로부터 수신된 데이터 및/또는 수신된 데이터를 분석 또는 가공한 데이터를 관리, 처리 및/또는 메모리(332, 450)에 저장하도록 구성될 수 있다.
프로세서(430)는 외부 장치로부터 수신한 인공지능 기반의 수위 계측 모델에 대한 데이터를 메모리(450)에 저장할 수 있다. 메모리(450)에 저장된 수위 계측 모델은, 카메라(120)에 의해 판별되는 관심영역, 수위계 및/또는 수문(또는, 수문 주변 구조물)의 종류에 따라 하나 또는 복수 개로 저장될 수 있다. 예를 들어, 카메라(120)가 한 종류의 수문(또는 주변 구조물)과 이와 관련된 관심영역을 분석 및 감지하도록 설정된 경우, 메모리(450)는 해당 수문 및 관심영역을 감지하도록 학습된 수위 계측 모델을 저장할 수 있다. 다른 예에서, 카메라(120)가 복수의 종류의 수문과 이와 관련된 관심영역을 분석 및 감지하도록 설정된 경우, 메모리(450)는 복수 종류의 수문과 관심영역 각각을 감지하도록 학습된 수위 계측 모델을 모두 저장할 수도 있다. 추가적으로 또는 대안적으로, 메모리(450)는, 카메라(120)에 의해 촬영되는 이미지를 세로 방향으로 분할된 슬라이스 이미지로 변환되어, 분할된 슬라이스 이미지 각각에 대한 관심영역에 대한 수위의 평균 높이를 계측하도록 학습된 수위 계측 모델을 저장할 수 있다. 예를 들어, 카메라(120)가 하나 이상의 수문과 이와 관련된 관심영역을 분석 및 감지하도록 설정된 경우, 수위 계측 모델은 세로 방향으로 분할된 각각의 슬라이스 이미지 상에서 수위의 높이를 계측하고, 계측된 수위의 높이에 대한 평균 높이를 산출하도록 구성될 수 있다. 다른 예로, 카메라(120)는 사용자에 의해 관심영역이 지정되거나 객체 인식부(432)를 통해 수문을 인식하여 관심영역을 설정할 수 있다. 설정된 관심영역 내에서 이미지를 세로 방향으로 분할하여 슬라이스 이미지를 생성하고, 각각의 슬라이스 이미지에 대한 수위의 높이를 계측하고, 계측된 수위의 높이에 대한 평균 높이를 산출하도록 구성될 수 있다.
프로세서(430)는 이미지 센서부(410)에 의해 촬영된 이미지 또는 영상을 메모리(450)에 저장된 수위 계측 모델을 이용하여 분석하고, 해당 분석 결과를 통신 모듈(420)을 통해 외부 사용자 단말 장치로 전송할 수 있다.
프로세서(430)에서, 수위 계측부(434)는 이미지 학습부(460)를 통해 학습된 관심영역 각각에 대한 수위를 산출하고, 관심영역 각각에 대한 평균 수위를 산출하도록 구성될 수 있다. 또한, 객체 인식부(432)는 이미지 학습부(460)를 통해 관심영역에서 물 영역 및 수문을 제외한 객체를 감지하도록 전처리 및 감지하고, 감지된 객체를 이미지에서 제거된 객체 데이터(예를 들어, 수위계의 문자 데이터, 이물질 데이터 등)를 메모리(450)에 전송하도록 구성될 수 있다. 일 실시예로, 객체 인식부(432) 및 수위 계측부(434)를 통해, 프로세서(430)는 분할된 슬라이스 이미지 각각에서 관심영역에 대한 높이가 기 설정된 높이 영역 또는 평균 높이를 벗어날 경우, 이물질이 존재하는 것으로 판단할 수 있다.
메모리(450)에 저장되어 프로세서(430)에 의해 실행되는 수위 계측 모델은, 머신러닝 알고리즘을 통해 미리 학습될 수 있다. 수위 계측 모델을 학습하는데 사용되는 머신러닝 알고리즘은, 인공 신경 회로망(Artificial Neural Network), 딥러닝(Deep Learning), 의사 결정 트리(Decision Tree) 등과 같은 기계학습 또는 인공신경망 기반의 이미지 식별 모델 중 하나일 수 있으나, 이에 한정되지 않는다.
한편, 도 4의 객체 인식 모델(474)은 정보 처리 시스템(230)에 내장된 메모리(332)에 구성된 것으로 도시하였지만, 이에 한정하지 않으며, 카메라(120)의 메모리(450)에 구성될 수 있다.
도 5는 본 개시의 일 실시예에 따라 스마트 하천 관제를 위한 통합 플랫폼을 통한 수위(170) 계측 시 각 슬라이드 이미지의 높이에 따른 수위(170) 계측 방법(500)에 대한 예시를 나타내는 도면이다. 도시된 수위 계측 방법(500)은, 카메라에 의해 촬영된 이미지를 기초로 각각의 세로 방향으로 분할된 슬라이스 이미지를 통해 수위(170)를 계측할 수 있다. 또한, 수위 계측 방법(500)은, 카메라에 의해 촬영된 이미지를 기초로 이미지 상에 표시되는 수위계(132)의 문자를 판독하여, 수위에 따른 수위 구간을 결정 및 수문(160)의 개폐여부를 판단할 수 있다. 여기서, 수위계(173)는 수위(170)의 변화를 감지하기 위해 수문(160)의 일측면에 설치되어, 기 설정된 수위 구간에 따라 관심구간, 주의구간 또는 경계구간으로 구분하도록 구성될 수 있다.
일 실시예로, 수위 계측 방법(500)은, 슬라이스 이미지 각각에서 수위(170)를 계측할 수 있다. 도시된 바와 같이, 각각의 슬라이스 이미지에서 계측된 이물질(172_1, 172_2)이 존재하지 않는 제1 높이(h1)와, 이물질(172_1, 172_2)이 존재하는 제2 높이(h2)로 계측될 수 있다. 슬라이스 이미지 각각에서 계측된 수위의 높이(h1, h2)를 평균화하고, 슬라이스 이미지 각각에서 관심영역(130)에 대한 수위(170)의 높이(h1, h2)가 기 설정된 높이 영역 또는 평균 높이를 벗어날 경우, 이물질(172_1, 172_2)이 존재하는 것으로 판단할 수 있다. 예를 들어, 슬라이스 이미지 각각에서 관심영역(130)에 대한 수위(170)의 높이 평균 높이(h1, h2)가 기 설정된 높이 영역 또는 평균 높이보다 높을 경우, 기 설정된 높이 영역 또는 평균 높이보다 높은 수위(170)로 계측된 해당 슬라이스 이미지에 이물질(172_1, 172_2)가 존재하는 것으로 판단할 수 있다. 이러한 수위 계측 방법(500)을 통해, 표면수(Surface water; 또는, 수표면) 상에 이물질(172_1, 172_2)이 존재하는 경우, 수위(170)가 높은 것으로 오계측되는 것을 방지할 수 있다.
일 실시예로, 수위 계측 방법(500)은, 카메라에 의해 촬영된 이미지 내의 수위계(132)에서, 수로의 수위(170)가 해당하는 수위계(132)의 수위 구간의 문자를 판독하고, 판독된 문자에 따라 수문의 개폐여부를 판단할 수 있다. 예를 들어, 도시된 바와 같이, 카메라에 의해 촬영된 이미지 상에서, 수위(170)의 수위 구간이 '관심구간'일 경우, 객체 인식부를 통해 객체(예를 들어, 문자로 표기된'관심')를 인식하여 수문의 개폐여부를 판단할 수 있다.
도 6은 본 개시의 다른 실시예에 따른 스마트 하천 관제를 위한 통합 플랫폼을 실시하는 예시를 나타내는 도면이다. 스마트 하천 관제를 위한 통합 플랫폼은, 개폐 가능한 복수 개의 수문(160), 복수 개의 수문(160)에 각각에 설정된 관심영역(130_1, 130_2, 130_3) 범위 내 수위(170)의 변화를 감지하는 카메라(120_1), 수문(160)의 개폐 상태를 감시하는 제2 카메라(120_2) 및 수문(160)의 높이 또는 개폐를 조절하는 액츄에이터(150)를 포함할 수 있다.
도시된 바에 따르면, 제1 카메라(120_1)는, 수문(160) 주변의 구조물의 수위를 감지 가능하도록 학습된 인공지능 기반의 수위 계측 모델 및/또는 객체 인식 모델을 저장 및 실행하도록 구성될 수 있다. 예를 들어, 제1 카메라(120_1)는, 감지 대상인 수문 주변 구조물(예를 들어, 물과 인접한 댐의 구조물)의 수위를 감지하도록 학습된 인공신경망 기반의 수위 계측 모델을 저장 및 실행할 수 있다. 또한, 제1 카메라(120_1)는, 수문 주변 구조물에 구성된 수위계(132)의 문자를 인식하도록 학습된 인경신경망 기반의 객체 인식 모델을 저장 및 실행할 수 있다. 이와 같이, 제1 카메라(120_1)가 사전에 학습된 수위 계측 모델 및/또는 객체 인식 모델을 내장 및 실행 가능하도록 구현됨으로써, 제1 카메라(120_1)가 수문의 주변 구조물에 설치되어 동작 중에 실시간으로 효율적인 수위의 변화를 감지할 수 있다.
일 실시예로, 제1 카메라(120_1)는, 특히 관심영역(130)을 촬영 가능하도록 설정된 렌즈를 구비할 수 있다. 또한, 제1 카메라(120_1)는, 촬영된 사진 이미지 또는 동영상을 프레임 별로 내장된 수위 계측 모델에 입력함으로써, 입력된 이미지 또는 동영상에 포함된 수위의 변화를 감지할 수 있다. 예를 들어, 제1 카메라(120_1)에 의한 수위 감지 결과는, 통신부(미도시)를 통해 원격의 사용자 단말에 전송됨으로써, 사용자에게 수위 감지 결과에 기초한 다양한 정보 및 서비스가 제공될 수 있다.
좀 더 구체적으로, 제1 카메라(120_1)는 내장된 수위 계측 모델을 이용하여 수문(160)의 주변 구조물 및/또는 수위(170)의 적어도 일부를 포함하는 관심영역(130) 내에서 수위(170)를 감지하거나 관심영역(130) 내에 포함된 수위계(232)의 수위 계측 값을 판별할 수 있다.
일 실시예로, 스마트 하천 관제를 위한 통합 플랫폼은, 제어부에 의해, 제1 카메라(120_1)를 통해 촬영되는 이미지를 세로 방향으로 복수 개의 슬라이스 이미지로 변환하고, 슬라이스 이미지 각각에 대해 관심영역(130)의 높이를 측정하여 이물질 존재 여부를 판단할 수 있다. 도시된 바와 같이, 관심영역(130)은 슬라이스 이미지에 대한 각각의 관심영역(130)을 나타낼 수 있다. 일 예로, 관심영역(130) 각각에 대한 평균 수위를 산출하는데, 각각의 관심영역(130) 내에서 표면수(Surface water; 또는 수표면)까지의 높이를 측정하여 평균 높이를 산출하여 이물질 존재 여부를 판단할 수 있다. 예를 들어, 수로에 이물질이 존재할 경우, 해당 관심영역(130)의 수위(170)는 높은 것으로 측정되고, 수로에 이물질이 존재하지 않는 관심영역(130)의 경우, 수위(170)가 이물질이 존재하는 경우보다 낮게 측정될 수 있다.
일 실시예로, 스마트 하천 관제를 위한 통합 플랫폼은, 제어부에 의해, 제1 카메라(120_1)에 의해 촬영된 이미지 내의 수위계(132)에서 수로의 수위(170)가 해당하는 수위계(132)의 수위(170) 구간의 문자를 판독하고, 판독된 문자에 따라 수문(160)의 개폐 여부를 판단할 수 있다. 예를 들어, 도시된 바와 같이, 수위(170)가 수위계(132)의 관심구간 내에 위치하면 수위계(132)에 표시된 문자인 '관심'을 판독하여, 기 설정된 범위에 따른 수문(160)의 개폐 여부를 판단할 수 있다. 한편, 상술된 예시에서 수위계(132)는 실제 수문(160)의 일측에 설치된 물리적인 영역으로 설명하였지만, 이에 한정하지는 않는다. 예를 들어, 수위계(132)는 카메라(120)에 의해 촬영되는 이미지 또는 동영상 상에 설정된 가상의 수위계일 수 있다. 이 경우, 카메라(120)는 수문(160) 또는 그 주변을 촬영한 이미지 또는 영상 위에 관심영역(130) 및 수위계(132)를 중첩한 상태에서 관심영역(130) 내의 수위의 변화 또는 수위계(132)에 의해 측정된 수위 계측 값을 감지할 수 있다.
일 실시예로, 제1 카메라(120_1)는 관심영역(130) 내에서 감지된 수위 변화 또는 수위계(132)에 의해 측정된 수위 계측 값에 따라 수문(160)의 높이 또는 개폐를 제어하도록 구성될 수 있다. 예를 들어, 제1 카메라(120_1)는 감지된 수위 변화 또는 수위 계측 값에 따라 액츄에이터(150)를 무선 또는 유선으로 제어함으로써, 수문(160)의 높이 또는 개폐를 제어할 수 있다. 즉, 카메라(120)가 감지된 수위 변화 또는 수위 계측 값에 따라 액츄에이터(150)를 제어하면, 액츄에이터(150)는 수문(160)과 연결된 샤프트(152)를 상하 이동함으로써, 수문(160)의 높이 또는 개폐를 조절할 수 있다. 다른 예에서, 제1 카메라(120_1)는 감지된 수위 변화 또는 수위 계측 값에 따라 수문(160)의 높이 또는 개폐의 제어 명령 신호를 수문(160)에 연결된 RTU(Remote terminal unit; 미도시)에 전송할 수 있다. 수신된 제어 명령 신호에 따라, RTU는 수문(160)의 높이 또는 개폐를 제어하도록 액츄에이터(150)를 구동할 수 있다. 이와 같이, 제1 카메라(120_1)에 의해 감지된 수위 변화 또는 수위 계측 값에 따라 수문(160)의 높이 또는 개폐를 자동 제어함으로써, 수문(160)과 연결된 하천 또는 수로의 수위(170)를 효과적으로 조절할 수 있다.
이상 설명한 실시예에서는, 관심영역(130)이 수문(160) 또는 그 주변의 구조물에 설정되었으나, 이에 한정되는 것은 아니다. 예를 들어, 관심영역(130)은 액츄에이터(150)에 의해 구동되는 샤프트(152)의 적어도 일부를 포함하도록 설정할 수도 있다. 이 경우, 제1 카메라(120_1)는 샤프트(152)의 적어도 일부를 촬영한 이미지 또는 영상 위에 관심영역(130) 및 수위계(132)를 중첩한 상태에서 관심영역(130) 내의 샤프트(152)의 상하 이동 정도를 감지할 수 있다. 제1 카메라(120)는 관심영역(130) 내에서 감지된 샤프트(152)의 상하 이동 정도에 따라 수문(160)의 현재 높이 또는 개폐 상태를 감지할 수 있다.
일 실시예로, 제2 카메라(120_2)는 복수의 수문(160) 중 하나 이상의 높이 또는 개폐상태를 감시하도록 구성될 수 있다. 일 예에서, 제2 카메라(120_2)는 원격의 사용자 단말 장치 또는 RTU의 제어에 따라 복수의 수문(160) 중 어느 하나를 촬영할 수 있도록 구성될 수 있다. 다른 예에서, 제2 카메라(120_2)는, 제1 카메라(120_1)에 의해 감지된 수위 변화 또는 수위 계측 값에 따라 복수의 수문(160) 중 하나 이상의 높이 또는 개폐가 제어되는 경우, 해당 수문(160)을 촬영할 수 있도록 구성될 수도 있다.
한편, 도 6에서 관심영역(130_1, 130_2, 130_3) 각각은 가로 방향으로 복수 개로 표시된 것으로 도시하였지만, 이에 한정되지 않는다. 도 6에 도시된 관심영역(130_1, 130_2, 130_3)은 가로 방향으로 분할된 슬라이스 이미지 각각에 대한 관심영역(130_1, 130_2, 130_3)으로 가정하여 표시한 것이며, 실제 이미지 상에는 수문(160) 각각에 하나의 관심영역(130_1, 130_2, 130_3)으로 표시될 수 있다. 또한, 도 6에는 수위계(132)가 1개만 구성된 것으로 도시되었지만, 이에 한정되지 않으며, 수문(160)의 일측면에 각각 구성될 수 있다.
도 7은 본 개시의 일 실시예에 따른 수집 이미지 및 학습 이미지를 기반하여 수위 계측 및 객체 인식 여부에 대한 데이터를 생성하도록 학습된 객체 인식 모델의 구성을 나타내는 도면이다. 도 7에 도시된 이미지(710)는, 카메라에 의해 수집된 이미지 및/또는 학습 이미지 등일 수 있다. 이미지 학습부(460)는 예를 들어, 서버의 저장된 이미지(710; 예를 들어, 수집 이미지 또는 학습 이미지 등)를 기반하여 수위 계측 및/또는 객체 인식 여부를 추출하도록 학습된 인공신경망 모델(1000)을 포함할 수 있다. 이미지 학습부(460) 또는 이미지 학습부가 이용하는 인공신경망 모델(1000)은, 외부 컴퓨팅 장치에 의해 생성, 저장 또는 업데이터 되어 도 3에 도시된 프로세서(334)에 의해 실행될 수 있다. 도시된 바와 같이, 이미지 학습부(460)는, 서버(예를 들어, 정보처리 시스템)의 메모리에 기 저장된 정보(예를 들어, 수집 이미지 또는 학습 이미지 등)를 기반하여 객체 데이터(720, 722)를 추출할 수 있다.
일 실시예에 따르면, 상술된 인공신경망 수위 계측 모델 및/또는 인공신경망 객체 인식 모델은 인공신경망 모델(1000)로 구현될 수 있다. 인공신경망 모델(1000)은 기계학습(Machine Learning) 기술과 인지과학에서, 생물학적 신경망의 구조에 기초하여 구현된 통계학적 학습 알고리즘 또는 그 알고리즘을 실행하는 구조이다.
일 실시예에 따르면, 인공신경망 모델(1000)은, 생물학적 신경망에서와 같이 시냅스의 결합으로 네트워크를 형성한 인공 뉴런인 노드(Node)들이 시냅스의 가중치를 반복적으로 조정하여, 특정 입력에 대응한 올바른 출력과 추론된 출력 사이의 오차가 감소되도록 학습함으로써, 문제 해결 능력을 가지는 인공신경망 모델을 나타낼 수 있다. 예를 들어, 인공신경망 모델(1000)은 기계학습, 딥러닝 등의 인공지능 학습법에 사용되는 임의의 확률 모델, 뉴럴 네트워크 모델 등을 포함할 수 있다.
인공신경망 모델(1000)은 다층의 노드들과 이들 상이의 연결로 구성된 다층 퍼셉트론(MLP: multilayer perceptron)으로 구현될 수 있다. 본 실시예에 따른 인공신경망 모델(1000)은 MLP를 포함하는 다양한 인공신경망 구조들 중의 하나를 이용하여 구현될 수 있다. 도 10에서 도시된 바와 같이, 인공신경망 모델(1000)은 외부로부터 입력 신호 또는 데이터(1010)를 수신하는 입력층(1020), 입력 데이터에 대응한 출력 신호 또는 데이터(1050)를 출력하는 출력층(1040), 입력층(1020)과 출력층(1040) 사이에 위치하며 입력층(1020)으로부터 신호를 받아 특성을 추출하여 출력층(1040)으로 전달하는 n개의 은닉층(1030_1 내지 1030_n)으로 구성될 수 있다. 여기서, 출력층(1040)은, 은닉층(1030_1 내지 1030_n)으로부터 신호를 받아 외부로 출력할 수 있다.
인공신경망 모델(1000)의 학습 방법에는, 교사 신호(정답)의 입력에 의해서 문제의 해결에 최적화되도록 학습하는 지도 학습(Supervised Learning) 방법과, 교사 신호를 필요로 하지 않는 비지도 학습(Unsupervised Learning) 방법이 있다. 일 실시예에 따르면, 인공지능 기반 기계식 주차장 영상통합관제 시스템을 통해 수집 이미지 및/또는 외부 학습 이미지를 기초로 객체 데이터로 출력하는 방법은, 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning) 및/또는 준 지도 학습(Semi-supervised Learning)을 이용하여, 수집된 이미지 정보 및/또는 외부 학습 이미지 정보로부터 분석 결과를 출력하도록 구성된 인공신경망 모델(1000)을 학습시킬 수 있다. 다른 실시예에서, 복수의 학습 이미지를 입력받아 객체 정보를 추론되도록 인공신경망 모델(1000)을 학습시킬 수 있다. 이렇게 학습된 인공신경망 모델(1000)은 카메라로부터 수신된 적어도 하나의 이미지에 객체 정보를 표시하도록 출력할 수 있다.
일 실시예에 따르면, 인공지능 기반 기계식 주차장 영상통합관제 시스템을 통해 사용자의 사용자 설정 조건에 따른 부동산 매물 추천 방법은, 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning) 및/또는 준 지도 학습(Semi-supervised Learning)을 이용하여, 카메라에 의해 입력된 수집 이미지(예를 들어, 수문 또는 그 주변 구조물이 포함된 이미지, 수위 이미지, 수위계의 문자가 포함된 이미지 등) 및 학습 이미지(예를 들어, 수문 또는 그 주변 구조물이 포함된 이미지, 수위 이미지, 수위계의 문자가 포함된 이미지 등)의 하나 이상의 배치로부터 분석 결과를 출력하도록 구성된 인공신경망 모델(1000)을 학습시킬 수 있다. 이렇게 학습된 인공신경망 모델(1000)은 객체 데이터를 출력할 수 있다.
일 실시예에 따르면, 도 10에 도시된 바와 같이, 분석 결과를 출력할 수 있는 인공신경망 모델(1000)의 입력 변수는, 수집 이미지, 학습 이미지, 수위 데이터 및 객체 데이터 중 하나의 벡터 데이터 요소로 구성한, 수집 이미지, 학습 이미지, 수위 데이터, 객체 데이터로부터 추출된 한 세트의 패치를 포함하는 배치를 나타내는 벡터(1010)가 될 수 있다. 이러한 구성 하에서, 출력변수는 입력 배치에 대한 분석 결과를 나타내는 결과 벡터(1050)로 구성될 수 있다.
다른 실시예에 따르면, 입력 변수에 따라 객체 정보(예를 들어, 이물질, 수위계의 문자 데이터 등), 인식된 수위 데이터(예를 들어, 슬라이스 이미지에 대한 각각의 수위 높이, 슬라이스 이미지에 대한 수위의 평균 높이 등) 및 객체 데이터 또는 수위 데이터에 대한 수위구간 정보(예를 들어, 인식된 수위계 문자에 대한 수위구간, 인식된 수위 데이터에 대한 수위구간 등)를 생성하도록 인공신경망 모델(1000)이 학습될 수 있다. 예를 들어, 이러한 입력 변수는, 수집 이미지, 학습 이미지 및 센서 데이터 내에 포함된 복수의 배치에 대한 복수의 분석 결과를 나타내는 벡터 데이터 요소로 구성된 벡터(1010)가 될 수 있다. 이러한 구성 하에서, 출력 변수는 수집 이미지, 학습 이미지, 수위 데이터 및 객체 데이터와 연관된 객체 정보, 수위 데이터 또는 수위구간 정보를 나타내는 결과 벡터(1050)로 구성될 수 있다.
이와 같이, 인공신경망 모델(1000)의 입력층(1020)과 출력층(1040)에 복수의 입력변수와 대응되는 복수의 출력변수를 각각 매칭시키고, 입력층(1020), 은닉층(1030_1 ... 1030_n, 여기서, n은 2 이상의 자연수임) 및 출력층(1040)에 포함된 노드들 사이의 시냅스 값을 조정함으로써, 인공신경망 모델(1000)이 특정 입력에 대응한 올바른 출력을 추론할 수 있도록 학습될 수 있다. 올바른 출력을 추론하는데 있어, 분석 결과의 정답 데이터가 사용될 수 있으며, 이러한 정답 데이터는 어노테이터의 어노테이션 작업의 결과로 획득될 수 있다. 이러한 학습과정을 통해, 인공신경망 모델(1000)의 입력변수에 숨겨져 있는 특성이 파악될 수 있고, 입력변수에 기초하여 계산된 출력변수와 목표 출력 간의 오차가 줄어들도록 인공신경망 모델(1000)의 노드들 사이의 시냅스 값(또는 가중치)가 조정될 수 있다.
이렇게 학습된 인공신경망 모델(1000)을 이용하여, 수집 이미지, 학습 이미지, 수위 데이터 및 객체 데이터에서 객체 정보, 수위 데이터 또는 수위구간 정보가 추출될 수 있다. 예를 들어, 인공신경망 모델(1000)을 이용하여, 수집 이미지, 학습 이미지, 수위 데이터 및 객체 데이터 중 적어도 하나에 따른 객체 정보, 수위 데이터 또는 수위구간 정보를 추출할 수 있다. 또는, 인공신경망 모델(1000)을 이용하여, 수집 이미지, 학습 이미지, 수위 데이터 및 객체 데이터 중 적어도 하나에 따른 객체 정보, 수위 데이터 또는 수위구간 정보를 추출할 수 있다.
일 실시예로, 인공신경망 모델(1000)은, 수집 이미지가 입력될 경우, 수집 이미지의 슬라이스 이미지 각각에 대해 수위 정보 및/또는 객체 정보를 구분하여 객체 데이터(720, 722)로 추출할 수 있다. 예를 들어, 인공신경망 모델(1000)은, 수집된 이미지 및 학습 이미지를 기반으로, 수집된 이미지의 슬라이스 이미지 각각에 대한 수위를 계측하고, 수집된 이미지 상의 평균 수위를 산출하여, 수위 정보에 대한 객체 데이터(720, 722)를 추출하고, 수위 정보를 기반한 수위 구간 정보를 추출하여 객체 데이터(720, 722)를 생성할 수 있다. 다른 예로, 인공 신경망 모델(1000)은, 수집된 이미지 및 학습 이미지를 기반으로, 카메라에 의해 촬영된 수위계의 문자를 포함하는 이미지를 통해 수위계의 문자를 통해 인식된 문자(또는 객체) 데이터를 추출하고, 인식된 문자 데이터를 기반한 수위 구간 정보를 추출하여 객체 데이터(720, 722)를 생성할 수 있다.
도 8은 본 개시의 다른 실시예에 따른 인공지능 기반의 수위 감지 카메라를 통한 수위 계측 및 수문 제어 방법을 나타내는 흐름도이다. 본 개시의 일 실시예에 따른 스마트 하천 통합 관제 방법(800)은, 카메라에 의해 수문의 영상을 촬영하는 단계(S810)로 개시될 수 있다. 일 실시예에 따르면, 카메라는, 스마트 하천 관제를 위한 통합 플랫폼 내에 설치된 수문 또는 그 주변의 관심영역을 촬영할 수 있다.
다음으로, 카메라는 촬영된 이미지 상의 관심 영역 내의 수문과 물 영역을 제외한 다른 객체를 제거하기 위한 전처리를 실행할 수 있다(S820). 일 실시예에 따르면, 이미지의 전처리에는 수문과 물 영역을 제외한 다른 객체(예를 들어, 수초, 쓰레기 등 다양한 부유물 또는 이물질, 수위계 상의 문자 등)를 식별하고 수위의 높이를 측정하도록 학습된 인공신경망이 사용될 수 있으며, 이러한 인공신경망은 카메라의 저장부에 저장 및 설치되어 제어부에 의해 실행될 수 있다.
카메라는 전처리된 이미지를 분석하여 관심영역 내 수위 계측 값 또는 수위 구간을 감지할 수 있다(S830). 일 실시예에 따르면, 카메라는 인공지능 기반의 수위 계측 모델을 이용하여 이미지의 관심영역 내 수위 계측 값 또는 수위 구간을 감지할 수 있다. 예를 들어, 수위 계측 모델은, 수집 이미지에 기초하여 물 영역의 세그멘테이션이 반영된 물 영역 식별 이미지를 출력하는 제1 인공신경망 모델 및 물 영역 식별 이미지에 중첩된 관심 영역을 기초로 수위 값을 출력하는 제2 인공신경망 모델(534)을 포함할 수 있다. 제1 인공신경망 모델은 입력 수문 이미지에 기초하여 물 영역의 세그멘테이션이 반영된 물 영역 식별 이미지를 출력할 수 있다. 제1 인공신경망 모델은, 수문 이미지 중에서 물 영역과 그 외 영역을 구분하여 다른 인스턴스로 표시할 수 있도록 인스턴스 세그멘테이션(instance segmentation)을 실행할 수 있다. 또한, 제2 인공신경망 모델는, 물 영역 식별 이미지에 중첩된 관심 영역을 기초로 수위 값을 출력할 수 있다. 추가적으로, 제2 인공신경망 모델은, 물 영역 식별 이미지를 세로 방향으로 분할된 각각의 슬라이스 이미지에 중첩된 관심영역을 기초로 수위 값을 출력할 수 있다. 수위 계측 모델은, 메모리(또는 저장부)로부터 추출된 가상의 관심 영역의 종류 및 위치에 관한 정보에 기초하여, 제1 인공신경망 모델로부터 출력된 물 영역 식별 이미지에 가상의 관심영역을 중첩할 수 있다. 제2 인공신경망 모델은, 관심영역이 중첩된 물 영역 식별 이미지로부터 현재의 수위가 "관심" 수준, "주의" 수준, "경계" 수준 중 어느 범위에 속하는지 판별하도록 학습될 수 있다. 예를 들어, 수위 수준 중 "관심" 수준이 가장 낮은 수위를 나타내며, "경계" 수준이 가장 높은 수위를 나타낼 수 있다. 제2 인공신경망 모델은 이미지 또는 그 시각적 특징을 입력으로 하여, 복수의 수위 수준에 대한 연관 점수를 산출할 수 있다. 제2 인공신경망 모델은 관심영역이 중첩된 수문 이미지 및 영상 데이터베이스(미도시)로부터 추출된 학습데이터를 이용하여, 이미지에 대한 복수의 수위 수준의 연관 점수를 산출하도록 학습될 수 있다. 수위 계측 모델은, 산출된 연관 점수들에 기초하여, 수문 이미지와 연관되는 하나 이상의 수위 수준 정보를 출력할 수 있다. 일 실시예에서, 수위 계측 모델은, 사전 결정된 임계치(예를 들어, 0.5)를 초과하는 하나 이상의 수위 수준 정보를 수위 수준 분류로부터 선택하여 출력할 수 있다.
카메라는 감지한 수위 계측 값 또는 수위 감지 결과를 사용자 단말로 전송한 후, 사용자 단말로부터 사용자 제어 명령이 수신되기를 대기할 수 있다(S840). 일 실시예에서, 도 2을 참조하면, 카메라(120)는 수문(242) 또는 그 주변 구조물에 설정된 관심영역을 촬영하여 감지한 수위 계측 값 또는 수위 감지 결과를 네트워크(220)를 통해 사용자 단말(210_1, 210_2, 210_3)로 전송할 수 있다. 그 후, 카메라(120)는 사용자 단말(210_1, 210_2, 210_3)으로부터 수문(242) 또는 RTU(240)을 제어하기 위한 사용자 제어 명령이 수신되기를 대기할 수 있다.
단계(S850)에서, 카메라는 사용자 제어 명령의 수신 대기 시간이 사전 결정된 시간(t)을 초과하는지 모니터링할 수 있다. 모니터링 결과, 사용자 제어 명령의 수신 대기 시간이 사전 결정된 시간(t)을 초과하는 경우, 카메라는 감지한 수위 계측 값 또는 수위 감지 결과에 기초하여 RTU 또는 수문의 액츄에이터를 자동으로 제어하여 수문의 높이 또는 개폐를 조절할 수 있다(S860). 이에 반해, 사용자 제어 명령의 수신 대기 시간이 사전 결정된 시간(t)을 초과하지 않는 경우(즉, 사전 결정된 시간(t)이 경과되기 전에 사용자 단말로부터 사용자 제어 명령이 수신된 경우), 카메라는 수신된 사용자 제어 명령에 따라 수문 제어를 실행할 수 있다(S870). 예를 들어, 사용자 제어 명령은, 사용자 단말 상에 표시된 사용자 인터페이스를 통해 사용자가 입력한 수문의 개폐 여부, 수문의 높이 값 등에 관한 정보를 포함할 수 있다.
상술한 바와 같이, 카메라 촬영 영상에 대한 관심영역 설정과 딥러닝을 통한 수문 및 수위 데이터의 학습을 활용하며, 카메라에 의해 감지된 수위 계측 값 또는 수위 감지 결과에 대한 사용자 피드백을 받거나 수문을 자동 제어함으로써, 수위의 급격한 변화 등에 따른 수해 발생을 효율적으로 방지하는 것이 가능하다.
도 9는 본 개시의 일 실시예에 따른 스마트 하천 관제를 위한 통합 플랫폼을 사용자 단말 장치의 사용자 인터페이스를 통해 출력하는 예시를 나타내는 도면이다. 도시된 바와 같이, 사용자 단말은, 동작(900)에서, 카메라에 의해 현재 촬영되어 감시 중인 수문과 그 주변의 상태의 이미지 또는 영상을 출력할 수 있다. 여기서, 사용자 단말에 출력되는 이미지에는 가상으로 설정된 관심영역(910)이 함께 표시되어, 사용자는 현재의 수위(920)가 관심영역(910) 내의 어떤 수위 구간에 해당되는지 실시간으로 확인할 수 있다.
또한, 사용자 단말은, 수문의 개폐 또는 높이 조절에 관한 명령을 입력할 수 있는 하나 이상의 사용자 인터페이스(930, 940)를 표시할 수 있다. 사용자는, 사용자 인터페이스(930)의 '열림' 또는 '닫힘' 버튼을 선택함으로써, 현재 출력되고 있는 수문의 개폐 여부를 결정할 수 있다. 예를 들어, 사용자가 사용자 인터페이스(930) 상의 '열림'버튼을 선택하면, 사용자 단말은 이에 대응하는 사용자 제어 명령을 네트워크를 통해 RTU 또는 수문의 액츄에이터로 전송하고, RTU 또는 수문의 사용자 제어 명령에 따라 수문을 개방할 수 있다. 또한, 사용자는, 사용자 인터페이스(940)의 슬라이드 바를 이동함으로써, 현재 출력되고 있는 수문의 높이를 조절할 수 있다. 예를 들어, 사용자가 사용자 인터페이스(940) 상의 슬라이드 바를 이동하여 '65%'의 수문 높이를 설정한 경우, 사용자 단말은 이에 대응하는 사용자 제어 명령을 네트워크를 통해 RTU 또는 수문의 액츄에이터로 전송하고, RTU 또는 수문의 액츄에이터는 사용자 제어 명령에 따라 수문의 높이를 65% 수준으로 조절할 수 있다.
또한, 해당 수문의 수위 정보(미도시)는 사용자 단말의 디스플레이의 일부에 실시간으로 출력될 수 있다. 예를 들어, 수위 정보는 해당 수문의 평균 수위 또는 평균 수위에 대응되는 수위 구간에 대한 정보를 텍스트로 표시할 수 있다.
도 10 및 도 11은 본 개시의 일 실시예에 따른 스마트 하천 관제를 위한 통합 플랫폼을 통한 수위 계측 및 수문 제어를 위해, 사용자 단말 장치에서 가상의 수위계를 설정하는 사용자 인터페이스의 예시를 보여주는 도면이다. 도시된 바와 같이, 사용자 단말은, 동작(1100)에서, 카메라에 의해 현재 촬영되어 감시 중인 수문과 그 주변 상태의 이미지 또는 영상을 출력할 수 있다. 이 상태에서, 사용자는 사용자 단말에 출력되는 이미지 상에 관심영역(1120)의 위치를 설정할 수 있다. 즉, 사용자는, 동작(1110)에서 관심영역(1120)의 일 부분을 터치 및 드래그하여 그 위치를 이미지 상의 다른 위치로 변경할 수 있다.
추가적으로, 상술된 관심영역(1120)은, 카메라를 통해 촬영된 이미지 상에서 수위 계측을 수행할 경우, 해당 관심영역(1120) 범위 내의 이미지를 분할하여 슬라이스 이미지로 변환하여 수위 계측을 할 수도 있다. 예를 들어, 사용자는, 동작(1110)을 통해 관심영역(1120)의 일부분을 터치 및 드래그하여 수위 계측을 수행할 위치를 지정하고, 지정된 위치의 관심영역(1120) 내에서 카메라는 분할된 슬라이스 이미지로 변환하여 각각의 슬라이스 이미지에 해당되는 수위를 계측할 수 있다. 계측된 수위는 평균 수위로 산출하여, 기 설정된 수위 범위 또는 평균 수위보다 높은 수위로 계측된 슬라이스 이미지에 이물질(또는 부유물 등)이 존재하는 것으로 판단할 수 있다.
이와 같이 사용자가 사용자 단말을 이용하여 카메라에 의해 촬영되는 수문과 주변 상태의 이미지 상에서 가상의 관심영역(1120)을 설정하고, 그 위치를 적절히 변경하도록 구성함으로써, 수문의 개폐 상태, 수문 주위의 환경 변화에 따라 수위 구간을 적절히 조절할 수 있다. 또한, 가상의 관심영역(1120)의 설정 기능을 이용함으로써, 수위계가 물리적으로 표시되지 않은 수문에 대해서도 수위 변화의 감지와 수문의 제어가 가능하다.
본 명세서에 기술된 스마트 하천 관제를 위한 통합 플랫폼 또는 기법들은 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이러한 기법들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 본 명세서의 개시와 연계하여 설명된 다양한 예시 적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수도 있음을 당업자들은 더 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호교환성을 명확하게 설명하기 위해, 다양한 예시 적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능성의 관점에서 일반적으로 위에서 설명되었다. 그러한 기능이 하드웨어로서 구현되는 지 또는 소프트웨어로서 구현되는 지의 여부는, 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자들은 각각의 특정 애플리케이션을 위해 다양한 방식들로 설명된 기능을 구현할 수도 있으나, 그러한 구현 결정들은 본 개시의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.
하드웨어 구현에서, 기법들을 수행하는 데 이용되는 프로세싱 유닛들은, 하나 이상의 ASIC들, DSP들, 디지털 신호 프로세싱 디바이스들 (digital signal processing devices; DSPD들), 프로그램가능 논리 디바이스들(programmable logic devices; PLD들), 필드 프로그램가능 게이트 어레이들 (field programmable gate arrays; FPGA들), 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본 명세서에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 컴퓨터, 또는 이들의 조합 내에서 구현될 수도 있다.
따라서, 본 명세서의 개시와 연계하여 설명된 다양한 예시 적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, DSP, ASIC, FPGA나 다른 프로그램 가능 논리 디바이스, 이산 게이트나 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본 명세서에 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안에서, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성의 조합으로써 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현에 있어서, 기법들은 랜덤 액세스 메모리 (random access memory; RAM), 판독 전용 메모리 (read-only memory; ROM), 불휘발성 RAM (non-volatile random access memory; NVRAM), PROM(programmable read-only memory), EPROM (erasable programmable read-only memory), EEPROM(electrically erasable PROM), 플래시 메모리, 컴팩트 디스크 (compact disc; CD), 자기 또는 광학 데이터 스토리지 디바이스 등과 같은 컴퓨터 판독가능 매체 상에 저장된 명령들로써 구현될 수도 있다. 명령들은 하나 이상의 프로세서들에 의해 실행 가능할 수도 있고, 프로세서(들)로 하여금 본 명세서에 설명된 기능의 특정 양태들을 수행하게 할 수도 있다.
소프트웨어로 구현되면, 상기 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독 가능한 매체 상에 저장되거나 또는 컴퓨터 판독 가능한 매체를 통해 전송될 수도 있다. 컴퓨터 판독가능 매체들은 한 장소에서 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하여 컴퓨터 저장 매체들 및 통신 매체들 양자를 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체들일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독 가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 소망의 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다.
예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 전송되면, 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 본 명세서에서 사용된 디스크(disk) 와 디스크 (disc)는, CD, 레이저 디스크, 광 디스크, DVD (digital versatile disc), 플로피디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크들(disks) 은 보통 자기적으로 데이터를 재생하고, 반면 디스크들 (discs) 은 레이저를 이용하여 광학적으로 데이터를 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 공지된 임의의 다른 형태의 저장 매체 내에 상주할 수도 있다. 예시 적인 저장 매체는, 프로세스가 저장 매체로부터 정보를 판독하거나 저장 매체에 정보를 기록할 수 있도록, 프로세서에 커플링 될 수 있다. 대안으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서와 저장 매체는 ASIC 내에 존재할 수도 있다. ASIC은 유저 단말 내에 존재할 수도 있다. 대안으로, 프로세서와 저장 매체는 유저 단말에서 개별 컴포넌트들로써 존재할 수도 있다.
본 개시의 앞선 설명은 당업자들이 본 개시를 행하거나 이용하는 것을 가능하게 하기 위해 제공된다. 본 개시의 다양한 수정예들이 당업자들에게 쉽게 자명할 것이고, 본 명세서에 정의된 일반적인 원리들은 본 개시의 취지 또는 범위를 벗어나지 않으면서 다양한 변형예들에 적용될 수도 있다. 따라서, 본 개시는 본 명세서에 설명된 예들에 제한되도록 의도된 것이 아니고, 본 명세서에 개시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위가 부여되도록 의도된다.
비록 예시 적인 구현예들이 하나 이상의 독립형 컴퓨터 시스템의 맥락에서 현재 개시된 주제의 양태들을 활용하는 것을 언급할 수도 있으나, 본 주제는 그렇게 제한되지 않고, 오히려 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 현재 개시된 주제의 양상들은 복수의 프로세싱 칩들이나 디바이스들에서 또는 그 들에 걸쳐 구현될 수도 있고, 스토리지는 복수의 디바이스들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 디바이스들은 PC들, 네트워크 서버들, 및 핸드헬드 디바이스들을 포함할 수도 있다.
비록 본 주제가 구조적 특징들 및/또는 방법론적 작용들에 특정한 언어로 설명되었으나, 첨부된 청구항들에서 정의된 주제가 위에서 설명된 특정 특징들 또는 작용들로 반드시 제한되는 것은 아님이 이해될 것이다. 오히려, 위에서 설명된 특정 특징들 및 작용들은 청구항들을 구현하는 예시 적인 형태로서 설명된다.
이 명세서에서 언급된 방법은 특정 실시예들을 통하여 설명되었지만, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.

Claims (10)

  1. 스마트 하천 관제를 위한 통합 플랫폼에 있어서,
    수로를 통한 물의 흐름을 조절하도록 구성된 적어도 하나의 수문의 이미지를 촬영하도록 구성된 카메라;
    상기 수문의 높이를 조절할 수 있도록 구성된 액츄에이터; 및
    상기 카메라에 의해 촬영된 상기 이미지 상에 가상의 관심영역을 중첩하여 설정하고, 각각의 상기 관심영역 내의 수위의 변화를 감지하며, 상기 수위의 변화에 따라 상기 액츄에이터를 제어하는 제어부
    를 포함하고,
    상기 제어부는, 촬영된 상기 이미지를 세로 방향으로 복수 개의 슬라이스 이미지로 변환하고, 상기 슬라이스 이미지 각각에 대해 상기 관심영역의 높이를 측정하여 이물질 존재 여부를 판단하는, 스마트 하천 관제 통합 플랫폼.
  2. 제1항에 있어서,
    상기 수위의 변화를 감지하기 위해 상기 수문의 일측면에 설치되어, 기 설정된 수위 구간에 따라 관심구간, 주의구간 또는 경계구간을 구분하도록 구성된 수위계
    를 더 포함하는, 스마트 하천 관제 통합 플랫폼.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 카메라에 의해 촬영된 이미지 내의 상기 수위계에서, 상기 수로의 수위가 해당하는 상기 수위계의 수위 구간의 문자를 판독하고, 판독된 상기 문자에 따라 상기 수문의 개폐여부를 판단하는, 스마트 하천 관제 통합 플랫폼.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 카메라를 통해 수집된 수집 이미지 또는 외부 학습 이미지를 통해 상기 관심영역, 수위 및 객체(예: 수위계(OCR), 이물질)를 감지하도록 인공지능 기반으로 학습된 이미지 학습부
    를 포함하는, 스마트 하천 관제 통합 플랫폼.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 이미지 학습부를 통해 학습된 상기 관심영역 각각에 대한 수위를 산출하고, 상기 관심영역 각각에 대한 평균 수위를 산출하도록 구성된 수위 계측부
    를 포함하는, 스마트 하천 관제 통합 플랫폼.
  6. 제4항에 있어서,
    상기 이미지 학습부를 통해 상기 관심영역에서 물 영역 및 상기 수문을 제외한 객체를 감지하도록 전처리 및 감지하고, 상기 감지된 객체를 이미지에서 제거된 객체 데이터(수위계(OCR), 이물질 데이터)를 저장부에 전송하도록 구성된 객체인식부;
    를 포함하는, 스마트 하천 관제 통합 플랫폼.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 슬라이스 이미지 각각에서 상기 관심영역에 대한 높이를 평균화하고, 상기 슬라이스 이미지 각각에서 상기 관심영역에 대한 높이가 기 설정된 높이 영역 또는 평균 높이를 벗어날 경우, 이물질이 존재하는 것으로 판단하는, 스마트 하천 관제 통합 플랫폼.
  8. 제1항에 있어서,
    상기 제어부는, 사용자 단말 장치로 상기 수문의 이미지 및 상기 관심영역에 대한 정보를 전송하고, 상기 사용자 단말 장치로부터 원격 제어가 가능하도록 구성된, 스마트 하천 관제 통합 플랫폼.
  9. 스마트 하천 관제를 위한 통합 플랫폼을 통합 관제 방법에 있어서,
    카메라에 의해, 수로를 통한 물의 흐름을 조절하도록 구성된 적어도 하나의 수문의 이미지를 촬영하는 단계;
    제어부에 의해, 상기 이미지 상에 가상의 관심영역을 중첩하여 설정하고, 각각의 상기 관심영역 내의 수위의 변화를 감지하며, 상기 수위의 변화에 따라 수문의 높이를 조절할 수 있도록 구성된 액츄에이터를 제어하는 단계;
    를 포함하고,
    상기 제어부에 의해, 촬영된 상기 이미지를 세로 방향으로 복수 개의 슬라이스 이미지로 변환하고, 상기 슬라이스 이미지 각각에 대해 상기 관심영역의 높이를 측정하여 이물질 존재 여부를 판단하는 단계
    를 포함하는, 스마트 하천 통합 관제 방법.
  10. 제9항에 있어서,
    상기 제어부에 의해, 상기 슬라이스 이미지 각각에서 상기 관심영역에 대한 높이를 평균화하고, 상기 슬라이스 이미지 각각에서 상기 관심영역에 대한 높이가 기 설정된 높이 영역 또는 평균 높이를 벗어날 경우, 이물질이 존재하는 것으로 판단하는 단계
    를 포함하는, 스마트 하천 관제 통합 플랫폼.
PCT/KR2022/019341 2022-07-13 2022-12-01 스마트 하천 관제를 위한 통합 플랫폼 WO2024014627A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220086070A KR102434478B1 (ko) 2022-07-13 2022-07-13 재난 예방 기능을 포함한 인공지능 기반의 스마트 하천 관제 플랫폼 및 그 제어 방법
KR10-2022-0086070 2022-07-13

Publications (1)

Publication Number Publication Date
WO2024014627A1 true WO2024014627A1 (ko) 2024-01-18

Family

ID=83113633

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/019341 WO2024014627A1 (ko) 2022-07-13 2022-12-01 스마트 하천 관제를 위한 통합 플랫폼

Country Status (2)

Country Link
KR (1) KR102434478B1 (ko)
WO (1) WO2024014627A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102434478B1 (ko) * 2022-07-13 2022-08-19 (주)동아씨앤지 재난 예방 기능을 포함한 인공지능 기반의 스마트 하천 관제 플랫폼 및 그 제어 방법
KR102497788B1 (ko) * 2022-10-04 2023-02-15 주식회사 건축사사무소건원엔지니어링 해안 가드레일 겸용 방재용 차수벽을 통한 수해재난 관제 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020079732A (ko) * 1999-11-08 2002-10-19 테라다인 인코퍼레이티드 수직 슬라이스 이미징을 이용한 검사 방법
JP2011169880A (ja) * 2010-02-22 2011-09-01 Satoru Kitazawa レーザー式液面検知レベル計
KR20120011505A (ko) * 2010-07-29 2012-02-08 숭실대학교산학협력단 영상 기반의 수위 계측 시스템 그 방법
CN111006743A (zh) * 2019-12-05 2020-04-14 水利部南京水利水文自动化研究所 一种基于平面雷达水位计的水位测量排除干扰的方法
KR102159620B1 (ko) * 2020-05-06 2020-09-24 (주)동천기공 Ai 및 딥러닝 기반의 스마트 홍수관리 수문제어 자동화 시스템
KR102275959B1 (ko) * 2020-11-20 2021-07-12 (주)동아씨앤지 인공지능 기반의 수위 감지 카메라를 통한 수위 계측 및 수문 제어 방법 및 시스템
KR102378016B1 (ko) * 2021-08-12 2022-03-24 (주)에너토크 Ai 기반 이력 관리가 가능한 스마트 수문 제어 시스템
KR102434478B1 (ko) * 2022-07-13 2022-08-19 (주)동아씨앤지 재난 예방 기능을 포함한 인공지능 기반의 스마트 하천 관제 플랫폼 및 그 제어 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020079732A (ko) * 1999-11-08 2002-10-19 테라다인 인코퍼레이티드 수직 슬라이스 이미징을 이용한 검사 방법
JP2011169880A (ja) * 2010-02-22 2011-09-01 Satoru Kitazawa レーザー式液面検知レベル計
KR20120011505A (ko) * 2010-07-29 2012-02-08 숭실대학교산학협력단 영상 기반의 수위 계측 시스템 그 방법
CN111006743A (zh) * 2019-12-05 2020-04-14 水利部南京水利水文自动化研究所 一种基于平面雷达水位计的水位测量排除干扰的方法
KR102159620B1 (ko) * 2020-05-06 2020-09-24 (주)동천기공 Ai 및 딥러닝 기반의 스마트 홍수관리 수문제어 자동화 시스템
KR102275959B1 (ko) * 2020-11-20 2021-07-12 (주)동아씨앤지 인공지능 기반의 수위 감지 카메라를 통한 수위 계측 및 수문 제어 방법 및 시스템
KR102378016B1 (ko) * 2021-08-12 2022-03-24 (주)에너토크 Ai 기반 이력 관리가 가능한 스마트 수문 제어 시스템
KR102434478B1 (ko) * 2022-07-13 2022-08-19 (주)동아씨앤지 재난 예방 기능을 포함한 인공지능 기반의 스마트 하천 관제 플랫폼 및 그 제어 방법

Also Published As

Publication number Publication date
KR102434478B1 (ko) 2022-08-19

Similar Documents

Publication Publication Date Title
WO2024014627A1 (ko) 스마트 하천 관제를 위한 통합 플랫폼
CN111898514B (zh) 一种基于目标检测与动作识别的多目标视觉监管方法
WO2021085848A1 (ko) 강화학습 기반 신호 제어 장치 및 신호 제어 방법
CN109657592B (zh) 一种智能挖掘机的人脸识别方法
KR102275959B1 (ko) 인공지능 기반의 수위 감지 카메라를 통한 수위 계측 및 수문 제어 방법 및 시스템
CN110569843B (zh) 一种矿井目标智能检测与识别方法
WO2020196985A1 (ko) 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
WO2020046038A1 (ko) 로봇 및 그의 제어 방법
CN112434827B (zh) 一种5t运维中安全防护识别单元
WO2020032506A1 (ko) 시각 감지 시스템 및 이를 이용한 시각 감지 방법
CN110533661A (zh) 基于图像特征级联的自适应实时闭环检测方法
CN113111771A (zh) 一种发电厂工作人员不安全行为的识别方法
KR101499456B1 (ko) 영상을 통한 시설물 이상 탐지 시스템 및 그 탐지 방법
EP3376438A1 (en) A system and method for detecting change using ontology based saliency
WO2020141888A1 (ko) 사육장 환경 관리 장치
WO2023104557A1 (en) Machine-learning for safety rule violation determination
KR20210075533A (ko) 딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템 및 방법
CN113221667B (zh) 一种基于深度学习的人脸口罩属性分类方法及系统
CN113538513A (zh) 监控对象的进出控制方法、装置、设备及存储介质
KR20190108218A (ko) 디지털 영상 이미지를 이용한 위급상황 분석장치 및 방법
KR101542134B1 (ko) 스마트 카메라모듈을 통한 열차선로 상의 낙석·사람으로 이루어진 관심 객체 실시간 감시 장치 및 방법
US20240193946A1 (en) Bird detection and species determination
CN113297976B (zh) 一种基于深度学习的基站入侵检测方法和系统
CN115063921A (zh) 一种工地智能闸机系统及搭建方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22951282

Country of ref document: EP

Kind code of ref document: A1