WO2023090758A1 - 음파 신호를 이용하여 노면 종류를 추정하고 관리하는 장치 및 그 방법 - Google Patents

음파 신호를 이용하여 노면 종류를 추정하고 관리하는 장치 및 그 방법 Download PDF

Info

Publication number
WO2023090758A1
WO2023090758A1 PCT/KR2022/017680 KR2022017680W WO2023090758A1 WO 2023090758 A1 WO2023090758 A1 WO 2023090758A1 KR 2022017680 W KR2022017680 W KR 2022017680W WO 2023090758 A1 WO2023090758 A1 WO 2023090758A1
Authority
WO
WIPO (PCT)
Prior art keywords
road surface
road
sound wave
signal
present disclosure
Prior art date
Application number
PCT/KR2022/017680
Other languages
English (en)
French (fr)
Inventor
김민현
Original Assignee
주식회사 모바휠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210158459A external-priority patent/KR102397312B1/ko
Priority claimed from KR1020210158479A external-priority patent/KR102415195B1/ko
Priority claimed from KR1020210158464A external-priority patent/KR102505159B1/ko
Priority claimed from KR1020220089328A external-priority patent/KR102615586B1/ko
Priority claimed from KR1020220089331A external-priority patent/KR102615591B1/ko
Priority claimed from KR1020220089330A external-priority patent/KR20240012630A/ko
Priority claimed from KR1020220089329A external-priority patent/KR20240012629A/ko
Priority claimed from KR1020220133387A external-priority patent/KR20240053377A/ko
Priority claimed from KR1020220133405A external-priority patent/KR20240053386A/ko
Priority claimed from KR1020220133397A external-priority patent/KR20240053381A/ko
Priority to EP22895965.6A priority Critical patent/EP4435706A1/en
Priority to CN202280076362.1A priority patent/CN118265994A/zh
Priority to CA3229412A priority patent/CA3229412A1/en
Application filed by 주식회사 모바휠 filed Critical 주식회사 모바휠
Publication of WO2023090758A1 publication Critical patent/WO2023090758A1/ko
Priority to US18/439,766 priority patent/US20240183117A1/en

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01—Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B1/00—Nozzles, spray heads or other outlets, with or without auxiliary devices such as valves, heating means
    • B05B1/14—Nozzles, spray heads or other outlets, with or without auxiliary devices such as valves, heating means with multiple outlet openings; with strainers in or outside the outlet opening
    • B05B1/20—Arrangements of several outlets along elongated bodies, e.g. perforated pipes or troughs, e.g. spray booms; Outlet elements therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/08—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
    • B05B12/12—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B13/00—Machines or plants for applying liquids or other fluent materials to surfaces of objects or other work by spraying, not covered by groups B05B1/00 - B05B11/00
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C11/00—Details of pavings
    • E01C11/24—Methods or arrangements for preventing slipperiness or protecting against influences of the weather
    • E01C11/26—Permanently installed heating or blowing devices ; Mounting thereof
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C11/00—Details of pavings
    • E01C11/24—Methods or arrangements for preventing slipperiness or protecting against influences of the weather
    • E01C11/26—Permanently installed heating or blowing devices ; Mounting thereof
    • E01C11/265—Embedded electrical heating elements ; Mounting thereof
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01F—ADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
    • E01F9/00—Arrangement of road signs or traffic signals; Arrangements for enforcing caution
    • E01F9/40—Arrangements responsive to adverse atmospheric conditions, e.g. to signal icy roads or to automatically illuminate in fog; Arrangements characterised by heating or drying means
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01H—STREET CLEANING; CLEANING OF PERMANENT WAYS; CLEANING BEACHES; DISPERSING OR PREVENTING FOG IN GENERAL CLEANING STREET OR RAILWAY FURNITURE OR TUNNEL WALLS
    • E01H10/00—Improving gripping of ice-bound or other slippery traffic surfaces, e.g. using gritting or thawing materials ; Roadside storage of gritting or solid thawing materials; Permanently installed devices for applying gritting or thawing materials; Mobile apparatus specially adapted for treating wintry roads by applying liquid, semi-liquid or granular materials
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01H—STREET CLEANING; CLEANING OF PERMANENT WAYS; CLEANING BEACHES; DISPERSING OR PREVENTING FOG IN GENERAL CLEANING STREET OR RAILWAY FURNITURE OR TUNNEL WALLS
    • E01H10/00—Improving gripping of ice-bound or other slippery traffic surfaces, e.g. using gritting or thawing materials ; Roadside storage of gritting or solid thawing materials; Permanently installed devices for applying gritting or thawing materials; Mobile apparatus specially adapted for treating wintry roads by applying liquid, semi-liquid or granular materials
    • E01H10/005—Permanently-installed devices for applying gritting or thawing materials, e.g. for spreading grit, for spraying de-icing liquids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/04—Frequency
    • G01H3/06—Frequency by electric means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms

Definitions

  • the present disclosure relates to an apparatus for estimating the type of a road surface using a sound wave signal and a method for classifying and managing a road surface using the same, and more particularly, by classifying a sound wave signal reflected on a road surface using an artificial neural network and classifying the classified A device for controlling a road surface or a moving object based on a type of road surface and a road surface management method using the same.
  • ground vehicles moving on the ground perform acceleration and deceleration control according to the friction coefficient of the moving ground, that is, the road surface, so it is important to accurately estimate the road surface friction coefficient in terms of stability control and maximum motion performance control.
  • Black ice accidents which are rapidly increasing in winter, are an example of the need for road friction coefficient estimation technology in that they occur due to rapid changes in the road friction coefficient without being aware of it.
  • the friction coefficient of the road surface can be remotely estimated, but expensive sensor equipment and a corresponding signal processing device are required for this purpose, and the result depends on the mounting position or direction of the sensor. There are limits to what can change.
  • road surface estimation technology using sound information is also actively discussed.
  • the focus is on technology for estimating the road surface condition based on the frictional sound between the ground and tires, which not only lacks accuracy but also causes the road surface in front to pass through.
  • the state cannot be checked.
  • the present disclosure intends to provide an apparatus and method for estimating a type of road surface using a sound wave signal.
  • an electronic device for classifying a road surface using sound wave signals includes a transceiver configured to transmit and receive sound wave signals; atmospheric sensor; and at least one processor electronically connected to the transceiver and the atmospheric sensor, wherein the at least one processor transmits a sound wave signal toward a target road spaced apart from the electronic device by a first distance using the transceiver. and receiving a reflected signal of the sound wave signal with respect to the target road surface using the transceiver, obtaining atmospheric information associated with the sound wave signal using the atmospheric sensor, and obtaining a first signal for the received reflected signal.
  • Acquiring data generating second data by correcting the first data based on the atmospheric information, and acquiring third data related to frequency domain information of the second data based on the second data, It is set to determine the type of the target road surface based on the third data and a road classification artificial neural network, and the road classification artificial neural network is generated based on a sound wave signal reflected from a road surface at a second distance different from the first distance. can be learned with a frequency domain data set.
  • the second data may be generated by correcting the first data based on the waiting information and the first distance.
  • the first distance may be estimated based on a transmission time of the sound wave signal and a reception time of the reflected signal.
  • the third data may be obtained by short-time Fourier transform (STFT) transform of the second data.
  • STFT short-time Fourier transform
  • the at least one processor may be configured to generate a signal for controlling a road surface management device installed on the target road surface based on the determined type of the target road surface.
  • the road surface management device may include a hot wire or a salt water spray device.
  • the at least one processor is configured to determine whether a preset weather condition is satisfied, and to generate a signal for controlling the road surface management device when the preset weather condition is satisfied.
  • the at least one processor checks whether the type of the target road surface determined at the first time point is changed at the second time point, and determines whether the first class determined as the type of the target road surface at the first time point and the first When the second class determined as the type of the target road surface at two points in time is different from each other, it is set to determine whether to generate a control signal for a device installed on the target road surface based on the type of the target road surface determined at a third point in time.
  • the type of the target road surface is determined every first period, and the at least one processor determines the type of the target road surface when the type of the target road surface is determined to be in the first class. It may be set to be judged every 2 cycles.
  • the electronic device further includes at least one of an IR sensor for acquiring temperature information of the target road surface and a vision sensor for acquiring image information of the target road surface, and the at least one processor , It may be set to determine the type of the road surface further based on the temperature information or the image information.
  • a method of classifying a road surface using a sound wave signal performed by an electronic device may include transmitting a sound wave signal toward a target road surface separated from the electronic device by a first distance; Receiving a reflected signal of the sound wave signal with respect to the target road surface; acquiring atmospheric information associated with the sound wave signal; obtaining first data for the received reflected signal; generating second data by correcting the first data based on the standby information; obtaining third data related to frequency domain information of the second data based on the second data; and determining the type of the target road surface based on the third data and a road classification artificial neural network, wherein the road classification artificial neural network determines a sound wave signal reflected from a road surface at a second distance different from the first distance. It can be learned with a frequency domain data set generated based on
  • the road surface management can be economically and efficiently managed by automatically controlling the road surface management using the classification information of the road surface.
  • the present disclosure can provide more effective traffic network information to users by obtaining road surface information in real time.
  • FIG. 1 is a block diagram of a road classification device according to various embodiments of the present disclosure.
  • FIG. 2 is a diagram illustrating that a road classification device according to an embodiment of the present disclosure is installed and operated in a road infrastructure.
  • FIG. 3 is a flowchart illustrating a method performed by a road classification device according to the present disclosure.
  • FIG. 4 is a diagram illustrating a sound wave signal transmitted from a road classification device according to various embodiments of the present disclosure on a time axis.
  • FIG. 5 is a diagram illustrating a transmission period of a sound wave signal and a reception period of a reflected signal according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating a target on which a road classification device according to various embodiments of the present disclosure is installed.
  • FIG. 7 is a diagram illustrating a method of obtaining a data set for learning a road classification artificial neural network according to various embodiments of the present disclosure.
  • FIG. 8 is a flowchart illustrating a process of pre-processing a received reflected signal by a road classification apparatus according to various embodiments of the present disclosure.
  • FIG. 9 is a diagram illustrating a multi-modal artificial neural network according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating an operation of changing a control operation based on a predetermined control change trigger by a road surface classification apparatus according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating a scenario in which a road surface classification result is changed according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a road surface management method by a road classification device according to various embodiments of the present disclosure.
  • FIG. 13 is a diagram illustrating that a road classification apparatus according to an embodiment of the present disclosure collects traffic information.
  • FIG. 14 is a configuration diagram of a road surface type estimation device according to an embodiment of the present disclosure.
  • 15 is a diagram for explaining a transmission signal and a reception signal in an apparatus for estimating a type of road surface using sound waves according to an embodiment of the present disclosure.
  • 16 is a diagram for exemplarily explaining a signal converter in an apparatus for estimating a type of road surface using sound waves according to an embodiment of the present disclosure.
  • 17 is a diagram for explaining an artificial neural network in an apparatus for estimating a road surface type using sound waves according to an embodiment of the present disclosure.
  • 18 is a diagram for explaining the operation of a convolution performer.
  • 19 is a diagram for explaining a code of a convolution performer of an apparatus for estimating a road surface type using sound waves according to an exemplary embodiment of the present disclosure.
  • 20 is a flowchart of a method for estimating a type of road surface using domain conversion of sound waves according to an embodiment of the present disclosure.
  • 21 is a flowchart illustrating an embodiment of a method for estimating a type of road surface using sound waves according to the present disclosure.
  • FIG. 22 is a flowchart illustrating a method for estimating a road surface type using sound waves in which atmospheric attenuation is corrected according to an embodiment of the present disclosure.
  • FIG. 23 is a diagram for explaining a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to an embodiment of the present disclosure.
  • FIG. 24 is a configuration diagram of a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to an embodiment of the present disclosure.
  • 25 is a diagram illustratively illustrating recognizing a uniform road surface condition in a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to an embodiment of the present disclosure.
  • 26 is a diagram illustratively illustrating recognizing a non-uniform road surface condition in a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to an embodiment of the present disclosure.
  • FIG. 27 is a diagram for explaining a method of finding a segmentation area detected by an acoustic wave sensor in a road condition monitoring system equipped with a vision sensor and an acoustic wave sensor according to an embodiment of the present disclosure.
  • FIG. 28 is a diagram for explaining an example of an artificial neural network of a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to an embodiment of the present disclosure.
  • 29 is a diagram for explaining an example of a segmentation processing unit of a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to an embodiment of the present disclosure.
  • FIG. 30 is a flowchart of an embodiment of a monitoring method in a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to the present disclosure.
  • FIG. 31 is a detailed flowchart of an embodiment of the fusion analysis step 3050 of FIG. 30 .
  • FIG. 32 is a configuration diagram of a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to another embodiment of the present disclosure.
  • FIG 33 is a flowchart of another embodiment of a monitoring method in a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to the present disclosure.
  • 34 is a diagram for explaining an operation of a control system of a heating wire system for a road according to an embodiment of the present disclosure.
  • 35 is a block diagram of a control system of an apparatus for preventing icing on a road according to an embodiment of the present disclosure.
  • 36 is a block diagram of a control system of an apparatus for preventing icing on a road according to another embodiment of the present disclosure.
  • 37A to 37C are diagrams for explaining an artificial intelligence analysis model used in a control system of an apparatus for preventing icing on a road according to an embodiment of the present disclosure.
  • 38 is a flowchart of a control method of an apparatus for preventing icing on a road according to an embodiment of the present disclosure.
  • FIG. 39 is a detailed flowchart of one embodiment of the control signal generation step 3850 of FIG. 38 when the device for preventing icing on a road according to the present disclosure is a hot wire device.
  • FIG. 40 is a detailed flowchart of one embodiment of the control signal generation step 3850 of FIG. 38 when the device for preventing icing on a road according to the present disclosure is a salt water spray device.
  • 41 is a perspective view schematically illustrating a road infrastructure sensor construction structure according to an embodiment of the present disclosure.
  • FIG. 42 is a side view schematically illustrating a road infrastructure sensor construction structure according to an embodiment of the present disclosure.
  • FIG 43 is a perspective view (a) and a partial cross-sectional perspective view (b) schematically illustrating an acoustic wave sensor unit according to an embodiment of the present disclosure.
  • FIG 44 is a partial side cross-sectional view schematically illustrating a sound wave sensor unit according to an embodiment of the present disclosure.
  • 45 is a perspective view schematically illustrating a road infrastructure sensor construction structure according to another embodiment of the present disclosure.
  • 46 is a side view schematically illustrating a road infrastructure sensor construction structure according to another embodiment of the present disclosure.
  • FIG 47 is a partially enlarged perspective view (a), a bottom perspective view (b), and a partial cross-sectional perspective view (b) schematically showing a road infrastructure sensor construction structure according to another embodiment of the present disclosure.
  • FIG. 48 is a partial side cross-sectional view schematically illustrating a sound wave sensor unit according to another embodiment of the present disclosure.
  • 49 is a flowchart illustrating a construction method of a road infrastructure sensor construction structure according to a preferred embodiment of the present disclosure.
  • first and/or “second” may be used to describe various components, but the components should not be limited by the terms. The above terms are only for the purpose of distinguishing one component from another component, e.g., without departing from the scope of rights according to the concept of the present disclosure, a first component may be termed a second component, and similarly The second component may also be referred to as the first component.
  • each block of the process flow diagrams and combinations of the flow diagrams may be performed by computer program instructions.
  • These computer program instructions may be embodied in a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, so that the instructions executed by the processor of the computer or other programmable data processing equipment are described in the flowchart block(s). It creates means to perform functions.
  • These computer program instructions may also be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular way, such that the computer usable or computer readable memory
  • the instructions stored in may also be capable of producing an article of manufacture containing instruction means that perform the functions described in the flowchart block(s).
  • the computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to generate computer or other programmable data processing equipment. Instructions for performing the processing equipment may also provide steps for performing the functions described in the flowchart block(s).
  • each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative implementations it is possible for the functions mentioned in the blocks to occur out of order. For example, two blocks shown in succession may in fact be executed substantially concurrently, or the blocks may sometimes be executed in reverse order depending on their function.
  • 'unit' used in the present disclosure refers to software or a hardware component such as a Field Programmable Gate Array (FPGA) or Application Specific Integrated Circuit (ASIC).
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • ' ⁇ Part' performs specific roles, but is not limited to software or hardware.
  • ' ⁇ bu' may be configured to be in an addressable storage medium and may be configured to reproduce one or more processors.
  • ' ⁇ unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and programs. procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • components and ' ⁇ units' may be combined into smaller numbers of components and ' ⁇ units' or further separated into additional components and ' ⁇ units'.
  • components and ' ⁇ units' may be implemented to play one or more CPUs in a device or a secure multimedia card.
  • ' ⁇ unit' may include one or more processors.
  • the present disclosure relates to a system for classifying a road surface using a sound wave signal and managing the road surface or vehicle operation through the classification.
  • a road surface classification device may include a device installed on a road infrastructure or a mobile body to determine the type or condition of a road surface.
  • a road surface classification apparatus may include a server device that determines the type or state of a road surface based on information received from a device installed in a road infrastructure or a moving object.
  • FIG. 1 is a block diagram of a road classification device according to various embodiments of the present disclosure.
  • a road classification apparatus 100 may include a transceiver 110 , a sensing unit 120 , and a control unit 130 .
  • the road classification device may include additional components in addition to the hardware components described above, and is not limited to the components shown in FIG. 1 .
  • 1 is for illustrating hardware components constituting the road classification device 100 of the present disclosure, and the road classification device according to another embodiment of the present disclosure is configured by omitting some of the components shown in FIG. It can be.
  • the transceiver 110 is a hardware component configured to transmit and receive sound wave signals, and may include a transmitter (not shown) and a receiver (not shown) or a transceiver (not shown).
  • a transmitter not shown
  • a receiver not shown
  • a transceiver not shown
  • the transmitter is a device that generates and transmits a sound wave signal, and may be disposed in a direction in which the sound wave signal is emitted toward a road surface. At this time, the emitted sound wave signal may include a high-frequency ultrasonic signal.
  • the frequency of the generated sound wave signal may be fixed according to the type of transmitter, or set by a user input or may be variable.
  • the sound wave signal may be transmitted singly according to a user input, control of a controller or server, or a predetermined rule, or one or a plurality of signals may be periodically transmitted during one period. In this case, the number of transmitted sound waves or transmission period may be variable.
  • the receiver is a device for receiving a sound wave signal, and may be arranged to receive a sound wave signal reflected from a road surface.
  • the receiver may directly receive a sound wave signal transmitted from an adjacent transmitter in addition to the reflected signal. Since the signal directly received from the transmitter is a signal irrelevant to the classification of the road to be determined by the road classification device of the present disclosure, it can be regarded as noise, and such a noise signal is called cross-talk.
  • a transmitter and a receiver may be installed apart from each other in order to reduce crosstalk.
  • a structure such as a sound absorbing material or a sound insulating material is additionally provided between the transmitter and the receiver. can be placed.
  • the structure may be formed of a material or structure having physical properties of attenuating or absorbing sound waves, and may be an electronic device configured to implement such physical properties.
  • a transceiver is a term including a transmitter, a receiver, or both transceivers, and a transceiver may mean a hardware device in which a transmitter and a receiver are integrated into one, including both physically separated transmitters and receivers, or each of them. It can also mean referring to.
  • the transceiver may transmit or receive sound waves within an angle of view range according to hardware performance.
  • the road classification device 100 may use transceivers having different beam angles in consideration of a target or environment in which the road classification device is installed. For example, a beam angle of a transceiver used in a road classification device disposed in a road infrastructure may be smaller than a beam angle of a transceiver used in a road classification device installed in a vehicle.
  • the transmitter and the receiver may be disposed in consideration of a mutual beam angle.
  • the receiver according to an embodiment of the present disclosure may be disposed outside the beam angle range of the transmitter, and through this, the outermost sound wave signal of the beam angle emitted from the transmitter may not be detected by the receiver.
  • a receiver according to another embodiment of the present disclosure may be disposed on an outer side with respect to the center of the beam angle of the transmitter so that a crosstalk signal detected by the receiver is less than or equal to a reference value.
  • a transceiver may be designed or arranged to respond only to a specific frequency characteristic of a reflected wave with respect to a road surface.
  • the sensing unit 120 is a hardware component that obtains information necessary for road surface classification according to the present disclosure through measurement, and the sensing unit 120 according to the present disclosure may include an air sensor, a camera, and/or an IR sensor. .
  • the sensing unit 120 may include a standby sensor.
  • the air sensor is a hardware device that obtains information related to an air state, and the air information measured or obtained by the air sensor may include at least one of temperature, humidity, or air pressure.
  • the atmospheric information may further include wind information.
  • the wind information may include a physical quantity related to the wind, such as wind speed, wind volume, or wind direction.
  • an atmospheric sensor may refer to a device including at least one of a temperature sensor, a humidity sensor, and an air pressure sensor.
  • the air sensor may mean a device capable of sensing a plurality of different air information.
  • the atmospheric sensor according to an embodiment of the present disclosure may measure temperature, humidity, air pressure, and/or wind speed of a place where the road classification device is located.
  • the sensing unit 120 may further include a camera and/or an IR sensor.
  • the camera is a device for acquiring images and may obtain image information on the road surface
  • the IR sensor may obtain temperature information of the road surface by detecting radiant heat emitted from the road surface. Since the temperature information acquired by the IR sensor is temperature information about the road surface and the temperature information obtained by the air sensor is temperature information about the air, the values indicated by the respective temperature information acquired by different sensors may be different. .
  • the road classification result output by the road classification apparatus 100 may be generated based on a plurality of pieces of information, and specific embodiments thereof will be described later.
  • the camera and/or IR sensor included in the sensing unit 120 is exemplary, and the sensing unit 120 is used to classify the road surface in addition to the atmospheric sensor, camera, or IR sensor described above. Any sensing device that obtains possible information may be further included.
  • the control unit 130 is hardware set to perform the method performed by the road classification device of the present disclosure, and may include at least one processor including a logic circuit and an arithmetic circuit.
  • the controller 130 may process data according to a program and/or instructions provided from a memory (not shown), and may generate a control signal according to a processing result.
  • the controller 130 may control at least one other component (eg, hardware or software component) of the road classification device 100 connected to the controller 130, It can perform various data processing or calculations.
  • the control unit 130 stores commands or data received from other components (eg, the receiver 120 or the sensing unit 120) in a volatile memory (not shown). , processing commands or data stored in a volatile memory (not shown), and storing resultant data in a non-volatile memory (not shown).
  • a signal obtained through the receiver 120 may be converted into a digital signal and processed through an analog to digital converter (ADC) circuit included in the control unit 130 .
  • ADC analog to digital converter
  • the converted digital signal may be pre-processed as input data for input to an artificial neural network.
  • control unit 130 may include a main processor (eg, a central processing unit (CPU) or an application processor (AP)) or an auxiliary processor (eg, a graphic processing unit (GPU)) operable independently of or together with the main processor, a neural network It may include a processing unit (NPU: neural processing unit), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor e.g, a central processing unit (CPU) or an application processor (AP)
  • auxiliary processor eg, a graphic processing unit (GPU)
  • the auxiliary processor may use less power than the main processor or may be set to be specialized for a designated function.
  • a secondary processor may be implemented separately from, or as part of, the main processor.
  • the road classification device may include a communication unit (not shown).
  • the communication unit receives a command or data input from a user or other external device, transmits a command or data generated by the road classification device to the outside, or transmits a command or data from other component(s) of the road classification device.
  • it refers to a receiving hardware component, and may include a wired/wireless communication module and/or an input/output interface.
  • the road classification device receives information from an external electronic device (eg, a control box or a management server installed outside the road classification device) through the communication unit, or the external electronic device The information obtained or generated by the road classification device may be transmitted.
  • the communication unit may be implemented separately from the control unit 130 in the road classification device according to various embodiments of the present disclosure, and may be implemented through circuit elements included in the control unit 130 and included in the control unit 130.
  • the road classification device may be a device that provides information necessary for classifying a road surface in conjunction with an external electronic device.
  • the artificial neural network (not shown) for classifying the road surface of the present disclosure is included in the controller 130 as a software-on-chip (SOC) or a micro controller unit (MCU) in the road classification device.
  • SOC software-on-chip
  • MCU micro controller unit
  • the artificial neural network may be provided in the form of software operated by the controller 130 and updated by communication from an external server or user input.
  • the artificial neural network may be implemented in an external electronic device (eg, the controller or the server), and in this case, the controller 130 of the road classification device generates the artificial neural network based on the sound wave signal.
  • Data required for road classification such as road surface classification data and standby information, is transmitted to an external electronic device, and the external electronic device can classify the road surface based on the data received from the road classification device.
  • the road classification device may be a server device.
  • the road classification device may not include the sound wave transceiver 110 and the sensing unit 120, receives data necessary for road classification from an external electronic device through a communication unit (not shown), and transmits data to the received data. Based on this, the controller 130 may classify the road surface. In addition, a classified road surface classification result and/or related control information may be transmitted to an external electronic device.
  • FIG. 2 is a diagram illustrating that a road classification device according to an embodiment of the present disclosure is installed and operated in a road infrastructure.
  • the road surface classification device 100 may be installed to face a road surface 230 to be classified in the road infrastructure 200 .
  • the road infrastructure 200 is a term that collectively refers to traffic facilities including support-type structures 210 such as traffic lights, street lights, road guide signs, or image information processing devices installed on or along the road. It refers to a structure on which a road classification device can be installed, and is not limited to the above example. According to one embodiment of the present disclosure, the installation of the road surface classification device 100 in the road infrastructure 200 may mean installation at the upper end of the post-type structure 210, but is not limited thereto.
  • the road infrastructure 200 may include a controller 220 for controlling electronic devices installed on the pillar-type structure 210 .
  • the electronic device installed on the pillar-type structure 210 may include a light emitting device used for streetlights or traffic lights, a CCTV, a traffic information collection camera, or a road classification device according to the present disclosure.
  • the controller 220 is a device for controlling electronic devices installed in the holding-type structure 210.
  • the holding-type structure is a street light
  • it may be a street light controller that controls the operation of the street light
  • the holding-type structure In the case of traffic lights, it may be a traffic signal controller that controls signals of traffic lights.
  • the controller 220 may control the operation of the road classification device 100 of the present disclosure, and road infrastructure ( 200) can be controlled.
  • the controller 220 may serve as a gateway between the road classification device 100 and a management server (not shown). That is, the controller 220 may include a wired/wireless communication module, transmit information obtained from the road classification device to the management server, or receive commands or data for controlling the road classification device or road from the management server. .
  • the controller 220 may include the artificial neural network of the present disclosure, and through this, may directly classify a road surface based on information obtained from a road classification device.
  • the artificial neural network provided to the controller 220 is provided to the road classification device 100. It can outperform artificial neural networks.
  • the controller 220 may control the road surface management device 250 installed on the road based on the classified road surface to manage the road surface.
  • the road surface management device 250 may include a snow removal device such as a heat wire or a salt water spray device installed on a road, or a drainage facility. Details of operation of the road surface management device according to various embodiments of the present disclosure will be described later.
  • a snow removal device such as a heat wire or a salt water spray device installed on a road, or a drainage facility. Details of operation of the road surface management device according to various embodiments of the present disclosure will be described later.
  • a reflected signal for the same sound wave incident signal is different for each material. Therefore, materials can be distinguished by analyzing the reflected signal using these physical characteristics.
  • acoustic impedance is a physical quantity having frequency characteristics, the material of the reflecting surface can be classified more precisely by analyzing the reflected signal in the frequency domain.
  • An artificial neural network may be used to perform a road surface classification method using a sound wave reflection signal according to various embodiments of the present disclosure.
  • a neural network model of an artificial neural network may include a plurality of layers or layers.
  • the neural network model may be implemented in the form of a classifier generating road surface classification information.
  • a classifier can perform multiple classifications.
  • the neural network model may be a multi-classification model that classifies results of input data into a plurality of classes.
  • a neural network model may include a deep neural network (DNN) of a multi-layer perceptron algorithm including an input layer, a plurality of hidden layers, and an output layer.
  • DNN deep neural network
  • a neural network model according to another embodiment of the present disclosure may include a Convolutional Neural Network (CNN).
  • CNN Convolutional Neural Network
  • a neural network model may be implemented to include a plurality of VGGNet blocks.
  • the neural network model includes a first structure in which a CNN layer having 64 filters in a 3x3 size, a Batch Normalization (BN) layer, and a ReLU layer are sequentially combined, a CNN layer having 128 filters in a 3x3 size, a ReLU layer, and A second block in which BN layers are sequentially combined may be prepared by combining.
  • the neural network model includes a max pooling layer following each CNN block, and may include a global average pooling (GAP) layer, a fully connected (FC) layer, and an activation layer (eg, sigmoid, softmax, etc.) at the end. there is.
  • GAP global average pooling
  • FC fully connected
  • activation layer eg, sigmoid, softmax, etc.
  • An artificial neural network refers to a neural network model for classifying a road surface by extracting characteristics from a frequency conversion signal of a sound wave signal, and is not limited to the above example.
  • the road classification artificial neural network may be trained using the frequency domain data of the reflected signal as an input value, and the learned artificial neural network may be trained using the frequency domain data of the target signal as an input value.
  • the surface can be classified.
  • the frequency domain data may refer to data obtained by performing frequency domain conversion on a digital signal converted through ADC sampling of a reflected signal.
  • Short-Time Fourier Transform (STFT) transform As a frequency domain transform method according to various embodiments of the present disclosure, Short-Time Fourier Transform (STFT) transform, Fast Fourier Transform (FFT) transform, cepstrum transform, wavelet transform, and cross-correlation method , convolution transformation, etc. may be used.
  • STFT Short-Time Fourier Transform
  • FFT Fast Fourier Transform
  • cepstrum transform cepstrum transform
  • wavelet transform wavelet transform
  • cross-correlation method convolution transformation, etc.
  • convolution transformation etc.
  • the above-described frequency domain conversion method is illustrative, and is not limited to the listed conversion methods, and various conversion or analysis methods for analyzing a sound wave signal in the time domain in the frequency domain may be used.
  • spectrogram data obtained through STFT transformation may be included.
  • frequency domain data may include data obtained by applying a cross-correlation method.
  • the cross-correlation synthesis of the input data can correspond to the step of inputting the data to the convolution layer, CNN-based learning and classification can be possible using this.
  • the frequency domain data used for learning may be labeled along with information necessary for road classification.
  • the labeled information may include the type of road surface and/or standby information.
  • the learning data set may include a data set in which the type of road surface from which each data was obtained is labeled in frequency domain data.
  • the types (classes) of the road surface classified by the road surface classification device include asphalt, cement, soil, ice, marble, paint, slush (a mixture of water and ice), snow, and water. It may contain classes such as The types of listed classes are exemplary, and the number or groups of classes to be classified may vary according to circumstances in various embodiments of the present disclosure. Meanwhile, instead of using such a direct labeling method or group name, each input data may be grouped in an arbitrary method such as the first class and the second class. Grouping in this arbitrary method may be a classification result in the case of using an unsupervised artificial neural network in which a label is not included in training data, but is not limited thereto.
  • FIG. 3 is a flowchart illustrating a method performed by a road classification device according to the present disclosure. According to various embodiments, the operations shown in FIG. 3 may be performed in various orders without being limited to the order shown. Also, according to various embodiments, more operations than the operations shown in FIG. 3 or at least one operation less may be performed. 4 to 12 may be referred to as drawings for further explanation of the operations shown in FIG. 3 .
  • the road classification apparatus may transmit or emit a sound wave signal toward the classification target road surface using a transmitter.
  • the sound wave signal may be transmitted at least once, and the frequency or transmission period of the signal may be changed according to a user's input, preset conditions, or server control.
  • the sound wave signal is transmitted multiple times within one determination period, since a plurality of data for determining the classification or state of the road surface can be acquired, the accuracy of the road classification can be improved.
  • a specific embodiment of a period of transmitting sound wave signals and an operation of transmitting multiple times within one period will be described later with reference to FIG. 4 .
  • the road classification apparatus may receive a signal reflected from the target road surface using a receiver. Since the reflected signal is a reflected signal for the transmitted sound wave signal, the sound wave signal and the reflected signal may correspond to each other. When a plurality of sound wave signals are transmitted, reflection signals corresponding thereto may be received a plurality of times.
  • the road classification apparatus may obtain atmospheric information through an atmospheric sensor of the sensing unit 120 when a sound wave signal is transmitted.
  • the time point at which air information is acquired does not necessarily coincide with the time point at which the sound wave signal is transmitted, and it means that there exists a correspondence with each other within a certain time interval. That is, the road classification apparatus may acquire air information corresponding to one sound wave signal or air information corresponding to a plurality of sound wave signals.
  • the road classification apparatus may process a reflected signal corresponding to a sound wave signal based on atmospheric information corresponding to a emitted sound wave signal.
  • the time from when one sound wave signal is transmitted from the transmitter to when the reflected signal is received by the receiver after being reflected by the road surface may be defined as time of flight (ToF). Since the propagation speed of sound waves in the air can be determined under specific weather conditions, the distance between the road classification device and the target road surface can be measured based on ToF and atmospheric information. Conversely, when the distance between the road classification device and the target road surface is known in advance, ToF may be estimated. Accordingly, the road classification apparatus according to various embodiments of the present disclosure may identify a received signal corresponding to a sound wave signal transmitted from a transmitter.
  • a receiving period of a received signal corresponding to a sound wave signal transmitted from a transmitter may be determined, and a signal received in the corresponding time period may be determined as a reflection signal of the transmitted sound wave signal, and signals received in other time periods may be treated as noise. It can be regarded as a reflection signal for other sound wave signals.
  • a detailed embodiment of a control method of a road classification device for controlling a noise signal using this will be described later with reference to FIG. 5 .
  • the road classification apparatus 100 may pre-process the received reflected signal through the controller to obtain data to be input to the road classification artificial neural network according to the present disclosure.
  • signal pre-processing refers to all processes of obtaining data to be input to an artificial neural network based on a received reflected signal
  • the pre-processing operation in step 303 includes an operation of sampling an analog signal into a digital signal, It may include signal attenuation correction, ToF correction, frequency domain conversion operation, and the like.
  • a preprocessing process for obtaining input data for the artificial neural network for classification of a road will be described in detail with reference to FIGS. 6 to 8 .
  • the input data acquired through the preprocessing process may be input to the artificial neural network for classification of the road surface.
  • the road classification artificial neural network according to various embodiments of the present disclosure may be trained with a learning data set composed of a plurality of data obtained for various road surfaces in order to classify the road surface.
  • the learned road classification artificial neural network may output a result based on input data.
  • the output result according to an embodiment of the present disclosure may include information related to a probability value for each classification class of the road surface.
  • a probability that the target road surface corresponds to each of the plurality of road surface types may be expressed as a numerical value and output.
  • one or more classes of the output road surface may be output in order of high probability.
  • An output result according to another embodiment of the present disclosure may be output by determining a specific class among a plurality of classes.
  • the specific class may be a case where the probability value for the corresponding class is greater than or equal to the threshold value, or the probability difference with the second-ranked class is greater than or equal to the threshold value.
  • the output result of the artificial neural network for classifying the road surface is information related to the material or condition of the road surface, and is not limited to the above example, and may be output in a form required by the user according to the design of the artificial neural network. .
  • the road classification device may perform various operations according to the output result. By changing or adding a control operation based on the road classification result, the accuracy of the result or the efficiency of road management may be improved.
  • the road classification device may change the transmission period or frequency of the sound wave signal according to the output result.
  • a command or signal for controlling the road surface is generated and transmitted through the road surface management device.
  • a specific class eg, snow, ice, or slush
  • An embodiment of managing the road surface according to the output result will be described in detail with reference to FIG. 12 .
  • FIG. 4 is a diagram illustrating a sound wave signal transmitted from a road classification device according to various embodiments of the present disclosure on a time axis.
  • sound wave signals may be emitted multiple times within one transmission period.
  • a set of sound wave signals transmitted within one transmission period in order to determine a road surface condition is referred to as a burst.
  • the number of sound wave signals included in one burst may be changed according to a user setting or a predetermined rule. Also, intervals between sound wave signals included in one burst may be changed according to user settings or preset rules. Intervals between sound wave signals included in a burst may or may not be constant. Intensities of sound wave signals included in one burst may be the same or different from each other.
  • the number, interval, intensity, and duration of a burst of sound wave signals included in one burst are referred to as a burst configuration.
  • the different bursts may have the same or different burst configurations.
  • the burst configuration for each burst can be changed according to user settings or predetermined rules.
  • the number of sound wave signals included in a burst may be one.
  • the number of sound wave signals included in a burst may be plural.
  • the transmission period means a transmission interval of bursts for the road classification device to classify the state or material of the target road surface.
  • the transmission period may mean a time interval between adjacent sound wave signals that are regularly transmitted. Referring to FIG. 4 , the transmission period may correspond to a time interval between an initial signal 1a included in one burst (burst 1) and an initial signal 2a included in the next burst (burst 2).
  • the transmission period may be changed according to user settings or predetermined rules.
  • the number and/or transmission period of sound wave signals included in a burst may be changed according to a result of road surface classification or weather conditions. For example, in a specific weather condition, such as when it snows or the temperature is below freezing, the number of sound wave signals transmitted may be increased or the transmission period may be shortened to improve the accuracy of road surface classification. A specific embodiment for this will be described in detail with reference to FIGS. 10 and 11 .
  • a transmission period may vary according to a location or an object where a road classification device is installed. This is to distinguish the received signal reflected from the road surface and the crosstalk signal generated by the signal transmitted from the transmitter, and the transmission period of the road classification device installed in the road infrastructure is greater than that of the road classification device installed in the vehicle can be long Therefore, the judgment cycle of the road surface classification device installed in the road infrastructure may be longer than the judgment period of the road surface classification device installed in the vehicle.
  • the road classification apparatus may measure or determine ToF of a target road surface or object.
  • the road classification apparatus may transmit one or a plurality of sound wave signals and determine the ToF for the target road surface or object based on the received signal for the sound wave signals.
  • ToF may be determined based on a distance between the road classification device and the target road surface.
  • the road classification apparatus may determine an appropriate transmission period and burst configuration based on the determined ToF, and may transmit with the determined transmission period and burst configuration.
  • the transmission period according to an embodiment of the present disclosure may be set longer than the ToF for the road surface.
  • a duration of a burst according to an embodiment of the present disclosure may be set shorter than a transmission period.
  • One result corresponding to one burst may be output as a road surface classification result for the target road surface by the road surface classification apparatus according to various embodiments of the present disclosure.
  • the road classification device may display classification results for all sound wave signals included in one burst.
  • the corresponding result may be output based on a plurality of classification results for each of a plurality of sound wave signals included in the burst.
  • a first result is a road surface classification result obtained based on a signal in which a first burst (burst 1) is reflected on the road surface.
  • the first result may be a result obtained based on a result of the road surface classification of each of the signals 1a, 1b, 1c, and 1d included in the first burst.
  • the most frequent values of the results of 1a, 1b, 1c, and 1d can be output as the result.
  • the road surface classification result for the first burst may be output based on an average value obtained by summing the results of steps 1a, 1b, 1c, and 1d.
  • a time interval between road classification results of adjacent bursts that is, a time interval between a first result and a second result may be referred to as a determination period for road classification.
  • the determination period may coincide with the transmission period.
  • the determination period since the output timing may be irregular according to the signal processing operation, the determination period may not be constant and may not coincide with the transmission period.
  • the road classification apparatus may change the transmission period to change the determination period.
  • the determination period may be changed according to a user setting or a predetermined rule. A specific embodiment of changing the determination period will be described in detail with reference to FIGS. 10 and 11 .
  • FIG. 5 is a diagram illustrating a transmission period of a sound wave signal and a reception period of a reflected signal according to an embodiment of the present disclosure.
  • the road classification device may transmit a burst or sound wave signal in a transmission period.
  • a case in which one signal is transmitted is illustrated for convenience of description, but the present disclosure is not limited thereto. That is, in the present disclosure, it may be understood that transmission of a sound wave signal by a road surface classification device includes not only single-shot transmission of one signal, but also transmission of a burst composed of a plurality of signals with a period.
  • the road classification apparatus may determine the ToF of the transmitted sound wave signal for the road, and thus may predetermine a corresponding reception interval for one transmission interval.
  • the road classification device when a signal is detected by the receiver before the reception period, the road classification device may regard it as a noise signal or a crosstalk signal, and may control a transmitter of the road classification device to reduce it. there is.
  • the strength of the first signal received before the reception period is greater than the first threshold, or the strength of the second signal received during the reception period and the first signal received before the reception period
  • the difference in intensity is smaller than the second threshold
  • power supplied to the transmitter may be changed to control the difference.
  • the first threshold value and/or the second threshold value may be predetermined or may be set by a user input or an external device.
  • vibration of the transmitter may be controlled by adjusting the amount of power supplied to the transmitter.
  • FIG. 6 is a diagram illustrating a target on which a road classification device according to various embodiments of the present disclosure is installed.
  • the road classification device 100 may be installed on a moving object 610 or a road infrastructure 620.
  • the road classification device 100a installed in the moving object 610 such as a vehicle
  • the road classification device 100b installed in the road infrastructure 620 have different heights from the road surface, the ToF of the transmitted sound waves is also different from each other.
  • the road classification apparatus of the present disclosure uses an artificial neural network to classify a road surface based on a reflected signal of the road surface, many data sets are required to train the artificial neural network.
  • FIG. 7 is a diagram illustrating a method of obtaining a data set for learning a road classification artificial neural network according to various embodiments of the present disclosure.
  • a learning data set for learning a road classification artificial neural network is obtained for various road surfaces by road classification (class) using a transceiver included in a mobile measurement device 700 It can be.
  • road classification class
  • the mobile measuring device 700 of the present disclosure refers to a sensor device mounted on equipment that moves on a road such as a bicycle, a car, or a scooter, and may include equipment that can be moved by humans or mechanical devices.
  • the ToF of the learning data collected by the mobile measurement device 700 may be similar to the ToF of the road classification device 100a installed in the moving object 610 such as a vehicle of FIG. 6 .
  • the position of the mobile measuring device on the ground may be set in consideration of the position of the road classification device installed on the mobile body on the ground.
  • the road classification artificial neural network learned with the learning data set acquired by the mobile measurement equipment according to various embodiments of the present disclosure can be used directly without any correction for the reflected signal in the road classification device 100a installed in the moving object. there is.
  • the road classification device when the road classification device is installed at a different height from a moving object such as a road infrastructure (100b), if the reflected signal obtained by the road classification device is input as it is to the road classification artificial neural network, the classification accuracy for the target road surface is increased. may fall
  • FIG. 8 is a flowchart illustrating a process of pre-processing a received reflected signal by a road classification apparatus according to various embodiments of the present disclosure.
  • the pre-processing process of FIG. 8 is an example for expressing the technical idea of the present disclosure, and according to various embodiments, more operations than the operations shown in FIG. 8 or at least one less operation may be performed. there is.
  • the road classification apparatus may obtain first data based on the received reflection signal.
  • the road classification device of the present disclosure may convert the reflected signal into a digital signal through the ADC circuit included in the controller 130.
  • the transmitter/receiver included in the road classification device may obtain first data by processing a reflected signal reflected through the road in the form of a digital signal.
  • the road classification apparatus may acquire second data by applying atmospheric correction to data converted into digital signals.
  • the road classification apparatus may generate second data obtained by correcting an attenuation amount of a reflected signal received based on atmospheric information such as temperature, humidity, and atmospheric pressure acquired through an atmospheric sensor.
  • the propagation distance of sound waves required for atmospheric correction may be previously input by a user or may be obtained based on ToF. That is, depending on the location where the road classification device is installed, distance information on the road surface is input in advance, or distance information on the road surface is obtained based on ToF information and waiting information obtained by the road classification device as described above. can
  • the road classification apparatus may obtain third data by applying distance correction to the second data for which the atmospheric attenuation is corrected.
  • the sound wave signal which is the basis of the learning data of the artificial neural network for classification of the road according to various embodiments of the present disclosure, may be a signal obtained by being reflected at a distance of d1 from the road surface. . Therefore, in order to improve the classification performance of the road classification device 100b installed at a height d2 different from d1, the sound wave signal obtained at d2 may be corrected as if it were the sound wave signal obtained at d1.
  • steps 802 and 803 may be performed as one procedure. That is, according to various embodiments of the present disclosure, sound wave data obtained by correcting the atmospheric attenuation and the distance to the road surface may be obtained based on the atmospheric information and the distance information for the digital signal obtained in step 801 .
  • steps 802 and/or 803 may be omitted according to the installation location of the road classification device according to various embodiments of the present disclosure.
  • the road classification apparatus may obtain frequency domain data by performing transformation to analyze the corrected sound wave data in a frequency domain.
  • the frequency domain conversion method according to various embodiments of the present disclosure is as described above.
  • the obtained frequency domain data is input data to the artificial neural network for classification of roads according to various embodiments of the present disclosure.
  • the neural network for classification of roads outputs a result of classification of the road surface for the target road surface. can do.
  • the road classification apparatus may output a result based on additional information other than the sound wave signal.
  • Other information that can be acquired in addition to the sound wave signal may include image information acquired through a vision sensor (camera), road surface temperature information obtained through an IR sensor, environment information obtained through a communication unit, and the like.
  • the road classification device may combine two or more different criteria.
  • the road classification apparatus may further include a separate image-based road classification artificial neural network for obtaining a road classification result for image information.
  • the road surface classifying apparatus may verify a result value for a specific road surface condition by adding a specific temperature condition. For example, if the road surface temperature is higher than 0 degrees Celsius, ice cannot be physically formed under atmospheric pressure conditions, so if the road surface classification result is classified as ice under the corresponding temperature condition, it may be determined that it corresponds to an error. Therefore, if the road surface or air temperature acquired through the IR sensor or atmospheric sensor of the sensing unit is confirmed to be above a certain temperature, if the road surface condition indicated by the road surface classification result is ice-related, an additional action may be performed instead of outputting the corresponding result. can Alternatively, when the road surface temperature is higher than or lower than a specific temperature, it may be set to output the result by further utilizing the result of the image information.
  • the road surface classification apparatus may output a road surface classification result by further considering weather environment information. For example, when meteorological environment information related to weather, such as when it snows or rains, is received, the ranking of the road surface classification result for a class with a high possibility of being classified in the corresponding weather may be adjusted.
  • the road classification artificial neural network can enhance learning performance and classification performance by receiving additional related data instead of learning only data based on sound wave signals.
  • FIG. 9 is a diagram illustrating a multi-modal artificial neural network according to an embodiment of the present disclosure.
  • a road classification artificial neural network may include a multi-modal artificial neural network.
  • the multi-modal artificial neural network can function as one classifier through classifiers based on different information by inputting at least one of image information, air information, or road temperature information in addition to input data related to sound waves.
  • a more accurate road surface classification result may be obtained by inputting a plurality of pieces of information related to one road surface condition together. That is, the road classification apparatus according to various embodiments of the present disclosure may output a road surface result by combining a plurality of pieces of information.
  • the input data shown in FIG. 9 is exemplary, and only a part of image information, atmospheric information, and/or road surface temperature information or additional information may be further utilized.
  • FIG. 10 is a flowchart illustrating an operation of changing a control operation based on a predetermined control change trigger by a road surface classification apparatus according to an embodiment of the present disclosure.
  • a control change trigger refers to a situation or condition for changing an operation of a road classification device according to various embodiments of the present disclosure, and may be set in advance by a user or by a command from an external device. there is.
  • control change trigger means that the method set before the occurrence of the control change trigger in the road classification device, such as burst configuration, transmission period, judgment period, and road classification result output method, is changed. do.
  • the control change trigger may include a change in a road surface classification result (class), an output of a specific class, weather conditions, time conditions, or geographic conditions, but is not limited to the above examples.
  • a control change trigger when a road classification result is changed, an operation of the road classification device may be changed.
  • FIG. 11 is a diagram illustrating a scenario in which a road surface classification result is changed according to an embodiment of the present disclosure.
  • the road surface classification result of the road surface classification device is a first class R1 at a first time point t1 and a second class R2 at a second time point t2.
  • the second class may be a different class from the first class.
  • the second class may indicate a road surface condition related to ice
  • the first class may be a classification result related to other road surface conditions.
  • the road classification apparatus may need to change a control operation.
  • the road classification apparatus may change a transmission period or a burst configuration in order to determine whether an error has occurred in the road classification result. That is, the number of determinations may be increased by shortening the transmission period, or the number of determinations may be increased by increasing the number of sound wave signals included in the burst. Alternatively, instead of immediately changing the transmission period or burst configuration, whether to change the transmission period or burst configuration may be determined based on a later decision.
  • the road classification device since the result of the second time point is different from the result of the first time point (R1 ⁇ R2), the road classification device according to an embodiment of the present disclosure controls the transmission period to be shortened. and more results can be obtained during a short time interval (t3 to t6). Meanwhile, since the number of determinations to the second class is greater than the number of determinations to the first class during the corresponding time interval (t3 to t6), the road classification device determines that the determination to the second class is accurate and sets the transmission period back to the original one. state, and the result can be output at the seventh time point t7, which is the time point according to the changed transmission period.
  • the first class R1 is determined at the first time point t1, and the second time point t2
  • the accuracy of the determination of the second class based on the result of the third class at the third time point which is the next judgment time point, It is also possible to determine whether to change the transmission period or the like.
  • the transmission period may not be changed, and when the result of the third class is not determined to be R2, the determination of R2 is determined as an error, and the transmission period can be changed.
  • the determination result at each time point may be a determination result corresponding to each burst according to various embodiments of the present disclosure.
  • the road classification apparatus may further perform an operation related to road management based on a plurality of determination results in the changed control operation. For example, after determining the accuracy of a specific class that has been changed, the determination of the corresponding class may be considered correct, and a road surface management operation related to the changed class may be performed. Details related to the road surface management operation will be described with reference to FIG. 12 .
  • control change trigger when a weather condition or a time condition is changed, the operation of the road classification device may be changed.
  • the road classification apparatus may shorten a transmission period or reduce the number of transmissions within a burst in order to quickly determine whether or not black ice has occurred.
  • the control operation can be changed by stretching, etc.
  • a weather environment such as strong wind, rain, or heavy snow. may be
  • a transmission period or burst configuration may be changed at a specific time in consideration of this point.
  • the control operation may be changed by lengthening the transmission period or reducing the number of transmissions within a burst to reduce power consumption.
  • a control change trigger when a geographical condition is changed, the operation of the road classification device may be changed.
  • the road classification device When the road classification device is installed in the road infrastructure, the geographical conditions cannot be changed, but the transmission period or burst configuration may be different for each regional condition.
  • a transmission period or burst configuration When the road classification device is installed in a moving object such as a vehicle, a transmission period or burst configuration may be different when entering a specific area. For example, when black ice enters a vulnerable section and the road classification device receives corresponding information, the control operation may be changed as described above.
  • control change trigger related to weather conditions, time conditions, or geographic conditions is illustrative and not limited thereto, and may be set by a user input or a signal received from an external electronic device such as a server device.
  • FIG. 12 is a diagram illustrating a road surface management method by a road classification device according to various embodiments of the present disclosure.
  • the road classification device may obtain information related to road surface control.
  • the information related to the control of the road surface may include a result obtained in step 304 of FIG. 3 or a final result obtained through changing the control operation of FIG. 10 .
  • the information related to the control of the road surface may include weather information and/or road surface temperature information acquired by the road classification device.
  • the road classification apparatus may determine whether an operating condition for road surface control is satisfied based on the acquired information.
  • the road surface classification device sets a road surface management device installed on the road surface to solve or prevent the icy state of the road surface. It can be determined that the conditions for operation are satisfied.
  • operating conditions of the road surface control may be determined by combining the obtained road surface classification result and weather information. For example, if the weather information satisfies a specific condition, it is determined that the risk of ice formation is high, and it is determined that the condition for operating a road management device installed on the road surface to relieve or prevent the icy state of the road surface is satisfied.
  • Examples of weather information for operating the road surface management device may include the following conditions.
  • the road surface classification result is obtained as a specific class (eg, water, slush, ice). It may be determined that the road surface control is necessary.
  • a specific class eg, water, slush, ice
  • a road surface management device may include a salt spray device or a hot wire, but is not limited thereto.
  • the road classification apparatus may generate a road surface control signal based on the obtained information and determination.
  • the road surface control signal may include a signal or command required to control the road surface management device installed on the road surface.
  • a road surface classification device may be interlocked with a road surface management device installed on a road.
  • the road classification device may generate a command signal for controlling the road management device and transmit it to the road management device.
  • the road classification device may generate a signal instructing control of the road management device and transmit the signal to the external server.
  • the road surface management device when the road surface management device receives the road surface control signal, it may perform an operation of controlling the road surface based on the road surface control signal. For example, the road surface management device may spray salt water or operate a heating wire based on the road surface control signal.
  • the road surface classification device may determine the risk of damage to the road surface.
  • Asphalt can be damaged by repeated passage of vehicles exceeding a certain weight.
  • the volume expands, and at this time, when a large vehicle such as a truck passes through, the road surface may be damaged.
  • a road classification device installed in a road infrastructure may periodically detect ToF of a road surface, and thus may measure traffic information such as passing vehicle information and traffic volume based on this.
  • FIG. 13 is a diagram illustrating that a road classification apparatus according to an embodiment of the present disclosure collects traffic information.
  • the road classification device may collect road traffic information based on ToF measurement.
  • the traffic information collected by the road classification apparatus may include information related to a degree of road surface damage or traffic volume.
  • ToF corresponding to the installation height of the road classification apparatus may be determined as the reference ToF. That is, the ToF of the reflected signal reflected from the road surface may be referred to as the reference ToF.
  • the road classification apparatus may determine that there is no vehicle on the road when it is identified that the ToF obtained by the road classification apparatus corresponds to the reference ToF. In addition, when it is identified that the obtained ToF is shorter than the reference ToF, it may be determined that there is a vehicle on the road. In addition, information on the size (height) of an object on the road surface estimated based on the obtained ToF may be obtained.
  • the road classification device may determine that a large vehicle has passed in response to a signal having a shorter ToF value.
  • a criterion for determining a large vehicle may be set in advance by a user input or a signal from an external device.
  • the road classification apparatus may estimate the amount of traffic passing on the road surface during a predetermined time interval based on the ToF value obtained during the predetermined time interval.
  • the traffic volume information acquired by the road classification apparatus of the present disclosure may further include information related to the size of vehicles passing through.
  • ToF 1 in (a) where a large vehicle is passing is smaller than ToF 2 in (b) where a small vehicle is passing.
  • the road classification apparatus may obtain road surface condition information and/or weather information, it may determine the risk of damage to the road surface by combining the obtained information and traffic information, and may inform the outside of the road surface condition information.
  • the road surface condition information may include a road surface classification result and/or road surface temperature information.
  • information on the number of passages of large vehicles during a period in which the road surface classification result is determined to be an ice-related class may be measured, and related information may be provided to a user or an external device.
  • the external device may include a server device of an organization that manages roads.
  • information on vehicle traffic during a period in which the road surface temperature is measured to be less than or equal to a specific temperature may be acquired and transmitted to an external device.
  • the degree of damage to the road surface may be estimated based on a result of a specific road surface classification or a traffic volume of large vehicles under a specific weather condition.
  • the risk of damage to the road surface may be managed by providing the acquired traffic volume information of large vehicles to an external device.
  • the road classification apparatus may determine whether to use the received signal for road classification or to collect traffic information based on the ToF of the received signal. That is, if the ToF of the obtained received signal is within the error range of the reference ToF, it can be determined as a reflection signal from the road surface and used for classification of the road surface. Based on the determination, traffic information may be obtained.
  • the road classification device may shorten the transmission period of the sound wave signal than the transmission period for road classification. That is, the transmission period of the sound wave signal may be set in various ways according to the needs of the user, and the acquired signal may be variously processed according to the purpose.
  • the road surface classifying device of the present disclosure may include a road surface type estimating device.
  • the following road surface type estimating device is various embodiments of the road surface classification device of the present disclosure. It is self-evident that this can be done.
  • FIG. 14 is a configuration diagram of a road surface type estimation device according to an embodiment of the present disclosure.
  • the apparatus for estimating the type of road surface using sound waves includes a sound wave transceiver 1410, a signal converter 1420, an artificial neural network 1430, and a controller (MCU) ( 1440) may be included.
  • the road surface type estimating device may further include an atmospheric attenuation correction unit (not shown) and an atmospheric information measuring unit (not shown).
  • the sound wave transmission/reception unit 1410 may transmit a sound wave signal to a corresponding road surface for which the type is to be determined, and then receive the reflected signal.
  • the sound wave transmitting/receiving unit 1410 includes a sound wave transmitter 1411 outputting a transmission signal under the control of the control unit 1440, and a sound wave receiver 1412 receiving a reflected signal after the transmission signal is reflected on an arbitrary surface. ) may be included.
  • the signal converter 1420 may obtain a frequency domain signal (eg, a spectrogram) by performing frequency conversion on a predetermined region in the time domain of the received signal.
  • a frequency domain signal eg, a spectrogram
  • the signal converter 1420 may include a short-time Fourier transform (STFT) converter, a fast Fourier transform (FFT), a cepstrum, or a wavelet transform.
  • STFT short-time Fourier transform
  • FFT fast Fourier transform
  • cepstrum cepstrum
  • wavelet transform a wavelet transform
  • the frequency domain signal (spectrogram) may be 2D or 3D.
  • the artificial neural network 1430 may use the frequency domain signal (spectrogram) as an input signal, extract and classify characteristics of the input signal based on the learned road surface classification model, and estimate the type of the road surface.
  • spectrogram frequency domain signal
  • the signal converter 1420 may include an analog-to-digital converter (ADC).
  • ADC analog-to-digital converter
  • the ADC may convert an analog signal of the received signal into a digital signal.
  • An atmospheric attenuation correction unit (not shown) may calculate and correct the atmospheric attenuation of the digital signal.
  • the artificial neural network 1430 takes the converted signal or the corrected digital signal as an input signal, performs convolution on the input signal based on the learned road surface classification model, classifies it, and estimates the type of the road surface.
  • decision trees linear discriminant analysis
  • logistic regression classifiers logistic regression classifiers
  • naive Bayes classifiers support vector machines machine
  • nearest neighbor classifiers and ensemble classifiers
  • Decision trees include Fine tree, Medium tree, Coarse tree, All tree, and Optimizable tree
  • linear discriminant analysis includes Linear discriminant, Quadratic discriminant, All discriminants, and Optimizable discriminant.
  • the Naive Bayes classifier includes Gaussian Naive Bayes, Kernel Naive Bayes, All Naive Bayes, and Optimizable Naive Bayes
  • the support vector machine (SVM) includes Linear SVM, Quadratic SVM, Cubic SVM, and Fine Gaussian.
  • SVM SVM
  • Medium Gaussian SVM Coarse Gaussian SVM, All SVM
  • Optimizable SVM and nearest neighbor classifiers include Fine KNN, Medium KNN, Coarse KNN, Cosine KNN, Cubic KNN, Weighted KNN, All KNN, It includes Optimizable KNN, and ensemble classifiers may include Boosted trees, Bagged trees, Subspace Discriminant, Subspace KNN, RUSBoosted trees, All Ensembles, and Optimizable Ensembles.
  • the controller (MCU) 1440 may control operations of the sound wave transceiver 1410 , the signal converter 1420 , and the artificial neural network 1430 .
  • the signal converter 1420 and the artificial neural network 1430 express software implemented as a program as a component.
  • the apparatus for estimating the type of road using sound waves includes a storage (memory) in which the learned road classification model and software implemented as the program are stored.
  • the storage (memory) may be included in the controller (MCU).
  • the road surface type estimation device using sound waves may further include an atmospheric sensor (not shown) capable of measuring temperature, humidity, and air pressure in the air.
  • the atmospheric information including the temperature, humidity, and air pressure may be used in the atmospheric attenuation correction unit or transmitted as an input to the artificial neural network 1430 .
  • 15 is a diagram for explaining a transmission signal and a reception signal in an apparatus for estimating a type of road surface using sound waves according to an embodiment of the present disclosure.
  • the controller (MCU) 1440 transmits a trigger signal having a preset magnitude (v: trigger voltage) and a preset transmission period (p: transmission period) to the sound wave transceiver 1410.
  • v trigger voltage
  • p transmission period
  • the sound wave transmitter 1411 of the sound wave transceiver 1410 may output a sound wave signal 1501 having a specific frequency, for example, 40 kHz, to a corresponding road surface for which the type is to be known.
  • the sound wave receiver 1412 of the sound wave transceiver 1410 may receive a reflected signal reflected from the road surface and returned.
  • the signal 1502 received on the same timeline as the sound wave signal 1501 may be a crosstalk signal of the sound wave signal transmitted by the sound wave transceiver 1410 .
  • the control unit 1440 may determine, as the received signal, the signal 1503 for a preset time from the point where the amplitude received after the transmission delay is the largest.
  • t_0 is the point at which the amplitude of the signal received after the crosstalk signal is the largest
  • a total of (a+b) ms can be observed from t_0 - a [ms] to t_0 + b [ms]
  • a is 0.2 and b is 5.
  • a and b are variable values that can be adjusted.
  • 10 ms which is the time until the transmitted sound wave signal sufficiently disappears, is set as one transmission period, and the sampling frequency of the sound wave transceiver 1410 is set to 1 MHz, sampling at 25 times the 40 kHz sound wave frequency.
  • the state of the road surface may be detected by detecting a plurality of received signals according to the transmission period, or the state of the road surface may be detected by processing a reflected signal received after transmitting a sound wave once. there is.
  • 16 is a diagram for exemplarily explaining a signal converter in an apparatus for estimating a type of road surface using sound waves according to an embodiment of the present disclosure.
  • the STFT converter excludes the crosstalk signal 1502 of the sound wave signal transmitted by the sound wave transceiver 1410 among the reflected signals received in FIG.
  • a 2D spectrogram 1602 may be obtained by performing a short-time Fourier transform on the signals 1503 and 1601 during time.
  • the signal 1503 for one period may be Fourier-transformed, or the received signal for multiple periods may be Fourier-transformed.
  • materials may be classified using acoustic impedance and surface roughness information.
  • Acoustic impedance is not a constant, and its value may vary for each frequency at which sound waves vibrate. Therefore, analysis in the frequency domain may be useful.
  • a Time Fourier Transform which is one of several methods for transforming a received signal in the time domain into a frequency domain signal, may be used.
  • a Short-Time Fourier Transform may be used to check the FFT at every hour (sampling time).
  • frequency analysis can be performed using not only Short-Time Fourier Transform but also wavelet, etc.
  • the STFT was used for this purpose.
  • STFT Short-Time Fourier Transform
  • Wavelet Transform may be used to overcome the limitation of resolution due to the trade-off relationship between frequency and time.
  • STFT is performed several times while changing the window length.
  • wavelet functions include Morlet, Daubechies, Coiflets, Biorthogonal, Mexican Hat, and Symlets.
  • 17 is a diagram for explaining an artificial neural network in an apparatus for estimating a road surface type using sound waves according to an embodiment of the present disclosure.
  • the artificial neural network is a deep neural network (DNN) of a multi-layer perceptron algorithm including an input layer 1701, a plurality of hidden layers 1702, and an output layer 1703. neural networks).
  • the artificial neural network may include a deep convolution neural network (DCNN) of a multi-layer perceptron algorithm further including a convolution performer (not shown). there is.
  • DCNN deep convolution neural network
  • the input layer 1701 can flatten the data of the spectrogram 1702 and receive input in 1D.
  • Data input to the input layer 1701 may be extracted and classified through a plurality of hidden layers 1702 .
  • the output layer 1703 may output a probability value for each type of the learned road surface.
  • the artificial neural network may determine and output the type of road surface having the highest probability among probability values output from the output layer 1703 using softmax 1704 .
  • the artificial neural network may receive atmospheric information (temperature, humidity, atmospheric pressure information) and use it as an input of the input layer 1701 .
  • the artificial neural network can also be used as an input of the input layer 1701 by Fourier transforming the sound wave signal 1501 transmitted to the road surface.
  • the convolution performer performs a convolution operation multiple times on the received digital input signal, and for each convolution operation, batch normalization, ReLU function, and MaxpPooling ) function, and the data flattened by the last convolution operation can be output to the transfer layer.
  • the transfer layer is the input layer 1701 of the CNN, and can receive the flattened output data of the convolution performer in one dimension (1D), and subsequent operations are the same as above.
  • 18 is a diagram for explaining the operation of a convolution performer.
  • the convolution performer performs a 1D convolution operation multiple times (eg, 5 times) on the input signal, and performs batch normalization, a ReLU function, and a MaxpPooling function for each convolution operation. and the output of the last convolution operation may be flattened data.
  • an input signal 1801 becomes about 7000 received signals for 7 ms
  • the result of performing the first convolution 1802 is 1D conv (64,16), BN , ReLU, and MP(8)
  • the second convolution result 1803 is 1D conv (32,32), BN, ReLU, and MP(8)
  • the third convolution result 1804 is the result of performing 1D conv (16,64), BN, ReLU, and MP(8) on the second convolution result 403
  • the fourth The convolution result 1805 is the result of performing 1D conv (8,128), BN, and ReLU on the third convolution result 1804, and the fifth convolution result 1806 is the fourth convolution result 1805 ) is the result of performing 1D conv (4,2568), BN, and ReLU.
  • 19 is a diagram for explaining a code of a convolution performer of an apparatus for estimating a road surface type using sound waves according to an exemplary embodiment of the present disclosure.
  • FIG. 19 is a code implemented by software in part of the convolution performer shown in FIG. 18 .
  • the code may include a plurality of batch normalization (BatchNorm) functions and a max pooling function (MaxPool).
  • BatchNorm batch normalization
  • MaxPool max pooling function
  • a method of performing a one-dimensional (1D) convolution operation has been described as an example, but not only 1D, but also 2D and 3D convolution operations are possible.
  • 20 is a flowchart of a method for estimating a type of road surface using domain conversion of sound waves according to an embodiment of the present disclosure.
  • a learning step (2001) may be preceded to generate a road surface classification model.
  • the learning step 2001 after transmitting a sound wave signal for multiple types of road surfaces, the reflected signal is received and the signal is converted into a frequency domain signal (eg, a spectrogram), and the frequency domain signal (spectrogram) is received. ) may be input to the artificial neural network to learn the road classification model.
  • a frequency domain signal eg, a spectrogram
  • a Short-Time Fourier Transform (STFT) converter may be used to convert the frequency domain into a frequency domain signal.
  • the frequency domain signal may be 2D or 3D.
  • a sound wave signal may be transmitted to a corresponding road surface for which the type is to be determined, and then the reflected signal may be received (2002).
  • a frequency domain signal may be obtained by performing signal conversion on a preset region of the received signal (2003).
  • the frequency domain signal acquisition step (2003) in the received signal, except for the crosstalk signal of the transmitted sound wave signal, for each period of the sound wave signal, the signal for a preset time received after the transmission delay
  • the frequency domain signal may be obtained by performing domain conversion on the frequency domain.
  • the frequency domain signal may be used as an input signal of the artificial neural network, and characteristics of the input signal may be extracted and classified based on the learned road surface classification model to determine the type of the road surface ( 2004).
  • the artificial neural network may include a deep neural network (DNN) of a multi-layer perceptron algorithm including an input layer 1701, a plurality of hidden layers 1702, and an output layer 1703. there is.
  • the output layer 1703 can output a probability value for each type of the learned road surface, and the artificial neural network uses softmax 1704 to determine the type of road surface with the highest probability. can be determined and published.
  • the artificial neural network may receive atmospheric information (temperature, humidity, air pressure information) and use it as an input of the input layer.
  • the artificial neural network may also be used as an input of the input layer by performing Fourier transform on the sound wave signal transmitted to the road surface.
  • 21 is a flowchart illustrating an embodiment of a method for estimating a type of road surface using sound waves according to the present disclosure.
  • a learning step 2101 may be preceded to generate a road surface classification model.
  • the road surface classification model may be learned by performing an operation.
  • a sound wave signal may be transmitted to a corresponding road surface for which the type is to be determined, and then the reflected signal may be received (2102).
  • the analog signal may be converted into a digital signal for a predetermined area of the received signal (2103).
  • the point where the amplitude of the signal received after the transmission delay is the largest is referenced for each period of the sound wave signal, excluding the crosstalk signal of the transmitted sound wave signal, in the received signal.
  • the signal for a predetermined time can be converted into a digital signal.
  • t_0 is the point at which the amplitude of the signal received after the crosstalk signal is the largest
  • a total of (a+b) ms can be observed from t_0 - a [ms] to t_0 + b [ms]
  • a and b can be variably adjusted according to the environment or conditions.
  • multiple convolution operations may be performed in the artificial neural network by receiving the digital signal (2104).
  • a convolution operation is performed on the digital signal multiple times, and batch normalization, a ReLU function, and a MaxpPooling function may be performed for each convolution operation, , the output of the last convolution operation is the flattened data.
  • a method of performing a one-dimensional (1D) convolution operation has been described as an example, but not only 1D, but also 2D and 3D convolution operations are possible.
  • the type of the road surface may be determined by extracting and classifying the characteristics of the convolutional signal (flattened data) based on the road surface classification model learned in the artificial neural network ( 2105).
  • the artificial neural network includes a convolution performer for receiving the digital signal and performing multiple convolution operations, a transfer layer, a multi-layer perceptron algorithm including a plurality of hidden layers and an output layer DCNN : Deep Convolution Neural Network).
  • the output layer may output a probability value for each type of the learned road surface, and the artificial neural network may determine and output the type of road surface having the highest probability using softmax. .
  • the artificial neural network may receive atmospheric information (temperature, humidity, air pressure information) and use it as an input to the convolution unit.
  • the artificial neural network may also use the sound wave signal transmitted to the road surface as an input to the convolution performer.
  • FIG. 22 is a flowchart illustrating a method for estimating a road surface type using sound waves in which atmospheric attenuation is corrected according to an embodiment of the present disclosure.
  • a learning step 2201 may be preceded to generate a road surface classification model.
  • sound wave signals are transmitted for multiple types of road surfaces, reflected signals are received, the signals are converted into digital signals, and attenuation in air is corrected for the converted digital signals.
  • the frequency domain signal is converted into a frequency domain signal, and the frequency domain signal is input to a neural network to learn a road surface classification model.
  • a Short-Time Fourier Transform (STFT) converter a Fast Fourier Transform (FFT), a cepstrum, or a wavelet transform is used to transform the signal into the frequency domain signal.
  • STFT Short-Time Fourier Transform
  • FFT Fast Fourier Transform
  • cepstrum a cepstrum
  • wavelet transform a wavelet transform
  • a sound wave signal may be transmitted to a corresponding road surface for which the type is to be determined, and then the reflected signal may be received (2202).
  • an analog signal may be converted into a digital signal for a predetermined area of the received signal (2203).
  • the point where the amplitude of the signal received after the transmission delay is the largest is referenced for each period of the sound wave signal, excluding the crosstalk signal of the transmitted sound wave signal, in the received signal.
  • the signal for a predetermined time is converted into a digital signal.
  • t_0 is the point at which the amplitude of the signal received after the crosstalk signal is the largest
  • a total of (a+b) ms can be observed from t_0 - a [ms] to t_0 + b [ms]
  • a and b can be adjusted according to the environment or conditions.
  • the amount of attenuation in air of the digital signal may be calculated and corrected (2204).
  • the atmospheric attenuation may be calculated and corrected using the following ⁇ Equation 1> to ⁇ Equation 8>.
  • the atmospheric attenuation correction step may be performed by a control unit or an atmospheric attenuation correction unit that is software implemented as a program.
  • the saturation pressure (Psat) may be calculated using Equation 1 below.
  • To1 is the triple point of the atmosphere [K]
  • T is the current temperature [K].
  • the absolute humidity (h) can be calculated using Equation 2 below.
  • hrin is the relative humidity [%]
  • Psat is the saturation pressure [unit]
  • Ps is the static pressure [atm].
  • T is the current temperature [K].
  • Equation 4 the scaled relaxation frequency for oxygen (FrO), which accounts for 21% of the atmosphere, can be calculated using Equation 4 below.
  • the attenuation coefficient ( ⁇ : attenuation coefficient [nepers/m]]) may be calculated using Equation 5 below.
  • Ps is the static pressure
  • F is the frequency of the sound wave signal (transmission sound wave signal)
  • T is the current temperature [K]
  • To is the reference temperature [K]
  • FrO is the extended relaxation frequency of oxygen
  • FrN is the extended relaxation frequency of nitrogen.
  • the attenuation ratio (A, unit: dB) of the sound wave signal may be calculated using Equation 6 below.
  • ⁇ is an attenuation coefficient
  • d is the distance between the sound wave transceiver 100 and the road surface to be determined.
  • the d may be calculated using the following ⁇ Equation 7> using the time of flight t (time of flight) and the speed of sound in the air (Vair) from being transmitted by the transmitter to being reflected on the road surface and being detected by the receiver. there is.
  • t is the required time
  • Vair is the speed of sound in air [m/s].
  • Equation 8 the speed of sound in air
  • Ks is the isentropic volumetric expansion coefficient of the object (coefficient of stiffness)
  • ⁇ is the density of the object (atmosphere).
  • the speed of sound in the air may be corrected according to the temperature, air pressure and humidity of the air and used for attenuation compensation.
  • a frequency domain signal may be obtained by performing signal conversion on a preset region of the corrected digital signal (2205).
  • the frequency domain signal acquisition step 2205 except for the crosstalk signal of the transmitted sound wave signal in the corrected digital signal, for each period of the sound wave signal, the signal for a predetermined time received after the transmission delay
  • the frequency domain signal may be obtained by performing frequency conversion in a signal converter.
  • the frequency domain signal may be used as an input signal of the neural network, and characteristics of the input signal may be extracted and classified based on the learned road surface classification model to determine the type of the road surface (2206). ).
  • the neural network may include a deep neural network (DNN) of a multi-layer perceptron algorithm including an input layer, a plurality of hidden layers, and an output layer.
  • DNN deep neural network
  • the output layer may output a probability value for each type of the learned road surface, and the neural network may determine and output the type of road surface having the highest probability using softmax.
  • the structure of the neural network is not limited to the aforementioned DNN.
  • the neural network may receive atmospheric information (temperature, humidity, air pressure information) and use it as an input of the input layer.
  • the neural network may frequency-convert the sound wave signal transmitted to the road surface and use it as an input of the input layer.
  • a digital signal with a corrected amount of attenuation in air is received under the control of a controller and multiple convolution operations are performed in the artificial neural network.
  • a 1D convolution operation is performed multiple times on the digital signal for which the attenuation in air is corrected, and a batch normalization, a ReLU function, and a MaxpPooling function are performed for each convolution operation. , and the output of the last convolution operation is the flattened data.
  • characteristics of the convolutional signal may be extracted and classified to determine the type of the road surface.
  • the artificial neural network When performing convolution, the artificial neural network further includes a convolution performer for receiving the digital signal and performing multiple convolution operations: Deep Convolution Neural Network (DCNN) of a multi-layer perceptron algorithm. ) may be included.
  • the output layer may output a probability value for each type of the learned road surface, and the artificial neural network may determine and output the type of road surface having the highest probability using softmax.
  • DCNN Deep Convolution Neural Network
  • the structure of the artificial neural network is not limited to the aforementioned DCNN.
  • the artificial neural network may receive atmospheric information (temperature, humidity, air pressure information) and use it as an input to the convolution unit.
  • the artificial neural network may also use the sound wave signal transmitted to the road surface as an input to the convolution performer.
  • 23 is a diagram for explaining a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to an embodiment of the present disclosure. 23 is a specific embodiment of the road infrastructure shown in FIG. 2 .
  • a structure 2301 is located on or near a road 2300, and an acoustic sensor 2310 and a vision sensor 2320 are provided in the structure 2301.
  • the sound wave sensor 2310 is provided on the structure 2301 so as to be located on the driving path of the vehicle on the road 2300 and perpendicular to the road surface, and the vision sensor 2320 captures the entire area of the road. It can be installed on the structure 2301.
  • FIG. 23 illustrates a communication unit 2350 for transmitting data acquired from the sonic sensor 2310 and the vision sensor 2320 to a controller (not shown).
  • the vision sensor 2320 is one of the mainstream technologies in the field of object recognition, detection, and segmentation, as solutions combined with artificial intelligence models are spreading in all fields of industry with the development of artificial neural networks. Due to the development of artificial intelligence technology, an algorithm that enables the vision sensor 2320 to operate similarly to a method in which a person intuitively recognizes an object from a photograph (image) and divides an area is being realized.
  • recognizing an object using the acoustic wave sensor 2310 is possible through wave analysis of a signal reflected after hitting a surface to be recognized using a sound wave, and the reflected wave is generated according to the acoustic impedance or surface roughness of the target surface where the reflection occurs. use the determined principle. That is, the sound wave sensor 2310 can recognize black ice on the road because it is robust against external noise when a wide range of sound wave spectrum is used.
  • One embodiment combines the advantages of a vision sensor capable of intuitively recognizing and distinguishing a wide area and a sound wave sensor technology that can accurately recognize a target without being affected by light sources using the physical properties of the target object to provide a wide range of road surfaces. Including disclosing how to correctly recognize.
  • FIG. 24 is a configuration diagram of a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to an embodiment of the present disclosure.
  • the road condition monitoring system equipped with a vision sensor and a sound wave sensor includes a sound wave sensor 2410, a vision sensor 2420, an artificial neural network 2430, and a segmentation processing unit. 2440, and a control unit 2470 may be included.
  • the sound wave sensor 2410 may transmit a sound wave signal to a predetermined point for road condition monitoring and then receive a reflected signal.
  • the vision sensor 2420 may obtain an image of the road surface including the predetermined point.
  • the artificial neural network 2430 may classify the road surface condition of the preset point based on the learned road classification model by using the reflected signal acquired by the sound wave sensor 2410 as an input signal.
  • the road surface conditions may include dry, water, black ice, and snow.
  • the segmentation processing unit 2440 may divide the image obtained by the vision sensor 2420 into a plurality of distinct segmentation areas based on a segmentation model as an input signal.
  • the control unit 2470 controls operations of the sound wave sensor 2410, the vision sensor 2420, the artificial neural network 2430, and the segmentation processing unit 2440, and the machine output from the artificial neural network 2430.
  • the road surface condition of the corresponding road may be determined by converging the road surface condition of the set point and a plurality of segmented areas output from the segmentation processing unit 2440 .
  • the controller 2470 may calculate a segmentation area including a point where the sound wave sensor strikes the ground.
  • image information in which a classification class (road type) of waveform data is assigned to a segmentation area including a point where the acoustic wave sensor strikes the ground (sensing area) may be output.
  • 25 is a diagram illustratively illustrating recognizing a uniform road surface condition in a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to an embodiment of the present disclosure.
  • (a) is a captured image of the vision sensor 2420, and the position of the sensing area (preset area) 2500 of the acoustic sensor 2410 is indicated.
  • (b) shows that the captured image of (a) is segmented and the segmented area is displayed.
  • the type of road surface is classified based on the learned road surface classification model (artificial intelligence model), and the road surface condition of the detection area 2500 is detected.
  • (d) shows an image where the black ice area is finally displayed by finding the segmentation area including the area 2500 detected in (c) from the segmentation areas in (b).
  • the entire area of the road is divided into one segmentation area, and the sensing area 2500, which detects the road surface through the sonic sensor 2410, is detected as black ice. You can print the result.
  • 26 is a diagram illustratively illustrating recognizing a non-uniform road surface condition in a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to an embodiment of the present disclosure.
  • (a) is a captured image of the vision sensor 2420, and the position of the sensing area (preset area) 2600 of the acoustic sensor 2410 is indicated.
  • (b) shows that the captured image of (a) is segmented and the segmented area is displayed.
  • the type of road surface is classified based on the learned road surface classification model (artificial intelligence model), and the road surface condition of the detection area 300 is detected.
  • (d) shows an image where the black ice area is finally displayed by finding the segmentation area including the area 2600 detected in (c) from the segmentation areas in (b).
  • the road is divided into a plurality of segmentation areas including a wet area and a dry area, and the sensing area 2600 that detects the road surface through the sonic sensor 2410 is detected as black ice, so finally The same result as (d) can be output.
  • the present disclosure may include a technology capable of reliably determining, through a vision sensor, a problem regarding which part/region of a road surface image obtained by a vision sensor corresponds to road surface information accurately recognized by a sonic sensor.
  • the operation of the road surface detection algorithm may be performed by periodic (minutes or seconds) or asynchronous request, and the slipperiness risk detection of the road surface acquires data through a sound wave sensor and a vision sensor, and the sound wave Based on the data obtained from the sensor, the type (state) of the road surface can be detected, and the region including the sensing part of the acoustic sensor can be detected through image segmentation in the image secured by the vision sensor.
  • risk information may be combined from an image segmented as a result of segmentation and used in a form of transmitting a notification to a manager (control server) about the dangerous section of the road surface.
  • FIG. 27 is a diagram for explaining a method of finding a segmentation area detected by an acoustic wave sensor in a road condition monitoring system equipped with a vision sensor and an acoustic wave sensor according to an embodiment of the present disclosure.
  • the controller may determine the road surface condition of the corresponding road by converging the road surface condition of the predetermined point output from the artificial neural network and a plurality of segmented areas output from the segmentation processing unit 2440 .
  • the control unit calculates the position of the midpoint of each segmented area, calculates an equation of a straight line for a plurality of line segments included in each segmented area (a plurality of line segments forming each segmented area), and For the segmented area, a first relative positive-negative relationship between the midpoint of the corresponding area and each of the plurality of line segments is determined using the equation of the straight line using the equation of the straight line, and for each segmented area, the equation of the straight line is used to determine the positive-negative relationship.
  • a predetermined point and a second relative positive-yin relationship for each of the plurality of line segments may be determined, and a segmentation area in which the second relative positive-yin relationship coincides with the first relative positive-yin relationship may be determined as an area including the predetermined point. there is.
  • an input RGB image is divided into a plurality of regions after being segmented, and regions A and B among them are divided as shown in the figure.
  • the midpoint of area A is indicated as “2701”
  • the midpoint of area B is indicated as “2702”
  • the sensing area (preset point) of the acoustic wave sensor is indicated as "2700”.
  • the positive-negative relationship is assumed to be the (+) direction to the right and bottom, and the (-) direction to the left and top based on the point (0,0) at the top left of the image.
  • Area A is formed in the form of a pentagon, and is composed of line segments 14, 45, 56, 67, and 71.
  • the positive-negative relationship between the midpoint 2701 of area A and the segments 14, 45, 56, 67, and 71 of area A is (-), (-), (-), (+), and (+), respectively. do.
  • Area B is formed in a quadrangle and is composed of line segments 12, 23, 34, and 41.
  • the positive-negative relationship between the detection area (preset point) 2700 of the sound wave sensor and each line segment 14, 45, 56, 67, and 71 of area A is (+), (-), (-), (+), (+), and the positive-negative relationship with respect to each line segment 12, 23, 34, and 41 in area B is (+), (-), (-), and (+), respectively.
  • the sensing area (preset point) 2700 of the acoustic wave sensor is included in area B.
  • FIG. 28 is a diagram for explaining an example of an artificial neural network of a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to an embodiment of the present disclosure.
  • the artificial neural network may be formed as an artificial intelligence model implemented as either a 1D Conventional Neural Network (CNN) or an Artificial Neural Network (ANN).
  • CNN 1D Conventional Neural Network
  • ANN Artificial Neural Network
  • An input of the artificial neural network may be a reflected wave received through a sound wave sensor, and an output may be a type of road surface of a preset detection area of the sound wave sensor.
  • 29 is a diagram for explaining an example of a segmentation processing unit of a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to an embodiment of the present disclosure.
  • the segmentation processing unit uses an image segmentation model based on a conventional neural network (CNN) implemented by an auto-encoder or U-Net. can be formed
  • An input of the segmentation processing unit is an RGB image obtained through a vision sensor, and an output is a segmentation image displaying regions classified in the corresponding image.
  • FIG. 30 is a flowchart of an embodiment of a monitoring method in a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to the present disclosure.
  • the reflected signal may be received (3010).
  • the road surface condition of the predetermined point may be classified based on the learned road surface classification model by using the reflected signal acquired by the sound wave sensor as an input signal (3020).
  • the vision sensor may obtain an image of the road surface including the predetermined point (3030).
  • the image obtained by the vision sensor may be divided into a plurality of segmented regions based on a segmentation model (3040).
  • condition of the road surface may be analyzed by fusing the condition of the road surface at the predetermined point and the plurality of segmented areas (3050).
  • the road surface condition of the corresponding road may be determined according to the analysis of the fusion analysis step (3050) (3060).
  • steps "3010" and "3030" may be periodically performed.
  • a signal informing the danger may be transmitted to the control server (3080).
  • the risk area may be displayed on the image including the plurality of segmented areas and transmitted to the control server.
  • FIG. 31 is a detailed flowchart of an embodiment of the fusion analysis step 3050 of FIG. 30 .
  • the fusion analysis step 3050 may include performing the following steps.
  • the position of the midpoint of each segmented area is calculated (3051).
  • a first relative positive/negative relationship between the midpoint of the corresponding area and each of the plurality of line segments is determined using the equation of the straight line (3053).
  • a second relative positive/negative relationship between the predetermined point and each of the plurality of line segments is determined using the equation of the straight line (3054).
  • a segmentation area where the second relative positivity relationship and the first relative positivity relationship coincide is determined as an area including the predetermined point (3055).
  • FIG. 32 is a configuration diagram of a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to another embodiment of the present disclosure.
  • the road condition monitoring system equipped with a vision sensor and a sound wave sensor includes a sound wave sensor 3210, a vision sensor 3220, and a first feature extraction unit 3281 , the second feature extraction unit 3282.
  • a joint classifier 3290 and a controller 3270 may be included.
  • the sound wave sensor 3210 may transmit a sound wave signal to a predetermined point for road condition monitoring and then receive a reflected signal.
  • the vision sensor 3220 may obtain an image of the road surface including the predetermined point.
  • the first feature extractor 3281 may extract a first feature from the reflected signal acquired by the acoustic wave sensor 3210 .
  • the second feature extraction unit 3282 may extract a second feature from an image obtained by the vision sensor 3220 .
  • the combined artificial neural network 3290 takes the first feature and the second feature as inputs and learns the road surface from features extracted from signals acquired by the sonic sensor 3210 and images acquired by the vision sensor 3220. Based on the data combination classification model, the road surface condition of the corresponding road can be classified.
  • the road surface conditions may include dry, water, black ice, and snow.
  • the control unit 3270 operates the sound wave sensor 3210, the vision sensor 3220, the first feature extractor 3281, the second feature extractor 3282, and the combined artificial neural network 3290. can control.
  • the first feature extracted from the reflected signal and the second feature extracted from the image are learned and classified by a classification model (data combination classification model) having separate weights, respectively.
  • the first feature extracted from the reflected signal and the second feature value extracted from the image can learn object (road surface type) classification with an input combination of image data and sound wave data using correlation. .
  • object road surface type
  • the weight and influence of the classifier based on image data and the weight and influence of the classifier based on sound wave data can be adjusted to make a final decision (prediction).
  • FIG 33 is a flowchart of another embodiment of a monitoring method in a road condition monitoring system equipped with a vision sensor and a sound wave sensor according to the present disclosure.
  • the reflected signal may be received (3310).
  • a first feature of the reflected signal may be extracted (3320).
  • the vision sensor may obtain an image of the road surface including the predetermined point (3330).
  • a second feature of the image may be extracted (3340).
  • the road surface condition of the corresponding road may be analyzed based on the learned classification model by combining the first feature extracted from the reflected signal and the second feature extracted from the image (3350).
  • the first feature extracted from the reflected signal and the second feature extracted from the image may be learned and classified by a classification model having separate weights.
  • the road surface condition of the corresponding road may be determined according to the analysis of the road surface condition analysis step (3350).
  • steps "3310" and "3330" may be periodically performed.
  • a signal informing the danger may be transmitted to the control server (3380).
  • a danger area may be displayed on the image including the plurality of segmented areas and transmitted to the control server.
  • 34 is a diagram for explaining an operation of a control system of a heating wire system for a road according to an embodiment of the present disclosure. 34 is a specific embodiment of the road infrastructure shown in FIG. 2 .
  • a structure 3401 is located on the road, and the structure 3401 includes a sonic sensor 3410 and a communication unit 3420. ) and the like, and an automatic control box 3460 that controls the hot wire 3470 in the anti-icing device 3400 according to the control of the control server 3440 based on the detected data of the sonic sensor 3410 is controlled. It can be.
  • the sound wave sensor 3410 may be installed on the structure 3401 so as to be located on the vehicle's driving path on the road and perpendicular to the road surface, but is not limited thereto.
  • the structure 3401 means that an acoustic sensor 3410 can be installed on a road like a street light.
  • the sound wave sensor 3410 may transmit a sound wave signal to a predetermined point to detect road conditions and then receive a reflected signal.
  • the communication unit 3420 may transmit data acquired through the sonic sensor 3410 to the control server 3440 .
  • control server 3440 may deliver a notification to the manager terminal 3450 when detecting whether the sonic sensor 3410 is out of order (abnormality).
  • the hot wire method it is important how much the hot wire should be operated because a fire may occur on the asphalt by operating the hot wire excessively for a required time.
  • the anti-icing device it is possible to precisely control the anti-icing device by detecting a temperature change of a road surface due to heating by a sound wave sensor.
  • an artificial intelligence model learned based on sound wave sensing data accumulated in a road surface environment with various temperatures applied is created, and the acquired sound wave sensor waveform is analyzed based on the artificial intelligence model to detect the temperature change of the road surface. It is possible to automatically control the operation of the heating element.
  • the heating wire is started to operate, and when the road surface temperature is maintained at 4 degrees or higher according to the output of the sound wave sensor, that is, when the temperature is higher than the freezing point of water, the heating wire can be set to stop the operation of
  • the salt spray device when the salt spray device operates, it is possible to detect how much salt water is sprayed on the road surface.
  • an artificial intelligence model learned based on sound wave sensing data accumulated in a road surface environment in which the degree of salt water spray is variously distributed is created, and the salt water on the road surface is analyzed by analyzing the waveform of the sound wave sensor acquired based on the artificial intelligence model.
  • the sprayed (distributed) degree can be grasped.
  • the salt water is distributed over a predetermined range on the road surface, it may be set to stop spraying the salt water.
  • the present disclosure relates to a road surface sensing and interlocking control technology capable of timely operating a road heating system or a salt spray device that is being installed/operated, and obtains road surface information using a conventional temperature/humidity sensor mounted on a road surface. It is possible to accurately control the operation of the heating wire device or the salt water spray device by recognizing the road surface condition and determining the snow melting condition based on the sonic sensor.
  • a service that can be interlocked with the existing snow melting equipment monitoring/control system in a plug-in method without major modifications, and can improve the operational efficiency of snow melting equipment based on more accurate road surface risk notification than existing snow melting systems can provide.
  • the algorithm for determining whether snow melting is performed may be built in the control server (service server) 3440 or in the control unit (MCU) provided together with the sonic sensor 3410, and may be built in the freezing prevention device 3400 through the communication unit. It may be in the form of passing it to the automatic control box 3460.
  • the road surface condition detection is periodically and repeatedly performed until a point in time when the acoustic sensor needs to be restored due to a failure of the acoustic sensor.
  • the control server 3440 receives the reflected wave (sensor value) from the sound wave sensor 3410 and transmitting it to the control server 3440 (service server) through the communication unit, when the sensor state is normal, the control server 3440 transmits the corresponding reflected wave It analyzes using a big data-based artificial intelligence model to determine whether snow melting is currently necessary, and controls the operation of the corresponding anti-icing device.
  • FIG. 35 is a block diagram of a control system of an apparatus for preventing icing on a road according to an embodiment of the present disclosure.
  • the control system of FIG. 35 is a specific example of a road management device according to an embodiment of the present disclosure.
  • the control system of the device for preventing icing on a road includes a sonic sensor 3510, a control server 3540, a communication unit 3520, and an device for preventing icing 3500.
  • a sonic sensor 3510 can include a sonic sensor 3510, a control server 3540, a communication unit 3520, and an device for preventing icing 3500.
  • a communication unit 3520 can include a sonic sensor 3510, a control server 3540, a communication unit 3520, and an device for preventing icing 3500.
  • an device for preventing icing 3500 can include
  • the sound wave sensor 3510 may transmit a sound wave signal to a predetermined point to detect road conditions and then receive a reflected signal.
  • the control server 3540 uses the reflected signal obtained by the sound wave sensor 3510 as an input signal to detect the road surface condition data of the preset point based on the learned artificial intelligence analysis model, A signal controlling whether to operate the anti-icing device 3500 may be generated according to the road surface condition data.
  • the road surface condition data may include a weather condition, a type of road surface, a temperature of the road surface, and an amount of sprayed salt (spray degree, distribution), and the like.
  • the communication unit 3520 may transfer the reflected signal acquired by the acoustic wave sensor 3510 to the control server 3540 .
  • the icing prevention device 3500 is controlled by the control server 3540 to perform an operation for preventing icing on the road.
  • the anti-icing device 3500 may include at least one of a hot wire device and a salt spray device.
  • control server 3540 determines that the weather condition is “rain” or “snow”, the classified road surface type is “wet road”, “snowy road” or “frozen road”, and the detection When the temperature of one road surface is less than 4 degrees Celsius, a control signal for operating the heating wire device is generated, and after the heating device is operated, when the detected temperature of the road surface is 4 degrees Celsius or higher, the operation of the heating wire device is controlled. It can generate a control signal to stop.
  • control server 3540 determines that the weather condition is "rain” or “snow", the classified road surface type is “wet road”, “snowy road” or “frozen road”, and the detected Generating a control signal for operating the salt water spray device when the temperature of the road surface is less than 4 degrees Celsius, and operating the salt water spray device when the detected salt water injection amount is 80% or more after the salt water spray device is operated It is possible to generate a control signal to stop the
  • control server 3540 transmits a notification message to the manager terminal 3550 as it detects that there is an abnormality in the state of the sonic sensor 3510, and sends the sonic sensor 3510 to the control server 3580. can deliver a status notification signal.
  • 36 is a block diagram of a control system of an apparatus for preventing icing on a road according to another embodiment of the present disclosure.
  • the control system of the anti-icing device on a road includes a sonic sensor 3610, a controller 3630, a communication unit 3620, and an anti-icing device 3600.
  • the sound wave sensor 3610 may transmit a sound wave signal to a predetermined point to detect road conditions and then receive a reflected signal.
  • the control unit 3630 uses the reflected signal obtained by the sound wave sensor 3610 as an input signal to detect road surface condition data at the preset point based on the learned artificial intelligence analysis model, and detects the road surface at the preset point.
  • a signal controlling whether the freezing prevention device 3600 is operated may be generated according to the state data.
  • the road surface condition data may include a weather condition, a type of road surface, a temperature of the road surface, and an amount of sprayed salt (spray degree, distribution), and the like.
  • the communication unit 3620 may transfer the control signal generated by the controller 3630 to the anti-icing device 3600 .
  • the icing prevention device 3600 is controlled by the control unit 3630 to perform an operation to prevent icing of the road.
  • the anti-icing device 3600 may include at least one of a hot wire device and a salt spray device.
  • control unit 3630 determines that the weather condition is "rain” or “snow", the classified road surface type is “wet road”, “snowy road” or “frozen road”, and the detected When the temperature of the road surface is less than 4 degrees Celsius, a control signal for operating the heating wire device is generated, and after the heating device is operated, when the detected temperature of the road surface is 4 degrees Celsius or higher, the operation of the heating wire device is stopped. It is possible to generate a control signal that
  • control unit 3630 determines that the weather condition is "rain” or “snow”, the classified road surface type is “wet road”, “snowy road” or “frozen road”, and the detected road surface Generating a control signal for operating the salt spray device when the temperature of is less than 4 degrees Celsius, and controlling the operation of the salt spray device when the detected amount of salt water is 80% or more after the salt spray device is started It can generate a control signal to stop.
  • control unit 3630 upon detecting that the state of the sonic sensor 3610 is abnormal, transmits a notification message to the manager terminal 3650, and the control server 3680 of the sonic sensor 3610.
  • a status notification signal can be delivered.
  • 37A to 37C are diagrams for explaining an artificial intelligence analysis model used in a control system of an apparatus for preventing icing on a road according to an embodiment of the present disclosure.
  • the artificial intelligence analysis model includes a weather condition classification model for classifying a weather condition based on a reflected signal acquired by a sound wave sensor, and a road type classification model for classifying a road surface type based on a reflected signal acquired by a sound wave sensor.
  • a weather condition classification model for classifying a weather condition based on a reflected signal acquired by a sound wave sensor
  • a road type classification model for classifying a road surface type based on a reflected signal acquired by a sound wave sensor.
  • the artificial intelligence analysis model learns the reflected signal obtained by the sonic wave sensor and the temperature of the road surface together, and based on the reflected signal obtained by the sonic wave sensor, the corresponding road surface temperature
  • a road surface temperature regression model that outputs may be further included.
  • the artificial intelligence analysis model learns the reflected signal obtained by the sound wave sensor and the temperature of the road surface together, and based on the reflected signal obtained by the sound wave sensor, the corresponding A road surface temperature regression model that outputs the temperature of the road surface, and the reflected signal obtained by the acoustic wave sensor and the injection amount (distribution degree) of salt water are learned together, and the corresponding injection amount of salt water is based on the reflected signal obtained by the sonic sensor.
  • a saltwater injection amount regression model outputting may be further included.
  • the artificial intelligence analysis model basically includes a weather condition classification model, a road surface type classification model, and a road surface temperature regression model, and when the anti-icing device includes the salt water injection device, a salt water injection amount regression model. may further include.
  • FIG. 37A shows the structure of a road type classification model.
  • the road type classification model is configured by sampling the acquisition signal (reflected wave) of the acoustic sensor a total of T times for a certain period of time and learning the corresponding road type information together.
  • an acquisition signal (reflected wave) of a sound wave sensor is input and the corresponding road surface types are dry, wet, iced, and snowy. ) can be classified into classes such as
  • a weather condition classification model for classifying a weather condition based on the reflected signal obtained by the acoustic wave sensor may be further included, and the acquired signal and weather information of the acoustic wave sensor may be further included. learn and construct
  • FIG. 37B is a view for explaining a road surface temperature regression model for outputting a corresponding road surface temperature based on a reflected signal acquired by a sound wave sensor in order to control a heating device
  • FIG. 37C is a diagram for controlling a salt water control device.
  • It is a diagram for explaining a saltwater spray amount regression model that outputs the distribution amount (distribution degree) (%) of corresponding saltwater based on the reflected signal obtained by the acoustic wave sensor.
  • the relationship between the acquired data (X) of the sound wave sensor and the temperature of the road surface is not a two-dimensional (plane) graph, but X is a dataset formed by the concept of a hyperplane, which is a set of values am.
  • the learned road surface temperature regression model outputs a corresponding road surface temperature based on the reflected signal obtained by the acoustic wave sensor.
  • the relationship between the acquisition data (X) of the acoustic sensor and the amount of salt water injection (distribution degree) is not a two-dimensional (plane) graph, but X is a concept of a hyperplane, which is a set of values. It is a dataset that is being formed.
  • the learned salt water spray amount regression model outputs a corresponding spray amount (distribution degree) of salt water based on the reflected signal acquired by the acoustic wave sensor.
  • 38 is a flowchart of a control method of an apparatus for preventing icing on a road according to an embodiment of the present disclosure.
  • measurement data of the acoustic wave sensor is collected (3810).
  • An artificial intelligence analysis model is created based on the collected data (3820).
  • a weather condition classification model for classifying a weather condition is generated based on the reflected signal obtained by the sound wave sensor, and a road surface is generated based on the reflected signal obtained by the sound wave sensor.
  • Creating a road surface type classification model for classifying the type of, and learning the reflected signal obtained by the acoustic wave sensor and the temperature of the road surface together to output the corresponding road surface temperature based on the reflected signal obtained by the acoustic wave sensor Create a road surface temperature regression model.
  • the anti-icing device is a salt water spray device
  • the artificial intelligence analysis model generating step (3820) the reflected signal acquired by the sound wave sensor and the spray amount (distribution degree) of salt water are learned together, so that the sound wave sensor Based on the obtained reflected signal, a saltwater injection amount regression model outputting the corresponding saltwater injection amount (distribution degree) is created.
  • the artificial intelligence analysis model basically generates and includes a meteorological state classification model, a road surface type classification model, and a road surface temperature regression model, and when the anti-icing device includes the salt water spray device, the salt water injection amount Generates a further regression model.
  • the generated artificial intelligence analysis models must be loaded into the control server or control unit.
  • a sound wave signal is transmitted to a predetermined point for monitoring road conditions using the sound wave sensor, and a reflected signal is received (3830).
  • control server or the control unit detects the road surface condition data of the predetermined point based on the artificial intelligence analysis model by using the received reflected signal acquired by the sound wave sensor as an input signal.
  • the weather condition, the type of road surface, the temperature of the road surface, and the amount of salt spray (degree of distribution) are detected.
  • control server or the control unit generates a control signal for controlling whether or not to operate the anti-icing device based on the road surface condition data (3850).
  • control server or the control unit detects that there is an abnormality in the state of the acoustic wave sensor, a notification message is transmitted to the manager terminal and a state notification signal of the acoustic wave sensor is transmitted to the control server (3860).
  • FIG. 39 is a detailed flowchart of one embodiment of the control signal generation step 3850 of FIG. 38 when the device for preventing icing on a road according to the present disclosure is a hot wire device.
  • the anti-icing device is a hot wire device
  • the control signal generating step (3850) first, it is determined whether the detected meteorological condition is "rain” or "snow” (3910).
  • step 3910 if the meteorological condition is not “rain” or “snow”, the process proceeds to step 3840 to detect road condition data.
  • the classified road type is “wet” or “snow” or “frozen road”. (iced)" (3920).
  • step 3920 if the weather condition is “rain” or “snow”, the classified road surface type is “wet” or “snow” or “iced road”. )", it proceeds to step "3840" to detect road condition data.
  • the classified road type is “wet” or “snow” or “frozen road”. (iced)”, it is determined whether the detected road surface temperature is less than 4 degrees Celsius (3930).
  • step 3930 if the temperature of the road surface is not less than 4 degrees Celsius, the process proceeds to step "S540" to detect road condition data.
  • the road condition data detection step 3940 is performed, and the road surface condition data is sensed.
  • the heating element After the heating element is operated, it is determined whether the detected temperature of the road surface is 4 degrees Celsius or higher (3950).
  • step 3950 if the temperature of the road surface is not higher than 4 degrees Celsius, the process proceeds to step "S540" to detect road condition data.
  • the road condition data detection step 3840 is performed to sense the road condition data.
  • the weather condition is "rain” or “snow”
  • the classified road type is “wet road”, “snowy road” or “frozen road”
  • the detected temperature of the road surface is less than 4 degrees Celsius.
  • the heating wire device is operated, and after the heating wire device is operated, the operation of the heating wire device is stopped when the detected temperature of the road surface is 4 degrees Celsius or higher.
  • FIG. 40 is a detailed flowchart of one embodiment of the control signal generation step 3850 of FIG. 38 when the device for preventing icing on a road according to the present disclosure is a salt water spray device.
  • the road freezing prevention device is a salt spray device
  • the control signal generating step (3850) first, it is determined whether the detected meteorological condition is "rain” or "snow” (4010).
  • step 4010 if the meteorological condition is not "rain” or "snow", the process proceeds to step "S540" to detect road condition data.
  • the classified road type is "wet” or “snow” or “frozen road”. (iced)" (4020).
  • step 4020 if the weather condition is "rain” or “snow”, the classified road type is “wet” or “snow” or “iced”. )", it proceeds to step "3840" to detect road condition data.
  • the classified road type is “wet” or “snow” or “frozen road”. (iced)”, it is determined whether the detected road surface temperature is less than 4 degrees Celsius (4030).
  • step 4030 if the temperature of the road surface is not less than 4 degrees Celsius, the process proceeds to step "3840" to detect road condition data.
  • step 4030 if the temperature of the road surface is less than 4 degrees Celsius, a control signal for operating the salt spray device is generated (4040).
  • the road surface condition data detection step 3840 is performed, and the road surface condition data is sensed.
  • the spray amount (spray degree) is 80% or more (4050).
  • step 4050 if the spray amount (degree of spray) of salt water is not 80% or more, the process proceeds to step 3840 to detect road surface condition data.
  • the road condition data detection step 3840 is performed to sense the road condition data.
  • the weather condition is "rain” or “snow”
  • the classified road type is “wet road”, “snowy road” or “frozen road”
  • the temperature of the detected road surface is less than 4 degrees Celsius.
  • the salt spray device is operated, and after the salt spray device is operated, the operation of the salt spray device is stopped when the detected amount of salt spray is 80% or more.
  • the amount of salt spraying (degree of spraying, distribution) for stopping the operation of the salt spraying device is 80% or more, but it is not limited thereto.
  • a device for preventing icing on the road including a heating wire device or a salt spray device
  • a salt spray device has been cited as an example, but the present disclosure is not limited thereto, and it is also possible to control a system including a heat wire device and a salt spray device.
  • the methods according to the embodiments of the present disclosure can be implemented by a computer-readable recording medium in which a program for implementing the method is stored and/or a program stored in a computer-readable recording medium for implementing the method.
  • a program of instructions for implementing the methods according to the embodiments of the present disclosure may be provided in a computer-readable recording medium by being tangibly implemented. In other words, it may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable recording medium.
  • the computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • a computer readable storage medium storing one or more programs (software modules) may be provided.
  • One or more programs stored in a computer-readable storage medium are configured for execution by one or more processors in an electronic device.
  • One or more programs include instructions that cause the electronic device to execute methods according to embodiments described in the claims or specification of the present disclosure.
  • Such programs may include random access memory, non-volatile memory including flash memory, read only memory (ROM), and electrically erasable programmable ROM.
  • EEPROM Electrically Erasable Programmable Read Only Memory
  • magnetic disc storage device Compact Disc-ROM (CD-ROM), Digital Versatile Discs (DVDs), or other forms of It can be stored on optical storage devices, magnetic cassettes. Alternatively, it may be stored in a memory composed of a combination of some or all of these. In addition, each configuration memory may be included in multiple numbers.
  • the program accesses through a communication network such as the Internet, an Intranet, a Local Area Network (LAN), a Wide LAN (WLAN), or a Storage Area Network (SAN), or a communication network consisting of a combination thereof. It can be stored on an attachable storage device that can be accessed. Such a storage device may be connected to a device performing an embodiment of the present disclosure through an external port. In addition, a separate storage device on a communication network may be connected to a device performing an embodiment of the present disclosure.
  • a communication network such as the Internet, an Intranet, a Local Area Network (LAN), a Wide LAN (WLAN), or a Storage Area Network (SAN), or a communication network consisting of a combination thereof. It can be stored on an attachable storage device that can be accessed.
  • Such a storage device may be connected to a device performing an embodiment of the present disclosure through an external port.
  • a separate storage device on a communication network may be connected to a device performing an embodiment of the present disclosure.
  • FIGS. 2, 23, and 34 a method of installing the road infrastructure of the present disclosure on a road will be described by way of example. More specifically, the structure in the following description is the structure of FIGS. 2, 23, and 34, and relates to the structure and installation method of the structure of the present disclosure.
  • FIGS. 41 to 49 illustrating an embodiment of the present disclosure.
  • the structure 4100 which is the main component of the road infrastructure sensor construction structure of the present disclosure, includes: a vertical frame 4110 erected and installed on a road or the edge of the road, and the vertical frame 4110 It is configured to include a horizontal frame 4120 installed in the width direction of the road at the top, for example, a "c"-shaped structure or high-pass IC for installing a "c"-shaped street light or electronic display board. It may be a structure, and any structure may be used as long as the horizontal frame 4120 is located at the top of the road. can be located As described above, the position of the acoustic sensor unit of the present disclosure is illustrative and is not limited to the position described in the present disclosure.
  • the acoustic wave sensor unit 4200 which is a major component of the road infrastructure sensor construction structure of the present disclosure, is installed below the horizontal frame 4120 of the structure 4100, It is installed to be located at the top, irradiates sound waves on the road surface, receives sound waves reflected from the road surface to generate sound wave information, and transmits the received sound wave information to the control unit 4300, which will be described in detail later.
  • the control unit 4300 converts the sound wave information into a frequency so that the condition of the road surface can be grasped.
  • the sound wave sensor unit 4200 of the present disclosure transmits a sound wave signal to the road surface, receives the reflected sound wave signal, and outputs an outgoing signal under the control of the control unit 4300, and the outgoing signal is random. It may be configured to include a receiver for receiving a reflected signal that is reflected on the road surface and returned.
  • the transmitter and the receiver are positioned so that the sound wave is transmitted in a straight line and the reflected sound wave is received. It is expressed as consisting of
  • a plurality of sound wave sensor units 4200 are used.
  • the sound wave sensor unit 4200 composed of a first transmission/reception member 4250 and a second transmission/reception member 4260 capable of mutually receiving transmitted and reflected sound wave signals with one embodiment configured, conventionally Compared to this, it is possible to grasp the road surface condition of a relatively wide road, so that the condition of the road can be estimated with high reliability.
  • the sound wave sensor unit 4200 of one embodiment is installed below the horizontal frame 4120 of the structure 4100, and as a plurality of them are installed in the width direction of the road, the state of the road surface is wider than before. Therefore, it is possible to obtain the effect of improving the reliability of identifying the condition of the road surface.
  • the plurality of sensor units 4200 installed in one embodiment are characterized in that the transmission times of the sound waves are set so that the arrival times of the sound waves irradiated and reflected on the road surface are all the same, which is Not only are the heights different, but the arrival times of sound waves reflected by variables such as breakage can all be different, so the characteristics of sound waves in normal road conditions, which are the initial standard, are extracted and compared to be relatively similar, so that each sound wave transmission time is set. This is to make the arrival time the same, so that the condition of the road surface can be quickly identified.
  • the reason for setting the transmission time of the sound wave to make the arrival time the same is because when sound wave information is generated using the sound wave transmission time and arrival time, a plurality of sound wave sensor units 4200 of the same equipment are installed. In this case, since the velocity of the sound wave is the same, if the transmission times are all the same due to variables such as the height of the road surface, the arrival times of the reflected sound waves are all different, so it is necessary to analyze the sound wave information generated by each sound wave sensor unit 4200.
  • the transmission time of the sound waves of the plurality of sound wave sensor units 4200 according to the height of the road surface is set to make the arrival time the same, when the road surface is in a normal state, the arrival time of the sound wave is all the same, and the road surface
  • the state of the road is in a state such as damage or black ice
  • the arrival time of the sound wave is different from the preset arrival time of the sound wave, so it is easy to determine that the state of the entire road surface is different, but the arrival of some of the plurality of sound wave sensor units 4200 When the time is different from the predetermined arrival time of the sound wave, it is possible to more quickly check that the state of a part of the entire road surface is different.
  • the plurality of sound wave sensor units 4200 of one embodiment is a time when sound waves are transmitted from any one sound wave sensor unit 4200 and reflected on the road surface, that is, when the sound wave flight period is t, t / 2 time Characterized in that n sensors transmit sound waves to the road surface more than n times sequentially and receive reflected sound waves for the remaining t/2 time to sample road surface information or traffic volume information n times or more comprehensive road information within a predetermined period.
  • the sound wave sensor unit 4200 of one embodiment can sense the condition of the road surface with improved reliability by sampling and generating a larger amount of sound wave information such as road surface information and traffic information through a plurality of sound wave sensor units 4200. to realize the effect of At this time, it will be apparent that the sound wave sensor unit 4200 of another embodiment, which will be described in detail later, also samples and generates sound wave information such as road surface information and traffic information through sound waves.
  • the sound wave sensor unit 4200 of one embodiment is coupled bundle 4210, the upper portion of which is coupled to the lower portion of the horizontal frame 4120 of the structure 4100, and the upper portion of the lower portion of the coupling bundle 4210 is front and rear and Consisting of a connecting rod 4220 hinged to be rotatable in the left and right directions, a main body 4230 coupled to the lower end of the connecting rod 4220, and an acoustic sensor 4240 installed below the main body 4230 do.
  • the front-and-back direction means the longitudinal direction of the road
  • the left-right direction means the width direction of the road
  • the front-and-back and left-right directions (lateral directions) mentioned later also mean the same direction.
  • the coupling bundle 4210 is composed of a lower receiving groove 4212 formed at the bottom and a ball bearing installed inside the lower receiving groove 4212, and the connecting rod 4220 is at the upper end of the coupling bundle ( 4210) is coupled in the form of a ball hinge so as to be rotatable in the front and rear and left and right directions as configured to include an upper sphere 4224 that is inserted into and coupled to the inner side of the lower receiving groove 4212.
  • the lower receiving groove 4212 is formed in a shape corresponding to the upper sphere 4224 of the connecting rod 4220, and the connecting rod 4220 has an upper portion of the lower part of the coupling bundle 4210. It is combined with a hinge structure and is rotatable in the front and rear and left and right directions, so that shaking is prevented when vibration is generated in the structure 4100 due to vehicle traffic and external vibration.
  • the main body 4230 coupled to the lower end of the connecting rod 4220 and the sonic sensor 4240 installed below the main body 4230 are prevented from shaking together as the connecting rod 4220 is prevented from shaking.
  • An effect of enabling the sound wave to be irradiated to the road surface set in the sound wave sensor 4240 to be stably irradiated can be obtained.
  • the main body 4230 has a sound wave sensor 4240 stably installed in the sound wave sensor unit 4200 of the temporary embodiment and the sound wave sensor unit 4200 of another embodiment to be described in detail later, and the control unit 4300 to be described in detail later
  • the sound wave sensor 4240 is composed of a transmitter and a receiver to irradiate sound waves on the road surface and receive reflected sound waves to receive sound waves. Information is generated, and the generated sound wave information is transmitted to the control unit 4300.
  • the sound wave sensor unit 4200 of another embodiment is installed on one lower side of the horizontal frame 4120 of the structure 4100 to irradiate or receive sound waves on the road surface of the road.
  • a first transmission/reception member 4250 It is installed on the lower side of the horizontal frame 4120 of the structure 4100 and includes a second transmission/reception member 4260 for irradiating or receiving sound waves on the road surface.
  • the first transmission/reception member 4250 is installed at an angle capable of receiving the sound wave reflected from the second transmission/reception member 4260 on the road, and the second transmission/reception member 4260 is the first transmission/reception member 4260. It is characterized in that the member 4250 is installed at an angle capable of receiving reflected sound waves irradiated onto the road.
  • either the first transmission/reception member 4250 or the second transmission/reception member 4260 transmits sound waves to the road surface, and transmits the reflected sound waves to the second transmission/reception member 4260.
  • the other sound wave transmission unit is used to detect the road surface condition. It realizes the effect that can be grasped smoothly.
  • the sound wave sensor unit 4200 of another embodiment adjusts the angle of any one of the first transmission/reception member 4250 and the second transmission/reception member 4260, and receives the sound wave according to the adjusted angle.
  • the transmission/reception member 4260 or the first transmission/reception member 4250 it is possible to grasp the condition of a wider road surface than in the prior art.
  • the horizontal frame 4120 of the structure 4100 for installing the sound wave sensor unit 4200 is a first rail 4122 installed in the longitudinal direction at the lower front and a rotation motor 4126 coupled to the first rail 4122 and controlled by the controller 4300 to rotate the first rail 4122 .
  • the sound wave sensor unit 4200 of Example 1 of another embodiment that is, the first transmission/reception member 4250 and the second transmission/reception member 4260 are installed on one side and the other side of the first rail 4122, so that the first rail ( A coupling bundle 4210 that moves in opposite directions according to the rotation of 4122, a connecting rod 4220 coupled to the lower portion of the coupling bundle 4210 so that the upper portion can rotate in the front and rear and left and right directions, and the connecting rod 4220 )
  • It is configured to include a sound wave sensor 4240 that is rotated in the width direction of the road by the driving motor 4270 and the angle is adjusted.
  • the sound wave sensor unit 4220 of Example 1 of another embodiment receives the sound waves of the road surface area of the initially set road, and controls the control unit 4300 to transmit and receive signals between the first transmission/reception member 4250 and the second transmission/reception member 4260.
  • the control unit 4300 controls the control unit 4300 to transmit and receive signals between the first transmission/reception member 4250 and the second transmission/reception member 4260.
  • the coupling relationship between the first rail 4122 and the coupling bundle 4210 is that the direction of the screw thread is formed differently on one side and the other outer periphery of the first rail 4122, and the coupling bundle 4210 has the first One side and the other side of the first rail 4122 are penetrated and screwed together, so that the coupling bundle 4210 moves in a lateral direction, that is, one side or the other side along the first rail 4122 rotated by the rotation motor 4126. It is moved, and a pair of coupling bundles 4210 are moved in opposite directions along the threads formed on the outer periphery of both sides of the first rail 4122.
  • the horizontal frame 4120 of the structure 4100 for installing the sound wave sensor unit 4200 is a first rail 4122 installed in the longitudinal direction at the lower front. ), and a second rail 4124 installed in the longitudinal direction at the rear of the lower part and coupled to the first rail 4122 and the second rail 4124, respectively, and controlled by a control unit 4300 to be described in detail later It is configured to include a rotation motor 4126 that rotates the first rail 4122 and the second rail 4124.
  • the sound wave sensor unit 4200 of Example 2 of another embodiment that is, the first transmission/reception member 4250 and the second transmission/reception member 4260 are respectively attached to either the first rail 4122 or the second rail 4124.
  • a coupling bundle 4210 installed and moved according to the rotation of the first rail 4122 or the second rail 4124, a main body 4230 installed under the coupling bundle 4210, and the main body 4230 ) installed in the lower part of the drive motor 4270 controlled by the control unit 4300 and installed in the lower part of the drive motor 4270 and rotated in the width direction of the road by the drive motor 4270 at an angle
  • It is configured to include a sound wave sensor 4240 that is controlled.
  • the sound wave sensor unit 4200 of Example 2 of another embodiment receives the sound waves of the road surface area of the initially set road, and the first transmission/reception member 4250 by the control unit 4300
  • the control unit 4300 By adjusting the angle and the position of the second transmission/reception member 4260 in the road width direction, it is possible to receive sound waves in a road surface area other than the initially set road surface area, so that the condition of a road surface that is wider than before can be grasped.
  • the effect of improving the reliability of the status identification can be obtained.
  • the coupling relationship between the first rail 4122, the second rail 4124, and the coupling bundle 4210 is that a screw thread is formed on the outer periphery of the first rail 4122 and the second rail 4124, and the The first rail 4122 and the second rail 4124 are penetrated and screwed into the coupling bundle 4210, so that the first rail 4122 and the second rail 4124 rotated by the rotation motor 4126 Along the lateral direction, that is, the coupling bundle 4210 is moved in one or the other direction.
  • the coupling relationship between the drive motor 4270 and the sonic sensor 4240 of the first and second embodiments of the other embodiments is that the drive motor 4270 rotates left and right according to the operation and the sonic sensor 4240 is a gear
  • the driving motor 4270 is controlled by a control unit 4300 coupled through a box 4280 and described in detail later, so that the installed angle of the acoustic sensor 4240 is adjusted.
  • first transmission and reception member 4250 and the second transmission and reception member 4260 of the embodiment 1 and embodiment 2 of the other embodiment may be configured to include a connecting rod 4220 rotatably hinged in the front and rear and left and right directions.
  • the first transmission/reception member 4250 and the second transmission/reception member 4250 and the second transmission/reception member 4260 of Examples 1 and 2 of the other embodiments have an upper portion at the bottom of the coupling bundle 4210 in the front-back and left-right directions. It is configured to include a connecting rod 4220 coupled to be rotatable, and the main body 4230 of the first transmission/reception member 4250 and the second transmission/reception member 4260 is coupled to the lower end of the connecting rod 4220, It has the same structure as the structure of the coupling bundle 4210 and the connecting rod 4220 and the main body of the acoustic sensor unit 4200 of the embodiment. At this time, the coupling bundle 4210 and the connecting rod 4220 are configured in the same manner as in the sound wave sensor unit 4200 of the previous embodiment.
  • the sound wave sensor units 4200 of the first and second embodiments that is, the first transmission and reception member 4250 and the second transmission and reception member 4260 of other embodiments, also vibrate the structure 4100 by the connecting rod 4220.
  • shaking of the connecting rod 4220, the main body, and the sound wave sensor 4240 is prevented, so that sound waves can be irradiated and received more stably.
  • the main body 4230 of Examples 1 and 2 of one embodiment and another embodiment includes an upper receiving groove 4234 formed on the upper portion and a ball bearing installed inside the upper receiving groove 4234, , and the connecting rod 4220 may include a lower sphere 4226 inserted into the upper receiving groove 4234 of the main body 4230 and coupled to the lower end. Accordingly, the main body 4230 ) is coupled to the connecting rod 4220 in the form of a ball hinge so as to be rotatable in the front and rear and left and right directions to prevent shaking secondarily, so that sound waves can be transmitted and received from the sound wave sensor 4240 more stably.
  • connecting rods 4220 of Example 1 and Example 2 of one embodiment and other embodiments are coupled to the upper outer periphery, coupled so that the center penetrates, and is located on the upper part of the sonic sensor 4240, and the center is the upper part. It is formed in a circular shape with a convex curved surface and has an open lower portion, and includes a protective member 4222 having a reflective layer 4222a capable of reflecting sound waves on the inner surface.
  • the protective member 4222 is coupled so that the connecting rod 4220 passes through the center and is positioned above the sonic sensor 4240, so that the sound wave signal reflected from the road surface is transmitted to the sonic sensor 4240. Even if it is not directly received, it is reflected and received by the reflective layer 4222a so that as many sound wave signals as possible can be received.
  • the protective member 4222 protects the upper part of the acoustic wave sensor 4240 to minimize damage to the acoustic wave sensor 4240 caused by ultraviolet rays or rainwater or interference with receiving sound waves due to bird droppings. .
  • the main body 4230 is configured to include a plurality of auxiliary receiving sensors 4232 installed thereon.
  • the auxiliary receiving sensor 4232 is the protective member ( Since sound waves reflected by the reflective layer of 4222 are difficult to be received by the main body 4230 located above the sound wave sensor 4240, the reflected sound waves can be more stably received.
  • rotation motors 4126 of the first and second embodiments of the other embodiments are coupled by connecting rotation rods to the first rail 422 and the second rail 4124, respectively, and the horizontal frame 4120 The upper part is fixedly coupled to the lower part.
  • the control unit 4300 varies the frequency of the sound wave every predetermined time and irradiates it.
  • this enables the generation of sound wave information capable of determining the condition of the road surface in more detail through different frequencies, thereby obtaining an effect of identifying the condition of the road surface with higher reliability.
  • the sound wave sensor unit 4200 of one embodiment and another embodiment of the present disclosure irradiates a road surface with a sound wave of 40 kHz normally, and when a predetermined time is reached, the controller 4300 irradiates a sound wave of 80 kHz to the road surface, , When the preset time is reached again, the control unit 4300 irradiates 120 kHz sound waves to the road surface so that sound wave information capable of determining a more detailed road surface condition can be generated.
  • the sound wave sensor unit 4200 of one embodiment and another embodiment of the present disclosure irradiates a sound wave on the road surface
  • the frequency of the sound wave is irradiated differently for each predetermined time, but irradiated over a predetermined number of n times,
  • the control unit 4300 which is a major component of the road infrastructure sensor construction structure of the present disclosure, is installed in the vertical frame 4110 of the structure 4100, receives sound wave information from the sound wave sensor unit 4200, and receives sound wave information from the central management server. Specifically, the characteristics of the sound wave signal are extracted from the sound wave information received from the sound wave sensor 4240, classified, and the condition of the road surface is grasped, and then the condition of the road surface is estimated, and the estimated road surface condition is transmitted to By transmitting to the central management server, it is possible to take measures to prevent accidents caused by the current state of the road surface.
  • the control unit 4300 of the present disclosure not only controls the sound wave sensor 4240 described above, but also automatically controls the rotation motor 4126 and the drive motor 4270 with preset input values, or input information of the central management server. controlled by
  • control unit 4300 of the present disclosure includes a signal converter that obtains a frequency domain signal by performing frequency conversion on a preset area on the domain of sound wave information received from the sound wave sensor 4240, and converting the frequency domain signal into an input signal. It can be configured to include an artificial neural network that extracts and classifies the characteristics of the input signal based on the learned road surface classification model and estimates the state of the road surface, and controls them.
  • control unit 4300 of the present disclosure may be included in a switchboard or terminal box and installed in the vertical frame 4110 of the structure 4100, and may be a wired or wireless communication unit to transmit sound wave information to the central management unit server.
  • the construction method of the road infrastructure sensor construction structure of the present disclosure includes a structure installation step (4S10) of installing the structure 4100 on the road, and a sensor installation step (4S20) of installing the sound wave sensor unit 4200 to the structure 4100. and a terminal box installation step (4S30) of installing the control unit 4300 in the structure 4100.
  • the vertical frame 4110 is erected and installed on a road or the edge of the road, and the horizontal frame 4120 is coupled to the top of the vertical frame 4110 in the width direction of the road to form the vertical frame.
  • a structure 4100 including a 4110 and a horizontal frame 4120 is installed.
  • the structure 4100 has a "L" shape like the street lamp shown in FIGS. 41 to 44, it is installed in the same way as above and has a "c" shape like the billboard structure shown in FIGS. 45 to 48
  • a pair of vertical frames 4110 are erected and installed, and a horizontal frame 4120 connecting the upper portions of the pair of vertical frames 110 is installed.
  • the structure installation step 4910 of the present disclosure may be omitted because it is performed in advance when a structure 4100 such as a street lamp or an electronic display board structure is already installed.
  • the sound wave sensor unit 4200 which generates sound wave information by receiving reflected sound waves after irradiating sound waves on the road surface, is installed on the horizontal frame of the structure 4100. (4120), the coupling bundle 4210 described above is installed at the bottom of the horizontal frame 4120.
  • the coupling bundle 4210 is fixedly coupled to the lower portion of the horizontal frame 4120 when the sound wave sensor unit 4200 of one embodiment is installed, and the horizontal frame when the sound wave sensor unit 4200 of another embodiment is installed ( It is movably installed on the first rail 4122 and the second rail 4124 installed under the 4120, respectively.
  • the coupling bundle 4210 includes a connecting rod 4220 coupled to the lower portion when the sonic sensor unit 4200 of one embodiment is installed, a protective member 4222 installed on the outer periphery of the connecting rod 4220, and the connecting rod Includes a main body 4230 coupled to the lower part of the main body 4220, a plurality of auxiliary receiving sensors 4232 coupled to the upper part of the main body 4230, and a sound wave sensor 4240 coupled to the lower part of the main body 4230 Or, when the sonic sensor unit 4200 of another embodiment is installed, the connecting rod 4220 coupled to the lower part, the protective member 4222 installed on the outer periphery of the connecting rod 4220, and the lower part of the connecting rod 4220 A main body 4230 coupled to the main body 4230, a plurality of auxiliary receiving sensors 4232 coupled to the upper portion of the main body 4230, a driving motor 4270 coupled to the lower portion of the main body 4230, and the driving motor 4270 ) This is a state in which the acoustic wave sensor
  • the vertical frame 4110 of the structure 4100 is connected to the sound wave sensor unit 4200, and the control unit is connected to the central management server by wire or wirelessly.
  • the control unit is connected to the central management server by wire or wirelessly.
  • the sound wave transmission time is set so that all arrival times of sound waves that are reflected and received by the plurality of sound wave sensor units 4200 are the same.
  • the initial transmission setting step of setting the first transmission/reception member 4250 and the second transmission/reception member 4260 to receive mutually transmitted sound waves It consists of more.
  • the road infrastructure sensor system construction structure and its construction method of the present disclosure not only can smoothly grasp the condition of the road surface without contact through sound waves, but also the condition of the road surface according to the grasp of the condition of the road surface by a wider measurement range than in the prior art. It is possible to improve the reliability of estimation, and by allowing many sound waves to be received through the protective member 4222 on which the reflection layer 4222a is formed, the problem of receiving even a small disturbance due to the nature of sound waves having linearity is difficult to increase, thereby increasing the reliability of measurement by sound waves.
  • the vibration of the sound wave sensor unit 4200 is minimized through the ball hinge structure and at the same time, the natural frequency generated by the vibration of the structure 4100 is a protective member. By minimizing what is received through 4222, it is possible to obtain an effect of improving higher measurement reliability by minimizing measurement errors.
  • drawings describing the method of the present disclosure may omit some components and include only some components within a range that does not impair the essence of the present disclosure.
  • the method of the present disclosure may be executed by combining some or all of the contents included in each embodiment within the scope of not detracting from the essence of the disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Automation & Control Theory (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Emergency Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

다양한 실시예들에 따라서, 음파 신호를 이용한 노면을 분류하는 전자 장치 및 그를 이용한 노면 분류 방법이 개시된다. 또한 노면 분류를 통해 노면을 관리하는 장치 및 방법이 개시된다. 한편, 노면 분류 방법을 구현하기 위한 인프라를 도로 상에 설치하기 위한 방법이 개시된다. 그 밖의 다양한 실시예가 가능하다.

Description

음파 신호를 이용하여 노면 종류를 추정하고 관리하는 장치 및 그 방법
본 개시는 음파 신호를 이용하여 노면의 종류를 추정하는 장치 및 이를 이용한 노면의 분류 및 관리 방법에 관한 것으로, 보다 상세하게는, 노면에 반사된 음파 신호를 인공신경망을 이용하여 분류하고, 분류된 노면의 종류에 기초하여 노면 내지 이동체를 제어하는 장치 및 이를 이용한 노면의 관리 방법에 관한 것이다.
일반적으로 지면 위를 움직이는 지상이동체는 이동하고 있는 지면, 즉 노면의 마찰계수에 따라 가감속 제어를 수행하게 되므로, 안정성 제어 측면과 최대 운동 성능 제어 측면에서 노면 마찰 계수를 정확히 추정하는 것이 중요하다.
겨울철 급증하고 있는 블랙 아이스 사고는, 이를 인지하지 못한 상황에서 노면 마찰 계수의 급격한 변화로 인하여 발생하는 것이라는 점에서 노면 마찰 계수 추정 기술의 필요성이 잘 드러난 예시라 할 수 있다.
또한, 최근 상용화되고 있는 전기 자동차는 에너지 효율을 증가시키기 위한 회생 제동 기술이 필수적인데, 회생 제동이 적용되는 경우의 주행 안정성 확보를 위한 측면에서 노면의 마찰 계수를 미리 추정하는 기술의 필요성이 확대되고 있다.
이러한 노면 상태 또는 이에 기초한 노면 마찰 계수를 추정하기 위한 방법으로, 종래에는 차량의 동적 정보를 이용하는 방법과 센싱 정보를 이용하는 방법이 주로 사용되어 왔다.
차량의 동적 정보를 이용하는 방법의 경우, 차량에 탑재된 각종 센서의 측정 정보를 차량 동역학 모델에 대입하여 추정한다. 이때 정해진 모델링을 벗어나는 상황에서 정확도가 떨어지는 단점이 있을 뿐만 아니라, 노면을 지나고 나서야 측정이 가능하므로, 노면의 마찰 계수를 미리 추정할 수 없는 한계가 있다.
또한, 영상 정보와 같은 전자기파 센서 기반 방식의 경우에는 노면의 마찰 계수를 원격에서 추정할 수 있으나, 이를 위해 고가의 센서 장비와 이에 대한 신호 처리 장치가 필요하며 센서의 장착 위치나 방향에 따라 결과가 달라질 수 있는 한계가 존재한다.
한편, 음향 정보를 이용한 노면 추정 기술도 활발히 논의되고 있는데, 종래에는 지면과 타이어 간의 마찰음을 기반으로 노면 상태를 추정하는 기술에 초점이 맞춰져 있어, 정확도가 부족할 뿐만 아니라 노면을 통과하기 전에는 전방의 노면 상태를 확인할 수 없는 한계가 있다.
따라서, 기존의 방식으로는 노면 상태를 미리 판단할 수 없거나, 판단 과정이 비경제적이고 부정확하여 전술한 문제를 효율적으로 해결할 수 없는 한계가 있었다.
본 개시는 위와 같은 문제를 해결하기 위하여, 음파 신호를 이용한 노면 종류의 추정 장치 및 그 방법을 제공하고자 한다.
또한, 본 개시에 따른 노면 종류의 추정을 통하여 실시간으로 노면을 제어하고 관리하는 장치 및 그 방법을 제공하고자 한다.
한편, 본 개시에서 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 개시에 포함된 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 다양한 실시예에 따르면, 음파 신호를 이용하여 노면을 분류하는 전자 장치는, 음파 신호를 송신하고 수신하도록 설정된 송수신기; 대기 센서; 및 상기 송수신기 및 상기 대기 센서와 전자적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 송수신기를 이용하여, 상기 전자 장치로부터 제1 거리만큼 이격된 대상 노면을 향해 음파 신호를 송신하고, 상기 송수신기를 이용하여, 상기 대상 노면에 대한 상기 음파 신호의 반사 신호를 수신하고, 상기 대기 센서를 이용하여, 상기 음파 신호와 연관된 대기 정보를 획득하고, 상기 수신된 반사 신호에 대한 제1 데이터를 획득하고, 상기 대기 정보에 기초하여 상기 제1 데이터를 보정함으로써, 제2 데이터를 생성하고, 상기 제2 데이터에 기초하여 상기 제2 데이터의 주파수 도메인 정보와 관련된 제3 데이터를 획득하고, 상기 제3 데이터 및 노면 분류 인공 신경망에 기초하여 상기 대상 노면의 종류를 판단하도록 설정되고, 상기 노면 분류 인공 신경망은 상기 제1 거리와는 다른 제2 거리의 노면에서 반사된 음파 신호에 기초하여 생성된 주파수 도메인 데이터 셋으로 학습될 수 있다.
본 개시의 일 실시예에 따르면, 상기 제2 데이터는, 상기 대기 정보 및 상기 제1 거리에 기초하여 상기 제1 데이터를 보정함으로써 생성될 수 있다.
또한, 상기 제1 거리는, 상기 음파 신호의 송신 시점 및 상기 반사 신호의 수신 시점에 기초하여 추정될 수 있다.
본 개시의 일 실시예에 따르면, 상기 제3 데이터는 상기 제2 데이터를 STFT(Short-Time Fourier Transformation) 변환하여 획득될 수 있다.
본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 판단된 대상 노면의 종류에 기초하여, 상기 대상 노면에 설치된 노면 관리 장치를 제어하는 신호를 생성하도록 설정될 수 있다.
본 개시의 다양한 실시예에 따른 상기 노면 관리 장치는 열선 또는 염수 분사 장치를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 미리 설정된 기상 조건의 만족 여부를 판단하고, 상기 미리 설정된 기상 조건을 만족하는 경우, 상기 노면 관리 장치를 제어하는 신호를 생성하도록 설정될 수 있다.
또한, 상기 적어도 하나의 프로세서는, 제1 시점에서 판단된 대상 노면의 종류가 제2 시점에서 변경되었는지 여부를 확인하고, 상기 제1 시점에서 상기 대상 노면의 종류로 판단된 제1 클래스와 상기 제2 시점에서 상기 대상 노면의 종류로 판단된 제2 클래스가 서로 다른 경우, 제3 시점에서 판단되는 대상 노면의 종류에 기초하여 상기 대상 노면에 설치된 장치에 대한 제어 신호의 생성 여부를 결정하도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 상기 대상 노면의 종류는 제1 주기마다 판단되고, 상기 적어도 하나의 프로세서는, 상기 대상 노면의 종류가 제1 클래스로 판단되는 경우, 상기 대상 노면의 종류를 제2 주기마다 판단되도록 설정될 수 있다.
본 개시의 일 실시예에 따르면, 상기 전자 장치는 상기 대상 노면의 온도 정보를 획득하는 IR 센서 또는 상기 대상 노면의 영상 정보를 획득하는 비전 센서 중 적어도 하나를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 온도 정보 또는 상기 영상 정보에 더 기초하여 상기 노면의 종류를 판단하도록 설정될 수 있다.
본 개시의 다양한 실시예에 따르면, 전자 장치에 의해 수행되는 음파 신호를 이용하여 노면을 분류하는 방법은, 상기 전자 장치로부터 제1 거리만큼 이격된 대상 노면을 향해 음파 신호를 송신하는 단계; 상기 대상 노면에 대한 상기 음파 신호의 반사 신호를 수신하는 단계; 상기 음파 신호와 연관된 대기 정보를 획득하는 단계; 상기 수신된 반사 신호에 대한 제1 데이터를 획득하는 단계; 상기 대기 정보에 기초하여 상기 제1 데이터를 보정함으로써, 제2 데이터를 생성하는 단계; 상기 제2 데이터에 기초하여 상기 제2 데이터의 주파수 도메인 정보와 관련된 제3 데이터를 획득하는 단계; 및 상기 제3 데이터 및 노면 분류 인공 신경망에 기초하여 상기 대상 노면의 종류를 판단하는 단계를 포함하고, 상기 노면 분류 인공 신경망은 상기 제1 거리와는 다른 제2 거리의 노면에서 반사된 음파 신호에 기초하여 생성된 주파수 도메인 데이터 셋으로 학습될 수 있다.
본 개시에 의하면, 초음파 신호에 기초하여 노면의 종류를 빠르고 정확하게 분류함으로써, 분류된 노면에 따른 노면의 제어 또는 차량의 제어를 통해 미연의 사고를 방지할 수 있다.
또한 본 개시에 의하면, 노면의 분류 정보를 이용하여 노면 관리를 자동으로 제어함으로써 경제적이고 효율적으로 노면을 관리할 수 있다.
또한 본 개시는 노면에 대한 정보를 실시간으로 획득함으로써 사용자에게 더 효과적인 교통망 정보를 제공할 수 있다.
한편, 본 개시의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 개시의 다양한 실시예에 따른 노면 분류 장치의 블록도를 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 노면 분류 장치가 도로 인프라에 설치되어 운용되는 것을 도시한 도면이다.
도 3은 본 개시에 따른 노면 분류 장치에 의해 수행되는 방법을 도시한 순서도이다.
도 4는 본 개시의 다양한 실시예에 따른 노면 분류 장치에서 송신되는 음파 신호를 시간 축에서 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 음파 신호의 송신 구간 및 반사 신호의 수신 구간을 도시한 도면이다.
도 6은 본 개시의 다양한 실시예에 따른 노면 분류 장치가 설치되는 대상을 도시한 도면이다.
도 7은 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망을 학습시키기 위한 데이터 셋을 획득하는 방법을 예시한 도면이다.
도 8은 본 개시의 다양한 실시예에 따른 노면 분류 장치가 수신된 반사 신호를 전처리하는 과정을 도시한 순서도이다.
도 9는 본 개시의 일 실시예에 따른 multi-modal 인공신경망을 도시한 도면이다.
도 10은 본 개시의 일 실시예에 따른 노면 분류 장치가 미리 정해진 제어 변경 트리거에 기초하여 제어 동작을 변경하는 동작을 도시한 순서도이다.
도 11은 본 개시의 일 실시예에 따른 노면 분류 결과가 변화되는 시나리오를 예시한 도면이다.
도 12는 본 개시의 다양한 실시예에 따른 노면 분류 장치에 의한 노면 관리 방법을 도시한 도면이다.
도 13은 본 개시의 일 실시예에 따른 노면 분류 장치가 교통 정보를 수집하는 것을 도시한 도면이다.
도 14는 본 개시의 일 실시예에 따른 노면 종류 추정 장치의 구성도이다.
도 15는 본 개시의 일 실시예에 따른 음파를 이용한 노면 종류 추정 장치에서 송신 신호 및 수신 신호를 설명하기 위한 도면이다.
도 16은 본 개시의 일 실시예에 따른 음파를 이용한 노면 종류 추정 장치에서 신호 변환기를 예시적으로 설명하기 위한 도면이다.
도 17은 본 개시의 일 실시예에 따른 음파를 이용한 노면 종류 추정 장치에서 인공신경망을 설명하기 위한 도면이다.
도 18은 컨벌루션 수행부의 동작을 설명하기 위한 도면이다.
도 19는 본 개시의 음파를 이용한 노면 종류 추정 장치의 컨벌루션 수행부의 코드를 설명하기 위한 도면이다.
도 20은 본 개시의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 방법의 흐름도이다.
도 21은 본 개시에 따른 음파를 이용한 노면 종류 추정 방법의 일 실시예를 나타낸 흐름도이다.
도 22는 본 개시의 일 실시예에 따른 대기 감쇠량이 보정된 음파를 이용한 노면 종류 추정 방법을 나타낸 흐름도이다.
도 23은 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템을 설명하기 위한 도면이다.
도 24는 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 구성도이다.
도 25는 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서 균일한 노면의 상태를 인식하는 것을 예시적으로 설명하는 도면이다.
도 26은 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서 비균일한 노면의 상태를 인식하는 것을 예시적으로 설명하는 도면이다.
도 27은 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서 음파센서의 감지 영역이 어떤 세그멘테이션 영역인지 찾는 방법을 설명하기 위한 도면이다.
도 28은 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 인공신경망의 일 예를 설명하기 위한 도면이다.
도 29는 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 세그멘테이션처리부의 일 예를 설명하기 위한 도면이다.
도 30은 본 개시에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 모니터링 방법의 일실시예 흐름도이다.
도 31은 도 30의 융합분석단계(3050)의 일실시예 상세 흐름도이다.
도 32는 본 개시의 또 다른 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 구성도이다.
도 33은 본 개시에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 모니터링 방법의 다른 실시예 흐름도이다.
도 34는 본 개시의 일 실시예에 따른 도로의 열선 장치의 제어 시스템의 동작을 설명하기 위한 도면이다.
도 35는 본 개시의 일 실시예에 따른 도로의 결빙 예방 장치의 제어 시스템의 구성도이다.
도 36은 본 개시의 다른 실시예에 따른 도로의 결빙 예방 장치의 제어 시스템의 구성도이다.
도 37a 내지 37c는 본 개시의 일 실시예에 따른 도로의 결빙 예방 장치의 제어 시스템에서 사용되는 인공지능 분석 모델을 설명하기 위한 도면이다.
도 38은 본 개시에 따른 도로의 결빙 예방 장치의 제어 방법의 일실시예 흐름도이다.
도 39는 본 개시에 따른 도로의 결빙 예방 장치가 열선 장치인 경우, 도 38의 제어신호생성단계(3850)의 일실시예 상세 흐름도이다.
도 40은 본 개시에 따른 도로의 결빙 예방 장치가 염수분사 장치인 경우, 도 38의 제어신호생성단계(3850)의 일실시예 상세 흐름도이다.
도 41은 본 개시의 일실시예에 의한 도로 인프라 센서 시공 구조물을 개략적으로 나타낸 사시도이다.
도 42는 본 개시의 일실시예에 의한 도로 인프라 센서 시공 구조물을 개략적으로 나타낸 측면도이다.
도 43은 본 개시의 일실시예에 의한 음파센서부를 개략적으로 나타낸 사시도(a) 및 부분 단면 사시도(b)이다.
도 44는 본 개시의 일실시예에 의한 음파센서부를 개략적으로 나타낸 부분 측단면도이다.
도 45는 본 개시의 다른 실시예에 의한 도로 인프라 센서 시공 구조물을 개략적으로 나타낸 사시도이다.
도 46은 본 개시의 다른 실시예에 의한 도로 인프라 센서 시공 구조물을 개략적으로 나타낸 측면도이다.
도 47은 본 개시의 다른 실시예에 의한 도로 인프라 센서 시공 구조물을 개략적으로 나타낸 부분 확대 사시도(a), 저면 사시도(b) 및 부분 단면 사시도(b)이다.
도 48은 본 개시의 다른 실시예에 의한 음파센서부를 개략적으로 나타낸 부분 측단면도이다.
도 49는 본 개시의 바람직한 실시예에 의한 도로 인프라 센서 시공 구조물의 시공방법을 나타낸 순서도이다.
이하, 본 개시의 실시예를 첨부의 도면을 참조하여 상세하게 설명한다. 실시예를 설명함에 있어서 본 개시가 속하는 기술 분야에 익히 알려져 있고 본 개시와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 개시의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부된 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 명확해질 것이다. 그러나, 도면으로부터 개시되는 사항은 다양한 실시예들을 특정하거나 또는 한정하려는 것이 아니며, 다양한 실시예들의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 다양한 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 다양한 실시예들에 따른 설명을 위한 목적으로 예시된 것으로, 본 개시의 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 명시적으로 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
즉, 본 개시의 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 알려주기 위해 제공되는 것이며, 본 개시의 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
"제1" 및/또는 "제2" 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 개시의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
도면에서 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능할 수 있다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능할 수 있다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 개시에서 사용되는 '~부(unit)'라는 용어는 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미한다. '~부'는 특정한 역할들을 수행하지만 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일부 실시예에 따르면 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다. 또한 본 개시의 다양한 실시예에 따르면, '~부'는 하나 이상의 프로세서를 포함할 수 있다.
이하 첨부된 도면을 참조하여 본 개시의 동작 원리를 상세히 설명한다. 하기에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 개시는 음파 신호를 이용하여 노면을 분류하고, 이를 통해 노면이나 차량 운행을 관리하는 시스템에 관한 것이다.
본 개시의 일 실시예에 따른 노면 분류 장치는 도로 인프라 또는 이동체 등에 설치되어 노면의 종류나 상태를 판단하는 장치를 포함할 수 있다.
본 개시의 또 다른 실시예에 따른 노면 분류 장치는 도로 인프라 또는 이동체 등에 설치된 장치로부터 수신한 정보에 기초하여 노면의 종류나 상태를 판단하는 서버 장치를 포함할 수 있다.
도 1은 본 개시의 다양한 실시예에 따른 노면 분류 장치의 블록도를 도시한 도면이다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 노면 분류 장치(100)는 송수신부(110), 센싱부(120), 및 제어부(130)를 포함할 수 있다. 한편 본 개시의 다양한 실시예에 따른 노면 분류 장치는 전술한 하드웨어 구성요소 이외에도 추가적인 구성요소를 포함할 수 있으며, 도 1에 도시된 구성요소에 제한되지 않는다. 도 1은 본 개시의 노면 분류 장치(100)를 구성하는 하드웨어 구성요소를 예시하기 위한 것으로서, 본 개시의 또 다른 실시예에 따른 노면 분류 장치는 도 1에 도시된 구성요소 중 일부를 생략하여 구성될 수 있다.
송수신부(110)는 음파 신호를 송수신하도록 설정되는 하드웨어 구성요소로서, 송신기(미도시) 및 수신기(미도시) 또는 송수신기(미도시)를 포함할 수 있다. 이하에서는, 송수신부(110)를 구성하는 송신기 및 수신기의 각각에 대해 자세히 설명한다.
송신기는 음파 신호를 생성하여 발사하는 장치로서, 음파 신호가 노면을 향하여 발사되는 방향으로 배치될 수 있다. 이때 발사되는 음파 신호는 고주파의 초음파 신호를 포함할 수 있다.
한편, 생성되는 음파 신호의 주파수는 송신기의 종류에 따라 고정되어 있을 수 있고, 사용자 입력에 의해 설정되거나 가변적일 수 있다. 또한 음파 신호는 사용자 입력, 제어부나 서버의 제어, 또는 미리 정해진 규칙에 따라 단발적으로 송신되거나, 하나의 주기 동안 하나 또는 복수개의 신호를 주기적으로 송신할 수도 있다. 이 때 송신되는 음파의 개수나 송신 주기 등은 가변적일 수 있다.
수신기는 음파 신호를 수신하는 장치로서, 노면으로부터 반사되는 음파 신호를 수신하도록 배치될 수 있다.
한편, 수신기는 반사 신호 이외에도 인접한 송신기로부터 송출된 음파 신호를 직접 수신할 수도 있다. 송신기로부터 직접 수신된 신호는 본 개시의 노면 분류 장치를 통해 판단하고자 하는 노면의 분류와는 무관한 신호이므로 노이즈로 볼 수 있고, 이러한 노이즈 신호를 크로스톡(cross-talk)이라 한다.
본 개시의 일 실시예에 따르면, 크로스톡의 발생을 줄이기 위하여 송신기와 수신기는 이격되어 설치될 수 있다. 또한, 본 개시의 또 다른 실시예에 따르면, 송신기와 수신기 사이에서 발생할 수 있는 신호의 교란(예를 들어, 크로스톡)의 발생을 줄이기 위하여 송신기와 수신기 사이에 흡음재 내지 방음재 등의 구조체가 추가로 배치될 수 있다. 상기 구조체는 음파를 감쇠 또는 흡수하는 물리적 특성을 갖는 소재 또는 구조로 형성될 수 있으며, 그러한 물리적 특성을 구현하도록 구성된 전자 장치일 수 있다.
한편, 송신기와 수신기가 본 개시의 노면 분류 장치 내에서 반드시 물리적으로 구분되어야 하는 것은 아니며, 하나로 일체화된 형태, 이를테면 송수신기로 구현될 수도 있다. 이하의 설명에서 송수신기는 송신기, 수신기 또는 송수신기 모두를 포함하는 용어로서, 송수신기는 송신기와 수신기가 하나로 일체화된 하드웨어 장치를 의미할 수 있고, 물리적으로 구분되는 송신기와 수신기 모두를 포함하여, 또는 그 각각을 지칭하는 것을 의미할 수도 있다.
송수신기는 하드웨어 성능에 따른 지향각(angle of view) 범위 내에서 음파를 송신 또는 수신할 수 있다. 본 개시의 다양한 실시예에 따른 노면 분류 장치(100)는 노면 분류 장치가 설치되는 대상이나 환경을 고려하여 지향각이 다른 송수신기를 사용할 수 있다. 예를 들어, 도로 인프라에 배치되는 노면 분류 장치에 사용되는 송수신기의 지향각은 차량에 설치되는 노면 분류 장치에 사용되는 송수신기의 지향각보다 작을 수 있다.
노면 분류 장치 내에서 송신기와 수신기가 구별되어 구성되는 경우, 본 개시의 다양한 실시예에 따른 송신기와 수신기는 상호 간의 지향각을 고려하여 배치될 수 있다. 본 개시의 일 실시예에 따른 수신기는 송신기의 지향각 범위 밖에 배치될 수 있고, 이를 통해 송신기에서 발사되는 지향각의 최외각 음파 신호가 수신기에 감지되지 않을 수 있다. 본 개시의 또 다른 실시예에 따른 수신기는 수신기에서 감지되는 크로스톡 신호가 기준값 이하가 되도록 송신기의 지향각 중심을 기준으로 외각 쪽에 배치될 수 있다.
한편, 본 개시의 다양한 실시예에 따른 송수신기는 노면에 대한 반사파의 특정 주파수 특성에만 반응하도록 설계되거나 배치될 수 있다.
센싱부(120)는 측정을 통해 본 개시에 따른 노면 분류에 필요한 정보를 획득하는 하드웨어 구성요소로서, 본 개시에 따른 센싱부(120)는 대기 센서, 카메라 및/또는 IR 센서를 포함할 수 있다.
본 개시의 다양한 실시예에 따른 센싱부(120)는 대기 센서를 포함할 수 있다. 대기 센서는 대기 상태와 관련된 정보를 획득하는 하드웨어 장치로서, 대기 센서가 측정 또는 획득하는 대기 정보는 온도, 습도, 또는 기압 중 적어도 하나를 포함할 수 있다. 또한 대기 정보는 바람에 대한 정보를 더 포함할 수 있다. 이때 바람에 대한 정보는 풍속, 풍량, 또는 풍향 등 바람과 관련된 물리량을 포함할 수 있다. 본 명세서에서 대기 센서는 온도 센서, 습도 센서, 또는 기압 센서 중 적어도 하나를 포함하는 장치를 의미할 수 있다. 또한, 대기 센서는 서로 다른 복수의 대기 정보를 센싱할 수 있는 장치를 의미할 수 있다. 본 개시의 일 실시예에 따른 대기 센서는 노면 분류 장치가 위치한 장소의 온도, 습도, 기압 및/또는 풍속을 측정할 수 있다.
본 개시의 다양한 실시예에 따른 센싱부(120)는 카메라 및/또는 IR 센서를 더 포함할 수 있다. 카메라는 이미지를 획득하는 장치로서 노면에 대한 영상 정보를 획득할 수 있으며, IR 센서는 노면으로부터 방출되는 복사열을 감지하여 노면의 온도 정보를 획득할 수 있다. IR 센서가 획득하는 온도 정보는 노면에 대한 온도 정보이고, 대기 센서가 획득하는 온도 정보는 대기에 대한 온도 정보이므로, 서로 다른 센서에 의해 획득되는 각각의 온도 정보가 지시하는 값은 서로 다를 수 있다.
본 개시의 센싱부(120)에 의해 측정 또는 획득되는 다양한 정보는 노면 분류의 정확도를 향상시키기 위해 서로 조합되어 활용될 수 있다. 즉, 본 개시의 다양한 실시예에 따른 노면 분류 장치(100)에 의해 출력되는 노면 분류 결과는 복수의 정보에 기초하여 생성될 수 있으며, 이에 대한 구체적인 실시예는 후술한다.
한편, 본 개시의 실시예에 따라 센싱부(120)에 포함되는 카메라 및/또는 IR 센서는 예시적인 것으로서, 센싱부(120)는 상기의 대기 센서, 카메라 또는 IR 센서 이외에도, 노면을 분류하는데 활용될 수 있는 정보를 획득하는 어떠한 센싱 장치도 더 포함할 수 있다.
제어부(130)는 본 개시의 노면 분류 장치에 의해 수행되는 방법을 수행하도록 설정된 하드웨어로서, 논리 회로와 연산 회로를 포함하는 적어도 하나의 프로세서를 포함할 수 있다. 제어부(130)는 메모리(미도시)로부터 제공된 프로그램 및/또는 인스트럭션에 따라 데이터를 처리하고, 처리 결과에 따라 제어 신호를 생성할 수 있다.
다양한 실시예들에 따르면, 제어부(130)는 예를 들면, 제어부(130)에 연결된 노면 분류 장치(100)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 제어부(130)는 다른 구성요소(예: 수신기(120) 또는 센싱부(120))로부터 수신된 명령 또는 데이터를 휘발성 메모리(미도시)에 저장하고, 휘발성 메모리(미도시)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(미도시)에 저장할 수 있다. 일례로, 수신기(120)를 통해 획득된 신호는 제어부(130)에 포함된 ADC(analog to digital converter) 회로를 통해 디지털 신호로 전환되어 처리될 수 있다. 또한 전환된 디지털 신호는 인공 신경망에 입력하기 위한 입력 데이터로 전 처리될 수 있다. 본 개시의 수신된 신호 및/또는 데이터를 처리하는 구체적인 방법에 대해서는 후술하도록 한다.
일 실시예에 따르면, 제어부(130)는 메인 프로세서(예: 중앙 처리 장치(CPU) 또는 어플리케이션 프로세서(AP)) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치(GPU), 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 노면 분류 장치(100)가 메인 프로세서 및 보조 프로세서를 포함하는 경우, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 통신부(미도시)를 포함할 수 있다. 상기 통신부는 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 수신하거나, 노면 분류 장치에서 생성된 명령 또는 데이터를 외부로 전송하고, 또는 노면 분류 장치의 다른 구성요소(들)로부터 명령 또는 데이터를 송신 또는 수신하는 하드웨어 구성요소를 의미하는 것으로서, 유무선 통신 모듈 및/또는 입출력 인터페이스를 포함할 수 있다. 본 개시의 실시예에 따른 노면 분류 장치는 상기 통신부를 통해 외부 전자 장치(예를 들면, 노면 분류 장치의 외부에 설치되는 제어기(control box)나 관리 서버)로부터 정보를 수신하거나, 상기 외부 전자 장치로 노면 분류 장치가 획득 내지 생성한 정보를 송신할 수 있다. 한편, 상기 통신부는 본 개시의 다양한 실시예에 따른 노면 분류 장치 내에서 제어부(130)와 별개로 구현될 수 있으며, 제어부(130)에 포함되는 회로 요소를 통해 구현되어 제어부(130)에 포함될 수 있다. 즉, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 외부 전자 장치와 연동하여 노면을 분류하는데 필요한 정보를 제공하는 장치일 수 있다.
본 개시의 일 실시예에 따르면, 본 개시의 노면을 분류하기 위한 인공신경망(미도시)은 노면 분류 장치에서 SOC(software-on-chip) 내지 MCU(micro controller unit)로 제어부(130)에 포함되어 제공될 수 있다. 또는 상기 인공신경망은 상기 제어부(130)에 의해 동작하는 소프트웨어의 형태로 제공되어, 외부 서버로부터의 통신 또는 사용자 입력에 의해 업데이트될 수 있다.
한편, 본 개시의 다양한 실시예에 따른 인공신경망은 외부 전자 장치(예를 들어, 상기 제어기 또는 상기 서버)에 구현될 수 있으며, 이 경우 노면 분류 장치의 제어부(130)에서 음파 신호에 기초하여 생성한 데이터 및 대기 정보 등 노면 분류에 필요한 데이터가 외부 전자 장치로 송신되고, 외부 전자 장치는 노면 분류 장치로부터 수신한 데이터에 기초하여 노면을 분류할 수 있다.
본 개시의 또 다른 실시예에 따르면, 노면 분류 장치는 서버 장치일 수 있다. 이 경우, 노면 분류 장치는 음파 송수신부(110) 및 센싱부(120)를 포함하지 않을 수 있으며, 통신부(미도시)를 통해 외부 전자 장치로부터 노면 분류에 필요한 데이터를 수신하고, 수신된 데이터에 기초하여 제어부(130)를 통해 노면을 분류할 수 있다. 또한 분류된 노면 분류 결과 및/또는 이와 관련된 제어 정보를 외부 전자 장치로 송신할 수 있다.
도 2는 본 개시의 일 실시예에 따른 노면 분류 장치가 도로 인프라에 설치되어 운용되는 것을 도시한 도면이다.
도 2를 참조하면, 상기 노면 분류 장치(100)는 도로 인프라(200)에서 분류하고자 하는 노면(230)을 향하도록 설치될 수 있다.
본 개시에서, 도로 인프라(200)는 도로상 또는 도로변에 설치되는 신호등, 가로등, 도로안내표지판, 또는 영상정보처리기기 등의 지주형 구조물(210)을 포함하는 교통 설비를 총칭하는 용어로서, 도로 상에서 노면 분류 장치가 설치될 수 있는 구조물을 의미하며, 전술한 예시에 제한되지 않는다. 본 개시의 일 실시예에 따르면, 노면 분류 장치(100)가 도로 인프라(200)에 설치된다는 것은 지주형 구조물(210)의 상단부에 설치되는 것을 의미할 수 있으나, 이에 제한되지 않는다.
도로 인프라(200)는 지주형 구조물(210)에 설치되는 전자 기기를 제어하기 위한 제어기(220)을 포함할 수 있다. 상기 지주형 구조물(210)에 설치되는 상기 전자 기기는 가로등이나 신호등에 사용되는 발광 장치, CCTV, 교통정보 수집 카메라 또는 본 개시의 노면 분류 장치를 포함할 수 있다.
제어기(220)는 상기 지주형 구조물(210)에 설치되는 전자 기기를 제어하는 장치로서, 예를 들어, 지주형 구조물이 가로등인 경우 가로등의 작동을 제어하는 가로등 제어기일 수 있고, 지주형 구조물이 신호등인 경우 신호등의 신호를 제어하는 교통 신호 제어기일 수 있다.
본 개시의 다양한 실시예에 따른 제어기(220)는 본 개시의 노면 분류 장치(100)의 운영을 제어할 수 있고, 노면 분류 장치(100)로부터 획득한 노면 분류 정보 또는 명령에 기초하여 도로 인프라(200)가 위치한 노면을 제어할 수 있다.
본 개시의 다양한 실시예에 따른 제어기(220)는 노면 분류 장치(100)와 관리 서버(미도시) 사이의 게이트웨이 역할을 수행할 수 있다. 즉, 제어기(220)는 유무선 통신 모듈을 포함할 수 있고, 관리 서버로 노면 분류 장치로부터 획득된 정보를 전송하거나, 관리 서버로부터 노면 분류 장치 또는 도로를 제어하기 위한 명령이나 데이터를 수신할 수 있다.
본 개시의 다양한 실시예에 따른 제어기(220)는 본 개시의 인공신경망을 포함할 수 있고, 이를 통해 노면 분류 장치로부터 획득한 정보에 기초하여 직접 노면을 분류할 수 있다. 이 경우, 제어기(220)에 포함되는 프로세서나 메모리의 성능이 노면 분류 장치의 프로세서나 메모리의 성능보다 우수할 수 있으므로, 제어기(220)에 제공되는 인공신경망은 노면 분류 장치(100)에 제공되는 인공신경망보다 성능이 우수할 수 있다.
본 개시의 다양한 실시예에 따른 제어기(220)는 노면을 관리하기 위하여 분류된 노면에 기초하여 도로에 설비된 노면 관리 장치(250)를 제어할 수 있다.
본 개시의 다양한 실시예에 따른 노면 관리 장치(250)는 도로에 설치되는 열선 또는 염수 분사 장치 등의 제설 장치나, 혹은 배수 시설 등을 포함할 수 있다. 본 개시의 다양한 실시예에 따른 노면 관리 장치의 운영에 대한 구체적인 내용은 후술하기로 한다.
이하에서는, 본 개시에 따른 노면 분류 장치가 노면을 분류하는 방법에 대해 자세히 설명한다.
일반적으로 서로 다른 물질은 서로 다른 음향 임피던스를 갖게 되므로, 동일한 음파 입사 신호에 대한 반사 신호는 물질마다 달라지게 된다. 따라서 이러한 물리적 특성을 이용하여, 반사 신호를 분석하여 물질을 구별할 수 있다. 특히, 음향 임피던스는 주파수 특성을 가지는 물리량이므로, 반사 신호를 주파수 영역에서 분석하면 반사면의 재질을 보다 정교하게 분류할 수 있다.
본 개시의 다양한 실시예에 따른 음파 반사 신호를 이용한 노면 분류 방법을 수행하기 위해 인공신경망이 이용될 수 있다.
본 개시의 다양한 실시예에 따른 인공신경망의 신경망 모델은 복수의 계층 또는 레이어를 포함할 수 있다.
신경망 모델은 노면 분류 정보를 생성하는 분류기(classifier)의 형태로 구현될 수 있다. 분류기는 다중 분류를 수행할 수 있다. 예컨대, 신경망 모델은 입력 데이터에 대한 결과를 복수의 클래스로 분류하는 다중 분류 모델일 수 있다.
본 개시의 일 실시예에 따른 신경망 모델은 입력 레이어, 다수의 은닉 레이어 및 출력 레이어를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망(DNN; Deep Neural Network)을 포함할 수 있다.
본 개시의 또 다른 실시예에 따른 신경망 모델은 합성곱 신경망(CNN; Convolutional Neural Network)을 포함할 수 있다. 수 있다. CNN 구조로서, AlexNet, LENET, NIN, VGGNet, ResNet, WideResnet, GoogleNet, FractaNet, DenseNet, FitNet, RitResNet, HighwayNet, MobileNet, DeeplySupervisedNet 중 적어도 하나가 이용될 수 있다. 신경망 모델은 복수의 CNN 구조를 이용하여 구현될 수 있다.
일 예로, 신경망 모델은 복수의 VGGNet 블록을 포함하도록 구현될 수 있다. 보다 구체적인 예로, 신경망 모델은 3x3 크기의 64개의 필터를 가지는 CNN 레이어, BN(Batch Normalization) 레이어 및 ReLU 레이어가 순차적으로 결합된 제1 구조 및 3x3 크기의 128개의 필터를 가지는 CNN 레이어, ReLU 레이어 및 BN 레이어가 순차적으로 결합된 제2 블록이 결합되어 마련될 수 있다.
신경망 모델은 각 CNN 블록에 이어서, 맥스 풀링 레이어를 포함하고, 종단에는 GAP(Global Average pooling) 레이어, FC(Fully Connected) 레이어 및 활성화 레이어(예컨대, 시그모이드, 소프트맥스 등)를 포함할 수 있다.
본 개시의 다양한 실시예에 따른 인공신경망은 음파 신호의 주파수 변환 신호로부터 특성을 추출하여 노면을 분류하기 위한 신경망 모델을 의미하는 것으로서, 전술한 예시에 제한되지 않는다.
본 개시의 다양한 실시예에 따른 노면 분류 인공신경망은 반사 신호의 주파수 도메인 데이터를 입력값으로 하여 학습될 수 있고, 학습된 인공신경망은 대상 신호의 주파수 도메인 데이터를 입력값으로 하여 대상 신호가 반사된 노면을 분류할 수 있다.
상기 주파수 도메인 데이터는, 반사 신호의 ADC 샘플링을 통해 변환된 디지털 신호에 대해 주파수 도메인 변환을 수행하여 획득한 데이터를 의미할 수 있다.
본 개시의 다양한 실시예에 따른 주파수 도메인 변환 방법으로, STFT(Short-Time Fourier Transform) 변환, FFT(Fast Fourier Transform) 변환, 캡스트럼(cepstruam) 변환, 웨이브렛(Wavelet) 변환, cross-correlation 방법, convolution 변환 등이 이용될 수 있다. 전술한 주파수 도메인 변환 방법은 예시적인 것으로서, 나열된 변환 방법에 제한되지 않으며, 시간 영역에서의 음파 신호를 주파수 영역에서 분석하기 위한 다양한 변환 또는 분석 방법이 이용될 수 있다.
본 개시의 다양한 실시예에 따른 주파수 도메인 데이터의 일 예로, STFT 변환을 통해 획득한 스펙트로그램 데이터가 포함될 수 있다.
본 개시의 다양한 실시예에 따른 주파수 도메인 데이터의 또 다른 예로, cross-correlation 방법을 적용하여 획득한 데이터가 포함될 수 있다. 이 경우, 입력 데이터에 대한 cross-correlation 합성은 데이터를 convolution layer에 입력하는 단계와 대응할 수 있으므로 이를 이용해 CNN 기반의 학습 및 분류가 가능할 수 있다.
한편, 학습을 위해 사용되는 주파수 도메인 데이터는 노면 분류에 필요한 정보가 함께 라벨링될 수 있다. 이때 라벨링되는 정보는 노면의 종류, 및/또는 대기 정보를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 노면 분류 인공신경망을 학습시키기 위해, 학습데이터 셋은 주파수 도메인 데이터에 각각의 데이터가 획득된 노면의 종류가 라벨링된 데이터 셋을 포함할 수 있다.
본 개시의 일 실시예에 따른 노면 분류 장치에 의해 분류되는 노면의 종류(클래스)는, 아스팔트, 시멘트, 흙, 얼음, 대리석, 페인트, 슬러시(물과 얼음이 혼합된 상태), 눈, 및 물 등의 클래스를 포함할 수 있다. 나열된 클래스의 종류는 예시적인 것으로서, 본 개시의 다양한 실시예에서 상황에 맞게 분류되어야 할 클래스의 수나 그룹이 달라질 수 있다. 한편 이러한 직접적인 라벨링 방식이나 그룹 명칭을 사용하는 대신 제1 클래스, 제2 클래스와 같이 각각의 입력 데이터가 임의의 방식으로 그룹핑될 수 있다. 이러한 임의 방식의 그룹핑은 학습 데이터에 라벨이 포함되지 않는 비지도 방식의 인공신경망을 이용하는 경우의 분류 결과일 수 있으나, 이에 제한되지 않는다.
도 3은 본 개시에 따른 노면 분류 장치에 의해 수행되는 방법을 도시한 순서도이다. 다양한 실시예들에 따르면, 도 3에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 3에 도시되는 동작들보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 도 4 내지 도 12는 도 3에 도시된 동작들을 부연 설명하기 위한 도면으로 참조될 수 있다.
도 3을 참조하면, 본 개시의 다양한 실시예에 따른 노면 분류 장치는, 301 단계에서, 송신기를 이용하여 분류 대상 노면을 향해 음파 신호를 송신 내지 발사할 수 있다. 301 단계에서 음파 신호는 적어도 한 번 송신될 수 있으며, 사용자의 입력이나 미리 설정된 조건 또는 서버의 제어에 따라 신호의 송신 횟수나 송신 주기 등이 변경될 수 있다. 음파 신호가 하나의 판단 주기 내에서 복수 회 송신되는 경우, 노면의 분류 또는 상태의 판단을 위한 복수의 데이터를 획득할 수 있으므로 노면 분류의 정확도가 향상될 수 있다. 음파 신호를 송신하는 주기 및 하나의 주기 내에서 복수 회 송신하는 동작의 구체적인 실시예에 대해서는 도 4를 참조하여 후술한다.
302 단계에서, 노면 분류 장치는 수신기를 이용하여 대상 노면으로부터 반사되는 신호를 수신할 수 있다. 상기 반사되는 신호는 송신된 음파 신호에 대한 반사 신호이므로, 음파 신호와 반사 신호는 서로 대응될 수 있다. 복수의 음파 신호가 송신되는 경우 이에 대한 반사 신호는 복수 회 수신될 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는, 음파 신호가 송신되는 경우, 센싱부(120)의 대기 센서를 통해 대기 정보를 획득할 수 있다. 이 경우 대기 정보가 획득되는 시점은 반드시 음파 신호의 송신 시점과 일치해야 하는 것은 아니며, 일정한 시간 간격 내에서 서로 대응관계가 존재하는 것을 의미한다. 즉, 노면 분류 장치는 하나의 음파 신호와 대응되는 대기 정보를 획득하거나, 복수의 음파 신호와 대응되는 하나의 대기 정보를 획득할 수 있다. 본 개시의 다양한 실시예에 따른 노면 분류 장치는 발사된 음파 신호와 대응되는 대기 정보에 기초하여, 음파 신호와 대응되는 반사 신호를 처리할 수 있다.
한편, 하나의 음파 신호가 송신기로부터 송신된 때부터 노면에 의해 반사된 후 그 반사 신호가 수신기로 수신될 때까지의 시간을 비행 시간(time of flight, ToF)으로 정의할 수 있다. 특정 기상 조건에서 음파의 대기 중 전파 속도가 결정될 수 있으므로, ToF 및 대기 정보에 기초하여 노면 분류 장치와 대상 노면 사이의 거리를 측정할 수 있다. 역으로, 노면 분류 장치와 대상 노면 사이의 거리를 미리 알고 있는 경우에는 ToF를 추정할 수 있다. 따라서, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 송신기로부터 송신되는 음파 신호와 대응되는 수신 신호를 식별할 수 있다. 즉, 송신기로부터 송신되는 음파 신호와 대응되는 수신 신호의 수신 구간을 정하여 해당 시구간에서 수신되는 신호를 송신된 음파 신호에 대한 반사 신호로 결정할 수 있고, 이외의 시구간에서 수신되는 신호는 노이즈로 간주하거나, 다른 음파 신호에 대한 반사 신호로 간주할 수 있다. 이를 이용하여 노이즈 신호를 제어하는 노면 분류 장치의 제어 방법에 대한 자세한 실시예는 도 5를 참조하여 후술한다.
303 단계에서, 노면 분류 장치(100)는 본 개시에 따른 노면 분류 인공신경망에 입력하기 위한 데이터를 획득하기 위해, 수신된 반사 신호를 제어부를 통해 전처리할 수 있다. 본 개시에서, 신호의 전처리란 수신된 반사 신호에 기초하여 인공신경망에 입력하기 위한 데이터를 획득하는 과정 일체를 의미하는 것으로서, 303 단계의 전처리 동작은 아날로그 신호를 디지털 신호로 샘플링하는 동작, 샘플링된 신호에 대한 감쇠량 보정이나 ToF 보정, 주파수 도메인 변환 동작 등을 포함할 수 있다. 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망에 대한 입력 데이터를 획득하기 위한 전처리 과정에 대해서는 도 6 내지 도 8을 참조하여 자세히 설명한다.
304 단계에서, 전처리 과정을 통해 획득한 입력 데이터는 노면 분류 인공신경망에 입력될 수 있다. 한편, 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망은 노면을 분류하기 위해 다양한 노면에 대해 획득된 복수의 데이터로 구성된 학습 데이터 셋으로 학습될 수 있다. 학습된 노면 분류 인공신경망은 입력 데이터를 기초로 결과를 출력할 수 있다.
본 개시의 일 실시예에 따른 출력된 결과는 노면의 분류 클래스 각각에 대한 확률값과 관련된 정보를 포함할 수 있다. 인공신경망 모델이 노면을 복수의 종류로 구분하도록 학습된 경우, 대상 노면이 복수의 노면 종류의 각각에 대하여 해당할 확률이 수치로 표현되어 출력될 수 있다. 이때 출력되는 노면의 클래스는 확률이 높은 순으로 하나 이상의 클래스가 출력될 수 있다.
본 개시의 또 다른 실시예에 따른 출력된 결과는 복수의 클래스 중에서 특정 클래스를 결정하여 출력될 수 있다. 이 경우, 특정 클래스는 해당 클래스에 대한 확률값이 임계값 이상이거나, 2순위 클래스와의 확률 차이가 임계값 이상인 경우일 수 있다.
한편, 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망의 출력 결과는 노면의 재질 또는 상태와 관련된 정보로서, 전술한 예시에 제한되지 않고 인공신경망의 설계에 따라 사용자에게 필요한 형태로 출력될 수 있다.
305 단계에서, 노면 분류 장치는 출력된 결과에 따라 다양한 동작을 수행할 수 있다. 노면 분류 결과에 기초한 제어 동작을 변경 또는 추가함으로써, 결과의 정확도 또는 노면 관리의 효율성을 향상시킬 수 있다.
본 개시의 다양한 실시예에 따르면, 출력된 결과가 직전의 출력 결과와 상이한 경우, 노면 상태의 변화가 기상 상태의 변화에 의한 것인지 출력 오류인지를 구분하기 위해, 출력된 결과에 의한 노면 제어에 앞서 직후의 출력 결과와 비교하는 과정을 수행할 수 있다. 이에 대한 구체적인 실시예는 도 10 및 도 11을 참조하여 자세히 설명한다. 이 경우, 노면 분류 장치는 출력된 결과에 따라 음파 신호의 송신 주기 또는 횟수를 변경시킬 수 있다.
본 개시의 다양한 실시예에 따르면, 출력된 결과가 특정 클래스(예를 들어, 눈, 얼음, 또는 슬러시)와 관련된 경우, 노면 관리 장치를 통해 노면을 제어하도록 하는 명령 또는 신호를 생성하고 이를 송신할 수 있다. 출력 결과에 따라 노면을 관리하는 실시예에 대해서는 도 12를 참조하여 자세히 설명한다.
도 4는 본 개시의 다양한 실시예에 따른 노면 분류 장치에서 송신되는 음파 신호를 시간 축에서 도시한 도면이다.
도 4를 참조하면, 음파 신호는 하나의 송신 주기 내에서 복수 회 발사될 수 있다. 본 개시에서는, 노면 상태를 판단하기 위해 하나의 송신 주기 안에서 송신되는 음파 신호의 집합을 버스트(burst)라고 한다.
하나의 버스트에 포함되는 음파 신호의 수는 사용자 설정 또는 미리 정해진 규칙에 따라 변경될 수 있다. 또한, 하나의 버스트에 포함된 음파 신호 간의 간격은 사용자 설정 또는 미리 설정된 규칙에 따라 변경될 수 있다. 버스트에 포함된 음파 신호 간의 간격은 일정할 수도 있고, 그렇지 않을 수도 있다. 또한 하나의 버스트에 포함된 음파 신호의 세기는 동일하거나 서로 상이할 수 있다.
본 개시에서, 하나의 버스트에 포함된 음파 신호의 수, 간격, 세기 및 버스트의 지속 시간을 버스트 구성이라고 한다. 본 개시에서, 서로 다른 버스트는 버스트 구성이 같거나 상이할 수 있다. 각각의 버스트에 대한 버스트 구성은 사용자 설정 또는 미리 정해진 규칙에 따라 변경될 수 있다.
본 개시의 일 실시예에 따른 버스트에 포함되는 음파 신호의 수는 1개일 수 있다.
본 개시의 또 다른 실시예에 따른 버스트에 포함되는 음파 신호의 수는 복수일 수 있다.
본 개시에서 송신 주기란, 노면 분류 장치가 대상 노면에 대한 상태 또는 재질을 분류하기 위한 버스트의 송신 간격을 의미한다. 버스트가 하나의 신호로 구성된 경우, 즉, 단일 신호만을 송신하는 경우, 송신 주기는 규칙적으로 송신되는 인접한 음파 신호 간의 시간 간격을 의미할 수 있다. 도 4를 참조하면, 송신 주기는 하나의 버스트(burst 1)에 포함된 최초 신호(1a)와 다음 버스트(burst 2)에 포함된 최초 신호(2a) 사이의 시간 간격과 대응될 수 있다. 송신 주기는 사용자 설정 또는 미리 정해진 규칙에 따라 변경될 수 있다.
본 개시의 다양한 실시예에 따르면, 노면 분류의 결과 또는 기상 조건에 따라 버스트에 포함되는 음파 신호의 수 및/또는 송신 주기가 변경될 수 있다. 예를 들어, 눈이 내리거나 기온이 영하인 경우와 같이 특정 기상 조건에서는 노면 분류의 정확도를 향상시키기 위해 송신하는 음파 신호의 수를 증가시키거나 송신 주기를 짧게 변경할 수 있다. 이에 대한 구체적인 실시예는 도 10 및 도 11을 참조하여 자세히 설명한다.
한편, 본 개시의 다양한 실시예에 따르면, 노면 분류 장치가 설치되는 위치 또는 오브젝트에 따라 송신 주기가 달라질 수 있다. 이는 노면에서 대한 반사된 수신 신호와 송신기에서 송신된 신호에 의해 발생하는 크로스톡 신호를 구분하기 위한 것으로서, 도로 인프라에 설치되는 노면 분류 장치의 송신 주기는 차량에 설치되는 노면 분류 장치의 송신 주기보다 길 수 있다. 따라서 도로 인프라에 설치되는 노면 분류 장치의 판단 주기는 차량에 설치되는 노면 분류 장치의 판단 주기보다 길 수 있다.
본 개시의 다양한 실시예에 따르면, 노면 분류 장치는 대상 노면 또는 물체에 대한 ToF를 측정 또는 결정할 수 있다. 예를 들어, 노면 분류 장치는 하나 또는 복수의 음파 신호를 송신하고, 이에 대한 수신 신호에 기초하여 대상 노면 또는 물체에 대한 ToF를 결정할 수 있다. 또는 노면 분류 장치와 대상 노면 사이의 거리에 기초하여 ToF를 결정할 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 결정된 ToF에 기초하여 적절한 송신 주기와 버스트 구성을 결정하고, 결정된 송신 주기와 버스트 구성으로 송신할 수 있다. 본 개시의 일 실시예에 따른 송신 주기는 노면에 대한 ToF보다 길게 설정될 수 있다. 본 개시의 일 실시예에 따른 버스트의 지속 시간은 송신 주기보다 짧게 설정될 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치에 의한 대상 노면에 대한 노면 분류 결과는 하나의 버스트에 대응하는 하나의 결과가 출력될 수 있다. 또는 노면 분류 장치는 하나의 버스트에 포함된 모든 음파 신호에 대한 분류 결과를 표시할 수 있다. 하나의 결과가 출력되는 경우, 해당 결과는 버스트에 포함된 복수의 음파 신호 각각에 대한 복수의 분류 결과에 기초하여 출력될 수 있다.
도 4를 참조하면, 제1 결과(result 1)는 제1 버스트(burst 1)가 노면에 대해 반사된 신호에 기초하여 획득된 노면 분류 결과이다. 이 때 제1 결과는 제1 버스트에 포함된 각각의 신호(1a, 1b, 1c, 1d)의 노면 분류 결과에 기초하여 획득된 결과일 수 있다. 예를 들어, 1a, 1b, 1c, 1d의 결과의 최빈값을 결과로 출력할 수 있다. 또는, 1a, 1b, 1c, 1d의 결과를 합산한 평균값에 기초하여 제1 버스트에 대한 노면 분류 결과를 출력할 수 있다.
본 개시에서, 인접한 버스트의 노면 분류 결과 간의 시간 간격, 즉 제1 결과와 제2 결과의 시간 간격을 노면 분류에 대한 판단 주기라고 할 수 있다. 판단 주기는 송신 주기와 일치할 수 있다. 그러나 판단 과정의 경우, 신호를 처리하는 연산에 따라 그 출력 시점이 불규칙적일 수 있으므로, 판단 주기는 일정하지 않을 수 있고, 송신 주기와 일치하지 않을 수도 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 판단 주기를 변경시키기 위해 송신 주기를 변경할 수 있다. 또는, 판단 주기는 사용자 설정 또는 미리 정해진 규칙에 따라 변경될 수 있다. 판단 주기를 변경하는 구체적인 실시예에 대해서는 도 10 및 도 11을 참조하여 자세히 설명한다.
도 5는 본 개시의 일 실시예에 따른 음파 신호의 송신 구간 및 반사 신호의 수신 구간을 도시한 도면이다.
도 5를 참조하면, 노면 분류 장치는 송신 구간에서 버스트 또는 음파 신호를 송신할 수 있다. 도 5에서는 설명의 편의를 위해 하나의 신호가 송신되는 경우를 예시하였으나, 본 개시는 이에 제한되지 않는다. 즉, 본 개시에서 노면 분류 장치가 음파 신호를 송신하는 것은 1개의 신호를 단발성으로 발사하는 것뿐만 아니라, 복수의 신호로 구성된 버스트를 주기를 가지고 송신하는 것을 포함하는 것으로 이해될 수 있다.
전술한 바와 같이, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 송신된 음파 신호의 노면에 대한 ToF를 결정할 수 있으므로, 하나의 송신 구간에 대하여 대응하는 수신 구간을 미리 결정할 수 있다.
본 개시의 다양한 실시예에 따르면, 수신 구간 이전에 수신기에서 신호가 감지되는 경우, 노면 분류 장치는 이를 노이즈 신호 또는 크로스톡 신호로 간주할 수 있고, 이를 줄이기 위해 노면 분류 장치의 송신기를 제어할 수 있다.
구체적으로, 도 5를 참조하면, 수신 구간 이전에 수신되는 제1 신호의 세기가 제1 임계값보다 크거나, 수신 구간에서 수신되는 제2 신호의 세기와 수신 구간 이전에 수신되는 제1 신호의 세기의 차이가 제2 임계값보다 작은 경우, 이를 제어하기 위해 송신기에 공급되는 전력을 변경할 수 있다. 제1 임계값 및/또는 제2 임계값은 미리 결정되거나, 사용자 입력 또는 외부 장치에 의해 설정될 수 있다.
예를 들어, 제1 신호의 세기가 제1 임계값보다 큰 경우, 크로스톡의 영향이 큰 것으로 판단하여 송신기의 진동을 줄이도록 제어할 수 있다. 또는, 제2 신호의 세기가 제1 신호의 세기에 비해 작은 경우, 수신 신호 대비 외부 환경에 의한 노이즈가 큰 것으로 판단하여 송신기의 진동을 키우도록 제어할 수 있다. 본 개시의 일 실시예에 따르면, 상기 송신기의 진동은 송신기에 공급되는 전력의 크기를 조절하여 제어할 수 있다.
도 6은 본 개시의 다양한 실시예에 따른 노면 분류 장치가 설치되는 대상을 도시한 도면이다.
도 6을 참조하면, 본 개시의 다양한 실시예에 따른 노면 분류 장치(100)는 이동체(610) 또는 도로 인프라(620) 등에 설치될 수 있다. 이때 차량과 같은 이동체(610)에 설치되는 노면 분류 장치(100a)와 도로 인프라(620)에 설치되는 노면 분류 장치(100b)는 노면에 대한 높이가 다르므로, 송신 음파의 ToF도 서로 다르다.
음파는 공간을 통해 전파되므로 파원으로부터 거리가 멀어질수록 진폭이 줄어들 뿐만 아니라, 공기 중에서 진행하는 경우에는 매질에 의한 감쇠가 발생한다. 따라서 서로 다른 ToF를 가지는 노면에 대한 반사 신호의 특성은 동일한 상태의 노면일지라도 서로 달라질 수 있다.
한편, 본 개시의 노면 분류 장치는 노면에 대한 반사 신호에 기초하여 노면을 분류하기 위해 인공신경망을 이용하므로, 인공신경망을 학습시키기 위한 많은 데이터 셋이 필요하다.
도 7은 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망을 학습시키기 위한 데이터 셋을 획득하는 방법을 예시한 도면이다.
도 7을 참조하면, 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망을 학습시키기 위한 학습데이터 셋은 이동형 측정 장비(700)에 포함된 송수신기를 이용하여 노면 분류(클래스) 별로 다양한 노면에 대해 획득될 수 있다. 일반적으로 인공신경망의 분류 성능을 향상시키기 위해서는 다양한 지형과 환경에서 많은 데이터를 수집하는 것이 중요하므로, 이를 위해서는 이동성이 용이한 장비를 이용하여 데이터를 수집하는 것이 중요하다.
본 개시의 이동형 측정 장비(700)는 자전거, 자동차, 또는 스쿠터 등 도로 위를 이동하는 장비에 탑재된 센서 장치를 의미하며, 인간이나 기계 장치에 의해 이동될 수 있는 장비를 포함할 수 있다.
한편, 이동형 측정 장비(700)가 수집하는 학습 데이터의 ToF는 도 6의 차량과 같은 이동체(610)에 설치되는 노면 분류 장치(100a)의 ToF와 유사할 수 있다. 또는 이동형 측정 장비의 지면에 대한 위치는 이동체에 설치되는 노면 분류 장치의 지면에 대한 위치를 고려하여 설치될 수 있다. 이 경우, 본 개시의 다양한 실시예에 따른 이동형 측정 장비에 의해 획득된 학습데이터 셋으로 학습된 노면 분류 인공신경망은 이동체에 설치되는 노면 분류 장치(100a)에서 반사 신호에 대한 별다른 보정없이 바로 사용될 수 있다.
그러나, 도 6에서와 같이 노면 분류 장치가 도로 인프라와 같은 이동체와 다른 높이에 설치되는 경우(100b), 노면 분류 장치가 획득하는 반사 신호를 노면 분류 인공신경망에 그대로 입력하면 대상 노면에 대한 분류 정확도가 떨어질 수 있다.
도 8은 본 개시의 다양한 실시예에 따른 노면 분류 장치가 수신된 반사 신호를 전처리하는 과정을 도시한 순서도이다. 도 8의 전처리 과정은 본 개시의 기술적 사상을 표현하기 위한 예시적인 것으로서, 다양한 실시예들에 따르면 도 8에 도시되는 동작들보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수 있다.
801 단계에서, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 수신된 반사 신호에 기초하여 제1 데이터를 획득할 수 있다.
전술한 바와 같이, 수신기를 통해 수신된 반사 신호는 아날로그 신호일 수 있으므로, 본 개시의 노면 분류 장치는 제어부(130)에 포함되는 ADC 회로를 통하여 반사 신호를 디지털 신호로 변환(conversion)할 수 있다. 또는, 본 개시의 일 실시예에 따른 노면 분류 장치에 포함된 송수신기가 노면을 통해 반사된 반사 신호를 디지털 신호의 형태로 처리하여 제1 데이터를 획득할 수 있다.
802 단계에서, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 디지털 신호로 변환된 데이터에 대기 보정(atmospheric correction)을 적용하여 제2 데이터를 획득할 수 있다.
음파는 대기 중에서 전파하며 매질의 영향으로 감쇠 되는데, 감쇠량은 전파 거리(propagation distance) 및 감쇠 계수에 의해 결정된다. 한편, 감쇠 계수는 온도, 습도, 기압 및 음파의 진동수에 기초하여 결정되는 수치이므로, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 이에 기초하여 음파의 감쇠량을 계산할 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는, 대기 센서를 통해 획득하는 온도, 습도, 및 기압 등의 대기 정보에 기초하여 수신하는 반사 신호의 감쇠량을 보정한 제2 데이터를 생성할 수 있다.
한편, 대기 보정에 필요한 음파의 전파 거리는 사용자에 의해 미리 입력되거나, ToF에 기초하여 획득할 수 있다. 즉, 노면 분류 장치가 설치되는 위치에 따라, 노면에 대한 거리 정보가 미리 입력되거나, 또는 전술한 바와 같이 노면 분류 장치에 의해 획득되는 ToF 정보 및 대기 정보에 기초하여 노면에 대한 거리 정보가 획득될 수 있다.
803 단계에서, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 대기 감쇠량이 보정된 제2 데이터에 대해 거리 보정을 적용하여 제3 데이터를 획득할 수 있다.
전술한 바와 같이, 도 6 및 도 7을 참조하면, 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망의 학습데이터의 기초가 되는 음파 신호는 노면에 대해 d1의 거리에서 반사되어 획득된 신호일 수 있다. 따라서, d1과는 다른 높이(d2)에 설치된 노면 분류 장치(100b)의 분류 성능을 높이기 위해 d2에서 획득된 음파 신호를 d1에서 획득된 음파 신호인 것처럼 보정할 수 있다.
한편, 802 단계와 803 단계는 하나의 절차로 수행될 수 있다. 즉, 본 개시의 다양한 실시예에 따르면, 801 단계에서 획득한 디지털 신호에 대해 대기 정보 및 거리 정보에 기초하여 대기 감쇠량과 노면에 대한 거리가 보정된 음파 데이터를 획득할 수 있다.
또한, 본 개시의 다양한 실시예에 따른 노면 분류 장치의 설치 위치에 따라 802 단계 및/또는 803 단계의 보정 절차는 생략될 수 있다.
804 단계에서, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 보정된 음파 데이터를 주파수 영역에서 분석하기 위해 변환(transformation)을 수행하여 주파수 도메인 데이터를 획득할 수 있다. 본 개시의 다양한 실시예에 따른 주파수 도메인 변환 방법은 전술한 바와 같다. 획득된 주파수 도메인 데이터는 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망에 대한 입력 데이터로서, 주파수 도메인 데이터가 노면 분류 인공신경망에 입력되면, 노면 분류 인공신경망은 대상 노면에 대한 노면 분류 결과를 출력할 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 음파 신호 이외의 추가적인 정보에 기초하여 결과를 출력할 수 있다. 음파 신호 이외에 추가적으로 획득할 수 있는 다른 정보는 비전 센서(카메라)를 통해 획득하는 영상 정보, IR 센서를 통해 획득하는 노면 온도 정보, 통신부를 통해 획득하는 환경 정보 등을 포함할 수 있다.
본 개시의 일 실시예에 따르면, 노면 분류 장치는 둘 이상의 서로 다른 판단 기준을 조합할 수 있다.
음파를 통해 확인할 수 있는 영역은 노면의 일부 영역에 해당할 수 있으므로, 보다 넓은 영역의 상태를 확인할 수 있는 영상 정보가 노면 분류 결과에 보조적으로 이용할 수 있다. 예를 들어, 영상 정보를 통해 확인되는 결과와 노면 분류 인공신경망의 출력값이 일치하는 경우에만 유효한 노면 정보로 판단할 수 있다. 한편, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 영상 정보에 대한 노면 분류 결과를 획득하기 위한 별도의 이미지 기반의 노면 분류 인공신경망이 더 포함될 수 있다.
또한 본 개시의 다양한 실시예에 따르면, 노면 분류 장치는 특정 온도 조건을 부가하여 특정 노면 상태에 대한 결과값을 검증할 수 있다. 예를 들어, 노면 온도가 섭씨 0도보다 높은 경우, 대기압 조건에서 물리적으로 얼음이 형성될 수 없으므로 해당 온도 조건에서 노면 분류 결과가 얼음 등으로 분류되는 경우는 오류에 해당하는 것으로 판단할 수 있다. 따라서 센싱부의 IR 센서 또는 대기 센서를 통해 획득한 노면이나 대기 온도가 특정 온도 이상으로 확인되는 경우, 노면 분류 결과가 가리키는 노면의 상태가 얼음과 관련된 것으로 나오면 해당 결과를 출력하는 대신 추가적인 동작을 수행할 수 있다. 또는, 노면 온도가 특정 온도 이상 또는 이하인 경우에 영상 정보에 대한 결과를 더 활용하여 결과를 출력하도록 설정될 수 있다.
또한 본 개시의 다양한 실시예에 따르면, 노면 분류 장치는 기상 환경 정보를 더 고려하여 노면 분류 결과를 출력할 수 있다. 예를 들어, 눈이나 비가 내리는 경우와 같이 날씨와 관련된 기상 환경 정보를 수신한 경우 해당 날씨에서 분류될 가능성이 높은 클래스에 대한 노면 분류 결과의 순위를 조정할 수 있다.
한편, 전술한 영상 정보와 온도 정보는 노면의 상태를 분류하는데 유용한 정보이므로, 노면 분류 인공신경망은 음파 신호에 기초한 데이터로만 학습되는 대신 관련된 추가 데이터를 함께 입력 받음으로써 학습 성능 및 분류 성능을 강화할 수 있다.
도 9는 본 개시의 일 실시예에 따른 multi-modal 인공신경망을 도시한 도면이다.
도 9를 참조하면, 본 개시의 다양한 실시예에 따른 노면 분류 인공신경망은 multi-modal 인공신경망을 포함할 수 있다. multi-modal 인공신경망은 음파 신호와 관련된 입력 데이터 이외에도, 이미지 정보, 대기 정보, 또는 노면 온도 정보 중 적어도 어느 하나를 함께 입력함으로써 서로 다른 정보에 기초한 분류기를 통해 하나의 분류기로 기능할 수 있다. 이러한 대응 학습을 통해 하나의 노면 상태와 관련된 복수의 정보를 함께 입력하여 보다 정확한 노면 분류 결과를 획득할 수 있다. 즉, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 복수의 정보를 조합하여 노면 결과를 출력할 수 있다. 한편, 도 9에 도시된 입력 데이터는 예시적인 것으로서, 이미지 정보, 대기 정보 및/또는 노면 온도 정보의 일부만 활용하거나, 추가적인 정보가 더 활용될 수 있다.
도 10은 본 개시의 일 실시예에 따른 노면 분류 장치가 미리 정해진 제어 변경 트리거에 기초하여 제어 동작을 변경하는 동작을 도시한 순서도이다.
본 개시에서 제어 변경 트리거(trigger)란 본 개시의 다양한 실시예에 따른 노면 분류 장치의 동작을 변경시키는 상황 또는 조건을 의미하는 것으로서, 사용자에 의해 미리 설정되거나 외부 장치로부터의 명령 등에 의해 설정될 수 있다.
한편, 제어 변경 트리거에 의해 노면 분류 장치의 제어 동작이 변경된다는 것은 버스트 구성, 송신 주기, 판단 주기, 노면 분류 결과 출력 방식 등 노면 분류 장치에서 제어 변경 트리거의 발생 이전에 설정된 방식이 변경되는 것을 의미한다.
제어 변경 트리거는 노면 분류 결과(클래스)의 변화 내지 특정 클래스의 출력, 기상 조건, 시간 조건, 또는 지리 조건 등을 포함할 수 있으며, 전술한 예시에 제한되지 않는다.
제어 변경 트리거의 일례로, 노면 분류 결과가 변화되는 경우, 노면 분류 장치의 동작이 변경될 수 있다.
도 11은 본 개시의 일 실시예에 따른 노면 분류 결과가 변화되는 시나리오를 예시한 도면이다.
도 11을 참조하면, 본 개시의 일 실시예에 따른 노면 분류 장치의 노면 분류 결과는 제1 시점(t1)에서 제1 클래스(R1)이고, 제2 시점(t2)에서 제2 클래스(R2)로 변경될 수 있다. 상기 제2 클래스는 상기 제1 클래스와 서로 다른 클래스일 수 있다.
본 개시의 일 실시예에 따르면, 상기 제2 클래스는 얼음과 관련된 노면 상태를 나타내는 것일 수 있고, 상기 제1 클래스는 그 외의 노면 상태와 관련된 분류 결과일 수 있다.
노면의 상태가 변경되는 경우, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 제어 동작의 변경이 필요할 수 있다.
예를 들어, 노면의 분류 결과가 직전 분류 결과와 상이한 경우, 노면 분류 결과에 오류가 생긴 것인지 확인하기 위하여, 노면 분류 장치는 송신 주기를 변경하거나, 버스트 구성을 변경할 수 있다. 즉 송신 주기를 더 짧게 하여 판단 횟수를 증가시키거나, 버스트에 포함되는 음파 신호의 수를 증가시켜 판단 횟수를 증가시킬 수 있다. 또는 송신 주기 또는 버스트 구성을 바로 변경하는 대신 후행 판단에 기초하여 송신 주기 또는 버스트 구성의 변경 여부를 결정할 수 있다.
도 11을 참조하여 위 예를 자세히 설명하면, 제2 시점의 결과가 제1 시점의 결과와 달라져서(R1≠R2), 본 개시의 일 실시예에 따른 노면 분류 장치는 송신 주기를 짧게 변경하도록 제어할 수 있고, 짧은 시간 간격동안(t3~t6) 더 많은 결과를 획득할 수 있다. 한편, 해당 시간 간격동안(t3~t6) 제2 클래스로의 판단 횟수가 제1 클래스로의 판단 횟수보다 많으므로, 노면 분류 장치는 제2 클래스로의 판단이 정확한 것으로 판단하고 다시 송신 주기를 원래 상태로 변경하고 변경된 송신 주기에 의한 시점인 제7 시점(t7)에서 결과를 출력할 수 있다.
본 개시의 다양한 실시예에 따라, 선행 판단이 달라지는 경우 후행 판단에 기초하여 제어 동작을 변경하는 예시로, 제1 시점(t1)에서 제1 클래스(R1)로 판단되고, 제2 시점(t2)에서 제1 클래스와 다른 제2 클래스(R2)로 판단되는 경우, 즉시 송신 주기를 변경하는 대신, 다음 판단 시점인 제3 시점에서 제3 클래스의 결과에 기초하여 제2 클래스에 대한 판단의 정확도나 송신 주기 등의 변경 여부를 결정할 수도 있다. 즉, 제3 클래스의 결과가 R2로 판단되는 경우, 제2 시점에서 변경된 클래스가 정확한 것으로 판단하고, 송신 주기를 변경하지 않을 수 있고, 제3 클래스의 결과가 R2로 판단되지 않는 경우 R2의 판단을 오류로 판단하고, 송신 주기를 변경할 수 있다.
한편, 각 시점에서의 판단 결과는 본 개시의 다양한 실시예에 따른 각각의 버스트에 대응하는 판단 결과일 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 변경된 제어 동작에서의 복수의 판단의 결과에 기초하여, 노면 관리와 관련된 동작을 더 수행할 수 있다. 예를 들어, 변경된 특정 클래스의 정확도에 대한 판단 이후, 해당 클래스에 대한 판단이 맞는 것으로 간주하고 변경된 클래스와 관련된 노면 관리 동작을 수행할 수 있다. 노면 관리 동작과 관련된 자세한 내용에 대해서는 도 12를 참조하여 설명한다.
제어 변경 트리거의 또 다른 예로, 기상 조건이나 시간 조건이 변경되는 경우, 노면 분류 장치의 동작이 변경될 수 있다.
기상 조건의 예시로, 온도가 영하이거나, 영하 온도가 예정된 경우, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 블랙 아이스의 발생 여부를 빠르게 판단하기 위해 송신 주기를 짧게 하거나, 버스트 내 송신 횟수를 늘리는 등으로 제어 동작을 변경할 수 있다. 기상 조건의 또 다른 예시로, 강풍이나 우천, 폭설 등의 기상 환경이 있을 수 있으며, 이러한 기상 환경과 관련된 정보는 노면 분류 장치에 포함된 대기 센서를 통해 획득하거나, 통신부를 통해 외부 장치로부터 획득할 수도 있다.
시간 조건의 예시로, 낮보다 밤에 블랙 아이스가 더 쉽게 발생할 수 있으므로, 이러한 점을 고려하여 특정 시간에서 송신 주기 또는 버스트 구성을 변경할 수 있다. 시간 조건의 또 다른 예시로, 여름철은 겨울철보다 노면 상태의 변화가 적을 수 있으므로 전력 소모를 줄이기 위해 송신 주기를 길게 하거나, 버스트 내 송신 횟수를 줄이는 등으로 제어 동작을 변경할 수 있다.
제어 변경 트리거의 또 다른 예로, 지리 조건이 변경되는 경우, 노면 분류 장치의 동작이 변경될 수 있다. 노면 분류 장치가 도로 인프라에 설치되는 경우 지리 조건의 변경은 있을 수 없으나, 지역적 조건마다 송신 주기 또는 버스트 구성을 다르게 할 수 있다. 노면 분류 장치가 차량 등 이동체에 설치되는 경우, 특정 지역에 진입하는 경우 송신 주기 또는 버스트 구성이 다르게 할 수 있다. 예를 들어, 블랙 아이스가 취약 구간에 진입하는 경우, 노면 분류 장치가 해당 정보를 수신하면 전술한 바와 같이 제어 동작을 변경할 수 있다.
한편, 전술한 기상 조건, 시간 조건, 또는 지리 조건과 관련된 제어 변경 트리거는 예시적인 것으로서 이에 제한되지 않으며, 사용자 입력 또는 서버 장치 등 외부 전자 장치로부터 수신되는 신호에 의해 설정될 수 있다.
도 12는 본 개시의 다양한 실시예에 따른 노면 분류 장치에 의한 노면 관리 방법을 도시한 도면이다.
도 12를 참조하면, 1201 단계에서 노면 분류 장치는 노면의 제어와 관련된 정보를 획득할 수 있다. 본 개시의 다양한 실시예에 따르면, 노면의 제어와 관련된 정보는 도 3의 304 단계에서 획득한 결과 또는 도 10의 제어 동작 변경을 통해 획득한 최종 결과를 포함할 수 있다. 또한 노면의 제어와 관련된 정보는 노면 분류 장치가 획득하는 기상 정보 및/또는 노면 온도 정보를 포함할 수 잇다.
1202 단계에서, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 획득한 정보에 기초하여 노면 제어를 위한 가동 조건을 만족하는지 여부를 판단할 수 있다.
예를 들어, 1201 단계에서 획득한 노면 분류 결과가 블랙 아이스와 관련된 경우, 즉 얼음과 관련된 클래스를 획득한 경우, 노면 분류 장치는 노면의 얼음 상태를 해소 또는 방지하기 위해 노면에 설치된 노면 관리 장치를 가동시키기 위한 조건을 만족한 것으로 판단할 수 있다.
또는 획득한 노면 분류 결과와 기상 정보를 조합하여 노면 제어의 가동 조건을 판단할 수 있다. 예를 들어, 기상 정보가 특정 조건을 만족하는 경우 얼음이 발생할 위험성이 높은 것으로 판단하고, 노면의 얼음 상태를 해소 또는 방지하기 위해 노면에 설치된 노면 관리 장치를 가동시키기 위한 조건을 만족한 것으로 판단할 수 있다.
노면 관리 장치를 가동시키기 위한 기상 정보의 예시로 다음과 같은 조건들이 포함될 수 있다.
(1) 눈, 비, 진눈깨비, 또는 서리가 내리거나, 내리는 것이 예보된 경우
(2) 도로의 표면 온도가 영하인 경우
(3) 시간대가 새벽인 경우
(4) 온도가 급격하게 하락하고 있는 경우
(5) 강풍이 불고 있는 경우
상기 기상 조건 중 적어도 하나 이상이 만족될 때, 노면 분류 결과가 특정 클래스(예를 들어, 물, 슬러시, 얼음)로 획득된 경우에는 노면 제어가 필요한 것으로 판단할 수 있다.
본 개시의 다양한 실시예에 따른 노면 관리 장치는 염수 분사 장치 또는 열선을 포함할 수 있으나, 이에 제한되지 않는다.
1203 단계에서, 본 개시의 다양한 실시예에 따른 노면 분류 장치는 획득한 정보 및 판단에 기초하여 노면 제어 신호를 생성할 수 있다. 노면 제어 신호는 노면에 설치된 노면 관리 장치를 제어하기 위해 필요한 신호 또는 명령을 포함할 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 도로에 설치된 노면 관리 장치와 연동될 수 있다. 노면 분류 장치가 노면 관리 장치와 직접적으로 연동된 경우, 노면 분류 장치는 노면 관리 장치를 제어하기 위한 명령 신호를 생성하여 이를 노면 관리 장치로 송신할 수 있다. 또는 노면 분류 장치가 외부 서버를 통해 노면 관리 장치와 간접적으로 연동된 경우, 노면 분류 장치는 노면 관리 장치의 제어를 지시하는 신호를 생성하여 이를 외부 서버로 송신할 수 있다.
한편, 노면 관리 장치가 노면 제어 신호를 수신하는 경우, 노면 제어 신호에 기초하여 노면을 제어하는 동작을 수행할 수 있다. 예를 들어, 노면 관리 장치는 노면 제어 신호에 기초하여 염수를 분사하거나, 열선을 가동할 수 있다.
본 개시의 노면 관리에 대한 또 다른 실시예로, 노면 분류 장치는 노면의 파손 위험성을 판단할 수 있다.
아스팔트는 특정 무게를 초과하는 차량의 반복적인 통행으로 인해 파손될 수 있다. 특히, 한 겨울에 아스팔트 사이로 스며든 물이 얼음으로 어는 경우 부피가 팽창되게 되는데, 이 때 트럭 등의 대형 차량이 통과하면 노면이 파손될 수 있다.
본 개시의 다양한 실시예에 따라 도로 인프라에 설치된 노면 분류 장치는 노면에 대한 ToF를 주기적으로 감지할 수 있으므로, 이에 기초하여 통행 차량 정보 및 통행량 등의 교통 정보를 측정할 수 있다.
도 13은 본 개시의 일 실시예에 따른 노면 분류 장치가 교통 정보를 수집하는 것을 도시한 도면이다.
도 13을 참조하면, 노면 분류 장치는 ToF의 측정에 기초하여 노면의 교통 정보를 수집할 수 있다. 본 개시의 다양한 실시예에 따른 노면 분류 장치가 수집하는 교통 정보는 노면의 파손 정도 또는 교통량과 관련된 정보를 포함할 수 있다.
전술한 바와 같이, 노면 분류 장치는 노면 분류 장치의 설치 높이에 대한 정보를 획득할 수 있으므로, 노면 분류 장치의 설치 높이에 대응하는 ToF를 기준 ToF로 결정할 수 있다. 즉, 노면으로부터 반사되는 반사 신호의 ToF를 기준 ToF라 할 수 있다.
따라서 본 개시의 일 실시예에 따른 노면 분류 장치는 노면 분류 장치가 획득한 ToF가 기준 ToF와 대응하는 것으로 식별되는 경우, 노면에 차량이 없는 것으로 판단할 수 있다. 또한 획득한 ToF가 기준 ToF보다 짧은 것으로 식별되는 경우, 노면에 차량이 있는 것으로 판단할 수 있다. 또한 획득한 ToF에 기초하여 추정되는 노면 위의 물체의 크기(높이)에 대한 정보를 획득할 수 있다.
ToF 값이 짧을수록 노면으로부터 높은 물체가 있는 것을 의미할 수 있으므로, 노면 분류 장치는 ToF가 짧은 신호에 대해 대형 차량이 지나간 것으로 판단할 수 있다. 대형 차량에 대한 판단 기준은 사용자 입력 또는 외부 장치의 신호에 의해 미리 설정될 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 미리 정해진 시간 간격동안 획득하는 ToF 값에 기초하여 그 시간 동안 노면 위를 지나가는 교통량을 추정할 수 있다. 또한 본 개시의 노면 분류 장치가 획득하는 교통량 정보는 통행한 차량의 크기와 관련된 정보를 더 포함할 수 있다.
도 13을 참조하면, 대형 차량이 지나가고 있는 (a)의 ToF 1은 소형 차량이 지나가고 있는 (b)의 ToF 2보다 작게 측정된다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 노면 상태 정보 및/또는 기상 정보를 획득할 수 있으므로, 획득한 정보와 교통량 정보를 조합하여 노면의 파손 위험성을 판단하고, 이를 외부로 알릴 수 있다. 노면 상태 정보는 노면 분류 결과 및/또는 노면 온도 정보를 포함할 수 있다.
예를 들어, 노면 분류 결과가 얼음과 관련된 클래스로 판단되는 기간 동안 대형 차량의 통행 횟수에 대한 정보를 측정하고, 이와 관련된 정보를 사용자 또는 외부 장치로 제공할 수 있다. 외부 장치는 도로를 관리하는 기관의 서버 장치를 포함할 수 있다. 또는, 노면 온도가 특정 온도 이하로 측정되는 기간 동안 차량의 통행량에 대한 정보를 획득하고, 이를 외부 장치로 송신할 수 있다. 이 경우, 특정 노면 분류 결과 또는 특정 기상 조건에서의 대형 차량의 통행량에 기초하여 노면의 파손 정도를 추정할 수 있다. 또는 획득한 대형 차량의 통행량 정보를 외부 장치로 제공함으로써 노면의 파손 위험성을 관리할 수 있다.
본 개시의 다양한 실시예에 따른 노면 분류 장치는 획득한 수신 신호의 ToF에 기초하여 노면 분류에 활용할지, 또는 교통량 정보를 수집하는데 활용할지 결정할 수 있다. 즉 획득한 수신 신호의 ToF가 기준 ToF와 오차 범위 내인 경우, 이를 노면에 대한 반사 신호로 판단하여 노면 분류에 활용할 수 있고, 획득한 수신 신호의 ToF가 기준 ToF보다 짧은 경우, 차량으로부터 획득한 것으로 판단하여 이에 기초하여 교통 정보를 획득할 수 있다.
교통량 정보를 수집하기 위해서, 노면 분류 장치는 음파 신호의 송신 주기를 노면 분류를 위한 송신 주기보다 짧게 할 수 있다. 즉, 음파 신호의 송신 주기는 사용자의 필요에 따라 다양하게 설정될 수 있고, 획득되는 신호는 목적에 따라 다양하게 처리될 수 있다.
한편, 본 개시의 노면 분류 장치는 노면 종류 추정 장치를 포함할 수 있다. 이하의 노면 종류 추정 장치는 본 개시의 노면 분류 장치의 다양한 실시예로서, 본 개시의 일 실시예에 따른 노면 종류 추정 장치를 통해 수행되는 동작은 본 개시의 다양한 실시예에 따른 노면 분류 장치에 의해 수행될 수 있음은 자명하다.
도 14는 본 개시의 일 실시예에 따른 노면 종류 추정 장치의 구성도이다.
도 14에 도시된 바와 같이, 본 개시의 일 실시예에 따른 음파를 이용한 노면 종류 추정 장치는, 음파 송수신부(1410), 신호 변환기(1420), 인공신경망(1430), 및 제어부(MCU)(1440)를 포함할 수 있다. 한편, 노면 종류 추정 장치는 대기감쇠량 보정부(미도시) 및 대기정보 측정부(미도시)를 더 포함할 수 있다.
음파 송수신부(1410)는 종류를 알고자 하는 해당 노면으로 음파 신호를 송신한 후, 반사된 신호를 수신할 수 있다.
상기 음파 송수신부(1410)는 상기 제어부(1440)의 제어에 따라 송신 신호를 출력하는 음파 송신기(1411), 및 상기 송신 신호가 임의의 면에 반사되어 되돌아오는 반사 신호를 수신하는 음파 수신기(1412)를 포함할 수 있다.
신호 변환기(1420)는 상기 수신한 신호의 시간 도메인 상의 기설정 영역에 대하여 주파수 변환을 수행하여 주파수 도메인 신호(예:스펙트로그램)를 획득할 수 있다.
상기 신호 변환기(1420)는 STFT(Short-Time Fourier Transform) 변환기, FFT(Fast Fourier Transform), 캡스트럼(cepstruam), 또는 웨이브렛 변환기(Wavelet Transform)를 포함할 수 있다. 이때 상기 주파수 도메인 신호(스펙트로그램)는 2D 또는 3D 일 수 있다.
상기 인공신경망(1430)은 상기 주파수 도메인 신호(스펙트로그램)를 입력 신호로 하고, 학습된 노면분류모델에 기반하여 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 추정할 수 있다.
한편, 상기 신호 변환기(1420)는 아날로그디지털변환기(ADC)를 포함할 수 있다. ADC는 상기 수신한 신호의 아날로그 신호를 디지털 신호로 변환할 수 있다.
대기감쇠량 보정부(미도시)는 상기 디지털 신호의 대기중 감쇠량을 계산하여 보정할 수 있다.
상기 인공신경망(1430)은, 상기 변환된 신호 또는 보정된 디지털 신호를 입력 신호로 하여, 학습된 노면분류모델에 기반하여 상기 입력 신호에 대하여 컨벌루션을 수행하고, 분류하여 상기 노면의 종류를 추정할 수 있다.
한편, 상기 인공신경망(1430)에서는 의사결정트리(decision trees), 선형판별분석(discriminant analysis), 로지스틱 회귀 분류기(logistic regression classifiers), 나이브 베이즈 분류기(Naive Bayes classifier), 서포트 벡터 머신(support vector machine), 최근접 이웃 분류기(nearest neighbor classifiers), 앙상블 분류기(ensemble classifiers)중 적어도 하나 이상을 이용하여 분류 및 학습할 수 있다.
의사결정트리(decision trees)는 Fine tree, Medium tree, Coarse tree, All tree, Optimizable tree를 포함하고, 선형판별분석(discriminant analysis)은 Linear discriminant, Quadratic discriminant, All discriminants, Optimizable discriminant를 포함하고, 나이브 베이즈 분류기(Naive Bayes classifier)는 Gaussian Naive Bayes, Kernel Naive Bayes, All Naive Bayes, Optimizable Naive Bayes를 포함하고, 서포트 벡터 머신(support vector machine, SVM)은 Linear SVM, Quadratic SVM, Cubic SVM, Fine Gaussian SVM, Medium Gaussian SVM, Coarse Gaussian SVM, All SVM, Optimizable SVM을 포함하고, 최근접 이웃 분류기(nearest neighbor classifiers)는 Fine KNN, Medium KNN, Coarse KNN, Cosine KNN, Cubic KNN, Weighted KNN, All KNN, Optimizable KNN을 포함하고, 앙상블 분류기(ensemble classifiers)는 Boosted trees, Bagged trees, Subspace Discriminant, Subspace KNN, RUSBoosted trees, All Ensembles, Optimizable Ensemble을 포함할 수 있다.
상기 제어부(MCU)(1440)는 상기 음파 송수신부(1410), 상기 신호 변환기(1420), 및 상기 인공신경망(1430)의 동작을 제어할 수 있다.
상기 신호 변환기(1420) 및 상기 인공신경망(1430)은 프로그램으로 구현된 소프트웨어를 구성요소로서 표현한 것이다.
한편, 도면에 도시되지는 않았지만, 본 개시의 다양한 실시예에 따른 음파를 이용한 노면 종류 추정 장치는 상기 학습된 노면분류모델 및 상기 프로그램으로 구현된 소프트웨어가 저장되는 저장소(메모리)를 포함한다. 상기 저장소(메모리)는 상기 제어부(MCU)에 포함되어 구성될 수도 있다.
한편, 본 개시에 따른 음파를 이용한 노면 종류 추정 장치는 대기중의 온도, 습도 및 기압을 측정할 수 있는 대기 센서(미도시)를 더 포함할 수 있다.
상기 제어부(1440)의 제어에 따라 상기 온도, 습도 및 기압을 포함하는 대기 정보는 상기 대기감쇠량 보정부에서 사용되거나, 인공신경망(1430)의 입력으로 전달될 수 있다.
도 15는 본 개시의 일 실시예에 따른 음파를 이용한 노면 종류 추정 장치에서 송신 신호 및 수신 신호를 설명하기 위한 도면이다.
도 15에 도시된 바와 같이, 제어부(MCU)(1440)에서 기설정 크기(v : trigger voltage)를 가지고 기설정된 전송 주기(p: transmission period)를 가지는 트리거 신호를 음파 송수신부(1410)로 전달할 수 있다.
그러면, 상기 음파 송수신부(1410)의 음파 송신기(1411)는 특정 주파수, 예를 들어 40 kHz를 가지는 음파 신호(1501)를 종류를 알고자 하는 해당 노면으로 출력할 수 있다.
이후, 상기 음파 송수신부(1410)의 음파 수신기(1412)는 상기 노면에 반사되어 돌아오는 반사 신호를 수신할 수 있다.
여기서, 상기 음파 신호(1501)와 같은 타임 라인에 수신되는 신호(1502)는 상기 음파 송수신부(1410)가 송신한 음파 신호의 크로스톡 신호일 수 있다. 또한, 상기 제어부(1440)는 전송지연 이후에 수신한 진폭(amplitude)이 가장 큰 지점부터 기설정 시간 동안의 신호(1503)를 수신 신호로 결정할 수 있다.
예를 들어, 크로스톡 신호 이후에 수신한 신호의 진폭이 가장 큰 시점을 t_0라 할 때, t_0 - a [ms] 부터 t_0 + b [ms] 까지 총 (a+b) ms를 관찰 할 수 있으며, 도 15의 수신신호(203)는 a 가 0.2 이고, b가 5 이다. 환경이나 조건에 따라 a 와 b는 조절이 가능한 가변적인 수치이다.
도 15의 예시에서는, 송신된 음파 신호가 충분히 사라질 때까지의 시간인 10ms를 1 전송 주기로 하였고, 음파 송수신부(1410)의 샘플링 주파수는 40kHz 음파 주파수의 25배로 샘플링하는 1MHz 로 하였다.
한편, 전술한 바와 같이, 전송 주기에 따라 다수의 수신된 신호를 감지하여 노면의 상태를 감지할 수도 있고, 음파를 1회 송신 후 수신된 1회의 반사 신호를 처리하여 노면의 상태를 감지할 수도 있다.
도 16은 본 개시의 일 실시예에 따른 음파를 이용한 노면 종류 추정 장치에서 신호 변환기를 예시적으로 설명하기 위한 도면이다.
도 16에서는 신호 변환기(1420)로 STFT 변환기를 사용한 것을 예로 들어 설명하기로 한다.
도 16에 도시된 바와 같이, STFT 변환기는 도 15에서 수신한 반사 신호 중 상기 음파 송수신부(1410)가 송신한 음파 신호의 크로스톡 신호(1502)는 제외하고, 전송지연 이후에 수신한 기설정 시간 동안의 신호(1503, 1601)에 대하여 쇼트타임 푸리에 변환(Short-Time Fourier Transform)하여 2D 스펙트로그램(1602)을 획득할 수 있다.
1주기 동안의 신호(1503)를 푸리에 변환할 수도 있고, 다주기 동안의 수신 신호를 푸리에 변환할 수도 있다.
본 개시에서는 음향 임피던스와 표면 거칠기 정보 등을 이용하여 재질을 구분할 수 있다. 음향 임피던스는 상수가 아니며 음파가 진동하는 주파수마다 그 값이 달라질 수 있다. 따라서 주파수 도메인에서의 분석이 유용할 수 있다. 타임 도메인의 수신 신호를 주파수 도메인 신호로 변환하기 위한 여러 가지 방법 중 한 가지 방법인 푸리에변환(Time Fourier Transform)을 사용할 수 있다. 또한, 매시간(샘플링 시간)마다의 FFT를 확인하기 위해 쇼트타임 푸리에 변환(Short-Time Fourier Transform)를 사용할 수 있다.
또한, 쇼트타임 푸리에 변환(Short-Time Fourier Transform) 뿐만 아니라 웨이브렛(Wavelet) 등을 사용하여 주파수 분석이 가능하며, 본 개시의 일 실시예에서는 예시적으로, 계산량을 줄이는 동시에 충분한 데이터를 확보하기 위해 STFT를 이용하는 것으로 설명하였다.
쇼트타임 푸리에 변환(STFT)은 기존 푸리에 변환에서 해결하지 못했던 시간에 대한 변화를 고려하기 위해 고안된 방법이다. STFT는 시간에 따라 변화하는 긴 신호를 짧은 시간 단위로 분할한 다음에 푸리에 변환을 적용하는 것이다.
STFT는 신호를 윈도우 길이(Window length)에 따라서 분리시키기 때문에 푸리에 변환에 사용되는 신호의 길이를 감소시키고 이에 따라 주파수의 해상도(Resolution)가 악화될 수 있다. 한편, 윈도우 길이(Window length)를 증가시켜 주파수의 해상도를 향상시켜는 경우, 반대로 시간 해상도(Resolution)가 악화될 수 있다. 이러한 주파수와 시간의 트레이드 오프(Trade off) 관계로 인한 해상도의 한계를 극복하기 위해 웨이브렛 변환(Wavelet Transform, WT)이 사용될 수 있다.
STFT에서 Window length가 정해져 있었다면, WT은 Window length를 바꿔가면서 여러번 STFT를 하는 것이다. 또한, STFT에서 기본함수로서 시간적으로 무한대로 확장되는 사인곡선을 사용한다면, 웨이브렛은 유한기간동안 존재하는 여러 종류의 함수가 있다. 웨이블릿 함수로는 Morlet, Daubechies, Coiflets, Biorthogonal, Mexican Hat, 및 Symlets 등이 있다.
도 17은 본 개시의 일 실시예에 따른 음파를 이용한 노면 종류 추정 장치에서 인공신경망을 설명하기 위한 도면이다.
도 17에 도시된 바와 같이, 인공신경망은, 입력 레이어(1701), 다수의 은닉 레이어(1702) 및 출력 레이어(1703)를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망(DNN : Deep Neural Network)을 포함할 수 있다. 또한, 본 개시의 다양한 실시예에 따른 인공신경망은, 컨벌루션 수행부(미도시)를 더 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 컨벌루션 신경망(DCNN: Deep Convolution Neural Network)을 포함할 수 있다.
상기 입력 레이어(1701)는 상기 스펙트로그램(1702)의 데이터를 평면화(flatten) 시켜 1D로 입력받을 수 있다.
상기 입력 레이어(1701)로 입력되는 데이터는 다수의 은닉 레이어(1702)를 통해 특성 추출 및 분류될 수 있다.
상기 출력 레이어(1703)는 학습한 노면의 각 종류에 대한 확률값을 출력할 수 있다.
상기 인공신경망은 소프트맥스(1704)를 이용하여, 상기 출력 레이어(1703)로부터 출력되는 확률값들 중에서 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력할 수 있다.
한편, 상기 인공신경망은, 대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 입력 레이어(1701)의 입력으로도 사용할 수 있다.
또한, 상기 인공신경망은, 상기 노면으로 송신한 음파 신호(1501)를 푸리에 변환하여 상기 입력 레이어(1701)의 입력으로도 사용할 수 있다.
한편, 상기 인공신경망이 DCNN인 경우, 상기 컨벌루션 수행부는 전달받은 디지털 입력 신호에 대해 컨벌루션 연산을 다회 진행하며, 각 컨벌루션 연산마다 배치정규화(Batch Normalization), 렐루(ReLU) 함수, 및 맥스풀링(MaxpPooling) 함수를 수행하고, 마지막 컨벌루션 연산으로 플랫튼된 데이터를 상기 전달 레이어로 출력할 수 있다.
이때 상기 전달 레이어는 CNN의 입력 레이어(1701)로서, 상기 컨벌루션 수행부의 플랫튼된 출력 데이터를 1차원(1D)으로 입력받을 수 있고, 이후의 동작은 상기와 같다.
도 18은 컨벌루션 수행부의 동작을 설명하기 위한 도면이다.
컨벌루션 수행부는, 입력 신호에 대해 1D 컨벌루션 연산을 복수회(예를 들어, 5회) 진행하며, 각 컨벌루션 연산마다 배치정규화(Batch Normalization), 렐루(ReLU) 함수, 및 맥스풀링(MaxpPooling)함수를 수행할 수 있고, 마지막 컨벌루션 연산의 출력은 플랫튼된 데이터일 수 있다.
예시적으로 도 18을 참조하면, 입력 신호(1801)는 7ms 동안의 수신신호 약 7000 개가 되며, 제1 컨벌루션 수행 결과(1802)는 상기 입력 신호(1801)에 1D conv (64,16), BN, ReLU, 및 MP(8)를 수행한 결과이고, 제2 컨벌루션 수행 결과(1803)는 상기 제1 컨벌루션 수행 결과(1802)에 1D conv (32,32), BN, ReLU, 및 MP(8) 을 수행한 결과이고, 제3 컨벌루션 수행 결과(1804)는 상기 제2컨벌루션 수행 결과(403)에 1D conv (16,64), BN, ReLU, 및 MP(8) 을 수행한 결과이고, 제4 컨벌루션 수행 결과(1805)는 상기 제3 컨벌루션 수행 결과(1804)에 1D conv (8,128), BN, 및 ReLU를 수행한 결과이고, 제5 컨벌루션 수행 결과(1806)는 상기 제4 컨벌루션 수행 결과(1805)에 1D conv (4,2568), BN, 및 ReLU를 수행한 결과이다.
도 19는 본 개시의 음파를 이용한 노면 종류 추정 장치의 컨벌루션 수행부의 코드를 설명하기 위한 도면이다.
도 19는 도 18에 도시된 컨벌루션 수행부의 일부를 소프트웨어로 구현한 코드이다.
상기 코드는 다수의 배치정규화(BatchNorm) 함수, 및 맥스풀링함수(MaxPool)를 포함할 수 있다.
본 개시의 일 실시예에 따른 사용가능한 한 예로, 1차원 컨볼루션 후 1차원 배치 정규화를 진행한 후 맥스풀링을 진행하는 것을 한 세트로 하여 4세트만큼 반복하고 마지막은 fully connected layer를 통해 분류하려는 노면의 수만큼의 값들을 출력하여 노면별로 확률을 출력시킨다.
한편, 본 개시에서는 1차원(1D) 컨볼루션 연산을 수행하는 방법을 일 예로 들어 설명하였으나, 컨벌루션 연산은 1D 뿐만 아니라, 2D 및 3D도 가능하다.
도 20은 본 개시의 일 실시예에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 방법의 흐름도이다.
먼저, 본 개시에 따른 음파의 도메인 변환을 이용한 노면 종류 추정 방법을 수행하기 위해서는 먼저 학습단계(2001)가 선행되어 노면분류모델을 생성할 수 있다.
학습단계(2001)에서는, 다수 종류의 노면에 대하여, 음파 신호를 송신한 후, 반사된 신호를 수신하고 해당 신호를 주파수 도메인 신호(예: 스펙트로그램)로 변환하고, 상기 주파수 도메인 신호(스펙트로그램)를 상기 인공신경망에 입력하여 상기 노면분류모델을 학습시킬 수 있다.
여기서, 주파수 도메인의 주파수 도메인 신호로 변환하기 위하여 STFT(Short-Time Fourier Transform) 변환기, FFT(Fast Fourier Transform), 캡스트럼(cepstruam), 또는 웨이브렛 변환기(Wavelet Transform)를 사용할 수 있다. 상기 주파수 도메인 신호는 2D 또는 3D 일 수 있다.
이후, 제어부의 제어에 따라, 종류를 알고자 하는 해당 노면으로 음파 신호를 송신한 후, 반사된 신호를 수신할 수 있다(2002).
이후, 제어부의 제어에 따라, 상기 수신한 신호의 기설정 영역에 대하여 신호 변환을 수행하여 주파수 도메인 신호를 획득할 수 있다(2003).
상기 주파수 도메인 신호 획득단계(2003)에서는, 상기 수신한 신호에서, 상기 송신한 음파 신호의 크로스톡 신호는 제외하고, 상기 음파 신호의 주기마다, 전송지연 이후에 수신한 기설정 시간 동안의 신호에 대하여 도메인 변환하여 상기 주파수 도메인 신호를 획득할 수 있다.
이후, 제어부의 제어에 따라, 상기 주파수 도메인 신호를 인공신경망의 입력 신호로 하고, 학습된 노면분류모델에 기반하여, 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 결정할 수 있다(2004).
상기 인공신경망은, 입력 레이어(1701), 다수의 히든 레이어(1702) 및 출력 레이어(1703)를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망(DNN : Deep Neural Network)을 포함할 수 있다. 이때 상기 출력 레이어(1703)는, 학습한 노면의 각 종류에 대한 확률값을 출력할 수 있고, 상기 인공신경망은, 소프트맥스(softmax)(1704)를 이용하여, 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력할 수 있다.
상기 인공신경망은, 대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 입력 레이어의 입력으로도 사용할 수 있다.
또한, 상기 인공신경망은, 상기 노면으로 송신한 음파 신호를 푸리에 변환하여 상기 입력 레이어의 입력으로도 사용할 수 있다.
도 21은 본 개시에 따른 음파를 이용한 노면 종류 추정 방법의 일 실시예를 나타낸 흐름도이다.
먼저, 본 개시에 따른 음파를 이용한 노면 종류 추정 방법을 수행하기 위해서는 먼저 학습단계(2101)가 선행되어 노면분류모델을 생성할 수 있다.
학습단계(2101)에서는, 다수 종류의 노면에 대하여, 음파 신호를 송신한 후, 반사된 신호를 수신하고 해당 신호를 디지털 신호로 변환하고, 상기 변환된 디지털 신호를 인공신경망에 입력시켜 다회의 컨벌루션 연산을 수행하여 상기 노면분류모델을 학습시킬 수 있다.
이후, 제어부의 제어에 따라, 종류를 알고자 하는 해당 노면으로 음파 신호를 송신한 후, 반사된 신호를 수신할 수 있다(2102).
이후, 제어부의 제어에 따라, 상기 수신한 신호의 기설정 영역에 대하여 아날로그 신호를 디지털 신호로 변환할 수 있다(2103).
상기 신호변환단계(2103)에서는, 상기 수신한 신호에서, 상기 송신한 음파 신호의 크로스톡 신호는 제외하고, 상기 음파 신호의 주기마다, 전송지연 이후에 수신한 신호의 진폭이 가장 큰 지점을 기준으로 기설정 시간 동안의 신호에 대하여 디지털 신호로 변환할 수 있다.
예를 들어, 크로스톡 신호 이후에 수신한 신호의 진폭이 가장 큰 시점을 t_0라 할 때, t_0 - a [ms] 부터 t_0 + b [ms] 까지 총 (a+b) ms를 관찰 할 수 있으며, 환경이나 조건에 따라 a 와 b는 가변적으로 조절될 수 있다.
이후, 제어부의 제어에 따라, 상기 디지털 신호를 전달받아 상기 인공신경망에서 다회의 컨벌루션 연산을 수행할 수 있다(2104).
상기 컨벌루션 연산 단계(2104)에서는, 상기 디지털 신호에 대해 컨벌루션 연산을 다회 진행하며, 각 컨벌루션 연산마다 배치정규화(Batch Normalization), 렐루(ReLU) 함수, 및 맥스풀링(MaxpPooling)함수를 수행할 수 있고, 마지막 컨벌루션 연산의 출력은 플랫튼된 데이터이다.
한편, 본 개시에서는 1차원(1D) 컨볼루션 연산을 수행하는 방법을 일 예로 들어 설명하였으나, 컨벌루션 연산은 1D 뿐만 아니라, 2D 및 3D도 가능하다.
이후, 제어부의 제어에 따라, 상기 인공신경망에서 학습된 노면분류모델에 기반하여, 상기 컨번루션 연산된 신호(플랫튼된 데이터)의 특성을 추출하고, 분류하여 상기 노면의 종류를 결정할 수 있다(2105).
상기 인공신경망은, 상기 디지털 신호를 입력받아 다회의 컨벌루션 연산을 수행하는 컨벌루션 수행부, 전달 레이어, 다수의 은닉 레이어 및 출력 레이어를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 컨벌루션 신경망(DCNN : Deep Convolution Neural Network)을 포함할 수 있다. 이때 상기 출력 레이어는, 학습한 노면의 각 종류에 대한 확률값을 출력할 수 있고, 상기 인공신경망은, 소프트맥스(softmax)를 이용하여, 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력할 수 있다.
상기 인공신경망은, 대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 컨벌루션 수행부의 입력으로도 사용할 수 있다.
또한, 상기 인공신경망은, 상기 노면으로 송신한 음파 신호를 상기 컨벌루션 수행부의 입력으로도 사용할 수 있다.
도 22는 본 개시의 일 실시예에 따른 대기 감쇠량이 보정된 음파를 이용한 노면 종류 추정 방법을 나타낸 흐름도이다.
먼저, 본 개시에 따른 음파를 이용한 노면 종류 추정 방법을 수행하기 위해서는 먼저 학습단계(2201)가 선행되어 노면분류모델을 생성할 수 있다.
상기 학습단계(2201)에서는, 다수 종류의 노면에 대하여, 음파 신호를 송신한 후, 반사된 신호를 수신하고 해당 신호를 디지털 신호로 변환하고, 상기 변환된 디지털 신호에 대하여 대기중 감쇠량을 보정한 후, 주파수 도메인 신호로 변환하고, 상기 주파수 도메인 신호를 신경망에 입력하여 노면분류모델을 학습시킬 수 있다.
여기서, 상기 학습단계(2201)에서, 상기 주파수 도메인 신호로 변환하기 위하여 STFT(Short-Time Fourier Transform) 변환기, FFT(Fast Fourier Transform), 캡스트럼(cepstruam), 또는 웨이브렛 변환기(Wavelet Transform)를 사용할 수 있다. 상기주파수 도메인 신호는 2D 또는 3D 일 수 있다.
이후, 제어부의 제어에 따라, 종류를 알고자 하는 해당 노면으로 음파 신호를 송신한 후, 반사된 신호를 수신할 수 있다(2202).
이후, 상기 제어부의 제어에 따라, 상기 수신한 신호의 기설정 영역에 대하여 아날로그 신호를 디지털 신호로 변환할 수 있다(2203).
상기 신호변환단계(2203)에서는, 상기 수신한 신호에서, 상기 송신한 음파 신호의 크로스톡 신호는 제외하고, 상기 음파 신호의 주기마다, 전송지연 이후에 수신한 신호의 진폭이 가장 큰 지점을 기준으로 기설정 시간 동안의 신호에 대하여 디지털 신호로 변환한다.
예를 들어, 크로스톡 신호 이후에 수신한 신호의 진폭이 가장 큰 시점을 t_0라 할 때, t_0 - a [ms] 부터 t_0 + b [ms] 까지 총 (a+b) ms를 관찰 할 수 있으며, 환경이나 조건에 따라 a 와 b는 조절이 가능하다.
이후, 제어부의 제어에 따라, 상기 디지털 신호의 대기중 감쇠량을 계산하여 보정할 수 있다(2204).
상기 대기감쇠량 보정단계(2204)에서는, 하기의 <수학식 1> 내지 <수학식 8>를 이용하여 대기중 감쇠량을 계산하여 이를 보정할 수 있다. 상기 대기감쇠량 보정단계는 제어부 또는 프로그램으로 구현된 소프트웨어인 대기감쇠량 보정부에 의해 수행될 수 있다.
먼저, 포화 압력(Psat)은 하기 <수학식 1>을 이용하여 계산될 수 있다.
[수학식 1]
Figure PCTKR2022017680-appb-img-000001
여기서, To1은 대기의 삼중점[K]이고, T는 현재 온도[K]이다.
절대습도(h)는 하기 <수학식 2>를 이용하여 계산될 수 있다.
[수학식 2]
Figure PCTKR2022017680-appb-img-000002
여기서, hrin은 상대 습도[%]이고, Psat 은 포화 압력[단위]이고, Ps는 정압[atm]이다.
한편, 대기의 78%를 차지하는 질소의 확장된 이완 주파수(FrN : scaled relaxation frequency for Nitrogen)는 하기 <수학식 3>를 이용하여 계산될 수 있다.
[수학식 3]
Figure PCTKR2022017680-appb-img-000003
여기서, To는 레퍼런스 온도[K]이고, T는 현재 온도[K]이다.
한편, 대기의 21%를 차지하는 산소의 확장된 이완 주파수(FrO : scaled relaxation frequency for Oxygen)는 하기 <수학식 4>를 이용하여 계산될 수 있다.
[수학식 4]
Figure PCTKR2022017680-appb-img-000004
여기서, h는 절대 습도이다.
한편, 감쇠 계수(α: attenuation coefficient [nepers/m]])는 하기 <수학식 5>를 이용하여 계산될 수 있다.
[수학식 5]
Figure PCTKR2022017680-appb-img-000005
여기서, Ps는 정압이고, F는 음파 신호(송신음파신호)의 주파수이고, T는 현재 온도[K]이고, To는 레퍼런스 온도[K]이고, FrO는 산소의 확장된 이완 주파수이고, FrN은 질소의 확장된 이완 주파수이다.
한편, 음파신호의 감쇠비(A, 단위: dB)는 하기 <수학식 6>를 이용하여 계산될 수 있다.
[수학식 6]
Figure PCTKR2022017680-appb-img-000006
여기서, α는 감쇠 계수이고, d는 음파송수신기(100)와 종류를 알고자하는 해당 노면 사이의 거리이다.
상기 d는, 송신기에서 송신되었다가 노면에 반사되어 수신기에서 감지될 때까지의 소요시간 t(time of flight)와 대기중 음속(Vair)을 이용하여 하기 <수학식 7>을 이용하여 계산될 수 있다.
[수학식 7]
Figure PCTKR2022017680-appb-img-000007
여기서, t는 소요시간이고, Vair는 대기중 음속[m/s]이다.
한편, 대기중 음속은 하기 <수학식 8>를 이용하여 계산될 수 있다.
[수학식 8]
Figure PCTKR2022017680-appb-img-000008
여기서, Ks는 물체의 등엔트로피적 체적팽창률(coefficient of stiffness)이고, ρ는 물체(대기)의 밀도이다.
이때, 공기(대기)를 이상기체로 가정하면, Ks= γP이고, γ는 열용량비(공기의 경우 1.4)이고, P는 압력이고, R은 이상기체 상수이고, T는 절대 온도[K]이다. 온도를 제외하면 상수이기 때문에, 근사적으로 표현할 수도 있다.
상기 대기중 음속은 대기의 온도, 기압 및 습도에 따라 보정하여 감쇠 보상에 이용할 수도 있다.
이후, 제어부의 제어에 따라, 상기 보정된 디지털 신호의 기설정 영역에 대하여 신호 변환을 수행하여 주파수 도메인 신호를 획득할 수 있다(2205).
상기 주파수 도메인 신호 획득단계(2205)에서는, 상기 보정된 디지털 신호에서 상기 송신한 음파 신호의 크로스톡 신호는 제외하고, 상기 음파 신호의 주기마다, 전송지연 이후에 수신한 기설정 시간 동안의 신호에 대하여 신호 변환기에서 주파수 변환하여 상기 주파수 도메인 신호를 획득할 수 있다.
이후, 제어부의 제어에 따라, 상기 주파수 도메인 신호를 신경망의 입력 신호로 하고, 학습된 노면분류모델에 기반하여, 상기 입력 신호의 특성을 추출하고, 분류하여 상기 노면의 종류를 결정할 수 있다(2206).
상기 신경망은, 입력 레이어, 다수의 히든 레이어 및 출력 레이어를 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 신경망(DNN : Deep Neural Network)을 포함할 수 있다. 이때, 상기 출력 레이어는, 학습한 노면의 각 종류에 대한 확률값을 출력하고, 상기 신경망은, 소프트맥스(softmax) 를 이용하여, 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력할 수 있다.
한편, 상기 신경망의 구조는 상기 언급한 DNN에 한정되지 않는다.
상기 신경망은, 대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 입력 레이어의 입력으로도 사용할 수 있다.
또한, 상기 신경망은, 상기 노면으로 송신한 음파 신호를 주파수 변환하여 상기 입력 레이어의 입력으로도 사용할 수 있다.
한편, 상기 주파수 도메인 신호 획득 단계에서 주파수 도메인 신호를 획득하여 인공신경망에 입력하는 대신, 제어부의 제어에 따라, 대기중 감쇠량이 보정된 디지털 신호를 전달받아 상기 인공신경망에서 다회의 컨벌루션 연산을 수행할 수 있다.
상기 컨벌루션 연산단계에서는, 상기 대기중 감쇠량이 보정된 디지털 신호에 대해 1D 컨벌루션 연산을 다회 진행하며, 각 컨벌루션 연산마다 배치정규화(Batch Normalization), 렐루(ReLU) 함수, 및 맥스풀링(MaxpPooling)함수를 수행할 수 있고, 마지막 컨벌루션 연산의 출력은 플랫튼된 데이터이다.
이후, 제어부의 제어에 따라, 상기 인공신경망에서 학습된 노면분류모델에 기반하여, 상기 컨번루션 연산된 신호(플랫튼된 데이터)의 특성을 추출하고, 분류하여 상기 노면의 종류를 결정할 수 있다.
컨벌루션을 수행하는 경우, 상기 인공신경망은, 상기 디지털 신호를 입력받아 다회의 컨벌루션 연산을 수행하는 컨벌루션 수행부를 더 포함하는 다층 퍼셉트론(Multi-Layer Perceptron) 알고리즘의 심층 컨벌루션 신경망(DCNN : Deep Convolution Neural Network)을 포함할 수 있다. 상기 출력 레이어는, 학습한 노면의 각 종류에 대한 확률값을 출력할 수 있고, 상기 인공신경망은, 소프트맥스(softmax) 를 이용하여, 가장 높은 확률을 가지는 노면의 종류를 결정하여 출력할 수 있다.
한편, 상기 인공신경망의 구조는 상기 언급한 DCNN에 한정되지 않는다.
상기 인공신경망은, 대기 정보(온도, 습도, 기압 정보)를 전달받아 상기 컨벌루션 수행부의 입력으로도 사용할 수 있다.
또한, 상기 인공신경망은, 상기 노면으로 송신한 음파 신호를 상기 컨벌루션 수행부의 입력으로도 사용할 수 있다.
이하에서는, 본 개시의 일 실시예에 따른 노면 분류 장치가 도로 인프라에 설치되어 운용되는 구체적인 실시예에 대해서 보다 자세히 설명하기로 한다.
도 23은 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템을 설명하기 위한 도면이다. 도 23은 도 2에 도시된 도로 인프라의 구체적인 일 실시예이다.
도 23에 도시된 바와 같이, 도로(2300) 상 또는 인근에 구조물(2301)이 위치하고, 상기 구조물(2301)에는 음파센서(2310) 및 비전센서(2320)가 구비된다.
상기 음파센서(2310)는 도로(2300)에서 차량의 주행로 상에 위치하여 도로면에 수직이 되도록 상기 구조물(2301)에 구비되며, 상기 비전센서(2320)는 도로의 전체 영역이 촬영되도록 상기 구조물(2301)에 설치될 수 있다.
한편, 도 23에는 상기 음파센서(2310) 및 상기 비전센서(2320)로부터 획득한 데이터를 제어부(미도시)로 전달하기 위한 통신부(2350)가 도시되어 있다.
비전센서(2320)는 인공신경망의 발전과 함께 산업 전 분야에서 인공지능 모델과 결합한 솔루션이 확산되고 있고 사물 인식, 검출, 세그멘테이션 분야에서의 주류 기술 중 하나이다. 인공지능 기술의 발전으로 인해, 사람이 사진(이미지)으로부터 직관적으로 대상을 인식하고 영역을 구분하는 방식과 유사하게 비전센서(2320)가 동작할 수 있는 알고리즘이 실현되고 있다.
한편, 음파센서(2310)를 이용한 사물의 인식은, 음파를 이용하여 인식 대상 표면을 타격 후 반사되는 신호의 파형 분석을 통해 가능하며, 반사가 이뤄지는 대상 표면의 음향 임피던스나 표면 거칠기에 따라 반사파가 결정되는 원리를 이용한다. 즉, 음파센서(2310)는 넓은 범위의 음파 스펙트럼을 이용하면 외부 노이즈에 강인해져 노면의 블랙아이스 인식이 가능하다.
일 실시예는 넓은 영역에 대한 직관적 인식 구분이 가능한 비전센서의 장점과, 대상 객체의 물성을 이용하여 광원의 영향을 받지 않고 정확하게 대상을 인식할 수 있는 음파센서 기술을 융합하여 넓은 범위의 노면을 정확하게 인지하는 방법을 개시하는 것을 포함한다.
도 24는 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 구성도이다.
도 24에 도시된 바와 같이, 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템은, 음파센서(2410), 비전센서(2420), 인공신경망(2430), 세그멘테이션 처리부(2440), 및 제어부(2470)를 포함할 수 있다.
상기 음파센서(2410)는 도로 상태 모니터링을 위해 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신할 수 있다.
상기 비전센서(2420)는 상기 기설정된 지점을 포함하는 도로 면의 영상을 획득할 수 있다.
상기 인공신경망(2430)은 상기 음파센서(2410)가 획득한 반사된 신호를 입력 신호로 하여 학습된 노면 분류모델에 기반하여 상기 기설정된 지점의 노면 상태를 분류할 수 있다. 상기 노면 상태는 마른 노면(dry), 물(water), 블랙아이스(ice), 및 눈(snow) 등을 포함할 수 있다.
상기 세그멘테이션 처리부(2440)는 상기 비전센서(2420)에 의해 획득한 이미지를 입력 신호로 하여 세그멘테이션 모델에 기반하여 다수의 구분되는 세그멘테이션 영역으로 분할할 수 있다.
상기 제어부(2470)는 상기 음파센서(2410), 상기 비전센서(2420), 상기 인공신경망(2430) 및 상기 세그멘테이션 처리부(2440)의 동작을 제어하고, 상기 인공신경망(2430)으로부터 출력되는 상기 기설정된 지점의 노면 상태, 및 상기 세그멘테이션 처리부(2440)로부터 출력되는 다수의 세그멘테이션된 영역을 융합하여 해당 도로의 노면 상태를 결정할 수 있다.
상기 제어부(2470)가 해당 도로의 노면 상태를 결정하는 과정은 도 27을 들어 자세히 설명하기로 한다.
상기 제어부(2470)는 음파 센서가 지면을 타격한 지점을 포함하는 세그멘테이션 영역을 산출할 수 있다. 단, 본 개시에 따른 시스템의 설치 시점에서 음파센서의 지면 타격점(감지 영역)은 노면에서 상습 결빙 구간으로 설정하는 것이 바람직하며, 해당 감지 영역의 위치는 시스템에서 이미 알고 있을 수 있다.
최종적으로, 음파센서가 지면을 타격한 지점(감지 영역)을 포함하는 세그멘테이션 영역에 파형 데이터의 분류 클래스(노면 종류)를 할당한 이미지 정보를 출력할 수 있다.
도 25는 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서 균일한 노면의 상태를 인식하는 것을 예시적으로 설명하는 도면이다.
도 25를 참고하면, (a)는 비전센서(2420)의 촬영 이미지이고, 음파센서(2410)의 감지 영역(기설정된 영역)(2500)의 위치를 표시하였다. (b)는 (a)의 촬영 이미지를 세그멘테이션하여 세그멘테이션된 영역이 표시된 것을 도시하였다. (c)는 학습된 노면 분류모델(인공지능 모델)에 기반하여 노면의 종류를 분류하여 상기 감지 영역(2500)의 노면 상태를 감지한다. (d)는 (c)에서 감지한 영역(2500)이 포함되는 세그멘테이션 영역을 (b)의 세그멘테이션 영역들로부터 찾아 최종적으로 블랙 아이스 영역이 표시된 이미지를 도시하였다.
여기서, (b)는 도로의 전 영역이 하나의 세그멘테이션 영역으로 구분이 되고, 음파센서(2410)를 통해 노면을 감지한 감지 영역(2500)은 블랙아이스로 감지되었기에, 최종적으로 (d)와 같은 결과를 출력할 수 있다.
도 26은 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서 비균일한 노면의 상태를 인식하는 것을 예시적으로 설명하는 도면이다.
도 26을 참고하면, (a)는 비전센서(2420)의 촬영 이미지이고, 음파센서(2410)의 감지 영역(기설정된 영역)(2600)의 위치를 표시하였다. (b)는 (a)의 촬영 이미지를 세그멘테이션하여 세그멘테이션된 영역이 표시된 것을 도시하였다. (c)는 학습된 노면 분류모델(인공지능 모델)에 기반하여 노면의 종류를 분류하여 상기 감지 영역(300)의 노면 상태를 감지한다. (d)는 (c)에서 감지한 영역(2600)이 포함되는 세그멘테이션 영역을 (b)의 세그멘테이션 영역들로부터 찾아 최종적으로 블랙 아이스 영역이 표시된 이미지를 도시하였다.
여기서, (b)는 도로가 젖은 영역 및 마른 영역을 포함하는 다수의 세그멘테이션 영역으로 구분이 되고, 음파센서(2410)를 통해 노면을 감지한 감지 영역(2600)은 블랙아이스로 감지되었기에, 최종적으로 (d)와 같은 결과를 출력할 수 있다.
다시 말하면, 본 개시는 음파센서로 정확히 인식된 노면 정보가 비전센서로 얻은 노면 영상의 어느 부분/영역까지 해당되는지에 대한 문제를 비전센서를 통해 신뢰도 있게 확정해줄 수 있는 기술을 포함할 수 있다.
본 개시에서, 노면 감지 알고리즘의 동작은 주기적 (분, 초 단위) 또는 비-동기적인 요청에 의해 수행될 수 있으며, 노면의 미끄러움 위험 감지는 음파센서 및 비전센서를 통해 데이터를 획득하고, 음파센서에서 획득한 데이터를 기반으로 노면의 종류(상태)을 감지하고, 비전센서로 확보한 영상에서 이미지 세그멘테이션을 통하여 음파센서의 감지 부분을 포함한 영역을 검출할 수 있다.
즉, 노면에서 블랙아이스 등 위험이 감지될 경우, 세그멘테이션의 결과로 영역 분할된 이미지에서 위험 정보를 결합하여 관리자(관제 서버)에게 노면 위험 구간에 대한 알림을 전송하는 형식으로 활용할 수 있다.
도 27은 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서 음파센서의 감지 영역이 어떤 세그멘테이션 영역인지 찾는 방법을 설명하기 위한 도면이다.
제어부는 인공신경망으로부터 출력되는 상기 기설정된 지점의 노면 상태, 및 상기 세그멘테이션 처리부(2440)로부터 출력되는 다수의 세그멘테이션된 영역을 융합하여 해당 도로의 노면 상태를 결정할 수 있다.
상기 제어부는, 상기 각 세그멘테이션된 영역의 중점의 위치를 계산하고, 각 세그멘테이션된 영역에 포함되는 다수의 선분(각 세그멘테이션된 영역을 형성하는 다수의 선분)에 대하여 직선의 방정식을 계산하고, 상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 해당 영역의 중점과 상기 다수의 선분 각각에 대한 제1 상대적 양음관계를 판단하고, 상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 상기 기설정된 지점과 상기 다수의 선분 각각에 대한 제2 상대적 양음관계를 판단하고, 상기 제2 상대적 양음관계와 상기 제1 상대적 양음관계가 일치하는 세그멘테이션 영역을 상기 기설정된 지점이 포함되는 영역으로 결정할 수 있다.
도 27을 참고하여 상세하게 설명하면, 입력 RGB 이미지가 세그멘테이션 처리된 이후 다수의 영역으로 분할되어 있는데, 그 중 A영역과 B영역이 도면과 같이 나뉘어 있다고 가정한다.
A영역의 중점은 "2701"로 표시하였고, B영역의 중점은 "2702"로 표시하였으며, 음파센서의 감지 영역(기설정된 지점)은 "2700"으로 표시하였다.
도 27에서 양음관계는 이미지의 제일 왼쪽 상부의 점(0,0)을 기준으로 오른쪽과 아래쪽이 (+) 방향이고, 왼쪽과 위쪽이 (-) 방향이라고 하기로 한다.
A 영역은 오각형으로 형성되어 있고, 선분 14, 45, 56, 67, 및 71로 이루어진다.
A영역의 중점(2701)과 A영역의 각 선분 14, 45, 56, 67, 및 71에 대한 양음관계는, 각각 (-), (-), (-), (+), (+)가 된다.
B 영역은 사각형으로 형성되어 있고, 선분 12, 23, 34, 및 41로 이루어진다.
B영역의 중점(2702)과 B영역의 각 선분 12, 23, 34, 및 41에 대한 양음관계는, 각각 (+), (-), (-), (+)가 된다.
이때, 음파센서의 감지 영역(기설정된 지점)(2700)과 A영역의 각 선분 14, 45, 56, 67, 및 71에 대한 양음관계는, 각각 (+), (-), (-), (+), (+)가 되고, B영역의 각 선분 12, 23, 34, 및 41에 대한 양음관계는, 각각 (+), (-), (-), (+)가 된다.
따라서, 음파센서의 감지 영역(기설정된 지점)(2700)은 B영역에 포함된다.
도 28은 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 인공신경망의 일 예를 설명하기 위한 도면이다.
도 28을 참고하면, 상기 인공신경망은, 1D CNN (Conventional Neural Network) 또는 ANN (Artificial Neural Network) 중 어느 하나로 구현된 인공지능 모델로 형성될 수 있다.
상기 인공신경망의 입력은 음파센서를 통해 수신한 반사파이며, 출력은 음파센서의 기설정된 감지 영역의 노면의 종류가 될 수 있다.
도 29는 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 세그멘테이션처리부의 일 예를 설명하기 위한 도면이다.
도 29를 참고하면, 상기 세그멘테이션 처리부는, 오토 인코더(Auto-Encoder) 또는 유넷(U-Net)으로 구현되는 합성곱인공신경망(CNN : Conventional Neural Network) 기반의 이미지 세그멘테이션 모델 (image segmentation model)로 형성될 수 있다.
상기 세그멘테이션 처리부의 입력은 비전센서를 통해 획득한 RGB 이미지이며, 출력은 해당 이미지에 구분되는 영역들이 표시되는 세그멘테이션 이미지가 된다.
도 30은 본 개시에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 모니터링 방법의 일실시예 흐름도이다.
먼저, 도로 상태 모니터링을 위해 음파센서가 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신할 수 있다(3010).
이후, 상기 음파센서가 획득한 반사된 신호를 입력 신호로 하여 학습된 노면 분류모델에 기반하여 상기 기설정된 지점의 노면 상태를 분류할 수 있다(3020).
한편, 상기 음파센서가 음파를 송신한 후 반사된 신호를 수신하는 동안, 비전센서가 상기 기설정된 지점을 포함하는 도로 면의 영상을 획득할 수 있다(3030).
이후, 상기 비전센서에 의해 획득한 이미지를 세그멘테이션 모델에 기반하여 다수의 구분되는 세그멘테이션 영역으로 분할할 수 있다(3040).
이후, 상기 기설정된 지점의 노면 상태 및 상기 다수의 구분되는 세그멘테이션된 영역을 융합하여 노면의 상태를 분석할 수 있다(3050).
이후, 상기 융합분석단계(3050)의 분석에 따라 해당 도로의 노면 상태를 결정할 수 있다(3060).
이후, 해당 도로의 노면 상태에서 위험이 감지되었는지 판단할 수 있다(3070).
상기 위험판단단계(3070)의 판단 결과, 해당 도로의 노면 상태에서 위험이 감지되지 않음에 따라 주기적으로 "3010" 및 "3030"단계로 진행할 수 있다.
한편, 상기 위험판단단계(3070)의 판단 결과, 해당 도로의 노면 상태에서 위험이 감지됨에 따라 관제서버로 위험을 알리는 신호를 전달할 수 있다(3080).
한편, 상기 위험알림단계(3080)에서는, 상기 다수의 구분되는 세그멘테이션된 영역을 포함하는 이미지에 위험 영역이 표시되어 상기 관제서버로 전송할 수 있다.
도 31은 도 30의 융합분석단계(3050)의 일실시예 상세 흐름도이다.
상기 융합분석단계(3050)는, 아래의 단계를 수행하는 것을 포함할 수 있다.
먼저, 세그멘테이션된 이미지에서, 상기 각 세그멘테이션된 영역의 중점의 위치를 계산한다(3051).
이후, 각 세그멘테이션된 영역에 포함되는 다수의 선분(각 세그멘테이션된 영역을 형성하는 다수의 선분)에 대하여 직선의 방정식을 계산한다(3052).
이후, 상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 해당 영역의 중점과 상기 다수의 선분 각각에 대한 제1 상대적 양음관계를 판단한다(3053).
이후, 상기 각 세그멘테이션된 영역에 대하여, 상기 직선의 방정식을 이용하여 상기 기설정된 지점과 상기 다수의 선분 각각에 대한 제2 상대적 양음관계를 판단한다(3054).
이후, 상기 제2 상대적 양음관계와 상기 제1 상대적 양음관계가 일치하는 세그멘테이션 영역을 상기 기설정된 지점이 포함되는 영역으로 결정한다(3055).
도 32는 본 개시의 또 다른 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템의 구성도이다.
도 32에 도시된 바와 같이, 본 개시의 일 실시예에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템은, 음파센서(3210), 비전센서(3220), 제1 특징 추출부(3281), 제2 특징 추출부(3282). 조합 인공신경망(joint classifier)(3290), 및 제어부(3270)를 포함할 수 있다.
상기 음파센서(3210)는 도로 상태 모니터링을 위해 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신할 수 있다.
상기 비전센서(3220)는 상기 기설정된 지점을 포함하는 도로 면의 이미지를 획득할 수 있다.
상기 제1 특징 추출부(3281)는 상기 음파센서(3210)가 획득한 반사된 신호로부터 제1 특징을 추출할 수 있다.
상기 제2 특징 추출부(3282)는 상기 비전센서(3220)에 의해 획득한 이미지로부터 제2 특징을 추출할 수 있다.
상기 조합 인공신경망(3290)은 상기 제1 특징 및 제2 특징을 입력으로 하고 상기 음파센서(3210)가 획득한 신호 및 상기 비전센서(3220)에 의해 획득한 이미지로부터 추출된 특징으로부터 학습된 노면 데이터조합분류모델에 기반하여 해당 도로의 노면 상태를 분류할 수 있다. 상기 노면 상태는 마른 노면(dry), 물(water), 블랙아이스(ice), 및 눈(snow) 등을 포함할 수 있다.
상기 제어부(3270)는 상기 음파센서(3210), 상기 비전센서(3220), 상기 제1 특징 추출부(3281), 상기 제2 특징 추출부(3282), 및 상기 조합 인공신경망(3290)의 동작을 제어할 수 있다.
상기 조합 인공신경망(3290)에서, 상기 반사된 신호로부터 추출한 상기 제1 특징 및 상기 이미지로부터 추출된 상기 제2 특징은 각각 별도의 가중치를 두는 분류모델(데이터조합분류모델)에 의해 학습 및 분류될 수 있다.
상기 반사된 신호로부터 추출한 상기 제1 특징 및 상기 이미지로부터 추출된 상기 제2 특징값은 상관관계(Correspondence)를 이용하여 이미지 데이터와 음파 데이터의 입력 조합으로 물체(노면 종류) 분류를 학습할 수 있다. 또한, 데이터의 특성을 분석하여, 이미지 데이터 기반 분류기의 가중치 및 영향력과 음파 데이터 기반 분류기의 가중치 및 영향력을 조정하여 최종 의사결정(예측)을 할 수 있도록 훈련될 수 있다.
도 33은 본 개시에 따른 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템에서의 모니터링 방법의 다른 실시예 흐름도이다.
먼저, 도로 상태 모니터링을 위해 음파센서가 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신할 수 있다(3310).
이후, 상기 반사된 신호의 제1 특징을 추출할 수 있다(3320).
한편, 상기 음파센서가 음파를 송신한 후 반사된 신호를 수신하는 동안, 비전센서가가 상기 기설정된 지점을 포함하는 도로 면의 이미지를 획득할 수 있다(3330).
이후, 상기 이미지의 제2 특징을 추출할 수 있다(3340).
이후, 상기 반사된 신호로부터 추출한 상기 제1 특징 및 상기 이미지로부터 추출된 상기 제2 특징을 조합하여 학습된 분류모델에 기반하여 해당 도로의 노면 상태를 분석할 수 있다(3350).
여기서, 상기 반사된 신호로부터 추출한 상기 제1 특징 및 상기 이미지로부터 추출된 상기 제2 특징은 각각 별도의 가중치를 두는 분류모델에 의해 학습 및 분류될 수 있다.
이후, 상기 노면상태분석단계(3350)의 분석에 따라 해당 도로의 노면 상태를 결정할 수 있다(3360).
이후, 해당 도로의 노면 상태에서 위험이 감지되었는지 판단할 수 있다(3370).
상기 위험판단단계(3370)의 판단 결과, 해당 도로의 노면 상태에서 위험이 감지되지 않음에 따라 주기적으로 "3310" 및 "3330"단계로 진행할 수 있다.
한편, 상기 위험판단단계(3370)의 판단 결과, 해당 도로의 노면 상태에서 위험이 감지됨에 따라 관제서버로 위험을 알리는 신호를 전달할 수 있다(3380).
한편, 상기 위험알림단계(3380)에서는, 상기 다수의 구분되는 세그멘테이션된 영역을 포함하는 이미지에 위험 영역이 표시되어 상기 관제서버로 전송될 수 있다.
이하에서는, 본 개시의 일 실시예에 따른 노면 관리 장치의 일 예로 열선 장치 또는 염수 분사 장치를 제어하는 구체적인 실시예에 대해서 보다 자세히 설명하기로 한다.
도 34는 본 개시의 일 실시예에 따른 도로의 열선 장치의 제어 시스템의 동작을 설명하기 위한 도면이다. 도 34는 도 2에 도시된 도로 인프라의 구체적인 일 실시예이다.
도 34에 도시된 바와 같이, 본 개시의 일 실시예에 따른 도로의 열선 장치의 제어 시스템은, 도로 상에 구조물(3401)이 위치하고, 상기 구조물(3401)은 음파센서(3410) 및 통신부(3420) 등을 포함할 수 있고, 음파센서(3410)의 감지 데이터에 기반하여 제어 서버(3440)의 제어에 따라 결빙 예방 장치(3400)에서 열선(3470)을 제어하는 자동 제어함(3460)이 제어될 수 있다.
상기 음파센서(3410)는 도로에서 차량의 주행로 상에 위치하여 도로면에 수직이 되도록 상기 구조물(3401)에 설치될 수 있으나, 이에 제한되는 것은 아니다.
상기 구조물(3401)은 가로등과 같이 도로 상에 음파센서(3410)를 설치할 수 있는 것을 의미한다.
상기 음파센서(3410)는 도로 상태 감지를 위해 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신할 수 있다.
한편, 상기 통신부(3420)는 상기 음파센서(3410)를 통해 획득한 데이터를 제어 서버(3440)로 전달할 수 있다.
또한, 상기 제어 서버(3440)는 상기 음파센서(3410)의 고장 여부(이상)를 감지하면 관리자 단말기(3450)로 알림을 전달할 수 있다.
결빙 예방 장치 중, 열선 방식에서는 열선을 필요한 시간보다 과도하게 작동시켜서 아스팔트에 화재가 발생하는 문제가 발생할 수 있어 열선을 얼마나 작동시켜야 하는지가 중요하다.
본 개시에서는, 열선 가열로 인한 노면의 온도 변화를 음파센서로 감지하여 결빙 예방 장치를 정밀하게 제어하는 것이 가능하다.
구체적으로는, 다양한 온도가 적용된 노면 환경에서 축적된 음파 센싱 데이터를 기반으로 학습된 인공지능 모델을 생성하고, 인공지능 모델을 기반으로 획득한 음파센서의 파형을 분석하여 노면의 온도 변화를 감지하여 열선 장치의 동작을 자동으로 제어하는 것이 가능하다.
예를 들어, 음파 센서의 파형 분석을 통해 노면이 건조한지, 얼었는지 파악 후 열선 가동을 시작하여, 음파 센서 출력상 노면 온도가 4도 이상 유지될 경우, 즉 온도가 물이 어는 점 이상인 경우 열선의 가동을 중지하도록 설정될 수 있다.
또한, 본 개시에 따르면, 염수분사 장치의 동작 시 염수가 노면에 얼마나 분사되었는지 감지할 수 있다.
구체적으로는, 염수 분사정도가 다양하게 분포된 노면 환경에서 축적된 음파 센싱 데이터를 기반으로 학습된 인공지능 모델을 생성하고, 인공지능 모델 기반으로 획득한 음파센서의 파형을 분석하여 노면에 염수가 분사된(분포된) 정도(분사정도)를 파악할 수 있다. 염수가 노면에 기설정 범위 이상 분포하게 되는 경우 염수분사를 중단하도록 설정될 수 있다.
본 개시는, 설치/운영 중인 도로 열선 장치 또는 염수분사 장치가 적시에 작동될 수 있는 노면 감지 및 연동 제어 기술에 관한 것으로 종래의 노면 표면에 센서 등을 장착하는 온/습도 센서로 노면 정보를 획득하는 방식이 아닌 음파 센서 기반으로 노면 상태 인식 및 융설 조건을 판별하여 상기 열선 장치 또는 염수분사 장치의 동작을 정확하게 제어할 수 있다.
기존의 융설장비 모니터링/제어 시스템에 큰 수정없이 플러그-인(Plug-in) 방식으로 연동할 수 있고, 기존의 융설 시스템보다 더 정확한 노면 위험 알림을 기반으로 융설 장비의 운영 효율을 높일 수 있는 서비스를 제공할 수 있다.
융설 실시 여부를 판단하는 알고리즘은 제어 서버(서비스 서버)(3440) 내 구축하거나, 음파센서(3410)와 함께 구비되는 제어부(MCU)에 구축될 수 있으며, 통신부를 통해 결빙 예방 장치(3400)의 자동 제어함(3460)으로 전달하는 형태가 될 수도 있다.
노면 상태 감지는 음파센서의 고장 등의 이유로 음파센서의 복구가 필요한 시점까지 주기적으로 반복 수행된다. 음파센서(3410)에서 반사파(센서 값)를 획득한 후, 통신부를 통해 제어 서버(3440)(서비스 서버)로 전달되면, 센서 상태가 정상적이라고 할 때, 상기 제어 서버(3440)에서는 해당 반사파를 빅데이터 기반의 인공지능 모델을 이용하여 분석하여 현재 융설 작업이 필요한지 여부를 판단하고, 해당 결빙 예방 장치의 가동 여부를 제어한다.
한편, 전달된 센서 값을 통해 음파센서의 이상 유무를 판단하고, 센서 상태가 비정상적일 때, 결빙 예방 장치(3400)의 자동 제어함(3460)에 작동 정지 명령을 전달하고, 관리자 단말기(3450)로 이상 발생에 대한 푸시 알람을 전송하며 관제 서버(미도시)에는 고장에 의한 작동 정지 이력을 전송한다.
도 35는 본 개시의 일 실시예에 따른 도로의 결빙 예방 장치의 제어 시스템의 구성도이다. 도 35의 제어 시스템은 본 개시의 실시예에 따른 노면 관리 장치의 구체적인 일 예이다.
도 35에 도시된 바와 같이, 본 개시의 일 실시예에 따른 도로의 결빙 예방 장치의 제어 시스템은, 음파센서(3510), 제어 서버(3540), 통신부(3520), 및 결빙 예방 장치(3500)를 포함할 수 있다.
상기 음파센서(3510)는 도로 상태 감지를 위해 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신할 수 있다.
상기 제어 서버(3540)는 상기 음파센서(3510)가 획득한 반사된 신호를 입력 신호로 하여 학습된 인공지능 분석 모델에 기반하여 상기 기설정된 지점의 노면 상태 데이터를 감지하고, 상기 기설정된 지점의 노면 상태 데이터에 따라 상기 결빙 예방 장치(3500)의 동작 여부를 제어하는 신호를 생성할 수 있다.
상기 노면 상태 데이터는, 기상 상태, 노면의 종류, 노면의 온도, 및 염분 분사량(분사정도, 분포) 등을 포함할 수 있다.
상기 통신부(3520)는 상기 음파센서(3510)가 획득한 반사된 신호를 상기 제어 서버(3540)로 전달할 수 있다.
상기 결빙 예방 장치(3500)는 상기 제어 서버(3540)에 의해 제어되어 상기 도로의 결빙을 예방하기 위한 동작을 수행한다. 상기 결빙 예방 장치(3500)는 열선 장치 또는 염수분사 장치 중 적어도 하나 이상을 포함할 수 있다.
상세하게는, 상기 제어 서버(3540)는, 기상 상태가 "비"또는 "눈"이고, 상기 분류된 노면 종류가 "젖은 도로" 또는 "눈이 쌓인 도로"또는 "언 도로"이고, 상기 감지한 노면의 온도가 섭씨 4도 미만인 경우에 상기 열선 장치를 가동하는 제어 신호를 생성하고, 상기 열선 장치가 가동된 이후, 상기 감지한 노면의 온도가 섭씨 4도 이상인 경우에 상기 열선 장치의 동작을 정지하는 제어 신호를 생성할 수 있다.
한편, 상기 제어 서버(3540)는, 상기 기상 상태가 "비"또는 "눈"이고, 상기 분류된 노면 종류가 "젖은 도로" 또는 "눈이 쌓인 도로"또는 "언 도로"이고, 상기 감지한 노면의 온도가 섭씨 4도 미만인 경우에 상기 염수분사 장치를 가동하는 제어 신호를 생성하고, 상기 염수분사 장치가 가동된 이후, 상기 감지한 염수의 분사량이 80% 이상인 경우에 상기 염수분사 장치의 동작을 정지하는 제어 신호를 생성할 수 있다.
한편, 상기 제어 서버(3540)는, 상기 음파센서(3510)의 상태에 이상 있음이 감지됨에 따라, 관리자 단말기(3550)로 알림 메시지를 전달하고, 관제서버(3580)로 상기 음파센서(3510)의 상태 알림 신호를 전달할 수 있다.
도 36은 본 개시의 다른 실시예에 따른 도로의 결빙 예방 장치의 제어 시스템의 구성도이다.
도 36에 도시된 바와 같이, 본 개시의 일 실시예에 따른 도로의 결빙 예방 장치의 제어 시스템은, 음파센서(3610), 제어부(3630), 통신부(3620), 및 결빙 예방 장치(3600)를 포함한다.
상기 음파센서(3610)는 도로 상태 감지를 위해 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신할 수 있다.
상기 제어부(3630)는 상기 음파센서(3610)가 획득한 반사된 신호를 입력 신호로 하여 학습된 인공지능 분석 모델에 기반하여 상기 기설정된 지점의 노면 상태 데이터를 감지하고, 상기 기설정된 지점의 노면 상태 데이터에 따라 상기 결빙 예방 장치(3600)의 동작 여부를 제어하는 신호를 생성할 수 있다.
상기 노면 상태 데이터는, 기상 상태, 노면의 종류, 노면의 온도, 및 염분 분사량(분사정도, 분포) 등을 포함할 수 있다.
상기 통신부(3620)는 상기 제어부(3630)가 생성한 제어 신호를 상기 결빙 예방 장치(3600)로 전달할 수 있다.
상기 결빙 예방 장치(3600)는 상기 제어부(3630)에 의해 제어되어 상기 도로의 결빙을 예방하기 위한 동작을 수행한다. 상기 결빙 예방 장치(3600)는 열선 장치 또는 염수분사 장치 중 적어도 하나 이상을 포함할 수 있다.
상세하게는, 상기 제어부(3630)는, 기상 상태가 "비"또는 "눈"이고, 상기 분류된 노면 종류가 "젖은 도로" 또는 "눈이 쌓인 도로"또는 "언 도로"이고, 상기 감지한 노면의 온도가 섭씨 4도 미만인 경우에 상기 열선 장치를 가동하는 제어 신호를 생성하고, 상기 열선 장치가 가동된 이후, 상기 감지한 노면의 온도가 섭씨 4도 이상인 경우에 상기 열선 장치의 동작을 정지하는 제어 신호를 생성할 수 있다.
한편, 상기 제어부(3630)는, 상기 기상 상태가 "비"또는 "눈"이고, 상기 분류된 노면 종류가 "젖은 도로" 또는 "눈이 쌓인 도로"또는 "언 도로"이고, 상기 감지한 노면의 온도가 섭씨 4도 미만인 경우에 상기 염수분사 장치를 가동하는 제어 신호를 생성하고, 상기 염수분사 장치가 가동된 이후, 상기 감지한 염수의 분사량이 80% 이상인 경우에 상기 염수분사 장치의 동작을 정지하는 제어 신호를 생성할 수 있다.
한편, 상기 제어부(3630)는, 상기 음파센서(3610)의 상태에 이상 있음이 감지됨에 따라, 관리자 단말기(3650)로 알림 메시지를 전달하고, 관제서버(3680)로 상기 음파센서(3610)의 상태 알림 신호를 전달할 수 있다.
도 37a 내지 37c는 본 개시의 일 실시예에 따른 도로의 결빙 예방 장치의 제어 시스템에서 사용되는 인공지능 분석 모델을 설명하기 위한 도면이다.
상기 인공지능 분석 모델은, 음파센서가 획득한 반사된 신호에 기반하여 기상 상태를 분류하는 기상상태 분류 모델, 및 음파센서가 획득한 반사된 신호에 기반하여 노면의 종류를 분류하는 노면 종류 분류 모델을 포함할 수 있다.
결빙 예방 장치가 열선 장치인 경우, 상기 인공지능 분석 모델은, 상기 음파센서가 획득한 반사된 신호와 노면의 온도를 함께 학습시켜 상기 음파센서가 획득한 반사된 신호에 기반하여 해당하는 노면의 온도를 출력하는 노면 온도 회귀 모델을 더 포함할 수 있다.
상기 결빙 예방 장치가 상기 염수분사 장치인 경우, 상기 인공지능 분석 모델은, 상기 음파센서가 획득한 반사된 신호와 노면의 온도를 함께 학습시켜 상기 음파센서가 획득한 반사된 신호에 기반하여 해당하는 노면의 온도를 출력하는 노면 온도 회귀 모델, 및 상기 음파센서가 획득한 반사된 신호와 염수의 분사량(분포정도)를 함께 학습시켜 상기 음파센서가 획득한 반사된 신호에 기반하여 해당하는 염수의 분사량(분포정도)을 출력하는 염수 분사량 회귀 모델을 더 포함할 수 있다.
즉, 본 개시에 따른 인공지능 분석 모델은 기본적으로 기상상태 분류 모델, 노면 종류 분류 모델 및 노면 온도 회귀 모델을 포함하고 있으며, 상기 결빙 예방 장치가 상기 염수분사 장치를 포함하는 경우, 염수 분사량 회귀 모델을 더 포함할 수 있다.
도 37a는 노면 종류 분류 모델의 구조를 도시하였으며, 상기 노면 종류 분류 모델은 음파센서의 획득신호(반사파)를 일정시간 동안 총 T회 샘플링하고, 해당하는 노면의 종류 정보를 함께 학습시켜 구성한다.
예를 들어, 1초 동안 1ms 단위로 샘플링된 데이터 1000개 (x1, x2, ..., x1000)과 해당하는 노면의 종류 정보를 학습한다.
도 37a에 도시된 바와 같이, 음파센서의 획득신호(반사파)를 입력받아 해당하는 노면의 종류를 마른 도로(dry), 젖은 도로(wet), 언 도로(iced), 및 눈이 쌓인 도로(snow) 등의 클래스로 분류할 수 있다.
한편, 도면에는 도시하지 않았으나, 상기 음파센서가 획득한 반사된 신호에 기반하여 기상 상태를 분류하는 기상상태 분류 모델도 더 포함할 수 있으며, 이 또한, 상기 음파센서의 획득신호 및 기상 정보를 함께 학습시켜 구성한다.
도 37b는 열선 장치를 제어하기 위하여, 음파센서가 획득한 반사된 신호에 기반하여 해당하는 노면의 온도를 출력하는 노면 온도 회귀 모델을 설명하기 위한 도면이고, 도 37c는 염수제어 장치를 제어하기 위하여, 음파센서가 획득한 반사된 신호에 기반하여 해당하는 염수의 분포량(분포정도)(%)를 출력하는 염수 분사량 회귀 모델을 설명하기 위한 도면이다.
도 37b에서, 음파센서의 획득데이터(X)와 노면의 온도와의 관계가 2차원(평면) 그래프가 아니라, X 는 여러 값들의 집합인 초평면(hyperplane)의 개념으로 형성되는 데이터셋(dataset)이다.
이에 따라, 학습된 노면 온도 회귀 모델은, 상기 음파센서가 획득한 반사된 신호에 기반하여 해당하는 노면의 온도를 출력한다.
도 37c도 도 37b와 마찬가지로, 음파센서의 획득데이터(X)와 염수 분사량(분포정도)과의 관계가 2차원(평면) 그래프가 아니라, X 는 여러 값들의 집합인 초평면(hyperplane)의 개념으로 형성되는 데이터셋(dataset)이다.
이에 따라, 학습된 염수 분사량 회귀 모델은, 상기 음파센서가 획득한 반사된 신호에 기반하여 해당하는 염수의 분사량(분포정도)을 출력한다.
도 38은 본 개시에 따른 도로의 결빙 예방 장치의 제어 방법의 일실시예 흐름도이다.
먼저, 음파센서의 측정 데이터를 수집한다(3810).
상기 수집한 데이터를 기반으로 인공지능 분석 모델을 생성한다(3820).
상기 인공지능분석모델생성단계(3820)는, 상기 음파센서가 획득한 반사된 신호에 기반하여 기상 상태를 분류하는 기상상태 분류 모델을 생성하고, 상기 음파센서가 획득한 반사된 신호에 기반하여 노면의 종류를 분류하는 노면 종류 분류 모델을 생성하고, 상기 음파센서가 획득한 반사된 신호와 노면의 온도를 함께 학습시켜 상기 음파센서가 획득한 반사된 신호에 기반하여 해당하는 노면의 온도를 출력하는 노면 온도 회귀 모델을 생성한다.
한편, 상기 결빙 예방 장치가 염수분사 장치인 경우, 상기 인공지능분석모델생성단계(3820)는, 상기 음파센서가 획득한 반사된 신호와 염수의 분사량(분포정도)를 함께 학습시켜 상기 음파센서가 획득한 반사된 신호에 기반하여 해당하는 염수의 분사량(분포정도)을 출력하는 염수 분사량 회귀 모델을 생성한다.
즉, 본 개시에 따른 인공지능 분석 모델은 기본적으로 기상상태 분류 모델, 노면 종류 분류 모델 및 노면 온도 회귀 모델을 생성하여 포함하고 있으며, 상기 결빙 예방 장치가 상기 염수분사 장치를 포함하는 경우, 염수 분사량 회귀 모델을 더 생성한다.
물론, 상기 생성된 인공지능 분석 모델들은 제어 서버 또는 제어부에 탑재되어야 한다.
이후, 상기 음파센서를 이용하여 도로의 상태 모니터링을 위해 기설정된 지점으로 음파 신호를 송신한 후, 반사된 신호를 수신한다(3830).
이후, 상기 제어 서버 또는 상기 제어부에서, 전달받은 상기 음파센서가 획득한 반사된 신호를 입력 신호로 하여 상기 인공지능 분석 모델에 기반하여 상기 기설정된 지점의 노면 상태 데이터를 감지한다.
상기 노면상태데이터감지단계(3840)는, 기상 상태, 노면의 종류, 노면의 온도, 및 염분 분사량(분포정도) 등을 감지한다.
이후, 상기 제어 서버 또는 상기 제어부에서, 상기 노면 상태 데이터에 기반하여 상기 결빙 예방 장치의 동작 여부를 제어하는 제어 신호를 생성한다(3850).
이후, 상기 제어 서버 또는 상기 제어부에서, 상기 음파센서의 상태에 이상 있음이 감지됨에 따라, 관리자 단말기로 알림 메시지를 전달하고, 관제서버로 상기 음파센서의 상태 알림 신호를 전달한다(3860).
도 39는 본 개시에 따른 도로의 결빙 예방 장치가 열선 장치인 경우, 도 38의 제어신호생성단계(3850)의 일실시예 상세 흐름도이다.
결빙 예방 장치가 열선 장치인 경우, 상기 제어신호생성단계(3850)는, 먼저, 감지한 기상 상태가 "비(rain)"또는 "눈(snow)"인지 판단한다(3910).
상기 판단단계(3910)의 판단 결과, 기상 상태가 "비(rain)"또는 "눈(snow)"이 아니면, "3840"단계로 진행하여 노면 상태 데이터를 감지한다.
한편, 상기 판단단계(3910)의 판단 결과, 기상 상태가 "비"또는 "눈"이면, 분류된 노면 종류가 "젖은 도로(wet)" 또는"눈이 쌓인 도로(snow)"또는 "언 도로(iced)"인지 판단한다(3920).
상기 판단단계(3920)의 판단 결과, 기상 상태가 "비"또는 "눈"이면, 분류된 노면 종류가 "젖은 도로(wet)" 또는"눈이 쌓인 도로(snow)"또는 "언 도로(iced)"가 아니면, "3840"단계로 진행하여 노면 상태 데이터를 감지한다.
한편, 상기 판단단계(3920)의 판단 결과, 기상 상태가 "비"또는 "눈"이면, 분류된 노면 종류가 "젖은 도로(wet)" 또는"눈이 쌓인 도로(snow)"또는 "언 도로(iced)"이면, 감지한 노면의 온도가 섭씨 4도 미만인지 판단한다(3930).
상기 판단단계(3930)의 판단 결과, 노면의 온도가 섭씨 4도 미만이 아니면, "S540"단계로 진행하여 노면 상태 데이터를 감지한다.
한편, 판단단계(3930)의 판단 결과, 노면의 온도가 섭씨 4도 미만이면, 열선 장치를 가동하는 제어 신호를 생성한다(3940).
이후, 노면 상태 데이터 감지 단계(3940)로 진행하여, 노면 상태 데이터를 감지한다.
상기 열선 장치가 가동된 이후, 상기 감지한 노면의 온도가 섭씨 4도 이상인지 판단한다(3950).
상기 판단단계(3950)의 판단 결과, 노면의 온도가 섭씨 4도 이상이 아니면, "S540"단계로 진행하여 노면 상태 데이터를 감지한다.
한편, 상기 판단단계(3950)의 판단 결과, 노면의 온도가 섭씨 4도 이상이면, 열선 장치의 동작을 정지하는 제어 신호를 생성한다(3960).
이후, 노면 상태 데이터 감지단계(3840)로 진행하여 노면 상태 데이터를 감지한다.
즉, 상기 기상 상태가 "비"또는 "눈"이고, 상기 분류된 노면 종류가 "젖은 도로"또는 "눈이 쌓인 도로"또는 "언 도로"이고, 상기 감지한 노면의 온도가 섭씨 4도 미만인 경우에, 상기 열선 장치를 가동하고, 상기 열선 장치가 가동된 이후에는, 상기 감지한 노면의 온도가 섭씨 4도 이상인 경우에 상기 열선 장치의 동작을 정지한다.
도 40은 본 개시에 따른 도로의 결빙 예방 장치가 염수분사 장치인 경우, 도 38의 제어신호생성단계(3850)의 일실시예 상세 흐름도이다.
도로의 결빙 예방 장치가 염수분사 장치인 경우, 상기 제어신호생성단계(3850)는, 먼저, 감지한 기상 상태가 "비(rain)"또는 "눈(snow)"인지 판단한다(4010).
상기 판단단계(4010)의 판단 결과, 기상 상태가 "비"또는 "눈"이 아니면, "S540"단계로 진행하여 노면 상태 데이터를 감지한다.
한편, 상기 판단단계(4010)의 판단 결과, 기상 상태가 "비"또는 "눈"이면, 분류된 노면 종류가 "젖은 도로(wet)" 또는 "눈이 쌓인 도로(snow)" 또는 "언 도로(iced)"인지 판단한다(4020).
상기 판단단계(4020)의 판단 결과, 기상 상태가 "비"또는 "눈"이면, 분류된 노면 종류가 "젖은 도로(wet)" 또는 "눈이 쌓인 도로(snow)" 또는 "언 도로(iced)"가 아니면, "3840"단계로 진행하여 노면 상태 데이터를 감지한다.
한편, 상기 판단단계(4020)의 판단 결과, 기상 상태가 "비"또는 "눈"이면, 분류된 노면 종류가 "젖은 도로(wet)" 또는 "눈이 쌓인 도로(snow)" 또는 "언 도로(iced)"이면, 감지한 노면의 온도가 섭씨 4도 미만인지 판단한다(4030).
상기 판단단계(4030)의 판단 결과, 노면의 온도가 섭씨 4도 미만이 아니면, "3840"단계로 진행하여 노면 상태 데이터를 감지한다.
한편, 판단단계(4030)의 판단 결과, 노면의 온도가 섭씨 4도 미만이면, 염수분사 장치를 가동하는 제어 신호를 생성한다(4040).
이후, 노면 상태 데이터 감지 단계(3840)로 진행하여, 노면 상태 데이터를 감지한다.
상기 염수분사 장치가 가동된 이후, 염수 분사량(분사 정도)이 80% 이상인지 판단한다(4050).
상기 판단단계(4050)의 판단 결과, 염수 분사량(분사 정도)이 80% 이상이 아니면, "3840"단계로 진행하여 노면 상태 데이터를 감지한다.
한편, 상기 판단단계(4050)의 판단 결과, 염수 분사량(분사 정도)이 80% 이상이면, 염수분사 장치의 동작을 정지하는 제어 신호를 생성한다(4060).
이후, 노면 상태 데이터 감지단계(3840)로 진행하여 노면 상태 데이터를 감지한다.
즉, 상기 기상 상태가 "비"또는 "눈"이고, 상기 분류된 노면 종류가 "젖은 도로" 또는 "눈이 쌓인 도로" 또는 "언 도로"이고, 상기 감지한 노면의 온도가 섭씨 4도 미만인 경우에, 상기 염수분사 장치를 가동하고, 상기 염수분사 장치가 가동된 이후에는, 상기 감지한 염수 분사량이 80% 이상인 경우에 상기 염수분사 장치의 동작을 정지한다.
한편, 상기 염수분사 장치의 동작을 정지하도록 하는 염수 분사량(분사정도, 분포)가 80% 이상이라고 설명하였으나, 이에 한정되지 않는다.
한편, 상기 염수분사 장치의 동작을 제어하기 위하여 노면 온도 회귀 모델 및 염수 분사량 회귀 모델을 모두 함께 사용하는 것으로 예를 들었으나, 염수 분사량 회귀 모델만 사용하여 상기 염수분사 장치의 동작을 제어하는 것도 가능하다.
위에서 도로의 결빙 예방 장치로서 열선 장치 또는 염수분사 장치를 포함하는 것을 예로 들었으나, 본 개시가 이에 한정되는 것은 아니며, 열선 장치 및 염수분사 장치를 함께 구비한 시스템을 제어하는 것 역시 가능하다.
이상에서 본 개시의 실시예에 따른 방법들은, 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 및/또는 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 프로그램에 의해 구현 가능함은 물론이다.
즉, 본 개시의 실시예에 따른 방법들을 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 다시 말해, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
본 개시의 방법들을 소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치 (device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다 (configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어 (instructions)를 포함한다.
이러한 프로그램 (소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시 (flash) 메모리를 포함하는 불휘발성 (non-volatile) 메모리, 롬 (ROM: Read Only Memory), 전기적 삭제가능 프로그램가능 롬 (EEPROM: Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치 (magnetic disc storage device), 컴팩트 디스크 롬 (CD-ROM: Compact Disc-ROM), 디지털 다목적 디스크 (DVDs: Digital Versatile Discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트 (magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 프로그램은 인터넷 (Internet), 인트라넷 (Intranet), LAN (Local Area Network), WLAN (Wide LAN), 또는 SAN (Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근 (access)할 수 있는 부착 가능한 (attachable) 저장 장치 (storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
이하에서는, 본 개시의 도로 인프라를 도로에 설치하는 방법에 대해 예시적으로 설명한다. 보다 구체적으로, 이하의 설명에서 구조물은 도 2, 도 23, 및 도 34의 구조물로서, 본 개시의 구조물의 구조 및 설치 방법에 관한 것이다.
이하, 본 개시의 실시예를 도시한 도면 41 내지 49를 참고하여 구체적으로 설명하면 다음과 같다.
본 개시의 일 실시예에 따르면, 본 개시의 도로 인프라 센서 시공 구조물의 주요 구성요소인 구조물(4100)은: 도로 또는 도로의 가장자리에 세워져 설치되는 수직프레임(4110)과, 상기 수직프레임(4110)의 상부에 상기 도로의 폭방향으로 설치되는 수평프레임(4120)을 포함하여 구성되는 것으로, 일예로, "ㄱ"자 형태의 가로등이나 전광판을 설치하기 위한 "ㄷ"자 형태의 구조물 또는 하이패스IC 구조물일 수 있고, 도로의 상부에 수평프레임(4120)이 위치된다면 어떠한 구조물이어도 무방하며, 이후에 자세히 설명될 음파센서부(4200)가 상기 수평프레임(4120)의 하부에 설치되어 도로의 상부에 위치할 수 있다. 전술한 바와 같이, 본 개시의 음파센서부의 위치는 예시적인 것으로서 본 개시에 묘사된 위치로 제한되지 않는다.
본 개시의 일 실시예에 따르면, 본 개시의 도로 인프라 센서 시공 구조물의 주요 구성요소인 음파센서부(4200)는: 상기 구조물(4100)의 수평프레임(4120)의 하부에 설치되되, 상기 도로의 상부에 위치되도록 설치되고, 도로의 노면에 음파를 조사하며, 상기 도로의 노면으로부터 반사되는 음파를 수신하여 음파정보를 생성하는 것으로, 수신된 음파정보를 이후에 자세히 설명될 제어부(4300)에 전달하여 상기 제어부(4300)에서 음파정보가 주파수로 변환되어 노면의 상태를 파악할 수 있도록 한다.
이러한, 본 개시의 음파센서부(4200)는 도로의 노면으로 음파 신호를 발신한 후 반사된 음파 신호를 수신하고, 제어부(4300)의 제어에 따라 발신 신호를 출력하는 송신기와 상기 발신 신호가 임의의 노면에 반사되어 되돌아오는 반사 신호를 수신하는 수신기를 포함하여 구성될 수 있다.
본 개시의 음파센서부(4200)는 직선형태로 음파가 발신되어 반사된 음파를 수신할 수 있도록 상기 송신기와 수신기가 위치되는데, 이하에서 설명될 음파센서(4240)는 송신기와 수신기가 집적된 상태로 구성되는 것으로 표현한다.
한편, 노면의 상태를 파악하기 위한 음파를 이용한 방식은 일정한 각도로 송신기와 수신기가 고정 설치됨에 따라 도로의 노면 중 매우 좁은 면적만 상태가 파악되므로, 본 개시에서는 복수 개의 음파센서부(4200)로 구성되는 일실시예와 발신되어 반사된 음파신호를 상호 수신할 수 있는 제1송수신부재(4250)와 제2송수신부재(4260)로 구성되는 음파센서부(4200)의 다른 실시예를 통해 종래에 비해 비교적 넓은 도로의 노면 상태를 파악할 수 있어 도로의 상태를 신뢰도 높게 추정할 수 있도록 하고 있다.
구체적으로, 일실시예의 음파센서부(4200)는 상기 구조물(4100)의 수평프레임(4120)의 하부에 설치되되, 상기 도로의 폭방향으로 복수 개가 설치됨에 따라 종래에 비해 넓은 노면의 상태를 파악할 수 있어 노면의 상태 파악의 신뢰도를 향상시킬 수 있는 효과를 얻을 수 있다.
이때, 일실시예에서 설치되는 복수 개의 센서부(4200)는 도로의 노면에 조사되어 반사되는 음파의 도착시간이 모두 동일하도록 음파의 발신시간이 각각 설정되는 것을 특징으로 하는데, 이는 도로의 노면의 높이가 다를 뿐만 아니라 파손 등에 의한 변수 등에 의해 반사되는 음파의 도착시간이 모두 다를 수 있어 최초 기준이 되는 정상적인 노면 상태의 음파의 특성이 비교적 유사하게 추출되어 비교될 수 있도록 음파의 발신시간을 각각 설정하여 도착시간을 동일하게 함으로써, 노면의 상태의 파악이 빠르게 이루어질 수 있도록 하기 위함이다.
부가하여 설명하면, 음파의 발신시간을 각각 설정하여 도착시간을 동일하게 하는 이유는 음파이 발신시간과 도착시간을 이용하여 음파정보를 생성할 때, 동일한 장비의 음파센서부(4200)가 복수 개 설치되는 경우 음파의 속도가 동일하기 때문에 도로의 노면의 높이 등에 의한 변수 등에 의해 발신시간이 모두 동일하면 반사되는 음파의 도착시간이 모두 달라 각각의 음파센서부(4200)에서 생성된 음파정보를 분석해야 하나, 음파의 도착시간만을 가지고도 쉽게 음파정보를 생성할 수 있도록 하기 위해 노면의 높이 등에 의한 변수에 따라 음파의 도착시간이 모두 동일하게 각각의 음파센서부(4200)의 음파 발신시간을 조절하면 도착시간이 다른 음파정보의 차이가 빠르게 파악되어 쉽게 노면의 상태의 파악이 빠르게 이루질 수 있기 때문이다.
일예로, 노면의 높이에 따른 복수 개의 음파센서부(4200)의 음파의 발신시간을 각각 설정하여 도착시간을 동일하게 하게 되면, 노면이 일반적인 상태일 때, 음파의 도착시간이 모두 동일하고, 노면의 상태가 파손 또는 블랙아이스 등과 같은 상태일 때는 음파의 도착시간이 기설정된 음파의 도착시간과 달라 노면 전체의 상태가 다른 것을 쉽게 파악할 수 있으나, 복수 개의 음파센서부(4200) 중 일부의 음파 도착시간이 기설정된 음파의 도착시간과 다른 경우 노면의 전체 중 일부의 상태가 다른 것을 보다 빠르게 확인할 수 있게 되는 것이다.
또한, 일실시예의 복수 개의 음파센서부(4200)는 어느 하나의 음파센서부(4200)로부터 음파가 송신되어 노면에 반사되어 돌아오는 시간 즉, 음파 비행 주기를 t라고 했을 때, t/2 시간 내에 n개의 센서가 노면에 음파를 순차적으로 총 n번이상 송신하고, 나머지 t/2 시간동안 반사된 음파를 수신함으로 노면정보나 교통량 정보를 정해진 주기 내에 n배 이상 종합 도로정보를 샘플링하는 것을 특징으로 한다.
즉, 일실시예의 음파센서부(4200)는 다수의 음파센서부(4200)를 통해 보다 많은 양의 노면정보와 교통량 정보 등과 같은 음파정보를 샘플링하여 생성함으로써, 향상된 신뢰도로 노면의 상태를 파악할 수 있도록 하는 효과를 실현케 한다. 이때, 이후에 자세히 설명될 다른 실시예의 음파센서부(4200) 또한 음파를 통해 노면정보와 교통량 정보 등과 같은 음파정보를 샘플링하여 생성함은 자명할 것이다.
아울러, 일실시예의 음파센서부(4200)는 상기 구조물(4100)의 수평프레임(4120)의 하부에 상부가 결합되는 결합뭉치(4210)와, 상기 결합뭉치(4210)의 하부에 상부가 전후 및 좌우방향으로 회전가능하도록 힌지결합되는 연결봉(4220)과, 상기 연결봉(4220)의 하부말단에 결합되는 본체(4230) 및 상기 본체(4230)의 하부에 설치되는 음파센서(4240)를 포함하여 구성된다. 이때, 상기 전후방향은 도로의 길이방향을 의미하고, 좌우방향은 도로의 폭방향을 의미하며, 이후에 언급되는 전후 및 좌우방향(측방향) 또한 이와 같은 방향을 의미한다.
상기 결합뭉치(4210)는 하부에 형성되는 하부수용홈(4212)과 상기 하부수용홈(4212)의 내측에 설치되는 볼베어링을 포함하여 구성되고, 상기 연결봉(4220)은 상부말단에 상기 결합뭉치(4210)의 하부수용홈(4212)의 내측에 삽입되어 결합되는 상부구체(4224)를 포함하여 구성됨에 따라 전후 및 좌우방향으로 회전가능하도록 볼힌지형태로 결합된다.
이때, 상기 하부수용홈(4212)은 상기 연결봉(4220)의 상부구체(4224)와 대응되는 형상으로 형성됨은 자명할 것이고, 상기 연결봉(4220)은 상기 결합뭉치(4210)의 하부에 상부가 볼힌지구조로 결합되어 전후 및 좌우방향으로 회전가능하여 차량 통행 및 외부의 진동에 의해 구조물(4100)에 진동이 발생되는 경우 흔들림이 방지된다.
즉, 상기 연결봉(4220)의 하부말단에 결합되는 본체(4230)와 상기 본체(4230)의 하부에 설치되는 음파센서(4240)는 상기 연결봉(4220)의 흔들림이 방지됨에 따라 함께 흔들림이 방지되어 상기 음파센서(4240)에서 설정된 노면에 조사되는 음파가 안정적으로 조사될 수 있도록 하는 효과를 얻을 수 있다.
상기 본체(4230)는 일시시예의 음파센서부(4200)와 이후에 자세히 설명될 다른 실시예의 음파센서부(4200)에서 음파센서(4240)가 안정적으로 설치되어 이후에 자세히 설명될 제어부(4300)와 연결되어 상기 제어부(4300)에 의해 제어될 수 있도록 하고, 상기 음파센서(4240)는 앞서 설명된 바와 같이, 송신부와 수신부로 구성되어 도로의 노면에 음파를 조사한 후 반사되는 음파를 수신하여 음파정보를 생성하며, 상기 제어부(4300)에 생성된 음파정보를 전달한다.
다음으로, 다른 실시예의 음파센서부(4200)는 상기 구조물(4100)의 수평프레임(4120)의 하부 일측에 설치되어 상기 도로의 노면에 음파를 조사하거나 수신하는 제1송수신부재(4250)와, 상기 구조물(4100)의 수평프레임(4120)의 하부 타측에 설치되어 상기 도로의 노면에 음파를 조사하거나 수신하는 제2송수신부재(4260)를 포함하여 구성된다.
이때, 상기 제1송수신부재(4250)는 상기 제2송수신부재(4260)에서 도로에 조사되어 반사된 음파를 수신할 수 있는 각도로 설치되고, 상기 제2송수신부재(4260)는 상기 제1송수신부재(4250)에서 도로에 조사되어 반사된 음파를 수신할 수 있는 각도로 설치되는 것을 특징으로 한다.
즉, 다른 실시예의 음파센서부(4200)는 제1송수신부재(4250) 또는 제2송수신부재(4260) 중 어느 하나에서 노면에 음파를 발신하도록 하고, 반사된 음파를 제2송수신부재(4260) 또는 제1송수신부재(4250)가 수신하도록 함으로써, 제1송수신부재(4250) 또는 제2송수신부재(4260) 중 어느 하나의 음파송신부가 고장난 경우 다른 하나의 음파송신부를 이용하여 도로의 노면 상태를 원활하게 파악할 수 있는 효과를 실현케 한다.
아울러, 다른 실시예의 음파센서부(4200)는 상기 제1송수신부재(4250)와 제2송수신부재(4260) 중 어느 하나의 각도를 조절하고, 조절된 각도에 따라 음파를 수신할 수 있도록 제2송수신부재(4260) 또는 제1송수신부재(4250)를 이동할 수 있도록 함으로써, 종래에 비해 넓은 노면의 상태를 파악할 수 있도록 한다.
보다 상세하게 설명하면, 다른 실시예의 실시예1로, 음파센서부(4200)가 설치되기 위한 상기 구조물(4100)의 수평프레임(4120)은 하부 전방에 길이방향으로 설치되는 제1레일(4122)과, 상기 제1레일(4122)에 결합되고, 상기 제어부(4300)에 의해 제어되어 상기 제1레일(4122)을 회전시키는 회전모터(4126)를 포함하여 구성된다.
다른 실시예의 실시예1의 음파센서부(4200) 즉, 제1송수신부재(4250)와 제2송수신부재(4260)는 상기 제1레일(4122)의 일측과 타측에 설치되어 상기 제1레일(4122)의 회전에 따라 서로 반대방향으로 이동되는 결합뭉치(4210)와, 상기 결합뭉치(4210)의 하부에 상부가 전후 및 좌우방향으로 회전가능하도록 결합되는 연결봉(4220)과, 상기 연결봉(4220)의 하부말단에 결합되는 본체(4230)와, 상기 본체(4230)의 하부에 설치되고, 상기 제어부(4300)에 의해 제어되는 구동모터(4270) 및 상기 구동모터(4270)의 하부에 설치되어 상기 구동모터(4270)에 의해 상기 도로의 폭방향으로 회전되어 각도가 조절되는 음파센서(4240)를 포함하여 구성된다.
즉, 다른 실시예의 실시예1의 음파센서부(4220)는 최초 설정된 도로의 노면 구역의 음파를 수신하고, 제어부(4300)에 의해 제1송수신부재(4250)와 제2송수신부재(4260)의 각도 및 도로 폭방향 위치를 조절함으로써, 최초 설정된 도로의 노면 구역이 아닌 다른 노면 구역의 음파를 수신할 수 있도록 하여 종래에 비해 넓은 노면의 상태를 파악할 수 있어 노면의 상태 파악의 신뢰도를 향상시킬 수 있는 효과를 얻을 수 있다.
이때, 상기 제1레일(4122)과 결합뭉치(4210)의 결합관계는 상기 제1레일(4122)의 일측과 타측 외주연에 나사산의 방향이 다르게 형성되고, 상기 결합뭉치(4210)에 상기 제1레일(4122)의 일측과 타측이 관통되어 나사결합됨으로써, 상기 회전모터(4126)에 의해 회전되는 제1레일(4122)을 따라 상기 결합뭉치(4210)가 측방향 즉, 일측 또는 타측방향으로 이동되며, 상기 제1레일(4122)의 양측 외주연에 형성된 나사산을 따라 한 쌍의 결합뭉치(4210)가 서로 반대방향으로 이동된다.
아울러, 다른 실시예의 실시예2를 보다 상세하게 설명하면, 음파센서부(4200)가 설치되기 위한 상기 구조물(4100)의 수평프레임(4120)은 하부 전방에 길이방향으로 설치되는 제1레일(4122)과, 하부 후방에 길이방향으로 설치되는 제2레일(4124) 및 상기 제1레일(4122)과 제2레일(4124)에 각각 결합되고, 이후에 자세히 설명될 제어부(4300)에 의해 제어되어 상기 제1레일(4122)과 제2레일(4124)을 회전시키는 회전모터(4126)를 포함하여 구성된다.
다른 실시예의 실시예2의 음파센서부(4200) 즉, 제1송수신부재(4250)와 제2송수신부재(4260)는 상기 제1레일(4122) 또는 제2레일(4124) 중 어느 하나에 각각 설치되어 상기 제1레일(4122) 또는 제2레일(4124)의 회전에 따라 이동되는 결합뭉치(4210)와, 상기 결합뭉치(4210)의 하부에 설치되는 본체(4230)와, 상기 본체(4230)의 하부에 설치되고, 상기 제어부(4300)에 의해 제어되는 구동모터(4270) 및 상기 구동모터(4270)의 하부에 설치되어 상기 구동모터(4270)에 의해 상기 도로의 폭방향으로 회전되어 각도가 조절되는 음파센서(4240)를 포함하여 구성된다.
즉, 다른 실시예의 실시예2의 음파센서부(4200)는 다른 실시예의 실시예1과 마찬가지로, 최초 설정된 도로의 노면 구역의 음파를 수신하고, 제어부(4300)에 의해 제1송수신부재(4250)와 제2송수신부재(4260)의 각도 및 도로 폭방향 위치를 조절함으로써, 최초 설정된 도로의 노면 구역이 아닌 다른 노면 구역의 음파를 수신할 수 있도록 하여 종래에 비해 넓은 노면의 상태를 파악할 수 있어 노면의 상태 파악의 신뢰도를 향상시킬 수 있는 효과를 얻을 수 있다.
이때, 상기 제1레일(4122)과 제2레일(4124) 및 결합뭉치(4210)의 결합관계는 상기 제1레일(4122)과 제2레일(4124)의 외주연에는 나사산이 형성되고, 상기 결합뭉치(4210)에 상기 제1레일(4122)과 제2레일(4124)이 관통되어 나사결합됨으로써, 상기 회전모터(4126)에 의해 회전되는 제1레일(4122)과 제2레일(4124)을 따라 상기 결합뭉치(4210)가 측방향 즉, 일측 또는 타측방향으로 이동된다.
또한, 다른 실시예의 실시예1과 실시예2의 상기 구동모터(4270)와 음파센서(4240)의 결합관계는 작동에 따라 좌우로 회전되는 구동모터(4270)와 상기 음파센서(4240)가 기어박스(4280)를 통해 결합되고, 이후에 자세히 설명될 제어부(4300)에 의해 상기 구동모터(4270)가 제어됨으로써, 음파센서(4240)의 설치된 각도가 조절된다.
아울러, 다른 실시예의 실시예1과 실시예2의 제1송수신부재(4250)와 제2송수신부재(4260)는 앞서 설명된 일실시예의 음파센서부(4200)와 마찬가지로 상기 결합뭉치(4210)에 전후 및 좌우방향으로 회전가능하게 힌지결합되는 연결봉(4220)을 포함하여 구성될 수 있다.
보다 상세하게 설명하면, 다른 실시예의 실시예1과 실시예2의 상기 제1송수신부재(4250)와 제2송수신부재(4260)는 상기 결합뭉치(4210)의 하부에 상부가 전후 및 좌우방향으로 회전가능하도록 결합되는 연결봉(4220)을 포함하여 구성되고, 상기 제1송수신부재(4250)와 제2송수신부재(4260)의 본체(4230)는 상기 연결봉(4220)의 하부말단에 결합됨으로써, 일실시예의 음파센서부(4200)의 결합뭉치(4210)와 연결봉(4220) 및 본체의 구조와 동일한 구조를 갖는다. 이때, 상기 결합뭉치(4210)와 연결봉(4220)은 앞서 일실시예의 음파센서부(4200)에서의 구성과 동일하게 구성된다.
즉, 다른 실시예의 실시예1과 실시예2의 음파센서부(4200) 즉, 제1송수신부재(4250)와 제2송수신부재(4260) 또한 상기 연결봉(4220)에 의해 구조물(4100)에 진동이 발생되는 경우 상기 연결봉(4220)과 본체 및 음파센서(4240)의 흔들림이 방지되어 보다 안정적으로 음파의 조사 및 수신이 이루어질 수 있도록 하는 효과를 얻을 수 있다.
부가하여, 일실시예와 다른 실시예의 실시예1과 실시예2의 본체(4230)는 상부에 형성되는 상부수용홈(4234)과 상기 상부수용홈(4234)의 내측에 설치되는 볼베어링을 포함하여 구성되고, 상기 연결봉(4220)은 하부말단에 상기 본체(4230)의 상부수용홈(4234)의 내측에 삽입되어 결합되는 하부구체(4226)를 포함하여 구성될 수 있는데, 이에 따라 상기 본체(4230)가 상기 연결봉(4220)에 전후 및 좌우방향으로 회전가능하도록 볼힌지 형태로 결합되어 흔들림을 2차로 방지함으로써, 보다 안정적으로 음파센서(4240)로부터 음파의 발신 및 수신이 이루어질 수 있도록 한다.
아울러, 일실시예와 다른 실시예의 실시예1과 실시예2의 연결봉(4220)은 상부 외주연에 결합되되, 중앙이 관통되도록 결합되고, 상기 음파센서(4240)의 상부에 위치되며 중앙이 상부로 볼록한 곡면의 원형으로 형성되어 하부가 개방되는 한편, 내측면에 음파의 반사가 가능한 반사층(4222a)이 형성되는 보호부재(4222)를 포함하여 구성된다.
즉, 상기 보호부재(4222)는 상기 연결봉(4220)이 중앙을 관통하여 결합되되, 상기 음파센서(4240)의 상부에 위치되도록 결합됨으로써, 노면으로부터 반사된 음파의 신호가 음파센서(4240)로 직접 수신되지 않아도 상기 반사층(4222a)에 의해 반사되어 수신되도록 하여 최대한 많은 음파 신호를 수신할 수 있도록 한다.
이는 통상적으로 가시선(line of sight)방향으로 직진 운동하는 음파를 최대한 많은 수가 수신되도록 함으로써, 음파에 의한 측정 신뢰도를 향상시켜 결과적으로 노면의 상태의 파악의 신뢰도를 향상시킬 수 있도록 하는 효과를 얻을 수 있다.
또한, 상기 보호부재(4222)는 상기 음파센서(4240)의 상부를 보호하여 상기 음파센서(4240)가 자외선 또는 빗물에 의한 파손 또는 새의 배설물에 의해 음파의 수신이 방해되는 것을 최소화할 수 있다.
이때, 상기 보호부재(4222)가 포함되어 구성됨에 따라 상기 본체(4230)는 상부에 설치되는 복수 개의 보조수신센서(4232)를 포함하여 구성되는데, 상기 보조수신센서(4232)는 상기 보호부재(4222)의 반사층에 의해 반사된 음파가 상기 음파센서(4240)의 상부에 위치된 본체(4230)에 의해 수신되기 어렵기 때문에 반사된 음파가 보다 안정적으로 수신될 수 있도록 하는 효과를 실현케 한다.
아울러, 다른 실시예의 실시예1과 실시예2의 회전모터(4126)는 상기 제1레일(422)과 제2레일(4124)에 각각 회전로드가 연결되어 결합되고, 상기 수평프레임(4120)의 하부에 상부가 고정결합된다.
한편, 본 개시의 일실시예와 다른 실시예의 음파센서부(4200)는 도로의 노면에 음파를 조사할 때, 제어부(4300)를 통해 음파의 주파수를 기설정된 시간마다 다르게하여 조사하는 것을 특징으로 하는데, 이는 다른 주파수를 통해 노면의 상태를 보다 자세하게 판단할 수 있는 음파정보를 생성할 수 있도록 함으로써, 보다 신뢰도 높은 노면의 상태를 파악할 수 있는 효과를 얻을 수 있다.
일예로, 본 개시의 일실시예와 다른 실시예의 음파센서부(4200)는 평상시 40kHz의 음파를 노면에 조사하고, 기설정된 시간에 도달되면 제어부(4300)에 의해 80kHz의 음파를 노면에 조사하며, 다시 기설정된 시간에 도달되면 제어부(4300)에 의해 120kHz의 음파를 노면에 조사하여 보다 자세한 노면의 상태를 판단할수 있는 음파정보를 생성할 수 있도록 한다.
즉, 본 개시의 일실시예와 다른 실시예의 음파센서부(4200)는 도로의 노면에 음파를 조사할 때, 음파의 주파수를 기설정된 시간마다 다르게 조사하되, 기설정된 n회에 걸쳐 조사함으로써, 노면의 상태를 보다 자세하게 파단함으로써, 노면의 상태파악의 신뢰도를 더욱 향상시킬 수 있는 효과를 실현케 한다.
본 개시의 도로 인프라 센서 시공 구조물의 주요 구성요소인 제어부(4300)는: 상기 구조물(4100)의 수직프레임(4110)에 설치되고, 상기 음파센서부(4200)로부터 음파정보를 전달받아 중앙관리서버에 송신하는 것으로서, 구체적으로는 상기 음파센서(4240)로부터 전달받은 음파정보에서 음파 신호의 특성을 추출하고, 분류하여 상기 노면의 상태를 파악한 다음 노면의 상태를 추정하며, 추정된 노면의 상태를 중앙관리서버에 송신함으로써, 노면의 현재 상태에 의한 사고를 미연에 방지할 수 있는 조치를 취할 수 있도록 한다.
이러한 본 개시의 제어부(4300)는 앞서 설명된 음파센서(4240)를 제어할 뿐만 아니라 회전모터(4126) 및 구동모터(4270)를 기설정된 입력값으로 자동 제어하거나, 중앙관리서버의 입력정보에 의해 제어한다.
아울러, 본 개시의 제어부(4300)는 음파센서(4240)로부터 전달받은 음파정보의 도메인 상의 기설정 영역에 대하여 주파수 변환을 수행하여 주파수 도메인 신호를 획득하는 신호변환기와, 상기 주파수 도메인 신호를 입력 신호로 하여 학습된 노면분류모델에 기반하여 상기 입력 신호의 특성을 추출하고, 분류하여 노면의 상태를 추정하는 인공신경망 등을 포함하여 구성될 수 있고, 이들을 제어한다.
즉, 본 개시의 제어부(4300)는 배전반 또는 단자함에 포함되어 함께 구조물(4100)의 수직프레임(4110)에 설치될 수 있으며, 중앙관리부서버에 음파정보를 송신할 수 있도록 유선 또는 무선의 통신부를 포함하여 구성될 수 있다.
상기와 같은 본 개시의 도로 인프라 센서 시공 구조물을 시공하는 방법을 이하에 구체적으로 설명하도록 한다.
본 개시의 도로 인프라 센서 시공 구조물의 시공 방법은 도로에 구조물(4100)을 설치하는 구조물설치단계(4S10)와, 상기 구조물(4100)에 음파센서부(4200)를 설치하는 센서설치단계(4S20) 및 상기 구조물(4100)에 제어부(4300)를 설치하는 단자함설치단계(4S30)를 포함하여 구성된다.
상기 구조물설치단계(4S10)는 도로 또는 도로의 가장자리에 수직프레임(4110)을 세워 설치하고, 상기 수직프레임(4110)의 상부에 도로의 폭방향으로 상기 수평프레임(4120)을 결합하여 상기 수직프레임(4110)과 수평프레임(4120)을 포함하는 구조물(4100)을 설치한다.
이때, 상기 구조물(4100)이 도 41 내지 도 44에 도시된 가로등과 같은 "ㄱ"자 형태인 경우 상기와 같은 방법으로 설치하고, 도 45 내지 도 48에 도시된 광고판 구조물과 같은 "ㄷ"자 형태인 경우 한 쌍의 수직프레임(4110)을 세워 설치하고, 상기 한 쌍의 수직프레임(110)의 상부를 연결하는 수평프레임(4120)을 설치한다.
아울러, 앞서 설명된 다른 실시예의 음파센서부(4200)가 설치되는 경우 상기 수평프레임(4120)의 하부에는 제1레일(4122)과 제2레일(4124)이 설치되어 있음은 자명할 것이다.
한편, 본 개시의 구조물설치단계(4910)는 가로등 또는 전광판 구조물과 같은 구조물(4100)이 기존에 설치되어 있는 경우 선행되어 실시된 것이므로 생략할 수 있다.
상기 센서설치단계(4920)는 상기 구조물설치단계(4910) 이후 도로의 노면에 음파를 조사한 후 반사되는 음파를 수신하여 음파정보를 생성하는 음파센서부(4200)를 상기 구조물(4100)의 수평프레임(4120)에 설치하는 것으로, 앞서 설명된 결합뭉치(4210)를 상기 수평프레임(4120)의 하부에 설치한다.
이때, 상기 결합뭉치(4210)는 일실시예의 음파센서부(4200)가 설치되는 경우 수평프레임(4120)의 하부에 고정 결합되고, 다른 실시예의 음파센서부(4200)가 설치되는 경우 수평프레임(4120)의 하부에 설치된 제1레일(4122)과 제2레일(4124)에 각각 이동가능하게 설치된다.
상기 결합뭉치(4210)는 일실시예의 음파센서부(4200)가 설치되는 경우 하부에 결합되는 연결봉(4220)과, 상기 연결봉(4220)의 외주연에 설치되는 보호부재(4222)와, 상기 연결봉(4220)의 하부에 결합되는 본체(4230)와, 상기 본체(4230)의 상부에 결합되는 복수 개의 보조수신센서(4232) 및 상기 본체(4230)의 하부에 결합되는 음파센서(4240)를 포함하거나, 다른 실시예의 음파센서부(4200)가 설치되는 경우 하부에 결합되는 연결봉(4220)과, 상기 연결봉(4220)의 외주연에 설치되는 보호부재(4222)와, 상기 연결봉(4220)의 하부에 결합되는 본체(4230)와, 상기 본체(4230)의 상부에 결합되는 복수 개의 보조수신센서(4232)와, 상기 본체(4230)의 하부에 결합되는 구동모터(4270) 및 상기 구동모터(4270)의 하부에 결합되는 음파센서(4240)로 구성되는 음파센서부(4200)가 이미 결합되어 있는 상태이다.
상기 단자함설치단계(4930)는 상기 센서설치단계(4920) 이후 상기 구조물(4100)의 수직프레임(4110)에 상기 음파센서부(4200)와 연결되고, 중앙관리서버와 유선 또는 무선으로 연결되는 제어부(4300)를 설치하는 것으로, 상기 제어부(4300)에 의해 음파센서부(4200)가 제어될 수 있도록 전기적으로 연결된다.
이때, 상기 단자함설치단계(4930)는 일실시예의 음파센서부(4200)가 설치되는 경우 복수 개의 음파센서부(4200)에 반사되어 수신되는 음파의 도착시간이 모두 동일하도록 음파 발신시간을 각각 설정하거나, 다른 실시예의 음파센서부(4200)가 설치되는 경우 최초 설치되는 제1송수신부재(4250)와 제2송수신부재(4260)가 상호 발신된 음파를 수신할 수 있도록 설정하는 초기발신설정단계를 더 포함하여 구성된다.
결과적으로, 본 개시의 도로 인프라 센서 시스템 시공 구조물 및 이의 시공방법은 음파를 통해 접촉 없이 노면의 상태를 원활하게 파악할 수 있을 뿐만 아니라 종래에 비해 넓은 측정범위에 의한 노면의 상태 파악에 따른 노면의 상태 추정의 신뢰도를 향상시킬 수 있고, 직진성을 갖는 음파의 특성상 작은 외란에도 수신이 어려운 문제를 반사층(4222a)이 형성된 보호부재(4222)를 통해 많은 음파가 수신되도록 함으로써, 음파에 의한 측정 신뢰도를 높일 수 있으며, 차량의 통행 또는 외란에 의한 구조물(4100)의 진동 발생시 볼힌지구조를 통해 음파센서부(4200)의 흔들림을 최소화함과 동시에 구조물(4100)의 진동에 의해 발생되는 고유 주파수가 보호부재(4222)를 통해 수신되는 것을 최소화함으로써, 측정오차를 최소화하여 보다 높은 측정 신뢰도를 향상시킬 수 있는 효과를 얻을 수 있다.
상술한 본 개시의 구체적인 실시 예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편, 본 명세서와 도면에 개시된 본 개시의 실시 예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 즉 본 개시의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 개시의 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한 본 명세서에서 개시된 각각의 실시 예는 필요에 따라 서로 조합되어 운용할 수 있다. 예컨대, 본 개시의 일 실시예와 다른 일 실시예의 일부분들이 서로 조합되어 본 명세서 상에 명시되지 않은 실시예의 형태로 실시될 수 있다.
한편, 본 개시의 방법을 설명하는 도면에서 설명의 순서가 반드시 실행의 순서와 대응되지는 않으며, 선후 관계가 변경되거나 병렬적으로 실행될 수 있다.
또는, 본 개시의 방법을 설명하는 도면은 본 개시의 본질을 해치지 않는 범위 내에서 일부의 구성 요소가 생략되고 일부의 구성요소만을 포함할 수 있다.
또한, 본 개시의 방법은 개시의 본질을 해치지 않는 범위 내에서 각 실시 예에 포함된 내용의 일부 또는 전부가 조합되어 실행될 수도 있다.

Claims (15)

  1. 음파 신호를 이용하여 노면을 분류하는 전자 장치에 있어서,
    음파 신호를 송신하고 수신하도록 설정된 송수신기;
    대기 센서; 및
    상기 송수신기 및 상기 대기 센서와 전자적으로 연결된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 송수신기를 이용하여, 상기 전자 장치로부터 제1 거리만큼 이격된 대상 노면을 향해 음파 신호를 송신하고,
    상기 송수신기를 이용하여, 상기 대상 노면에 대한 상기 음파 신호의 반사 신호를 수신하고,
    상기 대기 센서를 이용하여, 상기 음파 신호와 연관된 대기 정보를 획득하고,
    상기 수신된 반사 신호에 대한 제1 데이터를 획득하고,
    상기 대기 정보에 기초하여 상기 제1 데이터를 보정함으로써, 제2 데이터를 생성하고,
    상기 제2 데이터에 기초하여 상기 제2 데이터의 주파수 도메인 정보와 관련된 제3 데이터를 획득하고,
    상기 제3 데이터 및 노면 분류 인공 신경망에 기초하여 상기 대상 노면의 종류를 판단하도록 설정되고,
    상기 노면 분류 인공 신경망은 상기 제1 거리와는 다른 제2 거리의 노면에서 반사된 음파 신호에 기초하여 생성된 주파수 도메인 데이터 셋으로 학습되는 것을 특징으로 하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 제2 데이터는, 상기 대기 정보 및 상기 제1 거리에 기초하여 상기 제1 데이터를 보정함으로써 생성되는 것을 특징으로 하는, 전자 장치.
  3. 제1 항에 있어서,
    상기 제1 거리는, 상기 음파 신호의 송신 시점 및 상기 반사 신호의 수신 시점에 기초하여 추정되는 것을 특징으로 하는, 전자 장치.
  4. 제1 항에 있어서,
    상기 제3 데이터는 상기 제2 데이터를 STFT(Short-Time Fourier Transformation) 변환하여 획득되는 것을 특징으로 하는, 전자 장치.
  5. 제1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 판단된 대상 노면의 종류에 기초하여, 상기 대상 노면에 설치된 노면 관리 장치를 제어하는 신호를 생성하도록 설정되고,
    상기 노면 관리 장치는, 열선 또는 염수 분사 장치를 포함하는 것을 특징으로 하는, 전자 장치.
  6. 제5 항에 있어서,
    상기 적어도 하나의 프로세서는,
    미리 설정된 기상 조건의 만족 여부를 판단하고,
    상기 미리 설정된 기상 조건을 만족하는 경우, 상기 노면 관리 장치를 제어하는 신호를 생성하되,
    제1 시점에서 판단된 대상 노면의 종류가 제2 시점에서 변경되었는지 여부를 확인하고,
    상기 제1 시점에서 상기 대상 노면의 종류로 판단된 제1 클래스와 상기 제2 시점에서 상기 대상 노면의 종류로 판단된 제2 클래스가 서로 다른 경우, 제3 시점에서 판단되는 대상 노면의 종류에 기초하여 상기 대상 노면에 설치된 장치에 대한 제어 신호의 생성 여부를 결정하도록 설정되는 것을 특징으로 하는, 전자 장치.
  7. 제1 항에 있어서,
    상기 대상 노면의 종류는 제1 주기마다 판단되고,
    상기 적어도 하나의 프로세서는,
    상기 대상 노면의 종류가 제1 클래스로 판단되는 경우, 상기 대상 노면의 종류를 제2 주기마다 판단되도록 설정되는 것을 특징으로 하는, 전자 장치.
  8. 제1 항에 있어서,
    상기 전자 장치는 상기 대상 노면의 온도 정보를 획득하는 IR 센서 또는 상기 대상 노면의 영상 정보를 획득하는 비전 센서 중 적어도 하나를 더 포함하고,
    상기 적어도 하나의 프로세서는, 상기 온도 정보 또는 상기 영상 정보에 더 기초하여 상기 대상 노면의 종류를 판단하도록 설정되는 것을 특징으로 하는, 전자 장치.
  9. 전자 장치에 의해 수행되는 음파 신호를 이용하여 노면을 분류하는 방법에 있어서,
    상기 전자 장치로부터 제1 거리만큼 이격된 대상 노면을 향해 음파 신호를 송신하는 단계;
    상기 대상 노면에 대한 상기 음파 신호의 반사 신호를 수신하는 단계;
    상기 음파 신호와 연관된 대기 정보를 획득하는 단계;
    상기 수신된 반사 신호에 대한 제1 데이터를 획득하는 단계;
    상기 대기 정보에 기초하여 상기 제1 데이터를 보정함으로써, 제2 데이터를 생성하는 단계;
    상기 제2 데이터에 기초하여 상기 제2 데이터의 주파수 도메인 정보와 관련된 제3 데이터를 획득하는 단계; 및
    상기 제3 데이터 및 노면 분류 인공 신경망에 기초하여 상기 대상 노면의 종류를 판단하는 단계를 포함하고,
    상기 노면 분류 인공 신경망은 상기 제1 거리와는 다른 제2 거리의 노면에서 반사된 음파 신호에 기초하여 생성된 주파수 도메인 데이터 셋으로 학습되는 것을 특징으로 하는, 방법.
  10. 제9 항에 있어서,
    상기 제2 데이터를 생성하는 단계는, 상기 대기 정보에 기초하여 보정된 상기 제1 데이터를 상기 제1 거리에 기초하여 보정하는 단계를 더 포함하는 것을 특징으로 하는, 방법.
  11. 제9 항에 있어서,
    상기 음파 신호의 송신 시점 및 상기 반사 신호의 수신 시점에 기초하여 상기 제1 거리를 추정하는 단계를 더 포함하는 것을 특징으로 하는, 방법.
  12. 제9 항에 있어서,
    상기 제3 데이터는 상기 제2 데이터를 STFT(Short-Time Fourier Transformation) 변환하여 획득되는 것을 특징으로 하는, 방법.
  13. 제9 항에 있어서,
    상기 판단된 대상 노면의 종류에 기초하여, 상기 대상 노면에 설치된 노면 관리 장치를 제어하는 신호를 생성하는 단계를 더 포함하고,
    상기 노면 관리 장치는 열선 또는 염수 분사 장치를 포함하는 것을 특징으로 하는 것을 특징으로 하는, 방법.
  14. 제13 항에 있어서,
    상기 노면 관리 장치를 제어하는 신호를 생성하는 단계는,
    미리 설정된 기상 조건의 만족 여부를 판단하는 단계;
    상기 미리 설정된 기상 조건을 만족하는 경우, 제1 시점에서 판단된 대상 노면의 종류가 제2 시점에서 변경되었는지 여부를 확인하는 단계; 및
    상기 제1 시점에서 상기 대상 노면의 종류로 판단된 제1 클래스와 상기 제2 시점에서 상기 대상 노면의 종류로 판단된 제2 클래스가 서로 다른 경우, 제3 시점에서 판단되는 대상 노면의 종류에 기초하여 상기 대상 노면에 설치된 장치에 대한 제어 신호의 생성 여부를 결정하는 단계를 포함하는 것을 특징으로 하는, 방법.
  15. 제9 항에 있어서,
    상기 대상 노면의 종류를 판단하는 단계는, 상기 대상 노면의 온도 정보 또는 상기 대상 노면의 영상 정보에 더 기초하여 상기 대상 노면의 종류를 판단하는 단계를 포함하고,
    상기 대상 노면의 종류는 제1 주기마다 판단되고,
    상기 대상 노면의 종류가 제1 클래스로 판단되는 경우, 상기 대상 노면의 종류는 제2 주기마다 판단되는 것을 특징으로 하는, 방법.
PCT/KR2022/017680 2021-11-17 2022-11-11 음파 신호를 이용하여 노면 종류를 추정하고 관리하는 장치 및 그 방법 WO2023090758A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CA3229412A CA3229412A1 (en) 2021-11-17 2022-11-11 A device and method for estimating and managing road surface types using sound signals.
CN202280076362.1A CN118265994A (zh) 2021-11-17 2022-11-11 使用声音信号估计和管理路面类型的装置和方法
EP22895965.6A EP4435706A1 (en) 2021-11-17 2022-11-11 Apparatus for estimating type of and managing road surface using sound wave signal, and method therefor
US18/439,766 US20240183117A1 (en) 2021-11-17 2024-02-13 Device and method for estimating and managing road surface types using sound signals

Applications Claiming Priority (20)

Application Number Priority Date Filing Date Title
KR10-2021-0158459 2021-11-17
KR10-2021-0158479 2021-11-17
KR1020210158459A KR102397312B1 (ko) 2021-11-17 2021-11-17 음파의 도메인 변환을 이용한 노면 종류 추정 장치 및 그 방법
KR1020210158464A KR102505159B1 (ko) 2021-11-17 2021-11-17 음파를 이용한 노면 종류 추정 장치 및 그 방법
KR10-2021-0158464 2021-11-17
KR1020210158479A KR102415195B1 (ko) 2021-11-17 2021-11-17 대기 감쇄량이 보정된 음파를 이용한 노면 종류 추정 장치 및 그 방법
KR10-2022-0089330 2022-07-20
KR1020220089331A KR102615591B1 (ko) 2022-07-20 2022-07-20 음파 신호를 이용한 도로 정보 수집 장치 및 그를 이용한 노면 관리 방법
KR1020220089330A KR20240012630A (ko) 2022-07-20 2022-07-20 복수의 음파 신호를 이용한 노면 상태 변경을 감지하는 장치 및 그 방법
KR10-2022-0089329 2022-07-20
KR1020220089329A KR20240012629A (ko) 2022-07-20 2022-07-20 음파 신호를 이용한 노면 종류 추정 장치의 송수신기 전력 제어 방법
KR10-2022-0089331 2022-07-20
KR10-2022-0089328 2022-07-20
KR1020220089328A KR102615586B1 (ko) 2022-07-20 2022-07-20 음파 신호를 이용한 노면 종류 추정 장치 및 그 방법
KR10-2022-0133405 2022-10-17
KR10-2022-0133387 2022-10-17
KR1020220133387A KR20240053377A (ko) 2022-10-17 2022-10-17 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템 및 그 방법
KR1020220133405A KR20240053386A (ko) 2022-10-17 2022-10-17 도로의 결빙 예방 장치의 제어 시스템 및 그 방법
KR1020220133397A KR20240053381A (ko) 2022-10-17 2022-10-17 도로 인프라 센서 시공 구조물 및 이의 시공방법
KR10-2022-0133397 2022-10-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/439,766 Continuation US20240183117A1 (en) 2021-11-17 2024-02-13 Device and method for estimating and managing road surface types using sound signals

Publications (1)

Publication Number Publication Date
WO2023090758A1 true WO2023090758A1 (ko) 2023-05-25

Family

ID=86397383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/017680 WO2023090758A1 (ko) 2021-11-17 2022-11-11 음파 신호를 이용하여 노면 종류를 추정하고 관리하는 장치 및 그 방법

Country Status (4)

Country Link
US (1) US20240183117A1 (ko)
EP (1) EP4435706A1 (ko)
CA (1) CA3229412A1 (ko)
WO (1) WO2023090758A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893045A (zh) * 2024-01-16 2024-04-16 北京首发公路养护工程有限公司 基于深度学习实现道路养护下的融雪效果分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140059089A (ko) * 2012-11-07 2014-05-15 현대모비스 주식회사 차량의 고속주행 적응형 초음파 센서 정보 처리 방법
KR20170069332A (ko) * 2015-12-10 2017-06-21 현대모비스 주식회사 기상 환경에 따른 초음파 센서의 신호 보정 시스템 및 그 동작 방법
KR20180037468A (ko) * 2016-10-04 2018-04-12 현대자동차주식회사 차량 데이터 기반의 노면 판단 방법
US20180265039A1 (en) * 2017-03-16 2018-09-20 Robert Bosch Gmbh Intelligent Event System and Method for a Vehicle
KR20200026146A (ko) * 2018-08-29 2020-03-10 한국과학기술원 초음파 신호를 이용한 노면 종류 추정 방법 및 장치
KR102397312B1 (ko) * 2021-11-17 2022-05-12 주식회사 모바휠 음파의 도메인 변환을 이용한 노면 종류 추정 장치 및 그 방법
KR102415195B1 (ko) * 2021-11-17 2022-06-30 주식회사 모바휠 대기 감쇄량이 보정된 음파를 이용한 노면 종류 추정 장치 및 그 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140059089A (ko) * 2012-11-07 2014-05-15 현대모비스 주식회사 차량의 고속주행 적응형 초음파 센서 정보 처리 방법
KR20170069332A (ko) * 2015-12-10 2017-06-21 현대모비스 주식회사 기상 환경에 따른 초음파 센서의 신호 보정 시스템 및 그 동작 방법
KR20180037468A (ko) * 2016-10-04 2018-04-12 현대자동차주식회사 차량 데이터 기반의 노면 판단 방법
US20180265039A1 (en) * 2017-03-16 2018-09-20 Robert Bosch Gmbh Intelligent Event System and Method for a Vehicle
KR20200026146A (ko) * 2018-08-29 2020-03-10 한국과학기술원 초음파 신호를 이용한 노면 종류 추정 방법 및 장치
KR102397312B1 (ko) * 2021-11-17 2022-05-12 주식회사 모바휠 음파의 도메인 변환을 이용한 노면 종류 추정 장치 및 그 방법
KR102415195B1 (ko) * 2021-11-17 2022-06-30 주식회사 모바휠 대기 감쇄량이 보정된 음파를 이용한 노면 종류 추정 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893045A (zh) * 2024-01-16 2024-04-16 北京首发公路养护工程有限公司 基于深度学习实现道路养护下的融雪效果分析方法
CN117893045B (zh) * 2024-01-16 2024-07-05 北京首发公路养护工程有限公司 基于深度学习实现道路养护下的融雪效果分析方法

Also Published As

Publication number Publication date
US20240183117A1 (en) 2024-06-06
EP4435706A1 (en) 2024-09-25
CA3229412A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
WO2023090758A1 (ko) 음파 신호를 이용하여 노면 종류를 추정하고 관리하는 장치 및 그 방법
WO2020246631A1 (ko) 온도 예측 모델의 생성 장치 및 시뮬레이션 환경의 제공 방법
WO2020241922A1 (ko) 차량 제어 장치
WO2018038552A1 (ko) 이동 로봇 및 그 제어방법
WO2020213750A1 (ko) 객체를 인식하는 인공 지능 장치 및 그 방법
WO2018097574A1 (ko) 이동 로봇 및 그 제어방법
WO2018139796A1 (ko) 이동 로봇 및 그의 제어 방법
WO2020050499A1 (ko) 객체 정보 획득 방법 및 이를 수행하는 장치
WO2020196962A1 (ko) 인공 지능 청소기 및 그의 동작 방법
WO2017018729A1 (ko) 차량용 레이더, 및 이를 구비하는 차량
WO2018056515A1 (ko) 차량용 카메라 장치 및 방법
WO2019151845A2 (ko) 에어컨
EP3999286A1 (en) Mobile robot and control method thereof
WO2020111880A1 (en) User authentication method and apparatus
WO2021025217A1 (ko) 인공지능 서버
WO2020184747A1 (ko) 오토 스탑 시스템을 제어하는 인공 지능 장치 및 그 방법
WO2018124403A1 (ko) 차량용 카메라 장치 및 차량
WO2017018730A1 (ko) 안테나, 차량용 레이더, 및 이를 구비하는 차량
WO2018097424A1 (ko) 차량용 통신 장치 및 차량
WO2016028021A1 (ko) 청소 로봇 및 그 제어 방법
WO2018093192A1 (ko) 차량용 레이더 장치 및 차량
WO2019198942A1 (en) Method of processing image, computer-readable storage medium recording method, and apparatus for processing image
WO2022164289A1 (ko) 대상체의 기하학적 특성을 반영하여 확장된 표현 범위를 가지는 인텐시티 정보를 생성하는 방법 및 그러한 방법을 수행하는 라이다 장치
WO2019168323A1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
WO2022103236A1 (ko) 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22895965

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 3229412

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2024529497

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280076362.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022895965

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022895965

Country of ref document: EP

Effective date: 20240617