WO2023136414A1 - 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법 - Google Patents

도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2023136414A1
WO2023136414A1 PCT/KR2022/011717 KR2022011717W WO2023136414A1 WO 2023136414 A1 WO2023136414 A1 WO 2023136414A1 KR 2022011717 W KR2022011717 W KR 2022011717W WO 2023136414 A1 WO2023136414 A1 WO 2023136414A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
dangerous
measurement value
information
image
Prior art date
Application number
PCT/KR2022/011717
Other languages
English (en)
French (fr)
Inventor
노재민
정만식
노엘리자베스김
Original Assignee
주식회사 다리소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다리소프트 filed Critical 주식회사 다리소프트
Publication of WO2023136414A1 publication Critical patent/WO2023136414A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/52—Determining velocity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an information collecting terminal device installed in a vehicle and for collecting dangerous material information on a road and an operation method thereof.
  • a camera capable of photographing the front of the vehicle, a distance measurement sensor for measuring a separation distance to a photographing point in front of the vehicle photographed through the camera, and the vehicle
  • an information collection terminal device equipped with a GPS (Global Positioning System) for collecting location information and measuring the current speed of the vehicle is installed, and dangerous material information on the road can be collected through this information collection terminal device, more It will be possible to efficiently collect information on hazardous materials on the road.
  • GPS Global Positioning System
  • the present invention provides an information collection terminal device for collecting information on dangerous substances on a road mounted on a vehicle and an operation method thereof, to support more efficient collection of information on dangerous substances on the road through the information collection terminal device. do.
  • An apparatus mounted on a vehicle for collecting dangerous material information on a road, comprising: a camera capable of photographing the front of the vehicle; and a distance to a photographing point in front of the vehicle photographed through the camera.
  • An information collection terminal device equipped with a distance measuring sensor for measuring a distance and a Global Positioning System (GPS) for collecting location information of the vehicle and measuring a current speed of the vehicle is provided with the vehicle captured by the camera.
  • GPS Global Positioning System
  • Each of the p reference value sets is the reference frame In order to extract, it is composed of reference speed and reference distance set differently for each set - a reference value set storage unit in which this is stored, a dangerous material detection event generating unit that generates a dangerous goods detection event at a preset dangerous goods detection cycle interval.
  • dangerous substance information management server After detecting whether or not a dangerous substance exists, if it is detected that a dangerous substance exists, dangerous substance information about the detected dangerous substance is transmitted to the dangerous substance information management server.
  • a measurement value checker for checking the speed measurement value and the separation distance measurement value for each of the q frames, when the speed measurement value and the separation distance measurement value for each of the q frames are confirmed, for each of the q frames,
  • a measurement value set generator configured to generate a measurement value set corresponding to each of the q frames by constructing a measurement value set having a velocity measurement value and a separation distance measurement
  • a similarity calculation unit that calculates values, after selecting a first similarity calculation value having the largest magnitude among the p x q similarity calculation values, a first measurement value set used to calculate the first similarity calculation value among the q frames
  • a reference frame extractor for extracting a first frame for the first forward image as a reference frame for the first forward image, and when the first frame is extracted as a reference frame for the first forward image, detects whether or not a dangerous substance exists from the image.
  • the first frame Based on a dangerous substance detection model set in advance for the purpose of detecting whether or not a dangerous substance exists from the first frame, and when it is detected that a dangerous substance exists from the first frame, the first frame, the first frame First dangerous substance information consisting of first location information of the vehicle collected through the GPS at a first point in time when a frame was captured and a first separation distance measurement value measured through the distance measuring sensor at the first point in time is generated. Then, an information transmission unit for transmitting the first dangerous substance information to the dangerous substance information management server.
  • Preset different p (p is a natural number equal to or greater than 2) reference value sets for extracting a reference frame to be used for dangerous substance detection from a front image of -
  • Each of the p reference value sets extracts the reference frame To do this, it consists of a reference speed and a reference separation distance set differently for each set - maintaining the stored reference value set storage step, generating a dangerous substance detection event at a preset dangerous substance detection cycle interval, and detecting the dangerous substance
  • a front image of the vehicle photographed through the camera is obtained for a time corresponding to the dangerous substance detection period from the time when the dangerous substance detection event occurs, and it is determined whether a dangerous substance exists from the obtained image in front of the vehicle.
  • dangerous substance information about the detected dangerous substance is transmitted from a plurality of vehicles pre-specified to collect dangerous substance information on the road. includes a dangerous goods information database in which the collected dangerous goods information is stored, and transmitting the dangerous goods information on the detected dangerous goods to the dangerous goods information management server, wherein the dangerous goods detection event occurs
  • a dangerous goods information database in which the collected dangerous goods information is stored
  • the dangerous goods detection event occurs
  • Calculating similarity calculation values after selecting a first similarity calculation value having the largest magnitude among the p x q similarity calculation values, a first measurement value set used to calculate the first similarity calculation value among the q frames. Extracting a first frame for as a reference frame for the first front image, when the first frame is extracted as a reference frame for the first front image, detecting whether or not a dangerous substance exists from the image Based on a preset dangerous substance detection model, detecting whether or not a dangerous substance exists from the first frame, and if it is detected that a dangerous substance exists from the first frame, the first frame and the first frame are captured.
  • first dangerous substance information consisting of first location information of the vehicle collected through the GPS at a first point in time and a first separation distance measurement value measured at the first point in time through the distance measurement sensor
  • the first dangerous substance information is generated. and transmitting dangerous material information to the dangerous material information management server.
  • the present invention provides an information collection terminal device for collecting dangerous material information on a road mounted on a vehicle and an operating method thereof, so that information on dangerous substances on the road can be collected more efficiently through the information collection terminal device. there is.
  • FIG. 1 is a diagram showing the structure of an information collection terminal device for collecting dangerous material information on a road according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining an operation of an information collecting terminal device for collecting dangerous material information on a road according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an operating method of an information collection terminal device for collecting dangerous material information on a road according to an embodiment of the present invention.
  • each component, functional block, or means may be composed of one or more sub-components, and the electrical, electronic, and mechanical functions performed by each component are electronic It may be implemented with various known elements or mechanical elements such as circuits, integrated circuits, ASICs (Application Specific Integrated Circuits), and may be implemented separately or two or more may be integrated into one.
  • ASICs Application Specific Integrated Circuits
  • the blocks of the accompanying block diagram or the steps of the flowchart are computer program instructions that perform designated functions by being loaded into a processor or memory of a device capable of data processing, such as a general-purpose computer, a special purpose computer, a portable notebook computer, and a network computer.
  • a device capable of data processing such as a general-purpose computer, a special purpose computer, a portable notebook computer, and a network computer.
  • these computer program instructions may be stored in a memory included in a computer device or in a computer readable memory
  • the functions described in blocks of a block diagram or steps of a flowchart are produced as a product containing instruction means for performing them. It could be.
  • each block or each step may represent a module, segment or portion of code that includes one or more executable instructions for executing specified logical function(s).
  • FIG. 1 is a diagram showing the structure of an information collection terminal device for collecting dangerous material information on a road according to an embodiment of the present invention.
  • the information collection terminal device 110 is a device mounted on the vehicle 10 to collect dangerous material information on the road, and includes a camera capable of photographing the front of the vehicle 10. , a distance measurement sensor for measuring the distance to a front-facing shooting point of the vehicle 10 photographed through the camera, and for collecting location information of the vehicle 10 and measuring the current speed of the vehicle 10 It is a device equipped with a Global Positioning System (GPS).
  • GPS Global Positioning System
  • the information collection terminal device 110 includes a reference value set storage unit 111, a dangerous material detection event generating unit 112, and a dangerous material detection processing unit 113. includes
  • the reference value set storage unit 111 preset different ps (p is a natural number of 2 or more) for extracting reference frames to be used for detecting dangerous substances from the front image of the vehicle 10 photographed by the camera There are stored sets of reference values.
  • each of the p reference value sets is composed of a reference speed and a reference separation distance set differently for each set in order to extract the reference frame.
  • the developer takes pictures through the camera according to the different speeds of the vehicle 10 and the separation distance to the shooting point in front of the vehicle 10.
  • An experiment to detect whether or not a dangerous substance exists from the front image of the vehicle 10 to be used is performed several times, and based on the result of the experiment, the dangerous substance can be detected from the front image of the vehicle 10 photographed through the camera.
  • the p reference value sets may be set by finding an optimal pair of reference speed and reference separation distance for extracting a reference frame.
  • the reference value set storage unit 111 includes a reference frame for extracting a reference frame to be used for detecting dangerous substances from a front image of the vehicle 10 photographed through the camera as shown in Table 1 below. , '5' sets of different preset reference values may be stored.
  • the dangerous substance detection event generation unit 112 generates a dangerous substance detection event at a preset dangerous substance detection period interval.
  • the dangerous goods detection processing unit 113 detects the vehicle photographed by the camera during the time corresponding to the dangerous goods detection period from the time when the dangerous goods detection event occurs. After acquiring the front image of (10) and detecting whether or not a dangerous substance exists from the obtained front image of the vehicle 10, if it is detected that a dangerous substance exists, dangerous substance information about the detected dangerous substance is displayed, and dangerous substance information management
  • the server 140 (the dangerous goods information management server 140 includes a dangerous goods information database in which dangerous goods information collected from a plurality of vehicles previously designated to collect dangerous goods information on the road is stored).
  • the dangerous substance detection processor 113 includes a measurement value checker 114, a measurement value set generator 115, a similarity calculator 116, a reference frame extractor 117, a dangerous substance detection performer 118, and information transmission. includes section 119.
  • the measured value check unit 114 obtains a first front image captured by the camera during the time corresponding to the dangerous substance detection period, For each of the q (q is a natural number equal to or greater than 2) frames constituting the first forward image, the speed measurement value of the vehicle 10 measured through the GPS at the time each frame is captured, and each frame By checking the distance measurement value from the time point of the shooting to the shooting point in front of the vehicle 10 measured through the distance measurement sensor, the speed measurement value and the distance measurement value for each of the q frames are checked. .
  • a measurement value set corresponding to each of the q frames is generated by constructing a measurement value set having a velocity measurement value and a separation distance measurement value as components.
  • the measurement value check unit 114 determines the speed measurement value of the vehicle 10 measured through the GPS at the time each frame is captured and , By checking the distance measurement value to the shooting point in front of the vehicle 10 measured through the distance measurement sensor at the time when each frame is photographed, the speed measurement value and distance distance for each of '100' frames You can check the measured value.
  • the measurement value set generation unit 115 constructs a measurement value set having a velocity measurement value and a separation distance measurement value for each frame as components, thereby forming '100' frames.
  • a set of measurement values corresponding to each of the values may be generated.
  • the measurement value set generation unit 115 constructs a measurement value set having '63 (km/h), 28 (m)' as components, so that the 'measured value for 'Frame 1' Set 1' can be configured.
  • the measurement value set generation unit 115 may generate a measurement value set corresponding to each of '100' frames as shown in Table 2 below.
  • the similarity calculation unit 116 calculates a measurement value set and a reference value set corresponding to each of the q frames.
  • a total of p x q similarity calculation values are calculated by calculating all the similarities between each of the p reference value sets stored in the storage unit 111 .
  • the similarity calculator 116 is a specific configuration for calculating the p x q similarity calculation values, and includes a frame vector generator 120, a reference vector generator 121, and a similarity calculation processor. (122).
  • the frame vector generator 120 determines the measurement value corresponding to each frame for each of the q frames.
  • a frame vector corresponding to each of the q frames is generated by constructing a two-dimensional vector having the velocity measurement value and the separation distance measurement value included in the set as components.
  • the reference vector generator 121 For each of the p reference value sets stored in the reference value set storage unit 111, the reference vector generator 121 has a reference speed and a reference separation distance included in each reference value set as components. By constructing a dimensional vector, a reference vector corresponding to each of the p reference value sets is generated.
  • the similarity calculation processing unit 122 When a frame vector corresponding to each of the q frames and a reference vector corresponding to each of the p reference value sets are generated, the similarity calculation processing unit 122 generates a frame vector corresponding to each of the q frames and the p By calculating the vector similarity between reference vectors corresponding to each of the n reference value sets as the similarity between the measurement value set corresponding to each of the q frames and each of the p reference value sets, the p x q similarity calculation values are obtained. yield
  • Equation 1 a cosine similarity according to Equation 1 below or a Euclidean distance according to Equation 2 below may be used.
  • Equation 1 S is the cosine similarity between vector A and vector B, and has a value between -1 and 1
  • a i denotes the i-th component of vector A
  • B i denotes the i-th component of vector B. do.
  • the greater the cosine similarity between two vectors the more similar the two vectors are to each other.
  • Equation 2 D is the Euclidean distance between vector A and vector B, A i denotes the i-th component of vector A, and B i denotes the i-th component of vector B.
  • a i denotes the i-th component of vector A
  • B i denotes the i-th component of vector B.
  • the frame vector generator 120 constructs a two-dimensional vector having, as components, the speed measurement value and the separation distance measurement value included in the measurement value set corresponding to each frame. By doing so, a frame vector corresponding to each of '100' frames can be generated as shown in Table 3 below.
  • the reference vector generator 121 determines the reference speed and speed included in each reference value set for each of the '5' reference value sets stored in the reference value set storage unit 111 as shown in Table 1 above. By constructing a two-dimensional vector having a reference separation distance as a component, a reference vector corresponding to each of '5' reference value sets can be generated as shown in Table 4 below.
  • the similarity calculation processing unit 122 calculates the vector similarity between the frame vector corresponding to each of the '100' frames as shown in Table 3 and the reference vector corresponding to each of the '5' reference value sets as shown in Table 4 above. By calculating the similarity between the measurement value set corresponding to each of the '100' frames and each of the '5' reference value sets, a total of '500' similarity calculation values can be calculated as shown in Table 5 below. .
  • a measurement value set corresponding to each of the '100' frames set of measurements 1 set of measurements 2 ... set of measurements 100 '5' reference value sets Reference value set A S A1 S A2 ... S A100 Reference value set B S B1 S B2 ... S -B100 Reference value set C S C1 S C2 ... S C100 Reference value set D S D1 S D2 ... S -D100 Reference value set E S E1 S E2 ... S E100
  • the reference frame extractor 117 selects the first similarity calculation value having the largest magnitude among the p x q similarity calculation values, and then selects the q similarity calculation values. Among the frames, a first frame for a first measurement value set used to calculate the first similarity calculation value is extracted as a reference frame for the first forward image.
  • the dangerous substance detection performer 118 detects whether or not a dangerous substance exists in the image. Based on the model, it is detected from the first frame whether a dangerous object exists.
  • the dangerous goods detection model is an artificial intelligence-based detection model capable of detecting an object corresponding to a predetermined dangerous goods object from an image, and a You Only Look Once (YOLO)-based object detection and analysis model may be utilized.
  • YOLO You Only Look Once
  • the information transmission unit 119 detects that a dangerous substance exists from the first frame, the first frame and the first location of the vehicle 10 collected through the GPS at the first point in time at which the first frame was captured After generating the first dangerous substance information consisting of the information and the first separation distance measurement value measured through the distance measurement sensor at the first point in time, the first dangerous substance information is transmitted to the dangerous substance information management server 140.
  • the reference frame extractor 117 selects 'S C2 ' as the first similarity calculation value, and then, among '100' frames, for 'measurement value set 2' used to calculate 'S C2 ''Frame2', which is the first frame, may be extracted as a reference frame for 'front image 1'.
  • the dangerous substance detection unit 118 may detect whether a dangerous substance exists from 'Frame 2' based on a preset dangerous substance detection model for detecting whether a dangerous substance exists from the image.
  • the information transmission unit 119 transmits 'Frame 2' and the vehicle 10 collected through the GPS at the first point in time when 'Frame 2' is captured.
  • 'Location information 1' which is the first location information of
  • 'separation distance measurement value 1' which is the first separation distance measurement value measured through the distance measurement sensor at the first point in time
  • the dangerous goods information management server 140 may newly store 'dangerous goods information 1' on a dangerous goods information database in which dangerous goods information collected from a plurality of pre-designated vehicles is stored.
  • the information collection terminal device 110 may further include an average speed checking unit 123 and an event occurrence adjusting unit 124 .
  • the average speed confirmation unit 123 completes the transmission of the first dangerous goods information to the dangerous goods information management server 140.
  • An average speed of the vehicle 10 from the current point in time to a second point in time when the dangerous substance detection event occurs again is checked.
  • the event generation controller 124 determines that the average speed is less than the preset reference speed, the third time point at which the dangerous substance detection period elapses from the second time point without generating the dangerous substance detection event at the second time point. In this case, the dangerous substance detection event is generated again.
  • the average speed confirmation unit 123 calculates the average speed of the vehicle 10 from the current point in time when 'dangerous material information 1' is transmitted to the dangerous material information management server 140 to the second point in time when the dangerous material detection event occurs again. You can check.
  • the event occurrence controller 124 determines that the average speed is less than the reference speed. After confirming that the dangerous substance detection event is not generated at the second time point, the dangerous substance detection event may be generated again at a third time point when the dangerous substance detection period elapses from the second time point.
  • the information collection terminal device 110 can more efficiently collect dangerous material information on the road by adjusting the time point at which the dangerous material detection event occurs.
  • the information transmitting unit 119 solves the problem of exposure of the first dangerous material information to a third party in the process of transmitting the first dangerous material information to the dangerous material information management server 140.
  • a component for encrypting the first dangerous substance information and transmitting it to the dangerous substance information management server 140 may be further included.
  • the information transmitter 119 includes an encryption key storage unit 125, an encryption event generator 126, a frame divider 127, a key image generator for restoration ( 128), a mapping matrix generator 129, a dataset generator 130, a substitution matrix generator 131, an encrypted image generator 132, and an information transmission processor 133.
  • An encryption key previously shared with the dangerous material information management server 140 is stored in the encryption key storage unit 125 .
  • 'encryption key 1' may be stored in the encryption key storage unit 125.
  • the encryption event generation unit 126 is configured with the first frame, the first location information, and the first separation distance measurement value when it is detected that a dangerous substance is present from the first frame by the dangerous substance detection unit 118. After generating the first dangerous substance information, an encryption event is generated to encrypt and transmit the first dangerous substance information to the dangerous substance information management server 140 .
  • the frame divider 127 divides the first frame into n ⁇ n subregions each consisting of n horizontally (n is a natural number equal to or greater than 2) and n vertically. divide
  • the key image generator 128 for restoration randomly selects k (k is a natural number greater than or equal to 2 and less than n 2 ) number of first partial regions among the nxn number of partial regions constituting the first frame, and For each of the first subregions, after randomly selecting an odd number of first pixels for each subregion, a pixel value for each of the first pixels selected for each subregion is randomly changed; Among the nxn subregions, for each of the n 2 -k second subregions other than the first subregions, an even number of second pixels are randomly selected for each subregion, and then second pixels are randomly selected for each subregion.
  • a key image for restoration is generated by randomly changing a pixel value for each of the second pixels selected for each region.
  • the mapping matrix generator 129 assigns '1' to the same point as the first partial regions among the n x n partial regions.
  • An n x n mapping matrix composed of '0' and '1' is generated by allocating components and allocating components of '0' to the same points as the second subregions.
  • the dataset generation unit 130 creates a dataset composed of the first location information and the first separation distance measurement value.
  • the substitution matrix generation unit 131 divides the dataset into k pieces to generate k pieces of split data, randomly generates n 2 -k pieces of dummy data, and then nxn elements constituting the mapping matrix. Among them, the k pieces of split data are inserted one by one at the points where the components of '1' are located, and the n 2 -k pieces of dummy data are inserted one by one at the points where the components of '0' are located, thereby replacing nxn size. create a matrix
  • the encryption image generator 132 generates an encryption image by encrypting the first frame with the encryption key.
  • the information transmission processing unit 133 transmits the encrypted image, the substitution matrix, and the key image for restoration to the dangerous substance information management server 140 .
  • an encryption event generator 126 a frame divider 127, a key image generator for restoration 128, a mapping matrix generator 129, a dataset generator 130, and a substitution matrix generator 131 ), the operation of the encrypted image generating unit 132 and the information transmission processing unit 133 will be described in detail by way of example.
  • the encryption event generating unit (126) generates 'dangerous goods information 1' composed of 'frame 2', 'location information 1', and 'separation distance measurement value 1', then encrypts 'dangerous goods information 1' and sends it to the dangerous goods information management server 140.
  • An encryption event can be generated for transmission.
  • the frame divider 127 may divide 'Frame 2' into '3 x 3' subregions consisting of '3' horizontally and '3' vertically.
  • 'frame 2' is the same as the picture indicated by reference numeral 210 in FIG. It can be divided into 9' partial regions 211, 212, 213, 214, 215, 216, 217, 218, and 219.
  • the restoration key image generator 128 selects among the '9' partial regions 211, 212, 213, 214, 215, 216, 217, 218, 219 constituting the 'frame 2 210'. , '4' first partial regions may be randomly selected.
  • the key image generator 128 for restoration may randomly select an odd number of first pixels for each of the first partial regions 212, 216, 217, and 219. there is.
  • the key image generating unit 128 may randomly change a pixel value of each of the first pixels selected for each partial region.
  • the key image generator 128 for restoration uses first partial regions 212, 216, and 217 of the '9' partial regions 211, 212, 213, 214, 215, 216, 217, 218, and 219. , 219), for each of the '5' second partial regions 211, 213, 214, 215, and 218, an arbitrary even number of second pixels may be randomly selected for each partial region.
  • the key image generator 128 may randomly change a pixel value of each of the second pixels selected for each partial region.
  • the key image generator 128 for restoration changes the pixel values of the first partial regions 212, 216, 217, and 219 and the second partial regions 211, 213, 214, 215, and 218. By doing this, it is possible to generate a key image for restoration.
  • the mapping matrix generation unit 129 selects the first partial regions 212, 216, 217, 219) and assigning a component of '1' to the same position as the second partial regions 211, 213, 214, 215, and 218, by assigning a component of '0' to the same position, '0' and '1' A '3 x 3' mapping matrix consisting of ' ' can be created.
  • the dataset generation unit 130 may generate a dataset composed of 'location information 1' and 'separation distance measurement value 1' as '(location information 1, separation distance measurement value 1)'.
  • the substitution matrix generation unit 131 divides the dataset into '4' pieces, and generates '4' pieces of split data, such as 'P 1, P 2, P 3, P 4 ', '5' pieces of dummy data may be randomly generated, such as 'D 1 , D 2 , D 3 , D 4 , D 5 '.
  • the substitution matrix generating unit 131 is the mapping matrix ' Among the '9' components constituting ', the '4' split data 'P 1, P 2, P 3, P 4 ' are inserted one by one at the point where the components of '1' are located, and '0 By inserting '5' dummy data 'D 1, D 2, D 3, D 4, D 5 ' one by one at the point where the components of ' are located, a '3 x 3' substitution matrix is created. ' can be created.
  • the encrypted image generating unit 132 may generate an encrypted image by encrypting the 'frame 2 210' with the 'encryption key 1'.
  • the information transmission processing unit 133 sends the encrypted image and the substitution matrix ' to the dangerous goods information management server 140. ' and the key image for restoration may be transmitted.
  • the dangerous substance information management server 140 pre-stores the encryption key, and the encryption image, the substitution matrix, and the key image for restoration are received from the information collection terminal device 110.
  • the first location information and the first separation distance measurement value may be restored by restoring the data set by combining the extracted k pieces of divided data.
  • the dangerous material information management server 140 pre-stores the encryption key, and when the encryption image, the substitution matrix, and the key image for restoration are received from the information collection terminal device 110, the encryption key is used to store the encryption key.
  • the first frame and the key image for restoration are divided into n x n subregions consisting of n horizontally and n vertically, respectively, and the n x n subregions
  • the number of pixels having pixel values that do not match between the first frame and the key image for restoration is checked, After generating an n x n size region matrix having the number of pixels as components, each of the components constituting the region matrix is replaced with a value obtained when a modulo-2 operation is performed on each component.
  • a restoration matrix having a size of n x n composed of '0' and '1' is generated, and when the restoration matrix is generated, a Hadamard product between the restoration matrix and the substitution matrix is calculated to generate an operation matrix, After extracting k elements other than '0' among the n x n elements constituting the operation matrix as the k divided data, and then combining the extracted k divided data to restore the dataset, 1 location information and the first separation distance measurement value may be restored.
  • the modulo-2 operation means an operation of dividing a dividend by 2 and calculating a remainder thereto.
  • the Hadamard product means an operation that multiplies each component in a matrix of the same size.
  • a matrix can be expressed as '[ax by cz]'.
  • the dangerous materials information management server 140 will be described in detail, for example.
  • n is '3' and k is '4'
  • 'encryption key 1' which is an encryption key previously shared with the information collection terminal device 110 It is said that this is pre-stored, and the information transmission processing unit 133 transfers the encrypted image to the dangerous goods information management server 140, the substitution matrix ' ', and it is assumed that the encrypted image, the substitution matrix, and the key image for restoration are received by the dangerous substance information management server 140 as the key image for restoration is transmitted.
  • the key image for restoration is the same as the picture shown by reference numeral 220 in FIG. 2 .
  • the dangerous material information management server 140 converts the encrypted image to 'encryption key 1'.
  • 'frame 2 (210)' can be restored.
  • the dangerous substance information management server 140 divides the 'frame 2 210' into '9' partial areas 211, 212, 213, 214, 215, 216, 217, 218, 219), and the key image 220 for restoration is divided into '9' partial regions 221, 222, 223, 224, 225, 226, 227, 228, 229).
  • the dangerous substance information management server 140 may check the number of pixels having pixel values that do not match each other between the 'frame 2 210' and the key image for restoration 220 for each '9' partial area. .
  • the dangerous substance information management server 140 determines pixels having pixel values that do not match between 'partial area 1 211' and 'partial area 1 221'. The number of them can be confirmed as '30'.
  • 'partial area 2 212' constituting the 'frame 2 210' includes as many as '17 pieces'. Since the pixel values for each of the 1 pixels are randomly changed, the dangerous goods information management server 140 determines the pixel values between the 'partial area 2 212' and the 'partial area 2 222' that do not match each other. You can check the number as '17'.
  • the dangerous goods information management server 140 determines the pixels having pixel values that do not match between 'partial area 3 (213)' and 'partial area 2 (223)'. You can check the number as '12'.
  • the dangerous goods information management server 140 determines the pixels having pixel values that do not coincide with each other between 'partial area 4 214' and 'partial area 4 224'. You can check the number as '26'.
  • the dangerous goods information management server 140 determines the pixels having pixel values that do not coincide with each other between 'partial area 5 415' and 'partial area 5 425'. You can check the number of '4'.
  • the dangerous goods information management server 140 determines the pixels having pixel values that do not coincide with each other between 'partial area 6 216' and 'partial area 6 226'. You can check the number as '21'.
  • the dangerous goods information management server 140 determines the pixels having pixel values that do not match between 'partial area 7 (217)' and 'partial area 7 (227)'. You can check the number as '9'.
  • 'partial area 8 218' constituting the 'frame 2 210' includes as many as '18'. Since the pixel values for each of the 2 pixels are randomly changed, the dangerous goods information management server 140 determines the pixels having pixel values that do not coincide with each other between the 'partial area 8 218' and the 'partial area 8 228'. You can check the number as '18'.
  • the dangerous goods information management server 140 determines the pixels having pixel values that do not coincide with each other between 'partial area 9 219' and 'partial area 9 229'. You can check the number as '35'.
  • the dangerous goods information management server 140 determines that the number of pixels having pixel values that do not match each other for each partial area is '30, 17, 12, 26, 4, 21, 9, 18. , 35', '30, 17, 12, 26, 4, 21, 9, 18, which is the number of pixels with non-matching pixel values identified for each subregion.
  • a region matrix of size '3 x 3' with '35' as components, ' can be created.
  • the dangerous goods information management server 140 uses the area matrix ' By replacing each of the components constituting ' with the result of performing a modulo-2 operation on each component, a '3 x 3' restoration matrix composed of '0' and '1' is ' ' can be created.
  • the dangerous material information management server 140 returns the restoration matrix ' ' and the substitution matrix ' ' Calculate the Hadamard product between ' ', and the operation matrix ' Among the '9' components constituting ', '4' components other than '0' can be extracted as '4' split data.
  • the dangerous material information management server 140 uses the calculation matrix ' When extracting '4' components other than '0' among '9' components constituting ' as '4' pieces of split data, in the direction from the left column to the right column and from the top row to the bottom row. You can extract them one by one sequentially.
  • the dangerous substance information management server 140 uses the operation matrix ' Among the '9' components constituting ', '4' components other than '0' are '1 row 1 column, 1 row 2 columns, 1 row 3 columns, 2 rows 1 column, 2 rows 2 columns, 2 rows By extracting one by one in the order of 3 columns, 3 rows, 1 column, 3 rows, 2 columns, 3 rows, 3 columns, '4' split data, 'P 1, P 2, P 3, P 4 ', can be extracted one by one. there is.
  • the dangerous substance information management server 140 combines the extracted '4' pieces of divided data 'P 1, P 2, P 3, P 4 ' and combines the data set '(location information 1, separation distance measurement value By restoring '1)', it is possible to restore location information 1' and 'separation distance measurement value 1'.
  • FIG. 3 is a device mounted on a vehicle according to an embodiment of the present invention for collecting dangerous material information on a road, including a camera capable of photographing the front of the vehicle, and a photographing point of the front of the vehicle photographed through the camera.
  • This is a flowchart illustrating an operating method of an information collection terminal device equipped with a distance measuring sensor for measuring the distance to and a GPS for collecting location information of the vehicle and measuring the current speed of the vehicle.
  • step S310 different p (p is a natural number equal to or greater than 2) reference value sets (the p number of Each of the reference value sets (consisting of a reference speed and a reference separation distance set differently for each set) is stored in a reference value set storage unit for extracting the reference frame.
  • step S320 a dangerous substance detection event is generated at a preset dangerous substance detection cycle interval.
  • step S330 when the dangerous substance detection event occurs, a front image of the vehicle captured by the camera is obtained for a time corresponding to the dangerous substance detection period from the time when the dangerous substance detection event occurs, and the acquired vehicle After detecting whether a dangerous substance exists from the front image of the camera, if it is detected that a dangerous substance exists, dangerous substance information about the detected dangerous substance is stored in the dangerous substance information management server (the dangerous substance information management server collects dangerous substance information on the road). and a dangerous goods information database in which dangerous goods information collected from a plurality of pre-designated vehicles is stored).
  • step S330 when a first front image captured by the camera is obtained during the time corresponding to the dangerous substance detection period as the dangerous substance detection event occurs, q (q constituting the first front image) is a natural number of 2 or more)
  • the vehicle speed measurement value measured through the GPS at the time each frame was captured and the distance measurement value measured through the distance measurement sensor at the time each frame was captured
  • Checking the speed measurement value and the separation distance measurement value for each of the q frames by checking the separation distance measurement value to the photographing point in front of the vehicle, the speed measurement value and the separation distance for each of the q frames
  • a measurement value set having a speed measurement value and a separation distance measurement value for each frame as components is configured, so that the measurement value corresponding to each of the q frames.
  • Extracting a first frame for a first measurement value set used to calculate a similarity calculation value as a reference frame for the first forward image extracting the first frame as a reference frame for the first forward image , detecting whether or not a dangerous substance exists from the first frame based on a preset dangerous substance detection model for detecting whether or not a dangerous substance exists from an image, and when it is detected that a dangerous substance exists from the first frame,
  • the first frame, the first location information of the vehicle collected through the GPS at a first time point when the first frame was captured, and a first separation distance measurement value measured through the distance measuring sensor at the first time point After generating the configured first dangerous substance information, transmitting the first dangerous substance information to the dangerous substance information management server.
  • the calculating of the total p x q similarity calculation values is performed when a measurement value set corresponding to each of the q frames is generated, for each of the q frames, each frame Generating a frame vector corresponding to each of the q frames by constructing a two-dimensional vector having as components a measurement value of velocity and a measurement of separation distance included in a measurement value set corresponding to , the reference value set For each of the p reference value sets stored in the storage unit, a two-dimensional vector having a reference speed and a reference separation distance included in each reference value set as components is constructed, so that the p reference value sets Generating a reference vector corresponding to each of the q frames, and when a frame vector corresponding to each of the q frames and a reference vector corresponding to each of the p reference value sets are generated, a frame corresponding to each of the q frames By calculating the vector similarity between a vector and the reference vector corresponding to each of the p reference value
  • the method of operating the information collection terminal device when the transmission of the first dangerous substance information to the dangerous substances information management server is completed, the transmission of the first dangerous substance information to the dangerous substances information management server is completed. Determining an average speed of the vehicle from a current point in time to a second point in time at which the dangerous substance detection event will occur again, and when it is determined that the average speed is less than a preset reference speed, the dangerous substance detection event at the second point in time. The method may further include re-generating the dangerous substance detection event when a third time point in which the dangerous substance detection period elapses from the second point in time without generating the dangerous substance detection event.
  • the transmitting of the first dangerous material information to the dangerous material information management server includes maintaining an encryption key storage unit in which an encryption key previously shared with the dangerous material information management server is stored. , When it is detected that a dangerous substance is present from the first frame, after generating the first dangerous substance information composed of the first frame, the first location information, and the first separation distance measurement value, the first dangerous substance information Generating an encryption event to encrypt and transmit to the dangerous substance information management server, when the encryption event occurs, nxn partial regions of the first frame composed of n horizontally (n is a natural number equal to or greater than 2) and n vertically.
  • dividing the first frame into k (where k is a natural number greater than or equal to 2 and less than n 2 ) first subregions among the nxn subregions constituting the first frame, and randomly selecting the first subregions; After randomly selecting an odd number of first pixels for each sub-region for each sub-region, a pixel value for each of the first pixels selected for each sub-region is randomly changed, and the nxn sub-regions are randomly changed.
  • an even number of second pixels are randomly selected for each subregion, and the second pixels selected for each subregion are selected at random.
  • a key image for restoration by randomly changing a pixel value for each of the second pixels; when the key image for restoration is generated, the same point as the first partial regions among the nxn partial regions generating an nxn-sized mapping matrix composed of '0' and '1' by assigning a '1' component to and allocating a '0' component to the same point as the second partial regions; 1 Generating a dataset composed of location information and the first separation distance measurement value, dividing the dataset into k pieces to generate k pieces of divided data, randomly generating n 2 -k pieces of dummy data, Among the nxn elements constituting the mapping matrix, the k division data are inserted one by one at points where components of '1' are located, and the n 2 -k pieces of dummy data are inserted at points where components of '0' are located.
  • the dangerous substance information management server pre-stores the encryption key, and the encryption image, the substitution matrix, and the key image for restoration are transmitted from the information collection terminal device.
  • the dangerous substance information management server pre-stores the encryption key, and when the encryption image, the substitution matrix, and the key image for restoration are received from the information collection terminal, the After restoring the first frame by decrypting the encrypted image with an encryption key, the first frame and the key image for restoration are divided into n x n subregions each consisting of n horizontally and n vertically, and For each of the subregions, the number of pixels having pixel values that do not match between the first frame and the key image for restoration is checked for each subregion, and the images that do not match each other are checked for each subregion.
  • a restoration matrix having a size of n x n composed of '0' and '1' is generated, and when the restoration matrix is generated, a Hadamard product between the restoration matrix and the substitution matrix is calculated to generate an operation matrix, and the operation matrix is formed.
  • the first location information and the first location information and The first separation distance measurement value may be restored.
  • the operating method of the information collection terminal device for collecting dangerous material information on the road has been described with reference to FIG. 3 .
  • the operation method of the information collection terminal device according to an embodiment of the present invention may correspond to the configuration of the operation of the information collection terminal device 110 described with reference to FIGS. 1 and 2, a more detailed description thereof will be omitted.
  • a method of operating an information collecting terminal device may be implemented as a computer program stored in a storage medium for execution through a combination with a computer.
  • the operating method of the information collection terminal device may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the medium may be those specially designed and configured for the present invention or those known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Artificial Intelligence (AREA)
  • Educational Administration (AREA)
  • Traffic Control Systems (AREA)

Abstract

도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법이 개시된다. 본 발명은 차량에 탑재되어, 도로 상의 위험물 정보를 수집하기 위한 장치로서, 차량의 전방을 촬영할 수 있는 카메라와, 상기 카메라를 통해 촬영되는 상기 차량의 전방의 촬영 지점까지의 이격 거리를 측정하기 위한 거리 측정 센서, 및 상기 차량의 위치 정보를 수집하고 상기 차량의 현재 속도를 측정하기 위한 GPS(Global Positioning System)가 구비되어 있는 정보 수집 단말 장치 및 그 동작 방법을 제시함으로써, 상기 정보 수집 단말 장치를 통해, 도로 상의 위험물 정보를 보다 효율적으로 수집할 수 있도록 지원할 수 있다.

Description

도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법
본 발명은 차량에 탑재되어, 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법에 대한 것이다.
도로 상에는, 도로 표면의 일부가 부서지거나 내려앉아 생긴 국부적인 구멍인 포트홀(pothole)이나 포장 균열 등의 도로 파손, 낙하 적재물 등과 같은 위험물이 존재한다. 운전자가 차량을 운전하고 있는 도중, 예기치 못한 상황에서 이러한 위험물이 등장한다면, 운전 중인 차량의 속도를 늦추거나 주행 방향을 바꿔 위험물을 피하는 등의 적절한 대응을 하기 어렵기 때문에, 교통사고 발생 위험이 높다.
이와 관련해서, 도로 상의 위험물을 제거하거나, 운전자들에게 위험물에 대한 정보를 제공함으로써, 운전자들이 보다 안전하게 운전할 수 있도록 지원하기 위해서, 도로 상의 위험물에 대한 정보를 미리 파악해 두어야 할 필요성이 있다.
하지만, 수없이 많은 도로 상에서, 위험물의 위치를 일일이 파악하여 위험물 정보를 수집하기는 어려운 실정이다.
이와 관련해서, 도로 상에서 주행 중인 차량에, 차량의 전방을 촬영할 수 있는 카메라와, 상기 카메라를 통해 촬영되는 상기 차량의 전방의 촬영 지점까지의 이격 거리를 측정하기 위한 거리 측정 센서, 및 상기 차량의 위치 정보를 수집하고 상기 차량의 현재 속도를 측정하기 위한 GPS(Global Positioning System)가 구비되어 있는 정보 수집 단말 장치를 탑재하여, 이러한 정보 수집 단말 장치를 통해 도로 상의 위험물 정보를 수집할 수 있다면, 보다 효율적으로 도로 상의 위험물 정보를 수집할 수 있을 것이다.
본 발명은 차량에 탑재되어, 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법을 제시함으로써, 상기 정보 수집 단말 장치를 통해, 도로 상의 위험물 정보를 보다 효율적으로 수집할 수 있도록 지원하고자 한다.
본 발명의 일실시예에 따른 차량에 탑재되어, 도로 상의 위험물 정보를 수집하기 위한 장치로서, 차량의 전방을 촬영할 수 있는 카메라와, 상기 카메라를 통해 촬영되는 상기 차량의 전방의 촬영 지점까지의 이격 거리를 측정하기 위한 거리 측정 센서, 및 상기 차량의 위치 정보를 수집하고 상기 차량의 현재 속도를 측정하기 위한 GPS(Global Positioning System)가 구비되어 있는 정보 수집 단말 장치는 상기 카메라를 통해 촬영된 상기 차량의 전방 영상으로부터 위험물 탐지에 사용할 기준 프레임(frame)을 추출하기 위한, 사전 설정된 서로 다른 p(p는 2 이상의 자연수임)개의 기준 값 세트들 - 상기 p개의 기준 값 세트들 각각은, 상기 기준 프레임의 추출을 위해, 세트별로 서로 다르게 설정된 기준 속도와 기준 이격 거리로 구성되어 있음 - 이 저장되어 있는 기준 값 세트 저장부, 사전 설정된 위험물 탐지 주기 간격으로, 위험물 탐지 이벤트를 발생시키는 위험물 탐지 이벤트 발생부 및 상기 위험물 탐지 이벤트가 발생되면, 상기 위험물 탐지 이벤트가 발생된 시점으로부터 상기 위험물 탐지 주기에 해당되는 시간 동안 상기 카메라를 통해 촬영된 상기 차량의 전방 영상을 획득하여, 획득된 상기 차량의 전방 영상으로부터 위험물이 존재하는지 여부를 탐지한 후 위험물이 존재하는 것으로 탐지된 경우, 탐지된 위험물에 대한 위험물 정보를, 위험물 정보 관리 서버 - 상기 위험물 정보 관리 서버는, 도로 상에서 위험물 정보를 수집하기로 사전 지정된 복수의 차량들로부터 수집된 위험물 정보들이 저장되어 있는 위험물 정보 데이터베이스를 포함하고 있음 - 로 전송하는 위험물 탐지 처리부를 포함하고, 상기 위험물 탐지 처리부는 상기 위험물 탐지 이벤트가 발생됨에 따라, 상기 위험물 탐지 주기에 해당되는 시간 동안 상기 카메라를 통해 촬영된 제1 전방 영상이 획득되면, 상기 제1 전방 영상을 구성하는 q(q는 2이상의 자연수임)개의 프레임들 각각에 대해, 각 프레임이 촬영된 시점에서 상기 GPS를 통해 측정된 상기 차량의 속도 측정 값과, 각 프레임이 촬영된 시점에서 상기 거리 측정 센서를 통해 측정된 상기 차량의 전방의 촬영 지점까지의 이격 거리 측정 값을 확인함으로써, 상기 q개의 프레임들 각각에 대한 속도 측정 값과 이격 거리 측정 값을 확인하는 측정 값 확인부, 상기 q개의 프레임들 각각에 대한 속도 측정 값과 이격 거리 측정 값이 확인되면, 상기 q개의 프레임들 각각에 대해, 각 프레임에 대한 속도 측정 값과 이격 거리 측정 값을 성분으로 갖는 측정 값 세트를 구성함으로써, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트를 생성하는 측정 값 세트 생성부, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트가 생성되면, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트와 상기 기준 값 세트 저장부에 저장되어 있는 상기 p개 기준 값 세트들 각각 간의 유사도를 모두 연산함으로써, 총 p x q개의 유사도 연산 값들을 산출하는 유사도 연산부, 상기 p x q개의 유사도 연산 값들 중 크기가 최대인 제1 유사도 연산 값을 선택한 후, 상기 q개의 프레임들 중 상기 제1 유사도 연산 값이 산출되는데 사용된 제1 측정 값 세트에 대한 제1 프레임을, 상기 제1 전방 영상에 대한 기준 프레임으로 추출하는 기준 프레임 추출부, 상기 제1 프레임이 상기 제1 전방 영상에 대한 기준 프레임으로 추출되면, 이미지로부터 위험물이 존재하는지 여부를 탐지하기 위한 사전 설정된 위험물 탐지 모델을 기초로, 상기 제1 프레임으로부터 위험물이 존재하는지 여부를 탐지하는 위험물 탐지 수행부 및 상기 제1 프레임으로부터 위험물이 존재하는 것으로 탐지되면, 상기 제1 프레임, 상기 제1 프레임이 촬영된 제1 시점에서 상기 GPS를 통해 수집된 상기 차량의 제1 위치 정보 및 상기 제1 시점에서 상기 거리 측정 센서를 통해 측정된 제1 이격 거리 측정 값으로 구성된 제1 위험물 정보를 생성한 후, 상기 제1 위험물 정보를 상기 위험물 정보 관리 서버로 전송하는 정보 전송부를 포함한다.
또한, 본 발명의 일실시예에 따른 차량에 탑재되어, 도로 상의 위험물 정보를 수집하기 위한 장치로서, 차량의 전방을 촬영할 수 있는 카메라와, 상기 카메라를 통해 촬영되는 상기 차량의 전방의 촬영 지점까지의 이격 거리를 측정하기 위한 거리 측정 센서, 및 상기 차량의 위치 정보를 수집하고 상기 차량의 현재 속도를 측정하기 위한 GPS가 구비되어 있는 정보 수집 단말 장치의 동작 방법은 상기 카메라를 통해 촬영된 상기 차량의 전방 영상으로부터 위험물 탐지에 사용할 기준 프레임을 추출하기 위한, 사전 설정된 서로 다른 p(p는 2 이상의 자연수임)개의 기준 값 세트들 - 상기 p개의 기준 값 세트들 각각은, 상기 기준 프레임의 추출을 위해, 세트별로 서로 다르게 설정된 기준 속도와 기준 이격 거리로 구성되어 있음 - 이 저장되어 있는 기준 값 세트 저장부를 유지하는 단계, 사전 설정된 위험물 탐지 주기 간격으로, 위험물 탐지 이벤트를 발생시키는 단계 및 상기 위험물 탐지 이벤트가 발생되면, 상기 위험물 탐지 이벤트가 발생된 시점으로부터 상기 위험물 탐지 주기에 해당되는 시간 동안 상기 카메라를 통해 촬영된 상기 차량의 전방 영상을 획득하여, 획득된 상기 차량의 전방 영상으로부터 위험물이 존재하는지 여부를 탐지한 후 위험물이 존재하는 것으로 탐지된 경우, 탐지된 위험물에 대한 위험물 정보를, 위험물 정보 관리 서버 - 상기 위험물 정보 관리 서버는, 도로 상에서 위험물 정보를 수집하기로 사전 지정된 복수의 차량들로부터 수집된 위험물 정보들이 저장되어 있는 위험물 정보 데이터베이스를 포함하고 있음 - 로 전송하는 단계를 포함하고, 상기 탐지된 위험물에 대한 위험물 정보를, 상기 위험물 정보 관리 서버로 전송하는 단계는 상기 위험물 탐지 이벤트가 발생됨에 따라, 상기 위험물 탐지 주기에 해당되는 시간 동안 상기 카메라를 통해 촬영된 제1 전방 영상이 획득되면, 상기 제1 전방 영상을 구성하는 q(q는 2이상의 자연수임)개의 프레임들 각각에 대해, 각 프레임이 촬영된 시점에서 상기 GPS를 통해 측정된 상기 차량의 속도 측정 값과, 각 프레임이 촬영된 시점에서 상기 거리 측정 센서를 통해 측정된 상기 차량의 전방의 촬영 지점까지의 이격 거리 측정 값을 확인함으로써, 상기 q개의 프레임들 각각에 대한 속도 측정 값과 이격 거리 측정 값을 확인하는 단계, 상기 q개의 프레임들 각각에 대한 속도 측정 값과 이격 거리 측정 값이 확인되면, 상기 q개의 프레임들 각각에 대해, 각 프레임에 대한 속도 측정 값과 이격 거리 측정 값을 성분으로 갖는 측정 값 세트를 구성함으로써, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트를 생성하는 단계, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트가 생성되면, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트와 상기 기준 값 세트 저장부에 저장되어 있는 상기 p개 기준 값 세트들 각각 간의 유사도를 모두 연산함으로써, 총 p x q개의 유사도 연산 값들을 산출하는 단계, 상기 p x q개의 유사도 연산 값들 중 크기가 최대인 제1 유사도 연산 값을 선택한 후, 상기 q개의 프레임들 중 상기 제1 유사도 연산 값이 산출되는데 사용된 제1 측정 값 세트에 대한 제1 프레임을, 상기 제1 전방 영상에 대한 기준 프레임으로 추출하는 단계, 상기 제1 프레임이 상기 제1 전방 영상에 대한 기준 프레임으로 추출되면, 이미지로부터 위험물이 존재하는지 여부를 탐지하기 위한 사전 설정된 위험물 탐지 모델을 기초로, 상기 제1 프레임으로부터 위험물이 존재하는지 여부를 탐지하는 단계 및 상기 제1 프레임으로부터 위험물이 존재하는 것으로 탐지되면, 상기 제1 프레임, 상기 제1 프레임이 촬영된 제1 시점에서 상기 GPS를 통해 수집된 상기 차량의 제1 위치 정보 및 상기 제1 시점에서 상기 거리 측정 센서를 통해 측정된 제1 이격 거리 측정 값으로 구성된 제1 위험물 정보를 생성한 후, 상기 제1 위험물 정보를 상기 위험물 정보 관리 서버로 전송하는 단계를 포함한다.
본 발명은 차량에 탑재되어, 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법을 제시함으로써, 상기 정보 수집 단말 장치를 통해, 도로 상의 위험물 정보를 보다 효율적으로 수집할 수 있도록 지원할 수 있다.
도 1은 본 발명의 일실시예에 따른 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치의 동작 방법을 도시한 순서도이다.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.
도 1은 본 발명의 일실시예에 따른 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치의 구조를 도시한 도면이다.
우선, 본 발명의 일실시예에 따른 정보 수집 단말 장치(110)는, 차량(10)에 탑재되어, 도로 상의 위험물 정보를 수집하기 위한 장치로서, 차량(10)의 전방을 촬영할 수 있는 카메라와, 상기 카메라를 통해 촬영되는 차량(10)의 전방의 촬영 지점까지의 이격 거리를 측정하기 위한 거리 측정 센서, 및 차량(10)의 위치 정보를 수집하고 차량(10)의 현재 속도를 측정하기 위한 GPS(Global Positioning System)가 구비되어 있는 장치이다.
이러한 상황에서, 도 1을 참조하면, 본 발명의 일실시예에 따른 정보 수집 단말 장치(110)는 기준 값 세트 저장부(111), 위험물 탐지 이벤트 발생부(112) 및 위험물 탐지 처리부(113)를 포함한다.
기준 값 세트 저장부(111)에는 상기 카메라를 통해 촬영된 차량(10)의 전방 영상으로부터 위험물 탐지에 사용할 기준 프레임(frame)을 추출하기 위한, 사전 설정된 서로 다른 p(p는 2 이상의 자연수임)개의 기준 값 세트들이 저장되어 있다.
여기서, 상기 p개의 기준 값 세트들 각각은, 상기 기준 프레임의 추출을 위해, 세트별로 서로 다르게 설정된 기준 속도와 기준 이격 거리로 구성되어 있다.
이와 관련해서, 개발자는 기준 값 세트 저장부(111)를 구축하기 위해, 서로 다른, 차량(10)의 속도와 차량(10)의 전방의 촬영 지점까지의 이격 거리에 따라, 상기 카메라를 통해 촬영되는 차량(10)의 전방 영상으로부터 위험물이 존재하는지 여부를 탐지하는 실험을 여러 번 수행하여, 이러한 실험의 결과를 기초로, 상기 카메라를 통해 촬영된 차량(10)의 전방 영상으로부터 위험물 탐지에 사용할 기준 프레임을 추출하기 위한, 최적의 기준 속도와 기준 이격 거리 쌍을 찾음으로써, 상기 p개의 기준 값 세트들을 설정할 수 있다.
예컨대, p를 '5'라고 하는 경우, 기준 값 세트 저장부(111)에는 하기의 표 1과 같은 상기 카메라를 통해 촬영된 차량(10)의 전방 영상으로부터 위험물 탐지에 사용할 기준 프레임을 추출하기 위한, 사전 설정된 서로 다른 '5'개의 기준 값 세트들이 저장되어 있을 수 있다.
'5'개의 기준 값 세트들 기준 속도(km/h) 기준 이격 거리(m)
기준 값 세트 A 30 50
기준 값 세트 B 45 40
기준 값 세트 C 60 30
기준 값 세트 D 75 20
기준 값 세트 E 90 10
위험물 탐지 이벤트 발생부(112)는 사전 설정된 위험물 탐지 주기 간격으로, 위험물 탐지 이벤트를 발생시킨다.
위험물 탐지 처리부(113)는 위험물 탐지 이벤트 발생부(112)에 의해 상기 위험물 탐지 이벤트가 발생되면, 상기 위험물 탐지 이벤트가 발생된 시점으로부터 상기 위험물 탐지 주기에 해당되는 시간 동안 상기 카메라를 통해 촬영된 차량(10)의 전방 영상을 획득하여, 획득된 차량(10)의 전방 영상으로부터 위험물이 존재하는지 여부를 탐지한 후 위험물이 존재하는 것으로 탐지된 경우, 탐지된 위험물에 대한 위험물 정보를, 위험물 정보 관리 서버(140)(위험물 정보 관리 서버(140)는, 도로 상에서 위험물 정보를 수집하기로 사전 지정된 복수의 차량들로부터 수집된 위험물 정보들이 저장되어 있는 위험물 정보 데이터베이스를 포함하고 있음)로 전송한다.
이때, 위험물 탐지 처리부(113)는 측정 값 확인부(114), 측정 값 세트 생성부(115), 유사도 연산부(116), 기준 프레임 추출부(117), 위험물 탐지 수행부(118) 및 정보 전송부(119)를 포함한다.
측정 값 확인부(114)는 위험물 탐지 이벤트 발생부(112)에 의해 상기 위험물 탐지 이벤트가 발생됨에 따라, 상기 위험물 탐지 주기에 해당되는 시간 동안 상기 카메라를 통해 촬영된 제1 전방 영상이 획득되면, 상기 제1 전방 영상을 구성하는 q(q는 2이상의 자연수임)개의 프레임들 각각에 대해, 각 프레임이 촬영된 시점에서 상기 GPS를 통해 측정된 차량(10)의 속도 측정 값과, 각 프레임이 촬영된 시점에서 상기 거리 측정 센서를 통해 측정된 차량(10)의 전방의 촬영 지점까지의 이격 거리 측정 값을 확인함으로써, 상기 q개의 프레임들 각각에 대한 속도 측정 값과 이격 거리 측정 값을 확인한다.
측정 값 세트 생성부(115)는 측정 값 확인부(114)에 의해 상기 q개의 프레임들 각각에 대한 속도 측정 값과 이격 거리 측정 값이 확인되면, 상기 q개의 프레임들 각각에 대해, 각 프레임에 대한 속도 측정 값과 이격 거리 측정 값을 성분으로 갖는 측정 값 세트를 구성함으로써, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트를 생성한다.
이하에서는, 측정 값 확인부(114) 및 측정 값 세트 생성부(115)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 사전 설정된 위험물 탐지 주기가 '10초'라고 하고, 위험물 탐지 이벤트 발생부(112)에 의해 상기 위험물 탐지 이벤트가 발생됨에 따라, '10초' 동안 상기 카메라를 통해 촬영된 '전방 영상 1'이 획득되었다고 가정하자. 이때, '전방 영상 1'은 '100'개의 프레임들로 구성되어 있다고 가정하자.
그러면, 측정 값 확인부(114)는 '전방 영상 1'을 구성하는 '100'개의 프레임들 각각에 대해, 각 프레임이 촬영된 시점에서 상기 GPS를 통해 측정된 차량(10)의 속도 측정 값과, 각 프레임이 촬영된 시점에서 상기 거리 측정 센서를 통해 측정된 차량(10)의 전방의 촬영 지점까지의 이격 거리 측정 값을 확인함으로써, '100'개의 프레임들 각각에 대한 속도 측정 값과 이격 거리 측정 값을 확인할 수 있다.
그러고 나서, 측정 값 세트 생성부(115)는 '100'개의 프레임들 각각에 대해, 각 프레임에 대한 속도 측정 값과 이격 거리 측정 값을 성분으로 갖는 측정 값 세트를 구성함으로써, '100'개의 프레임들 각각에 대응되는 측정 값 세트를 생성할 수 있다.
관련해서, '100'개의 프레임들 중 어느 하나인 '프레임 1'에 대해, 측정 값 확인부(114)에 의해 확인된 속도 측정 값과 이격 거리 측정 값이 각각 '63(km/h), 28(m)'라고 하는 경우, 측정 값 세트 생성부(115)는 '63(km/h), 28(m)'를 성분으로 갖는 측정 값 세트를 구성함으로써, '프레임 1'에 대한 '측정 값 세트 1'을 구성할 수 있다.
이러한 방식으로, 측정 값 세트 생성부(115)는 '100'개의 프레임들 각각에 대응되는 측정 값 세트를 하기의 표 2와 같이 생성할 수 있다.
'100'개의 프레임들 측정 값 세트 속도 측정 값(km/h) 이격 거리 측정 값(m)
프레임 1 측정 값 세트 1 63 28
프레임 2 측정 값 세트 2 61 29
... ... ... ...
프레임 100 측정 값 세트 100 70 98
이렇게, 측정 값 세트 생성부(115)에 의해 상기 q개의 프레임들 각각에 대응되는 측정 값 세트가 생성되면, 유사도 연산부(116)는 상기 q개의 프레임들 각각에 대응되는 측정 값 세트와 기준 값 세트 저장부(111)에 저장되어 있는 상기 p개 기준 값 세트들 각각 간의 유사도를 모두 연산함으로써, 총 p x q개의 유사도 연산 값들을 산출한다.
이때, 본 발명의 일실시예에 따르면, 유사도 연산부(116)는 상기 p x q개의 유사도 연산 값들을 연산하기 위한 구체적인 구성으로, 프레임 벡터 생성부(120), 기준 벡터 생성부(121) 및 유사도 연산 처리부(122)를 포함할 수 있다.
프레임 벡터 생성부(120)는 측정 값 세트 생성부(115)에 의해 상기 q개의 프레임들 각각에 대응되는 측정 값 세트가 생성되면, 상기 q개의 프레임들 각각에 대해, 각 프레임에 대응되는 측정 값 세트에 포함되어 있는 속도 측정 값과 이격 거리 측정 값을 성분으로 갖는 2차원의 벡터를 구성함으로써, 상기 q개의 프레임들 각각에 대응되는 프레임 벡터를 생성한다.
기준 벡터 생성부(121)는 기준 값 세트 저장부(111)에 저장되어 있는 상기 p개의 기준 값 세트들 각각에 대해, 각 기준 값 세트에 포함되어 있는 기준 속도와 기준 이격 거리를 성분으로 갖는 2차원의 벡터를 구성함으로써, 상기 p개의 기준 값 세트들 각각에 대응되는 기준 벡터를 생성한다.
유사도 연산 처리부(122)는 상기 q개의 프레임들 각각에 대응되는 프레임 벡터와 상기 p개의 기준 값 세트들 각각에 대응되는 기준 벡터가 생성되면, 상기 q개의 프레임들 각각에 대응되는 프레임 벡터와 상기 p개의 기준 값 세트들 각각에 대응되는 기준 벡터 간의 벡터 유사도를, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트와 상기 p개 기준 값 세트들 각각 간의 유사도로 연산함으로써, 상기 p x q개의 유사도 연산 값들을 산출한다.
여기서, 상기 벡터 유사도로는, 하기의 수학식 1에 따른 코사인 유사도 또는 하기의 수학식 2에 따른 유클리드 거리(Euclidean Distance) 등이 사용될 수 있다.
Figure PCTKR2022011717-appb-img-000001
상기 수학식 1에서, S는 벡터 A와 벡터 B 사이의 코사인 유사도로, -1에서 1 사이의 값을 가지며, Ai는 벡터 A의 i번째 성분, Bi는 벡터 B의 i번째 성분을 의미한다. 관련해서, 두 벡터 사이의 코사인 유사도가 클수록 두 벡터가 서로 유사한 벡터라고 볼 수 있다.
Figure PCTKR2022011717-appb-img-000002
상기 수학식 2에서, D는 벡터 A와 벡터 B 사이의 유클리드 거리로, Ai는 벡터 A의 i번째 성분, Bi는 벡터 B의 i번째 성분을 의미한다. 관련해서, 두 벡터 사이의 유클리드 거리가 작을수록 두 벡터가 서로 유사한 벡터라고 볼 수 있다.
이하에서는, 프레임 벡터 생성부(120), 기준 벡터 생성부(121) 및 유사도 연산 처리부(122)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, 측정 값 세트 생성부(115)에 의해 상기 표 2와 같은 '100'개의 프레임들 각각에 대응되는 측정 값 세트가 생성되었다고 가정하자.
그러면, 프레임 벡터 생성부(120)는 '100'개의 프레임들 각각에 대해, 각 프레임에 대응되는 측정 값 세트에 포함되어 있는 속도 측정 값과 이격 거리 측정 값을 성분으로 갖는 2차원의 벡터를 구성함으로써, '100'개의 프레임들 각각에 대응되는 프레임 벡터를 하기의 표 3과 같이 생성할 수 있다.
'100'개의 프레임들 프레임 벡터
프레임 1 [63 28]
프레임 2 [61 29]
... ...
프레임 100 [70 98]
또한, 기준 벡터 생성부(121)는 상기 표 1과 같은 기준 값 세트 저장부(111)에 저장되어 있는 '5'개의 기준 값 세트들 각각에 대해, 각 기준 값 세트에 포함되어 있는 기준 속도와 기준 이격 거리를 성분으로 갖는 2차원의 벡터를 구성함으로써, '5'개의 기준 값 세트들 각각에 대응되는 기준 벡터를 하기의 표 4와 같이 생성할 수 있다.
'5'개의 기준 값 세트들 기준 벡터
기준 값 세트 A [30 50]
기준 값 세트 B [45 40]
기준 값 세트 C [60 30]
기준 값 세트 D [75 20]
기준 값 세트 E [90 10]
그러면, 유사도 연산 처리부(122)는 상기 표 3과 같은 '100'개의 프레임들 각각에 대응되는 프레임 벡터와, 상기 표 4와 같은 '5'개의 기준 값 세트들 각각에 대응되는 기준 벡터 간의 벡터 유사도를 '100'개의 프레임들 각각에 대응되는 측정 값 세트와 '5'개의 기준 값 세트들 각각 간의 유사도로 연산함으로써, 하기의 표 5와 같이, 총 '500'개의 유사도 연산 값들을 산출할 수 있다.
상기 '100'개의 프레임들 각각에 대응되는 측정 값 세트
측정 값 세트 1 측정 값 세트 2 ... 측정 값 세트 100
'5'개의
기준 값 세트들 		기준 값 세트 A SA1 SA2 ... SA100
기준 값 세트 B SB1 SB2 ... SB100
기준 값 세트 C SC1 SC2 ... SC100
기준 값 세트 D SD1 SD2 ... SD100
기준 값 세트 E SE1 SE2 ... SE100
이렇게, 유사도 연산부(116)에 의해 상기 p x q개의 유사도 연산 값들이 연산되면, 기준 프레임 추출부(117)는 상기 p x q개의 유사도 연산 값들 중 크기가 최대인 제1 유사도 연산 값을 선택한 후, 상기 q개의 프레임들 중 상기 제1 유사도 연산 값이 산출되는데 사용된 제1 측정 값 세트에 대한 제1 프레임을, 상기 제1 전방 영상에 대한 기준 프레임으로 추출한다.
위험물 탐지 수행부(118)는 기준 프레임 추출부(117)에 의해 상기 제1 프레임이 상기 제1 전방 영상에 대한 기준 프레임으로 추출되면, 이미지로부터 위험물이 존재하는지 여부를 탐지하기 위한 사전 설정된 위험물 탐지 모델을 기초로, 상기 제1 프레임으로부터 위험물이 존재하는지 여부를 탐지한다.
여기서, 상기 위험물 탐지 모델은 이미지로부터 소정의 위험물 객체에 해당되는 객체를 탐지할 수 있는 인공지능 기반의 탐지 모델로서, YOLO(You Only Look Once) 기반의 객체 탐지 및 분석 모델이 활용될 수 있다.
정보 전송부(119)는 상기 제1 프레임으로부터 위험물이 존재하는 것으로 탐지되면, 상기 제1 프레임, 상기 제1 프레임이 촬영된 제1 시점에서 상기 GPS를 통해 수집된 차량(10)의 제1 위치 정보 및 상기 제1 시점에서 상기 거리 측정 센서를 통해 측정된 제1 이격 거리 측정 값으로 구성된 제1 위험물 정보를 생성한 후, 상기 제1 위험물 정보를 위험물 정보 관리 서버(140)로 전송한다.
이하에서는, 기준 프레임 추출부(117), 위험물 탐지 수행부(118) 및 정보 전송부(119)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, 유사도 연산부(116)에 의해 상기 표 5와 같은 '500'개의 유사도 연산 값들이 연산되었다고 가정하자. 이때, 상기 표 5와 같은 '500'개의 유사도 연산 값들 중 크기가 최대인 유사도 연산 값이, '기준 값 세트 C'와 '측정 값 세트 2' 간의 유사도 연산 값인 'SC2'라고 가정하자.
그러면, 기준 프레임 추출부(117)는 'SC2'를 상기 제1 유사도 연산 값으로 선택한 후, '100'개의 프레임들 중, 'SC2'가 산출되는데 사용된 '측정 값 세트 2'에 대한 제1 프레임인 '프레임 2'를, '전방 영상 1'에 대한 기준 프레임으로 추출할 수 있다.
그러고 나서, 위험물 탐지 수행부(118)는 이미지로부터 위험물이 존재하는지 여부를 탐지하기 위한 사전 설정된 위험물 탐지 모델을 기초로, '프레임 2'로부터 위험물이 존재하는지 여부를 탐지할 수 있다.
그 결과, '프레임 2'로부터 위험물이 존재하는 것으로 탐지되었다고 하는 경우, 정보 전송부(119)는 '프레임 2', '프레임 2'가 촬영된 제1 시점에서 상기 GPS를 통해 수집된 차량(10)의 제1 위치 정보인 '위치 정보 1' 및 상기 제1 시점에서 상기 거리 측정 센서를 통해 측정된 제1 이격 거리 측정 값인 '이격 거리 측정 값 1'으로 구성된 '위험 물 정보 1'을 생성한 후, '위험물 정보 1'을 위험물 정보 관리 서버(140)로 전송할 수 있다.
그러면, 위험물 정보 관리 서버(140)는 '위험물 정보 1'을, 사전 지정된 복수의 차량들로부터 수집된 위험물 정보들이 저장되어 있는 위험물 정보 데이터베이스 상에 신규로 저장할 수 있다.
본 발명의 일실시예에 따르면, 정보 수집 단말 장치(110)는 평균 속도 확인부(123) 및 이벤트 발생 조정부(124)를 더 포함할 수 있다.
평균 속도 확인부(123)는 위험물 탐지 처리부(113)에 의해 상기 제1 위험물 정보가 위험물 정보 관리 서버(140)로 전송 완료되면, 상기 제1 위험물 정보가 위험물 정보 관리 서버(140)로 전송 완료된 현재 시점으로부터 상기 위험물 탐지 이벤트가 다시 발생될 제2 시점까지의 차량(10)의 평균 속도를 확인한다.
이벤트 발생 조정부(124)는 상기 평균 속도가 사전 설정된 기준 속도 미만인 것으로 확인되는 경우, 상기 제2 시점에서 상기 위험물 탐지 이벤트를 발생시키지 않고, 상기 제2 시점으로부터 상기 위험물 탐지 주기가 경과되는 제3 시점이 되면 상기 위험물 탐지 이벤트를 다시 발생시킨다.
이하에서는, 평균 속도 확인부(123) 및 이벤트 발생 조정부(124)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 사전 설정된 기준 속도를 '10km/h'라고 하고, 전술한 예에 따라, 위험물 탐지 처리부(113)에 의해 '위험물 정보 1'이 위험물 정보 관리 서버(140)로 전송 완료되었다고 가정하자.
그러면, 평균 속도 확인부(123)는 '위험물 정보 1'이 위험물 정보 관리 서버(140)로 전송 완료된 현재 시점으로부터 상기 위험물 탐지 이벤트가 다시 발생될 제2 시점까지의 차량(10)의 평균 속도를 확인할 수 있다.
그 결과, 상기 평균 속도가 '8km/h'인 것으로 확인되었다고 하는 경우, 상기 평균 속도는 상기 기준 속도인 '10km/h' 미만이므로, 이벤트 발생 조정부(124)는 상기 평균 속도가 상기 기준 속도 미만인 것으로 확인한 후, 상기 제2 시점에서 상기 위험물 탐지 이벤트를 발생시키지 않고, 상기 제2 시점으로부터 상기 위험물 탐지 주기가 경과되는 제3 시점이 되면 상기 위험물 탐지 이벤트를 다시 발생시킬 수 있다.
관련해서, 상기 평균 속도가 상기 기준 속도 미만인 것으로 확인되는 경우, 차량(10)이 매우 천천히 진행하고 있는 상황인 것으로 볼 수 있다. 이러한 경우, 상기 위험물 탐지 주기에 해당되는 시간 동안 상기 카메라를 통해 촬영되는 차량(10)의 전방 영상은 큰 변화가 없을 것이기 때문에, 상기 위험물 탐지 주기에 해당되는 시간 동안 상기 카메라를 통해 촬영된 차량(10)의 전방 영상으로부터 새로운 위험물이 촬영될 가능성이 적을 것이다. 따라서, 정보 수집 단말 장치(110)는 상기 평균 속도가 상기 기준 속도 미만인 것으로 확인되는 경우, 상기 위험물 탐지 이벤트가 발생되는 시점을 조정함으로써, 보다 효율적으로 도로 상의 위험물 정보를 수집할 수 있다.
본 발명의 일실시예에 따르면, 정보 전송부(119)는 상기 제1 위험물 정보를 위험물 정보 관리 서버(140)로 전송하는 과정에서, 상기 제1 위험물 정보가 제3자에게 노출되는 문제를 해소하기 위해, 상기 제1 위험물 정보를 암호화하여 위험물 정보 관리 서버(140)로 전송하는 구성을 더 포함할 수 있다.
이와 관련해서, 본 발명의 일실시예에 따르면, 정보 전송부(119)는 암호화 키 저장부(125), 암호화 이벤트 발생부(126), 프레임 분할부(127), 복원용 키 이미지 생성부(128), 매핑 행렬 생성부(129), 데이터셋 생성부(130), 치환 행렬 생성부(131), 암호화 이미지 생성부(132) 및 정보 전송 처리부(133)를 포함할 수 있다.
암호화 키 저장부(125)에는 위험물 정보 관리 서버(140)와 사전 공유하고 있는 암호화 키가 저장되어 있다.
예컨대, 위험물 정보 관리 서버(140)와 사전 공유하고 있는 암호화 키가 '암호화 키 1'이라고 하는 경우, 암호화 키 저장부(125)에는 '암호화 키 1'이 저장되어 있을 수 있다.
암호화 이벤트 발생부(126)는 위험물 탐지 수행부(118)에 의해 상기 제1 프레임으로부터 위험물이 존재하는 것으로 탐지되면, 상기 제1 프레임, 상기 제1 위치 정보 및 상기 제1 이격 거리 측정 값으로 구성된 상기 제1 위험물 정보를 생성한 후, 상기 제1 위험물 정보를 암호화하여 위험물 정보 관리 서버(140)로 전송하기 위한 암호화 이벤트를 발생시킨다.
프레임 분할부(127)는 암호화 이벤트 발생부(126)에 의해 상기 암호화 이벤트가 발생되면, 상기 제1 프레임을 가로 n(n은 2 이상의 자연수임)개와 세로 n개로 구성되는 n x n개의 부분 영역들로 분할한다.
복원용 키 이미지 생성부(128)는 상기 제1 프레임을 구성하는 상기 n x n개의 부분 영역들 중, k(k는 2 이상 n2 미만의 자연수임)개의 제1 부분 영역들을 랜덤하게 선택하고, 상기 제1 부분 영역들 각각에 대해, 각 부분 영역별로 임의의 홀수개만큼의 제1 화소들을 랜덤하게 선택한 후, 각 부분 영역별로 선택된 상기 제1 화소들 각각에 대한 화솟값을 랜덤하게 변경하고, 상기 n x n개의 부분 영역들 중, 상기 제1 부분 영역들을 제외한 나머지 n2-k개의 제2 부분 영역들 각각에 대해, 각 부분 영역별로 임의의 짝수개만큼의 제2 화소들을 랜덤하게 선택한 후, 각 부분 영역별로 선택된 상기 제2 화소들 각각에 대한 화솟값을 랜덤하게 변경함으로써, 복원용 키 이미지를 생성한다.
매핑 행렬 생성부(129)는 복원용 키 이미지 생성부(128)에 의해 상기 복원용 키 이미지가 생성되면, 상기 n x n개의 부분 영역들 중, 상기 제1 부분 영역들과 동일한 지점에 '1'의 성분을 할당하고, 상기 제2 부분 영역들과 동일한 지점에 '0'의 성분을 할당함으로써, '0'과 '1'로 구성된 n x n 크기의 매핑(mapping) 행렬을 생성한다.
데이터셋 생성부(130)는 상기 제1 위치 정보 및 상기 제1 이격 거리 측정 값으로 구성된 데이터셋을 생성한다.
치환 행렬 생성부(131)는 상기 데이터셋을 k개로 분할하여 k개의 분할 데이터들을 생성하고, n2-k개의 더미(dummy) 데이터들을 랜덤하게 생성한 후, 상기 매핑 행렬을 구성하는 n x n개의 성분들 중, '1'의 성분들이 위치하는 지점에 상기 k개의 분할 데이터들을 하나씩 삽입하고, '0'의 성분들이 위치하는 지점에 상기 n2-k개의 더미 데이터들을 하나씩 삽입함으로써, n x n 크기의 치환 행렬을 생성한다.
암호화 이미지 생성부(132)는 상기 제1 프레임을 상기 암호화 키로 암호화함으로써, 암호화 이미지를 생성한다.
정보 전송 처리부(133)는 위험물 정보 관리 서버(140)로, 상기 암호화 이미지, 상기 치환 행렬 및 상기 복원용 키 이미지를 전송한다.
이하에서는, 암호화 이벤트 발생부(126), 프레임 분할부(127), 복원용 키 이미지 생성부(128), 매핑 행렬 생성부(129), 데이터셋 생성부(130), 치환 행렬 생성부(131), 암호화 이미지 생성부(132) 및 정보 전송 처리부(133)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, n을 '3', k를 '4'라고 하고, 전술한 예와 같이, 위험물 탐지 수행부(118)에 의해 '프레임 2'로부터 위험물이 존재하는 것으로 탐지되었다고 하는 경우, 암호화 이벤트 발생부(126)는 '프레임 2', '위치 정보 1', '이격 거리 측정 값 1'로 구성된 '위험물 정보 1'을 생성한 후, '위험물 정보 1'을 암호화하여 위험물 정보 관리 서버(140)로 전송하기 위한 암호화 이벤트를 발생시킬 수 있다.
그러면, 프레임 분할부(127)는 '프레임 2'를 가로 '3'개와 세로 '3'개로 구성되는 '3 x 3'개의 부분 영역들로 분할할 수 있다.
관련해서, '프레임 2'가 도 2의 도면부호 210으로 표시된 그림과 같다고 하는 경우, 프레임 분할부(127)는 '프레임 2(210)'를 가로 '3'개와 세로 '3'개로 구성되는 '9'개의 부분 영역들(211, 212, 213, 214, 215, 216, 217, 218, 219)로 분할할 수 있다.
그러고 나서, 복원용 키 이미지 생성부(128)는 '프레임 2(210)'를 구성하는 '9'개의 부분 영역들(211, 212, 213, 214, 215, 216, 217, 218, 219) 중, '4'개의 제1 부분 영역들을 랜덤하게 선택할 수 있다.
이때, '9'개의 부분 영역들(211, 212, 213, 214, 215, 216, 217, 218, 219) 중 부분 영역들(212, 216, 217, 219)이 상기 제1 부분 영역들로 선택되었다고 하는 경우, 복원용 키 이미지 생성부(128)는 제1 부분 영역들(212, 216, 217, 219) 각각에 대해, 각 부분 영역별로 임의의 홀수개만큼의 제1 화소들을 랜덤하게 선택할 수 있다.
그 결과, 제1 부분 영역들(212, 216, 217, 219) 각각에 대해, 각 부분 영역별로 '17개, 21개, 9개, 35개'의 제1 화소들이 선택되었다고 하는 경우, 복원용 키 이미지 생성부(128)는 각 부분 영역별로 선택된 상기 제1 화소들 각각에 대한 화솟값을 랜덤하게 변경할 수 있다.
또한, 복원용 키 이미지 생성부(128)는 '9'개의 부분 영역들(211, 212, 213, 214, 215, 216, 217, 218, 219) 중 제1 부분 영역들(212, 216, 217, 219)을 제외한 나머지 '5'개의 제2 부분 영역들(211, 213, 214, 215, 218) 각각에 대해, 각 부분 영역별로 임의의 짝수개만큼의 제2 화소들을 랜덤하게 선택할 수 있다.
그 결과, 제2 부분 영역들(211, 213, 214, 215, 218) 각각에 대해, '30개, 12개, 26개, 4개, 18개'의 제2 화소들이 선택되었다고 하는 경우, 복원용 키 이미지 생성부(128)는 각 부분 영역별로 선택된 상기 제2 화소들 각각에 대한 화솟값을 랜덤하게 변경할 수 있다.
이렇게, 복원용 키 이미지 생성부(128)는 제1 부분 영역들(212, 216, 217, 219)과 제2 부분 영역들(211, 213, 214, 215, 218)에 대한 화솟값의 변경을 수행함으로써, 복원용 키 이미지를 생성할 수 있다.
그러면, 매핑 행렬 생성부(129)는 '9'개의 부분 영역들(211, 212, 213, 214, 215, 216, 217, 218, 219) 중, 제1 부분 영역들(212, 216, 217, 219)과 동일한 지점에 '1'의 성분을 할당하고, 제2 부분 영역들(211, 213, 214, 215, 218)과 동일한 지점에 '0'의 성분을 할당함으로써, '0'과 '1'로 구성된 '3 x 3' 크기의 매핑 행렬을 '
Figure PCTKR2022011717-appb-img-000003
'과 같이 생성할 수 있다.
그러고 나서, 데이터셋 생성부(130)는 '위치 정보 1'과 '이격 거리 측정 값 1'으로 구성된 데이터셋을 '(위치 정보 1, 이격 거리 측정 값 1)'과 같이 생성할 수 있다.
그 이후, 치환 행렬 생성부(131)는 상기 데이터셋을 '4'개로 분할하여, '4'개의 분할 데이터들을 'P1, P2, P3, P4'와 같이 생성할 수 있고, '5'개의 더미 데이터들을 'D1, D2, D3, D4, D5'와 같이 랜덤하게 생성할 수 있다.
그러고 나서, 치환 행렬 생성부(131)는 상기 매핑 행렬인 '
Figure PCTKR2022011717-appb-img-000004
'을 구성하는 '9'개의 성분들 중, '1'의 성분들이 위치하는 지점에 상기 '4'개의 분할 데이터들인 'P1, P2, P3, P4'를 하나씩 삽입하고, '0'의 성분들이 위치하는 지점에 '5'개의 더미 데이터들인 'D1, D2, D3, D4, D5'을 하나씩 삽입함으로써, '3 x 3' 크기의 치환 행렬을 '
Figure PCTKR2022011717-appb-img-000005
'와 같이 생성할 수 있다.
또한, 암호화 이미지 생성부(132)는 '프레임 2(210)'를 '암호화 키 1'로 암호화함으로써, 암호화 이미지를 생성할 수 있다.
그러면, 정보 전송 처리부(133)는 위험물 정보 관리 서버(140)로, 상기 암호화 이미지, 상기 치환 행렬인 '
Figure PCTKR2022011717-appb-img-000006
' 및 상기 복원용 키 이미지를 전송할 수 있다.
이때, 본 발명의 일실시예에 따르면, 위험물 정보 관리 서버(140)는 상기 암호화 키를 사전 저장하고 있고, 정보 수집 단말 장치(110)로부터, 상기 암호화 이미지, 상기 치환 행렬 및 상기 복원용 키 이미지가 수신되면, 상기 암호화 키로 상기 암호화 이미지를 복호화함으로써, 상기 제1 프레임을 복원한 후, 상기 제1 프레임과 상기 복원용 키 이미지를 기초로, 상기 치환 행렬에 삽입된 상기 k개의 분할 데이터들을 추출한 후, 추출된 상기 k개의 분할 데이터들을 조합하여 상기 데이터셋을 복원함으로써, 상기 제1 위치 정보와 상기 제1 이격 거리 측정 값을 복원할 수 있다.
구체적으로, 위험물 정보 관리 서버(140)는 상기 암호화 키를 사전 저장하고 있고, 정보 수집 단말 장치(110)로부터, 상기 암호화 이미지, 상기 치환 행렬 및 상기 복원용 키 이미지가 수신되면, 상기 암호화 키로 상기 암호화 이미지를 복호화함으로써, 상기 제1 프레임을 복원한 후, 상기 제1 프레임과 상기 복원용 키 이미지를, 각각 가로 n개와 세로 n개로 구성되는 n x n개의 부분 영역들로 분할하고, 상기 n x n개의 부분 영역들 각각에 대해, 각 부분 영역별로, 상기 제1 프레임과 상기 복원용 키 이미지 간의 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 확인하여, 각 부분 영역별로 확인된 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 성분으로 갖는 n x n 크기의 영역 행렬을 생성한 후, 상기 영역 행렬을 구성하는 성분들 각각을, 각 성분에 대해 모듈로(modulo)-2 연산을 수행하였을 때의 결과 값으로 치환함으로써, '0'과 '1'로 구성된 n x n 크기의 복원 행렬을 생성하고, 상기 복원 행렬이 생성되면, 상기 복원 행렬과 상기 치환 행렬 간의 아다마르 곱(Hadamard product)을 연산하여 연산 행렬을 생성하고, 상기 연산 행렬을 구성하는 n x n개의 성분들 중 '0'이 아닌 k개의 성분들을, 상기 k개의 분할 데이터들로 추출한 후, 추출된 상기 k개의 분할 데이터들을 조합하여 상기 데이터셋을 복원함으로써, 상기 제1 위치 정보와 상기 제1 이격 거리 측정 값을 복원할 수 있다.
여기서, 모듈로-2 연산은 피제수를 2로 나누는 나눗셈을 수행하여, 그에 대한 나머지(remainder)를 산출하는 연산을 의미한다.
또한, 아다마르 곱이란 같은 크기의 행렬에서 각 성분을 곱하는 연산을 의미하는 것으로서, '[a b c]'와 '[x y z]'라는 행렬이 있을 때, 두 행렬 간의 아다마르 곱을 연산하면, 이에 대한 연산 행렬은 '[ax by cz]'로 나타낼 수 있다.
이하에서는, 도 2를 참조하여, 위험물 정보 관리 서버(140)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, n을 '3', k를 '4'라고 하고, 위험물 정보 관리 서버(140)에는, 정보 수집 단말 장치(110)와 사전 공유하고 있는 암호화 키인 '암호화 키 1'이 사전 저장되어 있다고 하며, 정보 전송 처리부(133)가 위험물 정보 관리 서버(140)로, 상기 암호화 이미지, 상기 치환 행렬인 '
Figure PCTKR2022011717-appb-img-000007
' 및 상기 복원용 키 이미지를 전송함에 따라, 위험물 정보 관리 서버(140)에 상기 암호화 이미지, 상기 치환 행렬 및 상기 복원용 키 이미지가 수신되었다고 가정하자. 또한, 상기 복원용 키 이미지는 도 2의 도면부호 220으로 도시된 그림과 같다고 가정하자.
이때, 전술한 예에 따르면, 상기 암호화 이미지는 '프레임 2(210)'가 '암호화 키 1'로 암호화됨으로써 생성된 이미지이므로, 위험물 정보 관리 서버(140)는 상기 암호화 이미지를 '암호화 키 1'로 복호화함으로써, '프레임 2(210)'를 복원할 수 있다.
그 이후, 위험물 정보 관리 서버(140)는, '프레임 2(210)'를 가로 '3'개와 세로 '3'개로 구성되는 '9'개의 부분 영역들(211, 212, 213, 214, 215, 216, 217, 218, 219)로 분할할 수 있고, 복원용 키 이미지(220)를 가로 '3'개와 세로 '3'개로 구성되는 '9'개의 부분 영역들(221, 222, 223, 224, 225, 226, 227, 228, 229)로 분할할 수 있다.
그러고 나서, 위험물 정보 관리 서버(140)는 '9'개의 부분 영역별로, '프레임 2(210)'와 복원용 키 이미지(220) 간의 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 확인할 수 있다.
관련해서, 상기 복원용 키 이미지(220)를 구성하는 '부분 영역 1(221)'의 경우, '프레임 2(210)'을 구성하는 '부분 영역 1(211)'에서 '30개'만큼의 제2 화소들 각각에 대한 화솟값이 랜덤하게 변경되었으므로, 위험물 정보 관리 서버(140)는 '부분 영역 1(211)'과 '부분 영역 1(221)' 간의 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 '30개'로 확인할 수 있다.
그리고, 상기 복원용 키 이미지(220)를 구성하는 '부분 영역 2(222)'의 경우, '프레임 2(210)'을 구성하는 '부분 영역 2(212)'에서 '17개'만큼의 제1 화소들 각각에 대한 화솟값이 랜덤하게 변경되었으므로, 위험물 정보 관리 서버(140)는 '부분 영역 2(212)'와 '부분 영역 2(222)' 간의 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 '17개'로 확인할 수 있다.
그리고, 상기 복원용 키 이미지(220)를 구성하는 '부분 영역 3(223)'의 경우, '프레임 2(210)'을 구성하는 '부분 영역 3(213)'에서 '12개'만큼의 제2 화소들 각각에 대한 화솟값이 랜덤하게 변경되었으므로, 위험물 정보 관리 서버(140)는 '부분 영역 3(213)'과 '부분 영역 2(223)' 간의 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 '12개'로 확인할 수 있다.
그리고, 상기 복원용 키 이미지(220)를 구성하는 '부분 영역 4(224)'의 경우, '프레임 2(210)'을 구성하는 '부분 영역 4(214)'에서 '26개'만큼의 제2 화소들 각각에 대한 화솟값이 랜덤하게 변경되었으므로, 위험물 정보 관리 서버(140)는 '부분 영역 4(214)'와 '부분 영역 4(224)' 간의 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 '26개'로 확인할 수 있다.
그리고, 상기 복원용 키 이미지(220)를 구성하는 '부분 영역 5(425)'의 경우, '프레임 2(210)'을 구성하는 '부분 영역 5(415)'에서 '4개'만큼의 제2 화소들 각각에 대한 화솟값이 랜덤하게 변경되었으므로, 위험물 정보 관리 서버(140)는 '부분 영역 5(415)'와 '부분 영역 5(425)' 간의 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 '4개'로 확인할 수 있다.
그리고, 상기 복원용 키 이미지(220)를 구성하는 '부분 영역 6(226)'의 경우, '프레임 2(210)'을 구성하는 '부분 영역 6(216)'에서 '21개'만큼의 제1 화소들 각각에 대한 화솟값이 랜덤하게 변경되었으므로, 위험물 정보 관리 서버(140)는 '부분 영역 6(216)'과 '부분 영역 6(226)' 간의 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 '21개'로 확인할 수 있다.
그리고, 상기 복원용 키 이미지(220)를 구성하는 '부분 영역 7(227)'의 경우, '프레임 2(210)'을 구성하는 '부분 영역 7(217)'에서 '9개'만큼의 제1 화소들 각각에 대한 화솟값이 랜덤하게 변경되었으므로, 위험물 정보 관리 서버(140)는 '부분 영역 7(217)'과 '부분 영역 7(227)' 간의 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 '9개'로 확인할 수 있다.
그리고, 상기 복원용 키 이미지(220)를 구성하는 '부분 영역 8(228)'의 경우, '프레임 2(210)'을 구성하는 '부분 영역 8(218)'에서 '18개'만큼의 제2 화소들 각각에 대한 화솟값이 랜덤하게 변경되었으므로, 위험물 정보 관리 서버(140)는 '부분 영역 8(218)'과 '부분 영역 8(228)' 간의 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 '18개'로 확인할 수 있다.
그리고, 상기 복원용 키 이미지(220)를 구성하는 '부분 영역 9(229)'의 경우, '프레임 2(210)'을 구성하는 '부분 영역 9(219)'에서 '35개'만큼의 제1 화소들 각각에 대한 화솟값이 랜덤하게 변경되었으므로, 위험물 정보 관리 서버(140)는 '부분 영역 9(219)'와 '부분 영역 9(229)' 간의 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 '35개'로 확인할 수 있다.
이렇게, 위험물 정보 관리 서버(140)는 각 부분 영역별로 서로 일치 하지 않는 화솟값을 갖는 화소들의 개수가 '30개, 17개, 12개, 26개, 4개, 21개, 9개, 18개, 35개'와 같이 확인되면, 각 부분 영역별로 확인된 서로 일치 하지 않는 화솟값을 갖는 화소들의 개수인 '30개, 17개, 12개, 26개, 4개, 21개, 9개, 18개, 35개'를 성분으로 갖는 '3 x 3' 크기의 영역 행렬을, '
Figure PCTKR2022011717-appb-img-000008
'와 같이 생성할 수 있다.
그러고 나서, 위험물 정보 관리 서버(140)는 상기 영역 행렬인 '
Figure PCTKR2022011717-appb-img-000009
'을 구성하는 성분들 각각을, 각 성분에 대해 모듈로-2 연산을 수행하였을 때의 결과 값으로 치환함으로써, '0'과 '1'로 구성된 '3 x 3' 크기의 복원 행렬을 '
Figure PCTKR2022011717-appb-img-000010
'과 같이 생성할 수 있다.
그 이후, 위험물 정보 관리 서버(140)는 상기 복원 행렬인 '
Figure PCTKR2022011717-appb-img-000011
'과 상기 치환 행렬인 '
Figure PCTKR2022011717-appb-img-000012
' 간의 아다마르 곱을 연산하여 연산 행렬을 '
Figure PCTKR2022011717-appb-img-000013
'와 같이 생성한 후, 상기 연산 행렬인 '
Figure PCTKR2022011717-appb-img-000014
'를 구성하는 '9'개의 성분들 중 '0'이 아닌 '4'개의 성분들을, '4'개의 분할 데이터들로 추출할 수 있다.
이때, 위험물 정보 관리 서버(140)는 상기 연산 행렬인 '
Figure PCTKR2022011717-appb-img-000015
'를 구성하는 '9'개의 성분들 중 '0'이 아닌 '4'개의 성분들을 '4'개의 분할 데이터들로 추출할 때, 좌측열에서 우측열의 방향으로, 상단행에서 하단행의 방향으로 순차적으로 하나씩 추출할 수 있다. 즉, 위험물 정보 관리 서버(140)는 상기 연산 행렬인 '
Figure PCTKR2022011717-appb-img-000016
'를 구성하는 '9'개의 성분들 중 '0'이 아닌 '4'개의 성분들을 '1행 1열, 1행 2열, 1행 3열, 2행 1열, 2행 2열, 2행 3열, 3행 1열, 3행 2열, 3행 3열'의 순서로 하나씩 추출함으로써, 'P1, P2, P3, P4'라는 '4'개의 분할 데이터들을 하나씩 추출할 수 있다.
그러고 나서, 위험물 정보 관리 서버(140)는 추출된 '4'개의 분할 데이터들인 'P1, P2, P3, P4'를 조합하여 상기 데이터셋인 '(위치 정보 1, 이격 거리 측정 값 1)'을 복원함으로써, 위치 정보 1'과 '이격 거리 측정 값 1'을 복원할 수 있다.
도 3은 본 발명의 일실시예에 따른 차량에 탑재되어, 도로 상의 위험물 정보를 수집하기 위한 장치로서, 차량의 전방을 촬영할 수 있는 카메라와, 상기 카메라를 통해 촬영되는 상기 차량의 전방의 촬영 지점까지의 이격 거리를 측정하기 위한 거리 측정 센서, 및 상기 차량의 위치 정보를 수집하고 상기 차량의 현재 속도를 측정하기 위한 GPS가 구비되어 있는 정보 수집 단말 장치의 동작 방법을 도시한 순서도이다.
단계(S310)에서는 상기 카메라를 통해 촬영된 상기 차량의 전방 영상으로부터 위험물 탐지에 사용할 기준 프레임을 추출하기 위한, 사전 설정된 서로 다른 p(p는 2 이상의 자연수임)개의 기준 값 세트들(상기 p개의 기준 값 세트들 각각은, 상기 기준 프레임의 추출을 위해, 세트별로 서로 다르게 설정된 기준 속도와 기준 이격 거리로 구성되어 있음)이 저장되어 있는 기준 값 세트 저장부를 유지한다.
단계(S320)에서는 사전 설정된 위험물 탐지 주기 간격으로, 위험물 탐지 이벤트를 발생시킨다.
단계(S330)에서는 상기 위험물 탐지 이벤트가 발생되면, 상기 위험물 탐지 이벤트가 발생된 시점으로부터 상기 위험물 탐지 주기에 해당되는 시간 동안 상기 카메라를 통해 촬영된 상기 차량의 전방 영상을 획득하여, 획득된 상기 차량의 전방 영상으로부터 위험물이 존재하는지 여부를 탐지한 후 위험물이 존재하는 것으로 탐지된 경우, 탐지된 위험물에 대한 위험물 정보를, 위험물 정보 관리 서버(상기 위험물 정보 관리 서버는, 도로 상에서 위험물 정보를 수집하기로 사전 지정된 복수의 차량들로부터 수집된 위험물 정보들이 저장되어 있는 위험물 정보 데이터베이스를 포함하고 있음)로 전송한다.
이때, 단계(S330)에서는 상기 위험물 탐지 이벤트가 발생됨에 따라, 상기 위험물 탐지 주기에 해당되는 시간 동안 상기 카메라를 통해 촬영된 제1 전방 영상이 획득되면, 상기 제1 전방 영상을 구성하는 q(q는 2이상의 자연수임)개의 프레임들 각각에 대해, 각 프레임이 촬영된 시점에서 상기 GPS를 통해 측정된 상기 차량의 속도 측정 값과, 각 프레임이 촬영된 시점에서 상기 거리 측정 센서를 통해 측정된 상기 차량의 전방의 촬영 지점까지의 이격 거리 측정 값을 확인함으로써, 상기 q개의 프레임들 각각에 대한 속도 측정 값과 이격 거리 측정 값을 확인하는 단계, 상기 q개의 프레임들 각각에 대한 속도 측정 값과 이격 거리 측정 값이 확인되면, 상기 q개의 프레임들 각각에 대해, 각 프레임에 대한 속도 측정 값과 이격 거리 측정 값을 성분으로 갖는 측정 값 세트를 구성함으로써, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트를 생성하는 단계, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트가 생성되면, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트와 상기 기준 값 세트 저장부에 저장되어 있는 상기 p개 기준 값 세트들 각각 간의 유사도를 모두 연산함으로써, 총 p x q개의 유사도 연산 값들을 산출하는 단계, 상기 p x q개의 유사도 연산 값들 중 크기가 최대인 제1 유사도 연산 값을 선택한 후, 상기 q개의 프레임들 중 상기 제1 유사도 연산 값이 산출되는데 사용된 제1 측정 값 세트에 대한 제1 프레임을, 상기 제1 전방 영상에 대한 기준 프레임으로 추출하는 단계, 상기 제1 프레임이 상기 제1 전방 영상에 대한 기준 프레임으로 추출되면, 이미지로부터 위험물이 존재하는지 여부를 탐지하기 위한 사전 설정된 위험물 탐지 모델을 기초로, 상기 제1 프레임으로부터 위험물이 존재하는지 여부를 탐지하는 단계 및 상기 제1 프레임으로부터 위험물이 존재하는 것으로 탐지되면, 상기 제1 프레임, 상기 제1 프레임이 촬영된 제1 시점에서 상기 GPS를 통해 수집된 상기 차량의 제1 위치 정보 및 상기 제1 시점에서 상기 거리 측정 센서를 통해 측정된 제1 이격 거리 측정 값으로 구성된 제1 위험물 정보를 생성한 후, 상기 제1 위험물 정보를 상기 위험물 정보 관리 서버로 전송하는 단계를 포함한다.
이때, 본 발명의 일실시예에 따르면, 상기 총 p x q개의 유사도 연산 값들을 산출하는 단계는 상기 q개의 프레임들 각각에 대응되는 측정 값 세트가 생성되면, 상기 q개의 프레임들 각각에 대해, 각 프레임에 대응되는 측정 값 세트에 포함되어 있는 속도 측정 값과 이격 거리 측정 값을 성분으로 갖는 2차원의 벡터를 구성함으로써, 상기 q개의 프레임들 각각에 대응되는 프레임 벡터를 생성하는 단계, 상기 기준 값 세트 저장부에 저장되어 있는 상기 p개의 기준 값 세트들 각각에 대해, 각 기준 값 세트에 포함되어 있는 기준 속도와 기준 이격 거리를 성분으로 갖는 2차원의 벡터를 구성함으로써, 상기 p개의 기준 값 세트들 각각에 대응되는 기준 벡터를 생성하는 단계 및 상기 q개의 프레임들 각각에 대응되는 프레임 벡터와 상기 p개의 기준 값 세트들 각각에 대응되는 기준 벡터가 생성되면, 상기 q개의 프레임들 각각에 대응되는 프레임 벡터와 상기 p개의 기준 값 세트들 각각에 대응되는 기준 벡터 간의 벡터 유사도를, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트와 상기 p개 기준 값 세트들 각각 간의 유사도로 연산함으로써, 상기 p x q개의 유사도 연산 값들을 산출하는 단계를 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 정보 수집 단말 장치의 동작 방법은 상기 제1 위험물 정보가 상기 위험물 정보 관리 서버로 전송 완료되면, 상기 제1 위험물 정보가 상기 위험물 정보 관리 서버로 전송 완료된 현재 시점으로부터 상기 위험물 탐지 이벤트가 다시 발생될 제2 시점까지의 상기 차량의 평균 속도를 확인하는 단계 및 상기 평균 속도가 사전 설정된 기준 속도 미만인 것으로 확인되는 경우, 상기 제2 시점에서 상기 위험물 탐지 이벤트를 발생시키지 않고, 상기 제2 시점으로부터 상기 위험물 탐지 주기가 경과되는 제3 시점이 되면 상기 위험물 탐지 이벤트를 다시 발생시키는 단계를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 제1 위험물 정보를 상기 위험물 정보 관리 서버로 전송하는 단계는 상기 위험물 정보 관리 서버와 사전 공유하고 있는 암호화 키가 저장되어 있는 암호화 키 저장부를 유지하는 단계, 상기 제1 프레임으로부터 위험물이 존재하는 것으로 탐지되면, 상기 제1 프레임, 상기 제1 위치 정보 및 상기 제1 이격 거리 측정 값으로 구성된 상기 제1 위험물 정보를 생성한 후, 상기 제1 위험물 정보를 암호화하여 상기 위험물 정보 관리 서버로 전송하기 위한 암호화 이벤트를 발생시키는 단계, 상기 암호화 이벤트가 발생되면, 상기 제1 프레임을 가로 n(n은 2 이상의 자연수임)개와 세로 n개로 구성되는 n x n개의 부분 영역들로 분할하는 단계, 상기 제1 프레임을 구성하는 상기 n x n개의 부분 영역들 중, k(k는 2 이상 n2 미만의 자연수임)개의 제1 부분 영역들을 랜덤하게 선택하고, 상기 제1 부분 영역들 각각에 대해, 각 부분 영역별로 임의의 홀수개만큼의 제1 화소들을 랜덤하게 선택한 후, 각 부분 영역별로 선택된 상기 제1 화소들 각각에 대한 화솟값을 랜덤하게 변경하고, 상기 n x n개의 부분 영역들 중, 상기 제1 부분 영역들을 제외한 나머지 n2-k개의 제2 부분 영역들 각각에 대해, 각 부분 영역별로 임의의 짝수개만큼의 제2 화소들을 랜덤하게 선택한 후, 각 부분 영역별로 선택된 상기 제2 화소들 각각에 대한 화솟값을 랜덤하게 변경함으로써, 복원용 키 이미지를 생성하는 단계, 상기 복원용 키 이미지가 생성되면, 상기 n x n개의 부분 영역들 중, 상기 제1 부분 영역들과 동일한 지점에 '1'의 성분을 할당하고, 상기 제2 부분 영역들과 동일한 지점에 '0'의 성분을 할당함으로써, '0'과 '1'로 구성된 n x n 크기의 매핑 행렬을 생성하는 단계, 상기 제1 위치 정보 및 상기 제1 이격 거리 측정 값으로 구성된 데이터셋을 생성하는 단계, 상기 데이터셋을 k개로 분할하여 k개의 분할 데이터들을 생성하고, n2-k개의 더미 데이터들을 랜덤하게 생성한 후, 상기 매핑 행렬을 구성하는 n x n개의 성분들 중, '1'의 성분들이 위치하는 지점에 상기 k개의 분할 데이터들을 하나씩 삽입하고, '0'의 성분들이 위치하는 지점에 상기 n2-k개의 더미 데이터들을 하나씩 삽입함으로써, n x n 크기의 치환 행렬을 생성하는 단계, 상기 제1 프레임을 상기 암호화 키로 암호화함으로써, 암호화 이미지를 생성하는 단계 및 상기 위험물 정보 관리 서버로, 상기 암호화 이미지, 상기 치환 행렬 및 상기 복원용 키 이미지를 전송하는 단계를 포함할 수 있고, 이때, 상기 위험물 정보 관리 서버는 상기 암호화 키를 사전 저장하고 있고, 상기 정보 수집 단말 장치로부터, 상기 암호화 이미지, 상기 치환 행렬 및 상기 복원용 키 이미지가 수신되면, 상기 암호화 키로 상기 암호화 이미지를 복호화함으로써, 상기 제1 프레임을 복원한 후, 상기 제1 프레임과 상기 복원용 키 이미지를 기초로, 상기 치환 행렬에 삽입된 상기 k개의 분할 데이터들을 추출한 후, 추출된 상기 k개의 분할 데이터들을 조합하여 상기 데이터셋을 복원함으로써, 상기 제1 위치 정보와 상기 제1 이격 거리 측정 값을 복원할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 위험물 정보 관리 서버는 상기 암호화 키를 사전 저장하고 있고, 상기 정보 수집 단말로부터, 상기 암호화 이미지, 상기 치환 행렬 및 상기 복원용 키 이미지가 수신되면, 상기 암호화 키로 상기 암호화 이미지를 복호화함으로써, 상기 제1 프레임을 복원한 후, 상기 제1 프레임과 상기 복원용 키 이미지를, 각각 가로 n개와 세로 n개로 구성되는 n x n개의 부분 영역들로 분할하고, 상기 n x n개의 부분 영역들 각각에 대해, 각 부분 영역별로, 상기 제1 프레임과 상기 복원용 키 이미지 간의 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 확인하여, 각 부분 영역별로 확인된 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 성분으로 갖는 n x n 크기의 영역 행렬을 생성한 후, 상기 영역 행렬을 구성하는 성분들 각각을, 각 성분에 대해 모듈로-2 연산을 수행하였을 때의 결과 값으로 치환함으로써, '0'과 '1'로 구성된 n x n 크기의 복원 행렬을 생성하고, 상기 복원 행렬이 생성되면, 상기 복원 행렬과 상기 치환 행렬 간의 아다마르 곱을 연산하여 연산 행렬을 생성하고, 상기 연산 행렬을 구성하는 n x n개의 성분들 중 '0'이 아닌 k개의 성분들을, 상기 k개의 분할 데이터들로 추출한 후, 추출된 상기 k개의 분할 데이터들을 조합하여 상기 데이터셋을 복원함으로써, 상기 제1 위치 정보와 상기 제1 이격 거리 측정 값을 복원할 수 있다.
이상, 도 3을 참조하여 본 발명의 일실시예에 따른 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 정보 수집 단말 장치의 동작 방법은 도 1 내지 도 2를 이용하여 설명한 정보 수집 단말 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명의 일실시예에 따른 정보 수집 단말 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 정보 수집 단말 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (12)

  1. 차량에 탑재되어, 도로 상의 위험물 정보를 수집하기 위한 장치로서, 차량의 전방을 촬영할 수 있는 카메라와, 상기 카메라를 통해 촬영되는 상기 차량의 전방의 촬영 지점까지의 이격 거리를 측정하기 위한 거리 측정 센서, 및 상기 차량의 위치 정보를 수집하고 상기 차량의 현재 속도를 측정하기 위한 GPS(Global Positioning System)가 구비되어 있는 정보 수집 단말 장치에 있어서,
    상기 카메라를 통해 촬영된 상기 차량의 전방 영상으로부터 위험물 탐지에 사용할 기준 프레임(frame)을 추출하기 위한, 사전 설정된 서로 다른 p(p는 2 이상의 자연수임)개의 기준 값 세트들 - 상기 p개의 기준 값 세트들 각각은, 상기 기준 프레임의 추출을 위해, 세트별로 서로 다르게 설정된 기준 속도와 기준 이격 거리로 구성되어 있음 - 이 저장되어 있는 기준 값 세트 저장부;
    사전 설정된 위험물 탐지 주기 간격으로, 위험물 탐지 이벤트를 발생시키는 위험물 탐지 이벤트 발생부; 및
    상기 위험물 탐지 이벤트가 발생되면, 상기 위험물 탐지 이벤트가 발생된 시점으로부터 상기 위험물 탐지 주기에 해당되는 시간 동안 상기 카메라를 통해 촬영된 상기 차량의 전방 영상을 획득하여, 획득된 상기 차량의 전방 영상으로부터 위험물이 존재하는지 여부를 탐지한 후 위험물이 존재하는 것으로 탐지된 경우, 탐지된 위험물에 대한 위험물 정보를, 위험물 정보 관리 서버 - 상기 위험물 정보 관리 서버는, 도로 상에서 위험물 정보를 수집하기로 사전 지정된 복수의 차량들로부터 수집된 위험물 정보들이 저장되어 있는 위험물 정보 데이터베이스를 포함하고 있음 - 로 전송하는 위험물 탐지 처리부
    를 포함하고,
    상기 위험물 탐지 처리부는
    상기 위험물 탐지 이벤트가 발생됨에 따라, 상기 위험물 탐지 주기에 해당되는 시간 동안 상기 카메라를 통해 촬영된 제1 전방 영상이 획득되면, 상기 제1 전방 영상을 구성하는 q(q는 2이상의 자연수임)개의 프레임들 각각에 대해, 각 프레임이 촬영된 시점에서 상기 GPS를 통해 측정된 상기 차량의 속도 측정 값과, 각 프레임이 촬영된 시점에서 상기 거리 측정 센서를 통해 측정된 상기 차량의 전방의 촬영 지점까지의 이격 거리 측정 값을 확인함으로써, 상기 q개의 프레임들 각각에 대한 속도 측정 값과 이격 거리 측정 값을 확인하는 측정 값 확인부;
    상기 q개의 프레임들 각각에 대한 속도 측정 값과 이격 거리 측정 값이 확인되면, 상기 q개의 프레임들 각각에 대해, 각 프레임에 대한 속도 측정 값과 이격 거리 측정 값을 성분으로 갖는 측정 값 세트를 구성함으로써, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트를 생성하는 측정 값 세트 생성부;
    상기 q개의 프레임들 각각에 대응되는 측정 값 세트가 생성되면, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트와 상기 기준 값 세트 저장부에 저장되어 있는 상기 p개 기준 값 세트들 각각 간의 유사도를 모두 연산함으로써, 총 p x q개의 유사도 연산 값들을 산출하는 유사도 연산부;
    상기 p x q개의 유사도 연산 값들 중 크기가 최대인 제1 유사도 연산 값을 선택한 후, 상기 q개의 프레임들 중 상기 제1 유사도 연산 값이 산출되는데 사용된 제1 측정 값 세트에 대한 제1 프레임을, 상기 제1 전방 영상에 대한 기준 프레임으로 추출하는 기준 프레임 추출부;
    상기 제1 프레임이 상기 제1 전방 영상에 대한 기준 프레임으로 추출되면, 이미지로부터 위험물이 존재하는지 여부를 탐지하기 위한 사전 설정된 위험물 탐지 모델을 기초로, 상기 제1 프레임으로부터 위험물이 존재하는지 여부를 탐지하는 위험물 탐지 수행부; 및
    상기 제1 프레임으로부터 위험물이 존재하는 것으로 탐지되면, 상기 제1 프레임, 상기 제1 프레임이 촬영된 제1 시점에서 상기 GPS를 통해 수집된 상기 차량의 제1 위치 정보 및 상기 제1 시점에서 상기 거리 측정 센서를 통해 측정된 제1 이격 거리 측정 값으로 구성된 제1 위험물 정보를 생성한 후, 상기 제1 위험물 정보를 상기 위험물 정보 관리 서버로 전송하는 정보 전송부
    를 포함하는 정보 수집 단말 장치.
  2. 제1항에 있어서,
    상기 유사도 연산부는
    상기 q개의 프레임들 각각에 대응되는 측정 값 세트가 생성되면, 상기 q개의 프레임들 각각에 대해, 각 프레임에 대응되는 측정 값 세트에 포함되어 있는 속도 측정 값과 이격 거리 측정 값을 성분으로 갖는 2차원의 벡터를 구성함으로써, 상기 q개의 프레임들 각각에 대응되는 프레임 벡터를 생성하는 프레임 벡터 생성부;
    상기 기준 값 세트 저장부에 저장되어 있는 상기 p개의 기준 값 세트들 각각에 대해, 각 기준 값 세트에 포함되어 있는 기준 속도와 기준 이격 거리를 성분으로 갖는 2차원의 벡터를 구성함으로써, 상기 p개의 기준 값 세트들 각각에 대응되는 기준 벡터를 생성하는 기준 벡터 생성부; 및
    상기 q개의 프레임들 각각에 대응되는 프레임 벡터와 상기 p개의 기준 값 세트들 각각에 대응되는 기준 벡터가 생성되면, 상기 q개의 프레임들 각각에 대응되는 프레임 벡터와 상기 p개의 기준 값 세트들 각각에 대응되는 기준 벡터 간의 벡터 유사도를, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트와 상기 p개 기준 값 세트들 각각 간의 유사도로 연산함으로써, 상기 p x q개의 유사도 연산 값들을 산출하는 유사도 연산 처리부
    를 포함하는 정보 수집 단말 장치.
  3. 제1항에 있어서,
    상기 제1 위험물 정보가 상기 위험물 정보 관리 서버로 전송 완료되면, 상기 제1 위험물 정보가 상기 위험물 정보 관리 서버로 전송 완료된 현재 시점으로부터 상기 위험물 탐지 이벤트가 다시 발생될 제2 시점까지의 상기 차량의 평균 속도를 확인하는 평균 속도 확인부; 및
    상기 평균 속도가 사전 설정된 기준 속도 미만인 것으로 확인되는 경우, 상기 제2 시점에서 상기 위험물 탐지 이벤트를 발생시키지 않고, 상기 제2 시점으로부터 상기 위험물 탐지 주기가 경과되는 제3 시점이 되면 상기 위험물 탐지 이벤트를 다시 발생시키는 이벤트 발생 조정부
    를 더 포함하는 정보 수집 단말 장치.
  4. 제1항에 있어서,
    상기 정보 전송부는
    상기 위험물 정보 관리 서버와 사전 공유하고 있는 암호화 키가 저장되어 있는 암호화 키 저장부;
    상기 제1 프레임으로부터 위험물이 존재하는 것으로 탐지되면, 상기 제1 프레임, 상기 제1 위치 정보 및 상기 제1 이격 거리 측정 값으로 구성된 상기 제1 위험물 정보를 생성한 후, 상기 제1 위험물 정보를 암호화하여 상기 위험물 정보 관리 서버로 전송하기 위한 암호화 이벤트를 발생시키는 암호화 이벤트 발생부;
    상기 암호화 이벤트가 발생되면, 상기 제1 프레임을 가로 n(n은 2 이상의 자연수임)개와 세로 n개로 구성되는 n x n개의 부분 영역들로 분할하는 프레임 분할부;
    상기 제1 프레임을 구성하는 상기 n x n개의 부분 영역들 중, k(k는 2 이상 n2 미만의 자연수임)개의 제1 부분 영역들을 랜덤하게 선택하고, 상기 제1 부분 영역들 각각에 대해, 각 부분 영역별로 임의의 홀수개만큼의 제1 화소들을 랜덤하게 선택한 후, 각 부분 영역별로 선택된 상기 제1 화소들 각각에 대한 화솟값을 랜덤하게 변경하고, 상기 n x n개의 부분 영역들 중, 상기 제1 부분 영역들을 제외한 나머지 n2-k개의 제2 부분 영역들 각각에 대해, 각 부분 영역별로 임의의 짝수개만큼의 제2 화소들을 랜덤하게 선택한 후, 각 부분 영역별로 선택된 상기 제2 화소들 각각에 대한 화솟값을 랜덤하게 변경함으로써, 복원용 키 이미지를 생성하는 복원용 키 이미지 생성부;
    상기 복원용 키 이미지가 생성되면, 상기 n x n개의 부분 영역들 중, 상기 제1 부분 영역들과 동일한 지점에 '1'의 성분을 할당하고, 상기 제2 부분 영역들과 동일한 지점에 '0'의 성분을 할당함으로써, '0'과 '1'로 구성된 n x n 크기의 매핑(mapping) 행렬을 생성하는 매핑 행렬 생성부;
    상기 제1 위치 정보 및 상기 제1 이격 거리 측정 값으로 구성된 데이터셋을 생성하는 데이터셋 생성부;
    상기 데이터셋을 k개로 분할하여 k개의 분할 데이터들을 생성하고, n2-k개의 더미(dummy) 데이터들을 랜덤하게 생성한 후, 상기 매핑 행렬을 구성하는 n x n개의 성분들 중, '1'의 성분들이 위치하는 지점에 상기 k개의 분할 데이터들을 하나씩 삽입하고, '0'의 성분들이 위치하는 지점에 상기 n2-k개의 더미 데이터들을 하나씩 삽입함으로써, n x n 크기의 치환 행렬을 생성하는 치환 행렬 생성부;
    상기 제1 프레임을 상기 암호화 키로 암호화함으로써, 암호화 이미지를 생성하는 암호화 이미지 생성부; 및
    상기 위험물 정보 관리 서버로, 상기 암호화 이미지, 상기 치환 행렬 및 상기 복원용 키 이미지를 전송하는 정보 전송 처리부
    를 포함하고,
    상기 위험물 정보 관리 서버는
    상기 암호화 키를 사전 저장하고 있고, 상기 정보 수집 단말 장치로부터, 상기 암호화 이미지, 상기 치환 행렬 및 상기 복원용 키 이미지가 수신되면, 상기 암호화 키로 상기 암호화 이미지를 복호화함으로써, 상기 제1 프레임을 복원한 후, 상기 제1 프레임과 상기 복원용 키 이미지를 기초로, 상기 치환 행렬에 삽입된 상기 k개의 분할 데이터들을 추출한 후, 추출된 상기 k개의 분할 데이터들을 조합하여 상기 데이터셋을 복원함으로써, 상기 제1 위치 정보와 상기 제1 이격 거리 측정 값을 복원하는 것을 특징으로 하는 정보 수집 단말 장치.
  5. 제4항에 있어서
    상기 위험물 정보 관리 서버는
    상기 암호화 키를 사전 저장하고 있고, 상기 정보 수집 단말 장치로부터, 상기 암호화 이미지, 상기 치환 행렬 및 상기 복원용 키 이미지가 수신되면, 상기 암호화 키로 상기 암호화 이미지를 복호화함으로써, 상기 제1 프레임을 복원한 후, 상기 제1 프레임과 상기 복원용 키 이미지를, 각각 가로 n개와 세로 n개로 구성되는 n x n개의 부분 영역들로 분할하고, 상기 n x n개의 부분 영역들 각각에 대해, 각 부분 영역별로, 상기 제1 프레임과 상기 복원용 키 이미지 간의 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 확인하여, 각 부분 영역별로 확인된 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 성분으로 갖는 n x n 크기의 영역 행렬을 생성한 후, 상기 영역 행렬을 구성하는 성분들 각각을, 각 성분에 대해 모듈로(modulo)-2 연산을 수행하였을 때의 결과 값으로 치환함으로써, '0'과 '1'로 구성된 n x n 크기의 복원 행렬을 생성하고, 상기 복원 행렬이 생성되면, 상기 복원 행렬과 상기 치환 행렬 간의 아다마르 곱(Hadamard product)을 연산하여 연산 행렬을 생성하고, 상기 연산 행렬을 구성하는 n x n개의 성분들 중 '0'이 아닌 k개의 성분들을, 상기 k개의 분할 데이터들로 추출한 후, 추출된 상기 k개의 분할 데이터들을 조합하여 상기 데이터셋을 복원함으로써, 상기 제1 위치 정보와 상기 제1 이격 거리 측정 값을 복원하는 것을 특징으로 하는 정보 수집 단말 장치.
  6. 차량에 탑재되어, 도로 상의 위험물 정보를 수집하기 위한 장치로서, 차량의 전방을 촬영할 수 있는 카메라와, 상기 카메라를 통해 촬영되는 상기 차량의 전방의 촬영 지점까지의 이격 거리를 측정하기 위한 거리 측정 센서, 및 상기 차량의 위치 정보를 수집하고 상기 차량의 현재 속도를 측정하기 위한 GPS(Global Positioning System)가 구비되어 있는 정보 수집 단말 장치의 동작 방법에 있어서,
    상기 카메라를 통해 촬영된 상기 차량의 전방 영상으로부터 위험물 탐지에 사용할 기준 프레임(frame)을 추출하기 위한, 사전 설정된 서로 다른 p(p는 2 이상의 자연수임)개의 기준 값 세트들 - 상기 p개의 기준 값 세트들 각각은, 상기 기준 프레임의 추출을 위해, 세트별로 서로 다르게 설정된 기준 속도와 기준 이격 거리로 구성되어 있음 - 이 저장되어 있는 기준 값 세트 저장부를 유지하는 단계;
    사전 설정된 위험물 탐지 주기 간격으로, 위험물 탐지 이벤트를 발생시키는 단계; 및
    상기 위험물 탐지 이벤트가 발생되면, 상기 위험물 탐지 이벤트가 발생된 시점으로부터 상기 위험물 탐지 주기에 해당되는 시간 동안 상기 카메라를 통해 촬영된 상기 차량의 전방 영상을 획득하여, 획득된 상기 차량의 전방 영상으로부터 위험물이 존재하는지 여부를 탐지한 후 위험물이 존재하는 것으로 탐지된 경우, 탐지된 위험물에 대한 위험물 정보를, 위험물 정보 관리 서버 - 상기 위험물 정보 관리 서버는, 도로 상에서 위험물 정보를 수집하기로 사전 지정된 복수의 차량들로부터 수집된 위험물 정보들이 저장되어 있는 위험물 정보 데이터베이스를 포함하고 있음 - 로 전송하는 단계
    를 포함하고,
    상기 탐지된 위험물에 대한 위험물 정보를, 상기 위험물 정보 관리 서버로 전송하는 단계는
    상기 위험물 탐지 이벤트가 발생됨에 따라, 상기 위험물 탐지 주기에 해당되는 시간 동안 상기 카메라를 통해 촬영된 제1 전방 영상이 획득되면, 상기 제1 전방 영상을 구성하는 q(q는 2이상의 자연수임)개의 프레임들 각각에 대해, 각 프레임이 촬영된 시점에서 상기 GPS를 통해 측정된 상기 차량의 속도 측정 값과, 각 프레임이 촬영된 시점에서 상기 거리 측정 센서를 통해 측정된 상기 차량의 전방의 촬영 지점까지의 이격 거리 측정 값을 확인함으로써, 상기 q개의 프레임들 각각에 대한 속도 측정 값과 이격 거리 측정 값을 확인하는 단계;
    상기 q개의 프레임들 각각에 대한 속도 측정 값과 이격 거리 측정 값이 확인되면, 상기 q개의 프레임들 각각에 대해, 각 프레임에 대한 속도 측정 값과 이격 거리 측정 값을 성분으로 갖는 측정 값 세트를 구성함으로써, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트를 생성하는 단계;
    상기 q개의 프레임들 각각에 대응되는 측정 값 세트가 생성되면, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트와 상기 기준 값 세트 저장부에 저장되어 있는 상기 p개 기준 값 세트들 각각 간의 유사도를 모두 연산함으로써, 총 p x q개의 유사도 연산 값들을 산출하는 단계;
    상기 p x q개의 유사도 연산 값들 중 크기가 최대인 제1 유사도 연산 값을 선택한 후, 상기 q개의 프레임들 중 상기 제1 유사도 연산 값이 산출되는데 사용된 제1 측정 값 세트에 대한 제1 프레임을, 상기 제1 전방 영상에 대한 기준 프레임으로 추출하는 단계;
    상기 제1 프레임이 상기 제1 전방 영상에 대한 기준 프레임으로 추출되면, 이미지로부터 위험물이 존재하는지 여부를 탐지하기 위한 사전 설정된 위험물 탐지 모델을 기초로, 상기 제1 프레임으로부터 위험물이 존재하는지 여부를 탐지하는 단계; 및
    상기 제1 프레임으로부터 위험물이 존재하는 것으로 탐지되면, 상기 제1 프레임, 상기 제1 프레임이 촬영된 제1 시점에서 상기 GPS를 통해 수집된 상기 차량의 제1 위치 정보 및 상기 제1 시점에서 상기 거리 측정 센서를 통해 측정된 제1 이격 거리 측정 값으로 구성된 제1 위험물 정보를 생성한 후, 상기 제1 위험물 정보를 상기 위험물 정보 관리 서버로 전송하는 단계
    를 포함하는 정보 수집 단말 장치의 동작 방법.
  7. 제6항에 있어서,
    상기 총 p x q개의 유사도 연산 값들을 산출하는 단계는
    상기 q개의 프레임들 각각에 대응되는 측정 값 세트가 생성되면, 상기 q개의 프레임들 각각에 대해, 각 프레임에 대응되는 측정 값 세트에 포함되어 있는 속도 측정 값과 이격 거리 측정 값을 성분으로 갖는 2차원의 벡터를 구성함으로써, 상기 q개의 프레임들 각각에 대응되는 프레임 벡터를 생성하는 단계;
    상기 기준 값 세트 저장부에 저장되어 있는 상기 p개의 기준 값 세트들 각각에 대해, 각 기준 값 세트에 포함되어 있는 기준 속도와 기준 이격 거리를 성분으로 갖는 2차원의 벡터를 구성함으로써, 상기 p개의 기준 값 세트들 각각에 대응되는 기준 벡터를 생성하는 단계; 및
    상기 q개의 프레임들 각각에 대응되는 프레임 벡터와 상기 p개의 기준 값 세트들 각각에 대응되는 기준 벡터가 생성되면, 상기 q개의 프레임들 각각에 대응되는 프레임 벡터와 상기 p개의 기준 값 세트들 각각에 대응되는 기준 벡터 간의 벡터 유사도를, 상기 q개의 프레임들 각각에 대응되는 측정 값 세트와 상기 p개 기준 값 세트들 각각 간의 유사도로 연산함으로써, 상기 p x q개의 유사도 연산 값들을 산출하는 단계
    를 포함하는 정보 수집 단말 장치의 동작 방법.
  8. 제6항에 있어서,
    상기 제1 위험물 정보가 상기 위험물 정보 관리 서버로 전송 완료되면, 상기 제1 위험물 정보가 상기 위험물 정보 관리 서버로 전송 완료된 현재 시점으로부터 상기 위험물 탐지 이벤트가 다시 발생될 제2 시점까지의 상기 차량의 평균 속도를 확인하는 단계; 및
    상기 평균 속도가 사전 설정된 기준 속도 미만인 것으로 확인되는 경우, 상기 제2 시점에서 상기 위험물 탐지 이벤트를 발생시키지 않고, 상기 제2 시점으로부터 상기 위험물 탐지 주기가 경과되는 제3 시점이 되면 상기 위험물 탐지 이벤트를 다시 발생시키는 단계
    를 더 포함하는 정보 수집 단말 장치의 동작 방법.
  9. 제6항에 있어서,
    상기 제1 위험물 정보를 상기 위험물 정보 관리 서버로 전송하는 단계는
    상기 위험물 정보 관리 서버와 사전 공유하고 있는 암호화 키가 저장되어 있는 암호화 키 저장부를 유지하는 단계;
    상기 제1 프레임으로부터 위험물이 존재하는 것으로 탐지되면, 상기 제1 프레임, 상기 제1 위치 정보 및 상기 제1 이격 거리 측정 값으로 구성된 상기 제1 위험물 정보를 생성한 후, 상기 제1 위험물 정보를 암호화하여 상기 위험물 정보 관리 서버로 전송하기 위한 암호화 이벤트를 발생시키는 단계;
    상기 암호화 이벤트가 발생되면, 상기 제1 프레임을 가로 n(n은 2 이상의 자연수임)개와 세로 n개로 구성되는 n x n개의 부분 영역들로 분할하는 단계;
    상기 제1 프레임을 구성하는 상기 n x n개의 부분 영역들 중, k(k는 2 이상 n2 미만의 자연수임)개의 제1 부분 영역들을 랜덤하게 선택하고, 상기 제1 부분 영역들 각각에 대해, 각 부분 영역별로 임의의 홀수개만큼의 제1 화소들을 랜덤하게 선택한 후, 각 부분 영역별로 선택된 상기 제1 화소들 각각에 대한 화솟값을 랜덤하게 변경하고, 상기 n x n개의 부분 영역들 중, 상기 제1 부분 영역들을 제외한 나머지 n2-k개의 제2 부분 영역들 각각에 대해, 각 부분 영역별로 임의의 짝수개만큼의 제2 화소들을 랜덤하게 선택한 후, 각 부분 영역별로 선택된 상기 제2 화소들 각각에 대한 화솟값을 랜덤하게 변경함으로써, 복원용 키 이미지를 생성하는 단계;
    상기 복원용 키 이미지가 생성되면, 상기 n x n개의 부분 영역들 중, 상기 제1 부분 영역들과 동일한 지점에 '1'의 성분을 할당하고, 상기 제2 부분 영역들과 동일한 지점에 '0'의 성분을 할당함으로써, '0'과 '1'로 구성된 n x n 크기의 매핑(mapping) 행렬을 생성하는 단계;
    상기 제1 위치 정보 및 상기 제1 이격 거리 측정 값으로 구성된 데이터셋을 생성하는 단계;
    상기 데이터셋을 k개로 분할하여 k개의 분할 데이터들을 생성하고, n2-k개의 더미(dummy) 데이터들을 랜덤하게 생성한 후, 상기 매핑 행렬을 구성하는 n x n개의 성분들 중, '1'의 성분들이 위치하는 지점에 상기 k개의 분할 데이터들을 하나씩 삽입하고, '0'의 성분들이 위치하는 지점에 상기 n2-k개의 더미 데이터들을 하나씩 삽입함으로써, n x n 크기의 치환 행렬을 생성하는 단계;
    상기 제1 프레임을 상기 암호화 키로 암호화함으로써, 암호화 이미지를 생성하는 단계; 및
    상기 위험물 정보 관리 서버로, 상기 암호화 이미지, 상기 치환 행렬 및 상기 복원용 키 이미지를 전송하는 단계
    를 포함하고,
    상기 위험물 정보 관리 서버는
    상기 암호화 키를 사전 저장하고 있고, 상기 정보 수집 단말 장치로부터, 상기 암호화 이미지, 상기 치환 행렬 및 상기 복원용 키 이미지가 수신되면, 상기 암호화 키로 상기 암호화 이미지를 복호화함으로써, 상기 제1 프레임을 복원한 후, 상기 제1 프레임과 상기 복원용 키 이미지를 기초로, 상기 치환 행렬에 삽입된 상기 k개의 분할 데이터들을 추출한 후, 추출된 상기 k개의 분할 데이터들을 조합하여 상기 데이터셋을 복원함으로써, 상기 제1 위치 정보와 상기 제1 이격 거리 측정 값을 복원하는 것을 특징으로 하는 정보 수집 단말 장치의 동작 방법.
  10. 제9항에 있어서
    상기 위험물 정보 관리 서버는
    상기 암호화 키를 사전 저장하고 있고, 상기 정보 수집 단말로부터, 상기 암호화 이미지, 상기 치환 행렬 및 상기 복원용 키 이미지가 수신되면, 상기 암호화 키로 상기 암호화 이미지를 복호화함으로써, 상기 제1 프레임을 복원한 후, 상기 제1 프레임과 상기 복원용 키 이미지를, 각각 가로 n개와 세로 n개로 구성되는 n x n개의 부분 영역들로 분할하고, 상기 n x n개의 부분 영역들 각각에 대해, 각 부분 영역별로, 상기 제1 프레임과 상기 복원용 키 이미지 간의 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 확인하여, 각 부분 영역별로 확인된 서로 일치하지 않는 화솟값을 갖는 화소들의 개수를 성분으로 갖는 n x n 크기의 영역 행렬을 생성한 후, 상기 영역 행렬을 구성하는 성분들 각각을, 각 성분에 대해 모듈로(modulo)-2 연산을 수행하였을 때의 결과 값으로 치환함으로써, '0'과 '1'로 구성된 n x n 크기의 복원 행렬을 생성하고, 상기 복원 행렬이 생성되면, 상기 복원 행렬과 상기 치환 행렬 간의 아다마르 곱(Hadamard product)을 연산하여 연산 행렬을 생성하고, 상기 연산 행렬을 구성하는 n x n개의 성분들 중 '0'이 아닌 k개의 성분들을, 상기 k개의 분할 데이터들로 추출한 후, 추출된 상기 k개의 분할 데이터들을 조합하여 상기 데이터셋을 복원함으로써, 상기 제1 위치 정보와 상기 제1 이격 거리 측정 값을 복원하는 것을 특징으로 하는 정보 수집 단말 장치의 동작 방법.
  11. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  12. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.
PCT/KR2022/011717 2022-01-11 2022-08-05 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법 WO2023136414A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220003711A KR102408481B1 (ko) 2022-01-11 2022-01-11 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법
KR10-2022-0003711 2022-01-11

Publications (1)

Publication Number Publication Date
WO2023136414A1 true WO2023136414A1 (ko) 2023-07-20

Family

ID=81984330

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/011717 WO2023136414A1 (ko) 2022-01-11 2022-08-05 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR102408481B1 (ko)
WO (1) WO2023136414A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102408481B1 (ko) * 2022-01-11 2022-06-13 주식회사 다리소프트 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110060320A (ko) * 2009-11-30 2011-06-08 한국전자통신연구원 인프라 센서 기반 차량 제어 장치 및 방법
KR20180125885A (ko) * 2017-05-16 2018-11-26 삼성전자주식회사 차량의 주행 이벤트를 검출하는 전자 장치 및 방법
KR102147540B1 (ko) * 2020-03-11 2020-08-24 주식회사 다리소프트 차량의 위치 정보와 주행 상태 정보를 기초로 도로 상태 정보의 공유를 가능하게 하는 정보 공유 서버 및 그 동작 방법
JP2020204525A (ja) * 2019-06-17 2020-12-24 株式会社東芝 障害物検知装置
KR20210065391A (ko) * 2019-11-27 2021-06-04 엘지전자 주식회사 자율주행시스템에서 장애물을 탐지하여 주행하는 방법
KR102408481B1 (ko) * 2022-01-11 2022-06-13 주식회사 다리소프트 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110060320A (ko) * 2009-11-30 2011-06-08 한국전자통신연구원 인프라 센서 기반 차량 제어 장치 및 방법
KR20180125885A (ko) * 2017-05-16 2018-11-26 삼성전자주식회사 차량의 주행 이벤트를 검출하는 전자 장치 및 방법
JP2020204525A (ja) * 2019-06-17 2020-12-24 株式会社東芝 障害物検知装置
KR20210065391A (ko) * 2019-11-27 2021-06-04 엘지전자 주식회사 자율주행시스템에서 장애물을 탐지하여 주행하는 방법
KR102147540B1 (ko) * 2020-03-11 2020-08-24 주식회사 다리소프트 차량의 위치 정보와 주행 상태 정보를 기초로 도로 상태 정보의 공유를 가능하게 하는 정보 공유 서버 및 그 동작 방법
KR102408481B1 (ko) * 2022-01-11 2022-06-13 주식회사 다리소프트 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR102408481B1 (ko) 2022-06-13
KR102408481B9 (ko) 2023-10-12

Similar Documents

Publication Publication Date Title
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
WO2023136414A1 (ko) 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2009151292A2 (ko) 영상 변환 방법 및 장치
WO2016060439A1 (ko) 영상 처리 방법 및 장치
WO2015111826A1 (ko) 참조 영역 분할을 이용한 인페인팅 장치 및 방법
WO2020034534A1 (zh) 基于行车记录仪的举证方法、装置、设备和存储介质
WO2019240340A1 (ko) 카메라를 이용하여 차량의 속도 측정이 가능한 과속 안내 장치 및 그 동작 방법
WO2023128112A1 (ko) 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물 정보를 수집하여 관리할 수 있는 위험물 정보 관리 서버 및 그 동작 방법
WO2019127049A1 (zh) 一种图像匹配方法、装置及存储介质
WO2013009099A2 (ko) 블러 처리 장치 및 방법
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2023128113A1 (ko) 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물의 실제 크기를 추정할 수 있는 위험물 정보 관리 서버 및 그 동작 방법
WO2020101434A1 (ko) 영상의 리타겟팅을 위한 영상 처리 장치 및 방법
WO2013151208A1 (ko) 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법
WO2017105049A1 (ko) 디지털 포렌식 영상 검증 시스템
WO2022220354A1 (ko) 어군 생태계의 이상 여부를 감지하기 위한 어군 생태계 모니터링 시스템 장치 및 그 동작 방법
WO2018101746A2 (ko) 도로면 폐색 영역 복원 장치 및 방법
WO2016195128A1 (ko) 영상 저장 방법 및 이를 이용한 영상 저장 장치
WO2016108562A1 (ko) 지문 정보의 코딩 및 인식 시스템, 그리고 그 구동 방법
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
WO2015170794A1 (ko) 주변 차량 탐지 장치 및 방법
WO2017007047A1 (ko) 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치
WO2022039328A1 (ko) 도로 유고 검지 및 알림 시스템
WO2019139303A1 (ko) 영상 합성 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22920747

Country of ref document: EP

Kind code of ref document: A1