WO2022197042A1 - 교차로 꼬리물기 인지 및 영상 저장 장치 - Google Patents

교차로 꼬리물기 인지 및 영상 저장 장치 Download PDF

Info

Publication number
WO2022197042A1
WO2022197042A1 PCT/KR2022/003544 KR2022003544W WO2022197042A1 WO 2022197042 A1 WO2022197042 A1 WO 2022197042A1 KR 2022003544 W KR2022003544 W KR 2022003544W WO 2022197042 A1 WO2022197042 A1 WO 2022197042A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
storage device
event
recognition
Prior art date
Application number
PCT/KR2022/003544
Other languages
English (en)
French (fr)
Inventor
김진혁
Original Assignee
(주)에이아이매틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이아이매틱스 filed Critical (주)에이아이매틱스
Publication of WO2022197042A1 publication Critical patent/WO2022197042A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles

Definitions

  • the present invention relates to a signal violation monitoring technology, and more particularly, to an intersection tailing recognition and image storage device that can effectively provide traffic monitoring by effectively securing a signal violation image at an intersection on one screen.
  • 'Tailing' is an expression derived from the appearance of moving along the end of a line of vehicles that are usually congested, and even if it is not necessarily at a traffic jam, it includes cases of traffic signal violations entering at the time when the signal changes or has already changed. It is called
  • the Road Traffic Act explicitly stipulates that you must not enter an intersection when you cannot pass the intersection at your signal due to traffic congestion. In other words, if you prevent an intersection from entering in a congested situation, congestion will occur only in that direction, whereas if you continue to enter even at a late signal, congestion will occur in all directions, making it more difficult to clear the congestion. There are rules that forbid this.
  • An embodiment of the present invention is to provide an intersection tail-biting recognition and image storage device that can effectively provide traffic monitoring by effectively securing a signal violation image at an intersection on one screen.
  • One embodiment of the present invention can be implemented with low cost and low data transmission cost, and can be photographed at the same height as the vehicle from the rear of the vehicle where the license plate of the vehicle is most visible, and stop lines (crossroads area), traffic lights and violations on one screen We want to provide an intersection tailgating recognition and image storage device that can contain all vehicles.
  • the apparatus for recognizing and storing an intersection tailing may include: at least one camera installed in a vehicle and mounted to face the traveling direction of the vehicle; a memory for storing a front image captured by the at least one camera; and a processor electrically connected to the memory, wherein the processor analyzes the front image to identify an object and a road area, and determines a monitoring time based on the driving state of the vehicle and the state information of the object, , for the time before and after the monitoring time, observing the change of state in the monitoring area set based on the road area, and determining the occurrence of the corresponding event when the state change satisfies a preset event condition, and the event image during the before and after time is stored in the memory.
  • the processor constructs first and second models for independently identifying the object and the road area, and the first model receives the front image as an input, converts it into a feature map, and adds the object to the object in the feature map. It is implemented to determine a corresponding region of interest and generate identification information for the region of interest as an output, wherein the second model receives the front image as an input and converts it into a feature map, and decoding to restore the feature map It can be implemented to generate as output a classification attribute assigned to each pixel by performing the steps.
  • the processor verifies the monitoring area by comparing the GPS coordinates of the vehicle with the fixed path when the vehicle moves along a fixed route, otherwise queries the control server for the GPS coordinates of the vehicle to determine the monitoring area can be verified.
  • the processor reports the occurrence of the corresponding event to the control server, or transmits the event video along with the report to the control server, or transmits the event video as a response to a request from the control server, and the event Transmission of the image may be set to be automatically started when the vehicle's entry is detected with respect to preset location areas.
  • the processor may track the movement of the object together with the storage of the event image.
  • the processor determines the vehicle and the vehicle as a result of analysis of the front image based on a transformation relationship between a three-dimensional road coordinate system defined with respect to the vehicle and a two-dimensional image coordinate system defined with respect to a vanishing point of the front image. You can track the distance between objects.
  • the processor calculates first and second positions on the road coordinate system with respect to the object at different first and second viewpoints, respectively, from the front image, and at a third viewpoint based on the first and second positions
  • the third position and velocity of the object are calculated, and an object having the same classification property is detected in the front image of the third viewpoint based on the position on the image coordinate system derived by applying the transformation relationship to the third position. If so, the tracking can be continued.
  • the disclosed technology may have the following effects. However, this does not mean that a specific embodiment should include all of the following effects or only the following effects, so the scope of the disclosed technology should not be construed as being limited thereby.
  • intersection tailing recognition and image storage device can be implemented with low cost and low data transmission cost, and can be photographed at the same height as the vehicle from the rear of the vehicle where the license plate of the vehicle is most visible, and can be displayed on one screen. It can contain stop lines (intersection areas beyond), traffic lights, and offending vehicles.
  • the device for recognizing and storing an intersection tail bite is a device that is mainly mounted on a business vehicle to manage the safe driving of the vehicle. can effectively monitor the intersection section.
  • FIG. 1 is a view for explaining a recognition/image storage system according to the present invention.
  • FIG. 2 is a diagram for explaining a system configuration of the recognition/image storage device of FIG. 1 .
  • FIG. 3 is a diagram for explaining a functional configuration of the processor of FIG. 2 .
  • FIG. 4 is a flowchart illustrating a method for recognizing an intersection tail bite and storing an image according to the present invention.
  • FIG. 5 is a view for explaining a recognition operation with respect to an object on a road according to the present invention.
  • FIG. 6 is a view for explaining a recognition operation with respect to a road sign on a road according to the present invention.
  • FIG. 7 is a view for explaining a transformation relationship with respect to a vehicle position on a road and an image according to the present invention.
  • FIG. 8 is a view for explaining a method for tracking a location of a vehicle according to the present invention.
  • FIG. 9 is a view for explaining an operation of setting an intersection monitoring area according to the present invention.
  • first and second are for distinguishing one component from another, and the scope of rights should not be limited by these terms.
  • a first component may be termed a second component, and similarly, a second component may also be termed a first component.
  • Identifiers eg, a, b, c, etc.
  • the identification code does not describe the order of each step, and each step clearly indicates a specific order in context. Unless otherwise specified, it may occur in a different order from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • the present invention can be embodied as computer-readable codes on a computer-readable recording medium, and the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.
  • Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
  • the computer-readable recording medium may be distributed in a network-connected computer system, and the computer-readable code may be stored and executed in a distributed manner.
  • FIG. 1 is a view for explaining a recognition/image storage system according to the present invention.
  • the cognitive/image storage system 100 may include a vehicle 110 , a cognitive/image storage device 130 , and a database 150 .
  • the vehicle 110 may correspond to a means of transportation for transporting passengers or cargo using power produced by an engine, and may correspond to a vehicle as a representative example.
  • the vehicle 110 may include not only a car but also a motorcycle, a bicycle, and the like, and may include personal mobility such as a Segway, an electric kickboard, and an electric wheelchair, but is not necessarily limited thereto. It may include a variety of transportation means that can be moved using
  • the vehicle 110 may be implemented to include various sensors capable of measuring related data in order to monitor the state of parts or monitor the state of the driver and the occupant.
  • the vehicle 110 may include an acceleration sensor, a brake sensor, an acceleration sensor, a vibration sensor, a global positioning system (GPS) sensor, a flow sensor, and a steering angle sensor related to vehicle movement, and may include a driver and a vehicle environment. It may include a heartbeat sensor, a temperature/humidity sensor, a gas sensor, and an air quality sensor.
  • the vehicle 110 may be connected to the cognitive/image storage device 130 through a wired or wireless network, and may transmit/receive data through the network.
  • the recognition/image storage device 130 may be implemented as a computing device implemented to monitor signal violation behavior of vehicles 110 at an intersection and automatically secure an image related thereto, or an independent server device that performs the same.
  • the cognitive/image storage device 130 may be connected to the vehicle 110 through a wireless network such as Bluetooth, WiFi, LTE, etc. to transmit and receive data, and may be implemented to be connected and operated simultaneously with a plurality of vehicles 110 . can
  • the recognition/image storage device 130 may be implemented to operate in conjunction with a separate external system (not shown in FIG. 1 ) in order to collect data or provide an additional function.
  • the external system may include a report server for reporting signal violations, a control server for monitoring and managing road traffic conditions, and the like. That is, the recognition/image storage device 130 detects a signal violation such as tail biting on an intersection and processes an independent operation of performing an image related thereto, providing related information or performing an additional operation in conjunction with an external system. extensibility can be provided.
  • the database 150 may correspond to a storage device for storing various types of information required in the operation process of the recognition/image storage device 130 .
  • the database 150 may store various state information measured by a plurality of sensors installed in the vehicle 110 , and may store image information regarding signal violations captured by a camera installed in the vehicle 110 .
  • the information may be stored, and not necessarily limited thereto, and information collected or processed in various forms may be stored in the process of the recognition/image storage device 130 detecting a signal violation and capturing an image related thereto.
  • the database 150 is illustrated as a device independent of the cognitive/image storage device 130 , but is not necessarily limited thereto, and is a logical storage device of the cognitive/image storage device 130 . Of course, it may be implemented by being included in the image storage device 130 .
  • FIG. 2 is a diagram for explaining a system configuration of the recognition/image storage device of FIG. 1 .
  • the recognition/image storage device 130 may be implemented including a processor 210 , a camera module 230 , a memory 250 , a user input/output unit 270 , and a network input/output unit 290 . have.
  • the processor 210 may execute a procedure for processing each step in the process of the cognitive/image storage device 130 operating, and manage the memory 250 read or written throughout the process, and the memory A synchronization time between the volatile memory and the non-volatile memory at 250 may be scheduled.
  • the processor 210 may control the overall operation of the recognition/image storage device 130 , and is electrically connected to the camera module 230 , the memory 250 , the user input/output unit 270 , and the network input/output unit 290 . to control the flow of data between them.
  • the processor 210 may be implemented as a central processing unit (CPU) of the cognitive/image storage device 130 .
  • the camera module 230 may include at least one camera capable of generating a file related thereto by taking a photo or video.
  • the camera module 230 may be installed and operated in the vehicle 110 , and in this case, related data may be transmitted through a network.
  • the camera module 230 may be implemented as a device independent of various camera devices installed in the vehicle 110 , but is not limited thereto, and may be implemented as functional software that can be installed in existing camera devices.
  • the camera module 230 may operate according to a control signal of the processor 210 , and may be implemented to operate in conjunction with the memory 250 , the user input/output unit 270 , and the network input/output unit 290 .
  • the camera module 230 is installed to face the traveling direction of the vehicle 110 in a state in which it is installed in the vehicle 110 , and an image within a specific area formed in front of the vehicle 110 according to the transmission of the operation signal. It can be implemented to photograph.
  • the memory 250 is implemented as a non-volatile memory, such as a solid state drive (SSD) or a hard disk drive (HDD), and may include an auxiliary storage device used to store overall data required for the cognitive/image storage device 130 . and may include a main memory implemented as a volatile memory such as random access memory (RAM).
  • the memory 250 may include a portable non-volatile memory (eg, a micro SD card, etc.), and may be used to move a picture or image taken through the camera module 230 to the outside.
  • the user input/output unit 270 may include an environment for receiving a user input and an environment for outputting specific information to the user.
  • the user input/output unit 270 may include an input device including an adapter such as a touch pad, a touch screen, an on-screen keyboard, or a pointing device, and an output device including an adapter such as a monitor or a touch screen.
  • the user input/output unit 270 may correspond to a computing device accessed through a remote connection, and in this case, the cognitive/image storage device 130 may be implemented as an independent server.
  • the network input/output unit 290 includes an environment for connecting with an external device or system through a network, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and a VAN (Wide Area Network) (VAN). It may include an adapter for communication such as Value Added Network).
  • the network input/output unit 290 may be implemented to provide a short-range communication function such as WiFi or Bluetooth or a wireless communication function of 4G or higher for wireless transmission of image data.
  • FIG. 3 is a diagram for explaining a functional configuration of the processor of FIG. 2 .
  • the recognition/image storage device 130 detects a traffic signal violation such as tail biting at an intersection through the processor 210 and performs various operations to provide an image related thereto. It can be defined by being divided into a plurality of modules that independently perform each function.
  • the processor 210 may include an image identification unit 310 , a monitoring time determination unit 330 , a status monitoring unit 350 , an event processing unit 370 , and a control unit 390 .
  • the image identification unit 310 may analyze the front image to identify the object and the road area.
  • the image identification unit 310 may receive a real-time front image taken from the camera module 230 installed in the vehicle 110 , and analyze it to identify an object detected in front of the vehicle 110 or on the road. Marked signs can be recognized.
  • the image identification unit 310 may limit objects identified through image analysis on the front image to people, animals, road facilities, and vehicles 110 . Also, the image identification unit 310 may be limited to a lane including a stop line, a crosswalk, and a center line as an identifiable road sign. In addition, the image identification unit 310 may selectively identify speed bumps, potholes, sidewalks (or sidewalks), etc. existing on the road through image analysis.
  • the image identification unit 310 may construct first and second models for independently identifying an object and a road area. That is, the image identification unit 310 can build an artificial intelligence model to effectively identify various objects and regions existing in the front image, and can build a plurality of models independently by classifying the identified data types as needed. can More specifically, the image identification unit 310 identifies an object in the front image and provides information on the shape and type of the area by dividing the first model and the front image for providing information about the location and size by area. Each of the second models may be constructed.
  • the first model may correspond to an artificial intelligence model that receives a front image as an input and generates information about objects identified in the corresponding front image as an output.
  • the first model may be implemented to convert a front image into a feature map, determine an ROI corresponding to an object in the corresponding feature map, and generate identification information for the ROI as an output.
  • the first model may be implemented as a CNN-based learning model, and when essential parameters necessary for constructing a CNN model are set, the learning process may be repeatedly performed until a preset identification accuracy is achieved through specific learning. . This will be described in more detail with reference to FIG. 5 .
  • the second model may correspond to an artificial intelligence model that receives a front image as an input and generates region information obtained by classifying the front image for each type as an output.
  • the second model may be implemented to generate a classification property assigned to each pixel as an output by performing an encoding step of converting the front image into a feature map and a decoding step of reconstructing the corresponding feature map. That is, area information for each type may be obtained by grouping pixels having the same classification property from the output of the second model.
  • the second model may be implemented by applying a deep neural network (DNN)-based convolutional encoder-decoder technique. This will be described in more detail with reference to FIG. 6 .
  • DNN deep neural network
  • the monitoring timing determiner 330 may determine the monitoring timing based on the driving state of the vehicle 110 and the state information of the object.
  • the monitoring time may correspond to a time when a traffic signal violation is highly likely to occur in the driving process of the vehicle 110 .
  • the monitoring time may include a time when stopping at an intersection, entering and turning, and stopping or passing a crosswalk.
  • the monitoring time determining unit 330 may determine the monitoring time based on the time when the traffic light of the intersection is recognized as a red state through image analysis. For example, when the traffic light of the intersection changes to a red state, when the vehicle 110 exists in a specific area on the intersection, the monitoring time determining unit 330 may determine the corresponding change time as the monitoring time. Also, when the vehicle 110 enters a specific area on the intersection is detected while the traffic light of the intersection maintains a red state, the monitoring time determining unit 330 may determine the corresponding detection time as the monitoring time. The monitoring timing determining unit 330 may selectively set the monitoring timing based on various situations in which a signal violation occurs while the vehicle 110 travels on a road.
  • the state monitoring unit 350 may observe a state change in the monitoring area set based on the road area during the time before and after the monitoring time point.
  • the road area may be derived from the front image through the image identification unit 310 , and the monitoring area may correspond to a target area for capturing an image in order to monitor a signal violation of the vehicle 110 .
  • the central area on the intersection may be set as the monitoring area. That is, when the traffic light of the intersection is red, the vehicle 110 must stop at the stop line, and if it enters the central area of the intersection at this time, it may correspond to a signal violation.
  • the state monitoring unit 350 may determine a monitoring area through the front image and observe a change in state within the monitoring area, and when the change in state is observed, determine whether driving of the vehicle 110 is a signal violation, and then operate can be performed.
  • the condition monitoring unit 350 may verify the monitoring area by comparing the GPS coordinates of the vehicle 110 with the fixed route when the vehicle 110 moves along the fixed route, otherwise the vehicle 110 . It is possible to verify the monitoring area by querying the GPS coordinates of 110 to the control server. Basically, the condition monitoring unit 350 may determine the monitoring area by analyzing the front image of the vehicle 110 , and may additionally perform an operation for verifying the determination regarding the monitoring area.
  • the GPS coordinates of the vehicle 110 are compared with the fixed route to determine the current location of the vehicle 110 . It is possible to determine whether the set monitoring area is valid by verifying whether it is adjacent to the location of the intersection existing on the fixed route.
  • information on the fixed route may be stored and managed in the corresponding vehicle 110 , and the condition monitoring unit 350 may receive information about the fixed route together with the front image from the vehicle 110 .
  • the monitoring area by querying the GPS coordinates of the vehicle 110 to the control server and verifying whether the vehicle 110 is currently located near the intersection can decide whether or not
  • the state monitoring unit 350 detects a state change due to the entry of an object into the monitoring area and tracks the movement of the object together with the storage of the event image when the object is identified as the vehicle 110 .
  • a state change due to the entry of an object into the monitoring area can For example, when the signal at the intersection is red, the vehicle 110 in motion must stop at the stop line, and if it enters the intersection, it may correspond to a signal violation.
  • the state monitoring unit 350 may generate an 'intersection signal violation' event when an entry of an object into the monitoring area is detected through the front image of the vehicle 110 and the corresponding object is identified as the vehicle 110 , and the corresponding vehicle Images before and after the entry of 110 may be stored.
  • the state monitoring unit 350 may identify the license plate of the corresponding vehicle 110 and add the vehicle number as identification information of the image.
  • the state monitoring unit 350 relates to event generation and image storage if the moving direction of the corresponding object is opposite to the moving direction of the vehicle 110 even when a change in state due to the entry of the object into the monitoring area is detected. The action can be omitted. That is, the state monitoring unit 350 may selectively perform a related operation on objects traveling in the same direction as the traveling direction of the vehicle 110 .
  • condition monitoring unit 350 is configured to control the front side based on a transformation relationship between a three-dimensional road coordinate system defined with respect to the vehicle 110 and a two-dimensional image coordinate system defined with respect to a vanishing point of the front image.
  • the distance between the vehicle 110 and the object may be tracked. That is, the state monitoring unit 350 can track the movement of the object in the front image, convert the specific position coordinates in the image to the position on the road in the real world, and use the information about the actual movement of the object as monitoring information. can be collected
  • the corresponding conversion relationship may be calculated and stored in advance in consideration of the direction and the shooting resolution of the camera that captures the front image, the size of the vehicle, the installation location of the camera, and the like.
  • the state monitoring unit 350 may obtain the position coordinates of the object in the two-dimensional image coordinate system through image analysis of the front image, and apply a pre-calculated transformation relationship to the corresponding position coordinates in the three-dimensional road coordinate system. You can get the location coordinates of the real object in . Thereafter, the state monitoring unit 350 may track distance information between each other on the road based on the current position coordinates of the vehicle 110 and the position coordinates of the object. The state monitoring unit 350 may further acquire information about the moving speed and direction of the object by tracking distance information between the vehicle 110 and the object. This will be described in more detail with reference to FIG. 7 .
  • the state monitoring unit 350 calculates first and second positions on a road coordinate system with respect to the object at different first and second viewpoints from the front image, and based on the first and second positions Calculates the third position and velocity of the object at the third viewpoint, and when an object having the same classification property is detected in the front image of the third viewpoint based on the position on the image coordinate system derived by applying the transformation relationship to the third position You can continue tracking.
  • Various objects may appear in the front image captured while the vehicle 110 is asserted or stopped, and in some cases, a plurality of objects may be photographed simultaneously. Therefore, when different objects overlap each other in the front image of a specific viewpoint, a method for accurately identifying the object may be required.
  • the state monitoring unit 350 may more accurately identify the object by using tracking information about the movement of the object based on the front image. This will be described in more detail with reference to FIG. 8 .
  • the event processing unit 370 may determine the occurrence of the corresponding event and store the event image for the time before and after the event in the memory 250 .
  • the event may be defined in response to the signal violation.
  • the intersection-related event may include a 'intersection traffic violation' event, a 'intersection signal violation' event, and the like.
  • the event processing unit 370 may determine whether the event condition is satisfied based on the monitoring information regarding the status change collected by the status monitoring unit 350 to determine the occurrence of the event. Images can be collected as event images.
  • the event processing unit 370 may report the occurrence of the corresponding event to the control server, transmit the event image to the control server together with the report, and transmit the event image as a response to the request of the control server.
  • the transmission of the event image may be set to automatically start when the vehicle 110 enters the preset location areas.
  • the event processing unit 370 may transmit the collected image information in connection with the network input/output unit 290 to the outside, and various operating conditions may be set in this regard.
  • the event processing unit 370 may operate in conjunction with the control server, and data transmission methods such as real-time transmission, periodic transmission, and selective transmission according to a request signal may be selectively applied.
  • the event processing unit 370 stops the vehicle 110 at a specific place (eg, a vehicle base or a house, a parking lot, etc.) or passes through a specific place (eg, an intersection, a tunnel, a WiFi zone, etc.) In this case, the event video can be automatically transmitted.
  • the event processing unit 370 may set various operating conditions in the driving process of the vehicle 110 , and the operating conditions include the condition information of the vehicle 110 collected by the condition monitoring unit 350 , road information, and driver information. It can be defined as a combination.
  • the control unit 390 controls the overall operation of the recognition/image storage device 130 , and a control flow between the image identification unit 310 , the monitoring time determination unit 330 , the status monitoring unit 350 , and the event processing unit 370 . Or you can manage the data flow.
  • FIG. 4 is a flowchart illustrating a method for recognizing an intersection tail bite and storing an image according to the present invention.
  • the recognition/image storage device 130 may detect, as an event, a signal violation behavior related to tail biting at an intersection in the forward image through the processor 210 , and may separately store the event image. More specifically, the processor 210 may analyze the front image of the vehicle 110 through the image identification unit 310 to identify the object and the road area (step S410 ).
  • the processor 210 may determine the monitoring timing based on the driving state of the vehicle 110 and the state information of the object through the monitoring timing determiner 330 (step S430 ). For example, when the vehicle 110 is stopped at the stop line at the intersection and another vehicle 110 is detected to enter the monitoring area set as the center area of the intersection, the detection time may be determined as the monitoring time. Alternatively, if another vehicle 110 exists in the monitoring area set as the central area of the intersection at the time when the traffic light of the intersection changes to red, the corresponding change time may be determined as the monitoring time.
  • the processor 210 may observe a state change in the monitoring area set based on the road area during the time before and after the monitoring time through the condition monitoring unit 350 (step S450).
  • the processor 210 may determine the occurrence of a corresponding event when the state change satisfies a preset event condition through the event processing unit 370 (step S470).
  • the processor 210 may store an event image for a predetermined time before and after the monitoring time in the memory 250 through the event processing unit 370 (step S490).
  • FIG. 5 is a view for explaining a recognition operation with respect to an object on a road according to the present invention.
  • the recognition/image storage device 130 may analyze a front image to identify an object on a road. To this end, the recognition/image storage device 130 may apply an image analysis method for object identification.
  • the cognitive/image storage device 130 may detect an object from the front image by applying a machine learning technique based on a convolutional neural network (CNN).
  • CNN convolutional neural network
  • convolution gives correlation by linearly calculating values of one position and values of neighboring positions (3 ⁇ 3, 5 ⁇ 5, etc.) of data expressed in a two-dimensional array such as an image. It can be widely used in the application of neural network techniques in images.
  • the front image may go through a convolution layer, and then may be converted into a feature map through various types of multi-layer networks according to network design.
  • a region proposal network may propose a region of interest (ROI) in which an object to be found is located.
  • ROI region of interest
  • the classification does not present only one result, but may display a degree of matching with each classification layer set in advance.
  • the recognition/image storage device 130 may recognize two different passenger cars, traffic lights, and gaze guide rods (lane control rods, tubular marks) from the front image 510, and, if necessary, the front image 510 ) can be provided by displaying the region of interest of the recognized objects.
  • the machine learning model may provide, as output, probability information about objects predefined as object information for each region of interest, and the recognition/image storage device 130 stores object information corresponding to each region of interest based on this. final decision can be made. For example, when the machine learning model outputs 0.73 for a traffic light (red), 0.22 for a traffic light (yellow), and 0.05 for a street light, the cognitive/image storage device 130 objects to a traffic light (red) with the highest value can be identified as
  • FIG. 6 is a view for explaining a recognition operation with respect to a road sign on a road according to the present invention.
  • the recognition/image storage device 130 may analyze a front image to identify a road sign on the road. To this end, the recognition/image storage device 130 may apply an image analysis method for identifying road signs. In other words, in that road signs are morphologically diverse and there are many cases without size restrictions (eg, crosswalks), after segmenting the image area, each area corresponds to a certain property. It may be appropriate to classify
  • semantic segmentation corresponds to a method of assigning properties according to the object to which each pixel included in an image belongs, and instance segmentation means In the case of objects belonging to the same classification but different from each other, it may correspond to a method of dividing and dividing.
  • the cognitive/image storage device 130 may identify a region by semantically segmenting the front image by applying a deep neural network (DNN)-based convolutional encoder-decoder technique.
  • DNN deep neural network
  • the front image goes through a convolution layer, and then it can be converted into a feature map through various types of multi-layer networks depending on the network design, and the process may correspond to the encoding process.
  • the dimension of the data may be reduced and the depth may be increased.
  • the dimension of the feature map may be restored to the original image size by repeating up-sampling, and a classification property may be assigned to each pixel.
  • the corresponding process may correspond to a decoding process.
  • the recognition/image storage device 130 can classify and identify each area into a road, a crosswalk, a sidewalk and a safety area, a vehicle, etc. with respect to the front image 610, and if necessary, the front image 610 ) may be provided by displaying the identified regions corresponding to the ).
  • FIG. 7 is a view for explaining a transformation relationship with respect to a vehicle position on a road and an image according to the present invention.
  • the recognition/image storage device 130 may define the real world 3D coordinate system as (X, Y, Z) and the camera 2D coordinate system as (x, y, z). .
  • the z-axis of the camera two-dimensional coordinate system may not be used.
  • ⁇ may correspond to a focal length of the camera
  • h may correspond to a mounting height of the camera.
  • the 3D information of the actual road becomes a perspective transform that is projected onto the 2D image, and the information far away in the Z direction is collected at one point on the screen, a vanishing point, and the screen coordinates are the vanishing point.
  • the recognition/image storage device 130 may be equally applied not only to a vehicle but also to a speed bump or a porthole existing on a road.
  • the recognition/image storage device 130 identifies an object and a region in the front image, and when the lower coordinate of the object, that is, the vehicle 110 is detected, the distance to the corresponding vehicle 110 is applied by applying the derived transformation relationship. can be calculated.
  • FIG. 8 is a view for explaining a method for tracking a location of a vehicle according to the present invention.
  • the recognition/image storage device 130 may track the distance to the corresponding object using object information identified in the front image.
  • the positions (X 1 , Z 1 ) and (X 2 , Z 2 ) of the vehicle on the image may be calculated.
  • V x is (X 2 -X 1 )/(t 2 -t 1 )
  • V z is (Z 2 -Z 1 )/(t 2 -t 1 ).
  • the recognition/image storage device 130 may continue tracking by determining the same object even if there is a predetermined error between the expected position according to the coordinate transformation and the position of the object detected in the front image.
  • An error range for determining an object may be set and utilized in advance. Such errors may occur due to various factors such as camera performance, predictive performance of image analysis techniques, and road irregularities.
  • FIG. 9 is a view for explaining an operation of setting an intersection monitoring area according to the present invention.
  • the recognition/image storage device 130 may acquire a front image 910 corresponding to the traveling direction of the vehicle 110 through at least one camera mounted forwardly on the vehicle 110 .
  • the recognition/image storage device 130 can recognize an object and estimate its location through image analysis of the front image 910, and can distinguish and identify a road, a sidewalk, a crosswalk, etc. through region division of the front image.
  • the cognitive/image storage device 130 may determine whether there is a crosswalk in front of the ego vehicle in a stopped state and there is an area in which there is no valid driving lane beyond the crosswalk.
  • the effective driving lane may correspond to a case in which there are two or more parallel solid or dotted lines with a width of 3.5 to 5 m. That is, the recognition/image storage device 130 can be set as the intersection monitoring area 930 when the corresponding area exists, and can detect a signal violation of another vehicle 110 by observing a state change in the monitoring area. have.
  • the recognition/image storage device 130 recognizes that the traffic light is a red signal, and when a vehicle is present in the intersection monitoring area 930 at the moment when the traffic light turns red, an 'intersection traffic method violation' event is generated. can Also, the recognition/image storage device 130 may store images before and after the corresponding time point. Conversely, the recognition/image storage device 130 may maintain a standby state when the vehicle 110 does not exist in the intersection monitoring area 930 .
  • the recognition/image storage device 130 recognizes that the traffic light is maintained as a red signal, can be continuously recognized and tracked in the flow of the front image 910, and the object classified as the vehicle 110 is self-contained. When entering into the intersection monitoring area 930 in the same traveling direction as the vehicle (ie, in a direction away from the front of the own vehicle), an 'intersection signal violation' event may be generated.
  • the recognition/image storage device 130 may store images before and after entering the corresponding vehicle 110 .
  • Recognition/image storage device 130 can shoot an image right behind the vehicle 110, and thus can collect images at a distance and direction that can recognize the license plate of the vehicle 110 well. have.
  • the recognition/image storage device 130 can clearly determine the change state of the traffic signal, the entry point of the vehicle 110, etc. within the stored image stream ([20 to 30 seconds]), and through this, a clear tail Since only the bite violation video can be stored and transmitted, communication costs and the lifespan of the storage medium are not wasted.
  • the recognition/image storage device 130 may read the license plate of the vehicle 110 identified through image analysis, and may store or transmit the read vehicle number together with the image of the vehicle 110 .
  • the image analysis for reading the license plate may be performed using a separate reading algorithm within the recognition/image storage device 130, but is not necessarily limited thereto, and may be performed independently in the control server that receives the front image. have.
  • processor 230 camera module

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 교차로 꼬리물기 인지 및 영상 저장 장치에 관한 것으로, 차량에 설치되고 상기 차량의 진행 방향을 향하도록 장착되는 적어도 하나의 카메라; 상기 적어도 하나의 카메라가 촬영한 전방 영상을 저장하는 메모리; 및 상기 메모리와 전기적으로 연결되는 프로세서;를 포함하고, 상기 프로세서는 상기 전방 영상을 분석하여 객체 및 도로 영역을 식별하고, 상기 차량의 주행 상태와 상기 객체의 상태 정보를 기반으로 감시 시점을 결정하며, 상기 감시 시점의 전후 시간 동안 상기 도로 영역을 기준으로 설정된 감시 영역 내의 상태 변화를 관찰하고, 상기 상태 변화가 기 설정된 이벤트 조건을 충족하는 경우 해당 이벤트의 발생을 결정하여 상기 전후 시간 동안의 이벤트 영상을 상기 메모리에 저장한다.

Description

교차로 꼬리물기 인지 및 영상 저장 장치
본 발명은 신호위반 모니터링 기술에 관한 것으로, 보다 상세하게는 교차로에서의 신호위반 영상을 한 화면에 효과적으로 확보하여 교통 감시를 효과적으로 제공할 수 있는 교차로 꼬리물기 인지 및 영상 저장 장치에 관한 것이다.
'꼬리물기'는 보통 정체된 차량 행렬의 끝부분을 따라 이동하는 모습에서 유래된 표현으로, 꼭 정체된 경우가 아니라 하더라도 신호가 변경되는 시점 또는 이미 변경된 시점에 진입하는 교통신호 위반의 경우도 포함하여 일컬어지고 있다.
도로교통법에는 교통 정체로 인해 제 신호에 교차로를 통과할 수 없을 때는 교차로에 진입해서는 안 된다는 점을 명시적으로 규정하고 있다. 즉, 정체된 상황에서 교차로를 진입하지 못하게 하면 그 방향으로만 정체가 발생하는 반면, 늦은 신호에도 계속 진입하게 되면 모든 방향에서 정체가 생기게 되고 이로 인해 정체를 해소하기가 더욱 어렵게 되므로 볍률에 명시적인 규정을 두어 이를 금지하고 있다.
신호가 변경되는 도중이나 변경된 후 앞차에 바짝 붙어 무리하게 진입한 경우 신호를 위반한 것으로 간주하여 범칙금 6만원과 벌점 15점이 부과되며, 녹색 신호에 맞춰 출발했지만 신호가 바뀔 때까지 교차로를 통과하지 못한 경우에는 신호 위반이 아닌 교차로 통행방법 위반으로 범칙금 4만원이 부과될 수 있다.
최근에는 경찰관의 직접 단속 외에도 CCTV 등 무인단속 장비를 통한 단속도 이루어지고 있고, 일반 시민들도 국민신문고에서 꼬리물기, 신호위반, 끼어들기 등 총 11개 항목의 교통법규 위반 행위를 신고할 수 있으며, 이 때 위반행위를 명확하게 판단할 수 있는 사진 또는 동영상을 첨부해야 한다.
특히, 차량을 운행하는 운전자는 앞차의 신호 위반 행위를 가장 확실하게 적발할 수 있는 위치에 있음에도 불구하고 차량을 운행하는 과정에서 신호 위반 행위를 신속하게 촬영하는 것은 어려울 뿐만 아니라 운전자에게 위험한 상황을 초래할 수 있어 권장되고 있지 않다.
[선행기술문헌]
[특허문헌]
한국등록특허 제10-1280824호 (2013.06.26)
본 발명의 일 실시예는 교차로에서의 신호위반 영상을 한 화면에 효과적으로 확보하여 교통 감시를 효과적으로 제공할 수 있는 교차로 꼬리물기 인지 및 영상 저장 장치를 제공하고자 한다.
본 발명의 일 실시예는 적은 비용과 적은 데이터 전송비용으로 구현이 가능하고 차량의 번호판이 가장 잘 보이는 차량 후방에서 차량과 같은 높이로 촬영할 수 있으며 한 화면에 정지선(너머 교차로 구역), 신호등 및 위반 차량을 모두 담을 수 있는 교차로 꼬리물기 인지 및 영상 저장 장치를 제공하고자 한다.
실시예들 중에서, 교차로 꼬리물기 인지 및 영상 저장 장치는 차량에 설치되고 상기 차량의 진행 방향을 향하도록 장착되는 적어도 하나의 카메라; 상기 적어도 하나의 카메라가 촬영한 전방 영상을 저장하는 메모리; 및 상기 메모리와 전기적으로 연결되는 프로세서;를 포함하고, 상기 프로세서는 상기 전방 영상을 분석하여 객체 및 도로 영역을 식별하고, 상기 차량의 주행 상태와 상기 객체의 상태 정보를 기반으로 감시 시점을 결정하며, 상기 감시 시점의 전후 시간 동안 상기 도로 영역을 기준으로 설정된 감시 영역 내의 상태 변화를 관찰하고, 상기 상태 변화가 기 설정된 이벤트 조건을 충족하는 경우 해당 이벤트의 발생을 결정하여 상기 전후 시간 동안의 이벤트 영상을 상기 메모리에 저장한다.
상기 프로세서는 상기 객체 및 도로 영역의 식별을 독립적으로 수행하는 제1 및 제2 모델들을 구축하고, 상기 제1 모델은 상기 전방 영상을 입력으로 수신하여 피처맵으로 변환하고 해당 피처맵에서 상기 객체에 대응되는 관심영역을 결정하며 해당 관심영역에 대한 식별 정보를 출력으로 생성하도록 구현되고, 상기 제2 모델은 상기 전방 영상을 입력으로 수신하여 피처맵으로 변환하는 인코딩 단계와 해당 피처맵을 복원하는 디코딩 단계를 수행함으로써 각 픽셀에 부여된 분류 속성을 출력으로 생성하도록 구현될 수 있다.
상기 프로세서는 상기 차량이 고정 경로를 따라 이동하는 경우 상기 차량의 GPS 좌표를 해당 고정 경로와 비교하여 상기 감시 영역을 검증하고, 그렇지 않은 경우 상기 차량의 GPS 좌표를 관제 서버에 질의하여 상기 감시 영역을 검증할 수 있다.
상기 프로세서는 상기 해당 이벤트의 발생을 관제 서버에 보고하거나, 또는 해당 보고와 함께 상기 이벤트 영상을 상기 관제 서버로 전송하거나, 또는 상기 관제 서버의 요청에 대한 응답으로서 상기 이벤트 영상을 전송하고, 상기 이벤트 영상의 전송은 기 설정된 위치 영역들에 대해 상기 차량의 진입이 검출되면 자동 개시되도록 설정될 수 있다.
상기 프로세서는 상기 감시 영역 내로 상기 객체의 진입에 의한 상태 변화가 검출되고 상기 객체가 차량으로 식별된 경우 상기 이벤트 영상의 저장과 함께 상기 객체의 움직임을 추적(tracking)할 수 있다.
상기 프로세서는 상기 차량을 기준으로 정의되는 3차원 도로 좌표계와 상기 전방 영상의 소실점(vanishing point)을 기준으로 정의되는 2차원 영상 좌표계 간의 변환 관계에 기반하여 상기 전방 영상의 분석 결과로서 상기 차량과 상기 객체 간의 거리를 추적할 수 있다.
상기 프로세서는 상기 전방 영상으로부터 서로 다른 제1 및 제2 시점들 각각에서 상기 객체에 관한 상기 도로 좌표계 상의 제1 및 제2 위치들을 산출하고, 상기 제1 및 제2 위치들을 기초로 제3 시점에서 상기 객체의 제3 위치와 속도를 산출하며, 상기 제3 위치에 상기 변환 관계를 적용하여 도출되는 상기 영상 좌표계 상의 위치를 기준으로 상기 제3 시점의 상기 전방 영상에서 동일한 분류 속성을 갖는 객체가 검출되면 상기 추적을 계속할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 교차로 꼬리물기 인지 및 영상 저장 장치는 적은 비용과 적은 데이터 전송비용으로 구현이 가능하고 차량의 번호판이 가장 잘 보이는 차량 후방에서 차량과 같은 높이로 촬영할 수 있으며 한 화면에 정지선(너머 교차로 구역), 신호등 및 위반 차량을 모두 담을 수 있다.
본 발명의 일 실시예에 따른 교차로 꼬리물기 인지 및 영상 저장 장치는 주로 사업용 차량에 장착되어 차량의 안전운전을 관리하는 장치로서 택시, 시내버스, 고속버스 등 차량에 장착되어 일반차선 및 버스 전용차선에서 교차로 구간을 효과적으로 감시할 수 있다.
도 1은 본 발명에 따른 인지/영상 저장 시스템을 설명하는 도면이다.
도 2는 도 1의 인지/영상 저장 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 2의 프로세서의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 교차로 꼬리물기 인지 및 영상 저장 방법을 설명하는 순서도이다.
도 5는 본 발명에 따른 도로 상 객체에 관한 인지 동작을 설명하는 도면이다.
도 6은 본 발명에 따른 도로 상 노면 표지에 관한 인지 동작을 설명하는 도면이다.
도 7은 본 발명에 따른 도로 및 영상 상의 차량 위치에 관한 변환 관계를 설명하는 도면이다.
도 8은 본 발명에 따른 차량의 위치 추적 방법을 설명하는 도면이다.
도 9는 본 발명에 따른 교차로 감시 영역 설정 동작을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 인지/영상 저장 시스템을 설명하는 도면이다.
도 1을 참조하면, 인지/영상 저장 시스템(100)은 차량(110), 인지/영상 저장 장치(130) 및 데이터베이스(150)를 포함할 수 있다.
차량(110)은 엔진에 의해 생산된 동력을 이용하여 승객이나 화물을 운반하는 교통수단에 해당할 수 있고, 대표적인 예로서 자동차에 해당할 수 있다. 차량(110)은 자동차 뿐만 아니라 오토바이, 자전거 등을 포함할 수 있고, 세그웨이(Segway), 전동킥보드, 전동휠체어 등의 퍼스널 모빌리티(person mobility) 등을 포함할 수 있으며, 반드시 이에 한정되지 않고, 동력을 이용하여 움직일 수 있는 다양한 운송 수단을 포함할 수 있다.
일 실시예에서, 차량(110)은 부품들의 상태를 모니터링하거나 또는 운전자 및 탑승자의 상태를 모니터링하기 위하여 관련 데이터를 측정할 수 있는 다양한 센서들을 포함하여 구현될 수 있다. 예를 들어, 차량(110)은 차량 움직임에 관한 가속 센서, 브레이크 센서, 가속도 센서, 진동 센서, GPS(Global Positioning System) 센서, 유량 센서 및 조향각 센서 등을 포함할 수 있고, 운전자 및 차량 환경에 관한 심박동 센서, 온/습도 센서, 가스 센서 및 공기질 센서 등을 포함할 수 있다. 차량(110)은 인지/영상 저장 장치(130)와 유선 또는 무선 네트워크를 통해 연결될 수 있으며, 네트워크를 통해 데이터를 송·수신할 수 있다.
인지/영상 저장 장치(130)는 교차로에서 차량(110)들의 신호위반 행위를 감시하고 그에 관한 영상을 자동으로 확보하도록 구현된 컴퓨팅 장치 또는 이를 수행하는 독립된 서버 장치로 구현될 수 있다. 인지/영상 저장 장치(130)는 차량(110)과 블루투스, WiFi, LTE 등과 같은 무선 네트워크로 연결되어 데이터를 송·수신할 수 있으며, 복수의 차량(110)들과 동시에 연결되어 동작하도록 구현될 수 있다.
또한, 인지/영상 저장 장치(130)는 데이터의 수집 또는 추가 기능의 제공을 위하여 별도의 외부 시스템(도 1에 미도시함)과 연동하여 동작하도록 구현될 수도 있다. 예를 들어, 외부 시스템은 신호위반 행위를 신고하기 위한 신고 서버, 도로 교통상황을 모니터링하고 관리하는 관제 서버 등을 포함할 수 있다. 즉, 인지/영상 저장 장치(130)는 교차로 상의 꼬리물기와 같은 신호위반 행위를 감지하고 이에 관한 영상을 수행하는 독립적인 동작을 처리하면서 외부 시스템과 연동하여 관련 정보를 제공하거나 추가 동작을 수행하도록 하는 확장성을 제공할 수 있다.
데이터베이스(150)는 인지/영상 저장 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 예를 들어, 데이터베이스(150)는 차량(110)에 설치된 복수의 센서들에 의해 측정된 다양한 상태 정보들을 저장할 수 있고, 차량(110)에 설치된 카메라를 통해 촬영한 신호위반 행위에 관한 영상 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 인지/영상 저장 장치(130)가 신호위반 행위를 감지하고 이에 관한 영상을 촬영하는 동작을 수행하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
한편, 도 1에서, 데이터베이스(150)는 인지/영상 저장 장치(130)와 독립적인 장치로서 도시되어 있으나, 반드시 이에 한정되지 않고, 인지/영상 저장 장치(130)의 논리적인 저장장치로서 인지/영상 저장 장치(130)에 포함되어 구현될 수 있음은 물론이다.
도 2는 도 1의 인지/영상 저장 장치의 시스템 구성을 설명하는 도면이다.
도 2를 참조하면, 인지/영상 저장 장치(130)는 프로세서(210), 카메라 모듈(230), 메모리(250), 사용자 입출력부(270) 및 네트워크 입출력부(290)를 포함하여 구현될 수 있다.
프로세서(210)는 인지/영상 저장 장치(130)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(250)를 관리할 수 있으며, 메모리(250)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 인지/영상 저장 장치(130)의 동작 전반을 제어할 수 있고, 카메라 모듈(230), 메모리(250), 사용자 입출력부(270) 및 네트워크 입출력부(290)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 인지/영상 저장 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.
카메라 모듈(230)은 사진 또는 동영상을 촬영하여 이에 관한 파일을 생성할 수 있는 적어도 하나의 카메라를 포함할 수 있다. 카메라 모듈(230)은 차량(110)에 설치되어 동작할 수 있으며, 이 경우 네트워크를 통해 관련 데이터를 전송할 수 있다. 카메라 모듈(230)은 차량(110)에 설치된 다양한 카메라 장치들과 독립된 장치로서 구현될 수 있으나, 반드시 이에 한정되지 않고, 기존에 설치된 카메라 장치들에 설치 가능한 기능적인 소프트웨어로 구현될 수도 있다. 카메라 모듈(230)은 프로세서(210)의 제어 신호에 따라 동작할 수 있으며, 메모리(250), 사용자 입출력부(270) 및 네트워크 입출력부(290)와 연동하여 동작하도록 구현될 수 있다.
일 실시예에서, 카메라 모듈(230)은 차량(110)에 설치된 상태에서 차량(110)의 진행 방향을 향하도록 설치되어 동작 신호의 전달에 따라 차량(110)의 전방에 형성되는 특정 영역 내의 영상을 촬영하도록 구현될 수 있다.
메모리(250)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 인지/영상 저장 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다. 일 실시예에서 메모리(250)는 휴대용 비휘발성 메모리(예를 들어, 마이크로 SD 카드 등)를 포함할 수 있고, 카메라 모듈(230)을 통해 촬영된 사진 또는 영상을 외부로 옮기는데 사용될 수 있다.
사용자 입출력부(270)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(270)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(270)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 인지/영상 저장 장치(130)는 독립적인 서버로서 수행될 수 있다.
네트워크 입출력부(290)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다. 또한, 네트워크 입출력부(290)는 영상 데이터의 무선 전송을 위해 WiFi, 블루투스 등의 근거리 통신 기능이나 4G 이상의 무선 통신 기능을 제공하도록 구현될 수 있다.
도 3은 도 2의 프로세서의 기능적 구성을 설명하는 도면이다.
도 3을 참조하면, 인지/영상 저장 장치(130)는 프로세서(210)를 통해 교차로 꼬리물기 등의 교통신호 위반행위를 감지하여 그에 관한 영상을 제공하기 위한 다양한 동작들을 수행할 수 있으며, 이를 위해 각 기능들을 독립적으로 수행하는 복수의 모듈들로 구분되어 정의될 수 있다.
보다 구체적으로, 프로세서(210)는 영상 식별부(310), 감시 시점 결정부(330), 상태 모니터링부(350), 이벤트 처리부(370) 및 제어부(390)를 포함할 수 있다.
영상 식별부(310)는 전방 영상을 분석하여 객체 및 도로 영역을 식별할 수 있다. 영상 식별부(310)는 차량(110)에 설치된 카메라 모듈(230)로부터 실시간 촬영된 전방 영상을 수신할 수 있으며, 이를 분석하여 차량(110)의 전방에서 감지되는 객체를 식별하거나 또는 도로 상에 표시된 표지들을 인지할 수 있다. 영상 식별부(310)는 전방 영상에 관한 영상 분석을 통해 식별되는 객체를 사람, 동물, 도로 시설 및 차량(110)으로 제한할 수 있다. 또한, 영상 식별부(310)는 식별 가능한 도로 표지로서 정지선, 횡단보도, 중앙선을 포함한 차선으로 제한할 수 있다. 또한, 영상 식별부(310)는 영상 분석을 통해 도로 상에 존재하는 과속방지턱, 포트홀, 인도(또는 보도) 등을 선택적으로 식별할 수도 있다.
일 실시예에서, 영상 식별부(310)는 객체 및 도로 영역의 식별을 독립적으로 수행하는 제1 및 제2 모델들을 구축할 수 있다. 즉, 영상 식별부(310)는 전방 영상 속에 존재하는 다양한 객체 및 영역을 효과적으로 식별하기 위해 인공지능 모델을 구축할 수 있으며, 필요에 따라 식별되는 데이터 유형을 구분하여 복수의 모델들을 독립적으로 구축할 수 있다. 보다 구체적으로, 영상 식별부(310)는 전방 영상 내에서 객체를 식별하고 위치 및 크기에 관한 정보를 제공하는 제1 모델과 전방 영상을 영역 별로 구분하여 영역의 모양과 유형에 관한 정보를 제공하는 제2 모델을 각각 구축할 수 있다.
여기에서, 제1 모델은 전방 영상을 입력으로 수신하여 해당 전방 영상 내에서 식별된 객체들에 관한 정보를 출력으로 생성하는 인공지능 모델에 해당할 수 있다. 제1 모델은 전방 영상을 피처맵으로 변환하고 해당 피처맵에서 객체에 대응되는 관심영역을 결정하며 해당 관심영역에 대한 식별 정보를 출력으로 생성하도록 구현될 수 있다. 예를 들어, 제1 모델은 CNN 기반의 학습 모델로 구현될 수 있으며, CNN 모델 구축에 필요한 필수 파라미터들이 설정되면 구체적인 학습을 통해 기 설정된 식별 정확도를 달성할 때까지 학습 과정이 반복 수행될 수 있다. 이에 대해서는 도 5에서 보다 자세히 설명한다.
또한, 제2 모델은 전방 영상을 입력으로 수신하여 해당 전방 영상을 각 유형 별로 구분한 영역 정보를 출력으로 생성하는 인공지능 모델에 해당할 수 있다. 제2 모델은 전방 영상을 피처맵으로 변환하는 인코딩 단계와 해당 피처맵을 복원하는 디코딩 단계를 수행함으로써 각 픽셀에 부여된 분류 속성을 출력으로 생성하도록 구현될 수 있다. 즉, 제2 모델의 출력으로부터 동일한 분류 속성을 가진 픽셀들을 그룹화함으로써 각 유형별 영역 정보를 획득할 수 있다. 예를 들어, 제2 모델은 DNN(Deep Neural Network) 기반의 합성곱 인코더-디코더(convolutional encoder-decoder) 기법을 적용하여 구현될 수 있다. 이에 대해서는 도 6에서 보다 자세히 설명한다.
감시 시점 결정부(330)는 차량(110)의 주행 상태와 객체의 상태 정보를 기반으로 감시 시점을 결정할 수 있다. 여기에서, 감시 시점은 차량(110)의 주행 과정에서 교통신호 위반행위가 발생할 가능성이 높은 시점에 해당할 수 있다. 예를 들어, 감시 시점은 교차로에 정차하거나, 진입 및 회전하는 시점, 횡단보도에 정차하거나 통과하는 시점 등을 포함할 수 있다. 여기에서는, 감시 시점이 교차로에 정차하는 시점에 해당함을 가정하여 설명하지만, 반드시 이에 한정되지 않고, 차량(110)의 주행 과정 중 특정 시점을 감시 시점으로 설정하여 동일한 동작을 적용할 수 있음은 물론이다.
즉, 감시 시점 결정부(330)는 영상 분석을 통해 교차로의 신호등이 적색 상태로 인지되는 시점을 기준으로 감시 시점으로 결정할 수 있다. 예를 들어, 감시 시점 결정부(330)는 교차로의 신호등이 적색 상태로 변경될 때 교차로 상의 특정 영역 내에 차량(110)이 존재하는 경우 해당 변경 시점을 감시 시점으로 결정할 수 있다. 또한, 감시 시점 결정부(330)는 교차로의 신호등이 적색 상태를 유지하고 있는 도중에 교차로 상의 특정 영역 내로 차량(110)의 진입이 검출되는 경우 해당 검출 시점을 감시 시점으로 결정할 수 있다. 감시 시점 결정부(330)는 차량(110)이 도로를 주행하는 과정에서 신호위반이 발생하는 다양한 상황들을 기준으로 감시 시점을 선택적으로 설정할 수 있다.
상태 모니터링부(350)는 감시 시점의 전후 시간 동안 도로 영역을 기준으로 설정된 감시 영역 내의 상태 변화를 관찰할 수 있다. 도로 영역은 영상 식별부(310)를 통해 전방 영상으로부터 도출될 수 있으며, 감시 영역은 차량(110)의 신호위반 행위를 감시하기 위해 영상을 촬영하는 대상 영역에 해당할 수 있다. 교차로의 신호등이 적색인 경우라면 교차로 상의 중앙 영역이 감시 영역으로 설정될 수 있다. 즉, 교차로의 신호등이 적색인 경우 차량(110)은 정지선에 정차해야 하며, 만약 이때 교차로의 중앙 영역으로 진입한다면 신호위반 행위에 해당할 수 있다. 상태 모니터링부(350)는 전방 영상을 통해 감시 영역을 결정하고 해당 감시 영역 내의 상태 변화를 관찰할 수 있으며, 상태 변화가 관찰되면 해당 차량(110)의 주행이 신호위반 행위인지를 결정하여 이후 동작을 수행할 수 있다.
일 실시예에서, 상태 모니터링부(350)는 차량(110)이 고정 경로를 따라 이동하는 경우 차량(110)의 GPS 좌표를 해당 고정 경로와 비교하여 감시 영역을 검증할 수 있고, 그렇지 않은 경우 차량(110)의 GPS 좌표를 관제 서버에 질의하여 감시 영역을 검증할 수 있다. 기본적으로 상태 모니터링부(350)는 차량(110)의 전방 영상을 분석하여 감시 영역을 결정할 수 있으며, 감시 영역에 관한 결정을 검증하기 위한 동작을 추가적으로 수행할 수 있다.
보다 구체적으로, 전방 영상을 촬영하는 차량(110)이 버스 등과 같이 미리 설정된 고정 경로를 따라 이동하는 경우라면, 차량(110)의 GPS 좌표를 해당 고정 경로와 비교하여 현재 차량(110)의 위치가 고정 경로 상에 존재하는 교차로의 위치와 인접한지를 검증하여 설정된 감시 영역이 유효한지를 결정할 수 있다. 이때, 고정 경로에 관한 정보는 해당 차량(110)에 저장되어 관리될 수 있으며, 상태 모니터링부(350)는 차량(110)으로부터 전방 영상과 함께 고정 경로에 관한 정보를 함께 수신할 수 있다.
또한, 차량(110)이 일반 승용차와 같이 고정 경로를 따라 이동하지 않는 경우라면, 차량(110)의 GPS 좌표를 관제 서버에 질의하여 해당 차량(110)이 현재 교차로 인근에 위치하는지를 검증함으로써 감시 영역의 유효 여부를 결정할 수 있다.
일 실시예에서, 상태 모니터링부(350)는 감시 영역 내로 객체의 진입에 의한 상태 변화가 검출되고 객체가 차량(110)으로 식별된 경우 이벤트 영상의 저장과 함께 객체의 움직임을 추적(tracking)할 수 있다. 예를 들어, 교차로의 신호가 적색인 경우 주행 중인 차량(110)은 정지선에서 정차하여야 하고, 만약 교차로로 진입한다면 신호위반 행위에 해당할 수 있다. 상태 모니터링부(350)는 차량(110)의 전방 영상을 통해 감시 영역으로 객체의 진입이 감지되고 해당 객체가 차량(110)으로 식별된 경우 '교차로 신호위반' 이벤트를 발생시킬 수 있고, 해당 차량(110)의 진입 전후의 영상을 저장할 수 있다.
이때, 상태 모니터링부(350)는 해당 차량(110)의 번호판을 식별하여 차량번호를 영상의 식별정보로서 추가할 수 있다. 또한, 상태 모니터링부(350)는 감시 영역으로의 객체 진입에 따른 상태 변화가 검출된 경우라 하더라도 해당 객체의 진행 방향이 차량(110)의 진행 방향과 반대인 경우라면 이벤트 발생 및 영상 저장에 관한 동작을 생략할 수 있다. 즉, 상태 모니터링부(350)는 차량(110)의 진행 방향과 동일한 방향으로 주행하는 객체들을 대상으로 관련 동작을 선택적으로 수행할 수 있다.
일 실시예에서, 상태 모니터링부(350)는 차량(110)을 기준으로 정의되는 3차원 도로 좌표계와 전방 영상의 소실점(vanishing point)을 기준으로 정의되는 2차원 영상 좌표계 간의 변환 관계에 기반하여 전방 영상의 분석 결과로서 차량(110)과 객체 간의 거리를 추적할 수 있다. 즉, 상태 모니터링부(350)는 전방 영상 내에서 객체의 움직임을 추적할 수 있고, 영상 내에서의 구체적인 위치 좌표를 실세계의 도로 상의 위치로 변환하여 해당 객체의 실제 움직임에 관한 정보를 모니터링 정보로서 수집할 수 있다. 해당 변환 관계는 전방 영상을 촬영하는 카메라의 방향와 촬영 해상도 및 차량의 크기와 카메라 설치 위치 등을 고려하여 사전에 산출되어 저장될 수 있다.
따라서, 상태 모니터링부(350)는 전방 영상에 대한 영상 분석을 통해 2차원의 영상 좌표계에서 객체의 위치 좌표를 획득할 수 있고, 해당 위치 좌표에 미리 산출된 변환 관계를 적용함으로써 3차원의 도로 좌표계에서 실제 객체의 위치 좌표를 획득할 수 있다. 이후, 상태 모니터링부(350)는 차량(110)의 현재 위치 좌표와 객체의 위치 좌표를 기초로 도로 상에서 상호 간의 거리 정보를 추적할 수 있다. 상태 모니터링부(350)는 차량(110)과 객체의 거리 정보를 추적하여 객체의 이동 속도와 방향 등에 관한 정보를 추가적으로 획득할 수 있다. 이에 대해서는 도 7에서 보다 자세히 설명한다.
일 실시예에서, 상태 모니터링부(350)는 전방 영상으로부터 서로 다른 제1 및 제2 시점들 각각에서 객체에 관한 도로 좌표계 상의 제1 및 제2 위치들을 산출하고, 제1 및 제2 위치들을 기초로 제3 시점에서 객체의 제3 위치와 속도를 산출하며, 제3 위치에 변환 관계를 적용하여 도출되는 영상 좌표계 상의 위치를 기준으로 제3 시점의 전방 영상에서 동일한 분류 속성을 갖는 객체가 검출되면 추적을 계속할 수 있다. 차량(110)의 주장 또는 정차 중에 촬영되는 전방 영상에는 다양한 객체가 출현할 수 있으며, 경우에 따라서 복수개의 객체가 동시에 촬영될 수도 있다. 따라서, 특정 시점의 전방 영상에서 서로 다른 객체가 서로 겹치는 경우 객체를 정확히 식별하기 위한 방법이 필요할 수 있다.
즉, 상태 모니터링부(350)는 전방 영상을 기초로 객체의 움직임에 관한 추적 정보를 활용하여 객체를 보다 정확히 식별할 수 있다. 이에 대해서는 도 8에서 보다 자세히 설명한다.
이벤트 처리부(370)는 상태 변화가 기 설정된 이벤트 조건을 충족하는 경우 해당 이벤트의 발생을 결정하여 전후 시간 동안의 이벤트 영상을 메모리(250)에 저장할 수 있다. 여기에서, 이벤트는 신호위반 행위에 대응되어 정의될 수 있다. 예를 들어, 교차로 관련 이벤트에는 '교차로 통행방법 위반' 이벤트, '교차로 신호위반' 이벤트 등을 포함할 수 있다. 이벤트 처리부(370)는 상태 모니터링부(350)에 의해 수집된 상태 변화에 관한 모니터링 정보를 기초로 이벤트 조건 충족여부를 검출하여 이벤트 발생을 결정할 수 있으며, 이벤트 발생이 결정된 경우 소정의 시간 동안의 전방 영상을 이벤트 영상으로 수집할 수 있다.
일 실시예에서, 이벤트 처리부(370)는 해당 이벤트의 발생을 관제 서버에 보고할 수 있고, 해당 보고와 함께 이벤트 영상을 관제 서버로 전송할 수 있으며, 관제 서버의 요청에 대한 응답으로서 이벤트 영상을 전송할 수도 있다. 이때, 이벤트 영상의 전송은 기 설정된 위치 영역들에 대해 차량(110)의 진입이 검출되면 자동 개시되도록 설정될 수 있다. 이벤트 처리부(370)는 네트워크 입출력부(290)와 연동하여 수집된 영상 정보를 외부로 전송할 수 있으며, 이와 관련하여 다양한 동작 조건이 설정될 수 있다. 예를 들어, 이벤트 처리부(370)는 관제 서버와 연동하여 동작할 수 있으며, 실시간 전송, 주기적 전송 및 요청 신호에 따른 선택적 전송 등 데이터 전송 방식이 선택적으로 적용될 수 있다.
또한, 이벤트 처리부(370)는 차량(110)이 특정 장소(예를 들어, 차량 기지 또는 집, 주차장 등)에 정차하거나 또는 특정 장소(예를 들어, 교차로, 터널, WiFi 존 등)를 통과하는 경우 이벤트 영상을 자동 전송할 수 있다. 이벤트 처리부(370)는 차량(110)의 주행 과정에서 다양한 동작 조건을 설정할 수 있으며, 동작 조건은 상태 모니터링부(350)에 의해 수집된 차량(110)의 상태 정보, 도로 정보 및 운전자 정보 등의 조합으로 정의될 수 있다.
제어부(390)는 인지/영상 저장 장치(130)의 전체적인 동작을 제어하고, 영상 식별부(310), 감시 시점 결정부(330), 상태 모니터링부(350) 및 이벤트 처리부(370) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 본 발명에 따른 교차로 꼬리물기 인지 및 영상 저장 방법을 설명하는 순서도이다.
도 4를 참조하면, 인지/영상 저장 장치(130)는 프로세서(210)를 통해 전방 영상에서 교차로 꼬리물기에 관한 신호위반 행위를 이벤트로서 검출할 수 있고, 이에 관한 이벤트 영상을 별도로 저장할 수 있다. 보다 구체적으로, 프로세서(210)는 영상 식별부(310)를 통해 차량(110)의 전방 영상을 분석하여 객체 및 도로 영역을 식별할 수 있다(단계 S410).
또한, 프로세서(210)는 감시 시점 결정부(330)를 통해 차량(110)의 주행 상태와 객체의 상태 정보를 기반으로 감시 시점을 결정할 수 있다(단계 S430). 예를 들어, 교차로에서 차량(110)이 정지선에 정차한 상태에서 교차로 중앙 영역으로 설정된 감시 영역에 다른 차량(110)의 진입이 검출된 경우 해당 검출 시점이 감시 시점으로 결정될 수 있다. 또는 교차로의 신호등이 적색으로 변경되는 시점에 교차로의 중앙 영역으로 설정된 감시 영역 내에 다른 차량(110)이 존재하는 경우 해당 변경 시점이 감시 시점으로 결정될 수 있다.
또한, 프로세서(210)는 상태 모니터링부(350)를 통해 감시 시점의 전후 시간 동안 도로 영역을 기준으로 설정된 감시 영역 내의 상태 변화를 관찰할 수 있다(단계 S450). 프로세서(210)는 이벤트 처리부(370)를 통해 상태 변화가 기 설정된 이벤트 조건을 충족하는 경우 해당 이벤트의 발생을 결정할 수 있다(단계 S470). 프로세서(210)는 이벤트 처리부(370)를 통해 감시 시점을 기준으로 소정의 전후 시간 동안의 이벤트 영상을 메모리(250)에 저장할 수 있다(단계 S490).
도 5는 본 발명에 따른 도로 상 객체에 관한 인지 동작을 설명하는 도면이다.
도 5를 참조하면, 인지/영상 저장 장치(130)는 전방 영상을 분석하여 도로 상의 객체를 식별할 수 있다. 이를 위해, 인지/영상 저장 장치(130)는 객체 식별을 위한 영상 분석 방법을 적용할 수 있다.
예를 들어, 인지/영상 저장 장치(130)는 합성곱신경망(convolution neural network, CNN) 기반의 기계학습 기법을 적용하여 전방 영상에서 객체(object)를 검출할 수 있다. 여기에서, 합성곱(convolution)은 영상과 같이 2차원 배열로 표현되는 데이터의 한 위치의 값과 주변 위치(3×3, 5×5 등)의 값들을 선형적으로 연산하여 연관성을 부여한다는 점에서 영상에서의 신경망 기법 적용에 폭넓게 활용될 수 있다.
먼저, 전방 영상은 합성곱층(convolution layer)을 거치고, 이후 네트워크 설계에 따라 다양한 형태의 다층 네트워크를 거쳐 피쳐맵(feature map)으로 변환될 수 있다. 또한, RPN(region proposal network)은 찾고자 하는 객체(object)가 위치하는 관심영역(region of interest, ROI)을 제안할 수 있다.
그런 다음, 관심영역에 해당하는 피쳐맵의 부분을 가져와 객체의 분류계층(class)을 산출할 수 있다. 이때, 분류는 하나의 결과만을 제시하지 않고, 사전에 설정된 각각의 분류계층과 일치하는 정도를 표시할 수 있다.
도 5에서, 인지/영상 저장 장치(130)는 전방 영상(510)에서 2개의 서로 다른 승용차, 신호등 및 시선유도봉(차선규제봉, tubular mark)을 인지할 수 있고, 필요에 따라 전방 영상(510)에 인지된 객체들의 관심영역을 표시하여 제공할 수 있다.
이때, 기계학습 모델은 관심영역 별로 객체 정보로서 기 정의된 객체들에 대한 확률 정보를 출력으로 제공할 수 있으며, 인지/영상 저장 장치(130)는 이를 기초로 각 관심영역에 대응되는 객체 정보를 최종 결정할 수 있다. 예를 들어, 기계학습 모델이 신호등(red)은 0.73, 신호등(yellow)은 0.22, 가로등은 0.05를 출력한 경우, 인지/영상 저장 장치(130)는 가장 높은 값을 가진 신호등(red)을 객체로 식별할 수 있다.
도 6은 본 발명에 따른 도로 상 노면 표지에 관한 인지 동작을 설명하는 도면이다.
도 6을 참조하면, 인지/영상 저장 장치(130)는 전방 영상을 분석하여 도로 상의 노면 표지를 식별할 수 있다. 이를 위해, 인지/영상 저장 장치(130)는 노면 표지 식별을 위한 영상 분석 방법을 적용할 수 있다. 즉, 도로의 노면 표지는 형태적으로 다양하고 크기에 제약이 없는 경우(예를 들어, 횡단보도)가 많다는 점에서, 영상의 영역을 분할(세그멘테이션, segmentation)한 후 각 영역이 어떤 속성에 해당하는지를 분류하는 것이 적합할 수 있다.
이때, 활용 가능한 분할 기법 중, 의미적 분할(semantic segmentation)은 영상에 포함된 각각의 화소(pixel)가 속한 대상에 따라 그 속성을 부여하는 방법에 해당하고, 사례별 분할(instance segmentation)은 의미적으로는 같은 분류에 속하지만 서로 다른 객체일 경우 구분하여 분할하는 방법에 해당할 수 있다.
인지/영상 저장 장치(130)는 심층신경망(Deep Neural Network, DNN) 기반의 합성곱 인코더-디코더(convolutional encoder-decoder) 기법을 적용하여 전방 영상을 의미적으로 분할함으로써 영역을 식별할 수 있다.
먼저 전방 영상은 합성곱층(convolution layer)를 거치고, 이후 네트워크 설계에 따라 다양한 형태의 다층 네트워크를 거쳐 피쳐맵(feature map)으로 변환될 수 있으며, 해당 과정은 인코딩(encoding, 부호화) 과정에 해당할 수 있다. 이때, 데이터의 차원(dimension)은 축소되며 깊이(depth)는 증가할 수 있다.
그런 다음, 피쳐맵은 업샘플링(up-sampling)을 반복하면서 차원이 다시 원래의 영상 크기로 복원될 수 있으며, 각각의 픽셀에는 분류 속성이 부여될 수 있다. 해당 과정은 디코딩(decoding, 복호화) 과정에 해당할 수 있다.
도 6에서, 인지/영상 저장 장치(130)는 전방 영상(610)에 대해 도로, 횡단보도, 보도 및 안전지역, 차량 등으로 각 영역을 구분하여 식별할 수 있고, 필요에 따라 전방 영상(610)에 대응되어 식별된 영역들을 표시하여 제공할 수 있다.
도 7은 본 발명에 따른 도로 및 영상 상의 차량 위치에 관한 변환 관계를 설명하는 도면이다.
도 7을 참조하면, 인지/영상 저장 장치(130)는 실세계 3차원 좌표계를 (X, Y, Z)로 정의할 수 있고, 카메라 2차원 좌표계를 (x, y, z)로 정의할 수 있다. 이때, 카메라 2차원 좌표계의 z축은 사용되지 않을 수 있다. 또한, λ는 카메라의 초점 거리(focal length)에 해당하고, h는 카메라의 장착 높이에 해당할 수 있다.
실제 도로의 3차원 정보는 2차원 영상에 투영(projection)되는 원근변환(perspective transform)이 되며, Z 방향으로 멀리 있는 정보는 화면상의 한점, 소실점(vanishing point)에 모이게 되며, 화면좌표는 소실점을 기준으로 한다.
이 경우 도로 상(Y=0)의 점(X, Z)이 화면에 투영된 점(x, y)는 다음의 수학식 1로 표현되는 변환 관계를 형성할 수 있다.
[수학식 1]
Figure PCTKR2022003544-appb-img-000001
따라서, 인지/영상 저장 장치(130)는 도로 상에 존재하는 객체(object)를 식별하고, 해당 객체를 둘러싼 경계 사각형(bounding box)의 하단 좌표 y로부터 도로 상의 실제 거리 Z = λh/y를 산출할 수 있다. 또한, 인지/영상 저장 장치(130)는 차량뿐만 아니라 도로 상에 존재하는 과속방지턱이나 포트홀 등에 대해서도 동일하게 적용할 수 있다.
결과적으로, 인지/영상 저장 장치(130)는 전방 영상에서 객체 및 영역을 식별하고 객체, 즉 차량(110)의 하단 좌표가 검출되면 기 도출된 변환 관계를 적용하여 해당 차량(110)까지의 거리를 계산할 수 있다.
도 8은 본 발명에 따른 차량의 위치 추적 방법을 설명하는 도면이다.
도 8을 참조하면, 인지/영상 저장 장치(130)는 전방 영상에서 식별된 객체 정보를 이용하여 해당 객체와의 거리를 추적할 수 있다.
보다 구체적으로, 인지/영상 저장 장치(130)는 시간 t = t1, t2에서 전방 영상에서 인지된 차량 영역의 위치 기준점 (x1, y1), (x2, y2)로부터 실도로 상의 차량의 위치 (X1, Z1), (X2, Z2)를 산출할 수 있다. 인지/영상 저장 장치(130)는 이를 바탕으로 객체의 이동 속도를 추정할 수 있고, 시간 t = t3에서 예상되는 차량의 위치 (X3, Z3)를 산출할 수 있다. 인지/영상 저장 장치(130)는 차량의 예상 위치를 변환하여 영상 좌표 (x3, y3)를 획득하고, 전방 영상의 시간 t = t3에서 동일한 속성의 객체가 인지되면 해당 차량이 속도 (Vx, Vz)로 이동하고 있는 것으로 결정할 수 있다. 이때, Vx는 (X2-X1)/(t2-t1)이고, Vz는 (Z2-Z1)/(t2-t1)이다.
한편, 인지/영상 저장 장치(130)는 좌표 변환에 따른 예상 위치와 전방 영상에서 검출되는 객체의 위치 간에 소정의 오차가 존재하는 경우에도 동일한 객체로 결정하여 추적(tracking)을 계속할 수 있으며, 동일 객체로 판단하기 위한 오차 범위는 사전에 설정되어 활용될 수 있다. 이러한 오차는 카메라의 성능, 영상 분석 기법의 예측 성능, 도로의 불규칙성 등 다양한 요인으로 인해 발생할 수 있다.
도 9는 본 발명에 따른 교차로 감시 영역 설정 동작을 설명하는 도면이다.
도 9를 참조하면, 인지/영상 저장 장치(130)는 차량(110)에 전방을 향해 장착되는 적어도 하나의 카메라를 통해 해당 차량(110)의 진행 방향에 대응하는 전방 영상(910)을 획득할 수 있다. 인지/영상 저장 장치(130)는 전방 영상(910)에 대한 영상 분석을 통해 객체를 인식하고 위치를 추정할 수 있으며, 전방 영상의 영역 분할을 통해 도로와 보도, 횡단보도 등을 구분하여 식별할 수 있다.
인지/영상 저장 장치(130)는 자차량(ego vehicle)이 정지한 상태에서 전면에 횡단보도가 존재하고, 횡단보도 너머에 유효한 주행차선이 없는 영역이 존재하는지 여부를 결정할 수 있다. 이때, 유효한 주행차선이란 3.5 ~ 5m의 폭을 가지며 평행한 실선 또는 점선이 2개 이상 있는 경우에 해당할 수 있다. 즉, 인지/영상 저장 장치(130)는 해당 영역이 존재하는 경우 교차로 감시 영역(930)으로 설정할 수 있으며, 감시 영역에 대한 상태 변화를 관찰하여 다른 차량(110)의 신호위반 행위를 검출할 수 있다.
예를 들어, 인지/영상 저장 장치(130)는 신호등이 적색 신호임을 인지하고, 신호등이 적색이 되는 순간에 교차로 감시 영역(930) 안에 차량이 존재하는 경우 '교차로 통행방법 위반' 이벤트를 발생시킬 수 있다. 또한, 인지/영상 저장 장치(130)는 해당 시점을 기준으로 전후의 영상을 저장할 수 있다. 이와 반대로, 인지/영상 저장 장치(130)는 교차로 감시 영역(930) 안에 차량(110)이 존재하지 않는 경우 대기 상태를 유지할 수 있다.
다른 예로서, 인지/영상 저장 장치(130)는 신호등이 적색 신호로 유지되고 있음을 인지하고, 전방 영상(910)의 흐름에서 연속적으로 인지되어 추적 가능하며 차량(110)으로 분류되는 객체가 자차량과 동일한 진행방향으로 (즉, 자차량의 정면으로부터 멀어지는 방향으로) 교차로 감시 영역(930) 안으로 진입하는 경우 '교차로 신호위반' 이벤트를 발생시킬 수 있다. 또한, 인지/영상 저장 장치(130)는 해당 차량(110)의 진입 전후의 영상을 저장할 수 있다.
본 발명에 따른 인지/영상 저장 장치(130)는 차량(110)의 바로 배후에서 영상을 촬영할 수 있고, 이에 따라 차량(110)의 번호판을 잘 인식할 수 있는 거리와 방향에서 영상을 수집할 수 있다. 인지/영상 저장 장치(130)는 저장된 영상흐름(image stream, [20 ~ 30초]) 내에서 교통 신호의 변경 상태, 차량(110)의 진입 시점 등을 명확히 판별할 수 있으며, 이를 통해 명확한 꼬리물기 위반 영상만을 저장 및 전송할 수 있어 통신 비용과 저장매체의 수명을 낭비하지 않을 수 있다.
또한, 인지/영상 저장 장치(130)는 영상 분석을 통해 식별된 차량(110)의 번호판을 판독할 수 있으며, 판독된 차량 번호를 해당 차량(110)의 영상과 함께 저장하거나 전송할 수 있다. 다만, 번호판 판독을 위한 영상 분석은 인지/영상 저장 장치(130) 내에서 별도의 판독 알고리즘을 이용하여 수행될 수 있으나, 반드시 이에 한정되지 않고, 전방 영상을 수신하는 관제 서버에서 독립적으로 수행될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
[부호의 설명]
100: 인지/영상 저장 시스템
110: 차량 130: 인지/영상 저장 장치
150: 데이터베이스
210: 프로세서 230: 카메라 모듈
250: 메모리 270: 사용자 입출력부
290: 네트워크 입출력부
310: 영상 식별부 330: 감시 시점 결정부
350: 상태 모니터링부 370: 이벤트 처리부
390: 제어부
510, 610, 910: 전방 영상
930: 교차로 감시 영역

Claims (7)

  1. 차량에 설치되고 상기 차량의 진행 방향을 향하도록 장착되는 적어도 하나의 카메라; 상기 적어도 하나의 카메라가 촬영한 전방 영상을 저장하는 메모리; 및 상기 메모리와 전기적으로 연결되는 프로세서;를 포함하는 교차로 꼬리물기 인지 및 영상 저장 장치에 있어서,
    상기 프로세서는
    상기 전방 영상을 분석하여 객체 및 도로 영역을 식별하고,
    상기 차량의 주행 상태와 상기 객체의 상태 정보를 기반으로 감시 시점을 결정하며,
    상기 감시 시점의 전후 시간 동안 상기 도로 영역을 기준으로 설정된 감시 영역 내의 상태 변화를 관찰하고,
    상기 상태 변화가 기 설정된 이벤트 조건을 충족하는 경우 해당 이벤트의 발생을 결정하여 상기 전후 시간 동안의 이벤트 영상을 상기 메모리에 저장하는 교차로 꼬리물기 인지 및 영상 저장 장치.
  2. 제1항에 있어서, 상기 프로세서는
    상기 객체 및 도로 영역의 식별을 독립적으로 수행하는 제1 및 제2 모델들을 구축하고,
    상기 제1 모델은 상기 전방 영상을 입력으로 수신하여 피처맵으로 변환하고 해당 피처맵에서 상기 객체에 대응되는 관심영역을 결정하며 해당 관심영역에 대한 식별 정보를 출력으로 생성하도록 구현되고,
    상기 제2 모델은 상기 전방 영상을 입력으로 수신하여 피처맵으로 변환하는 인코딩 단계와 해당 피처맵을 복원하는 디코딩 단계를 수행함으로써 각 픽셀에 부여된 분류 속성을 출력으로 생성하도록 구현되는 것을 특징으로 하는 교차로 꼬리물기 인지 및 영상 저장 장치.
  3. 제1항에 있어서, 상기 프로세서는
    상기 차량이 고정 경로를 따라 이동하는 경우 상기 차량의 GPS 좌표를 해당 고정 경로와 비교하여 상기 감시 영역을 검증하고,
    그렇지 않은 경우 상기 차량의 GPS 좌표를 관제 서버에 질의하여 상기 감시 영역을 검증하는 것을 특징으로 하는 교차로 꼬리물기 인지 및 영상 저장 장치.
  4. 제1항에 있어서, 상기 프로세서는
    상기 해당 이벤트의 발생을 관제 서버에 보고하거나, 또는
    해당 보고와 함께 상기 이벤트 영상을 상기 관제 서버로 전송하거나, 또는
    상기 관제 서버의 요청에 대한 응답으로서 상기 이벤트 영상을 전송하고,
    상기 이벤트 영상의 전송은 기 설정된 위치 영역들에 대해 상기 차량의 진입이 검출되면 자동 개시되도록 설정되는 것을 특징으로 하는 교차로 꼬리물기 인지 및 영상 저장 장치.
  5. 제1항에 있어서, 상기 프로세서는
    상기 감시 영역 내로 상기 객체의 진입에 의한 상태 변화가 검출되고 상기 객체가 차량으로 식별된 경우 상기 이벤트 영상의 저장과 함께 상기 객체의 움직임을 추적(tracking)하는 것을 특징으로 하는 교차로 꼬리물기 인지 및 영상 저장 장치.
  6. 제5항에 있어서, 상기 프로세서는
    상기 차량을 기준으로 정의되는 3차원 도로 좌표계와 상기 전방 영상의 소실점(vanishing point)을 기준으로 정의되는 2차원 영상 좌표계 간의 변환 관계에 기반하여 상기 전방 영상의 분석 결과로서 상기 차량과 상기 객체 간의 거리를 추적하는 것을 특징으로 하는 교차로 꼬리물기 인지 및 영상 저장 장치.
  7. 제6항에 있어서, 상기 프로세서는
    상기 전방 영상으로부터 서로 다른 제1 및 제2 시점들 각각에서 상기 객체에 관한 상기 도로 좌표계 상의 제1 및 제2 위치들을 산출하고,
    상기 제1 및 제2 위치들을 기초로 제3 시점에서 상기 객체의 제3 위치와 속도를 산출하며,
    상기 제3 위치에 상기 변환 관계를 적용하여 도출되는 상기 영상 좌표계 상의 위치를 기준으로 상기 제3 시점의 상기 전방 영상에서 동일한 분류 속성을 갖는 객체가 검출되면 상기 추적을 계속하는 것을 특징으로 하는 교차로 꼬리물기 인지 및 영상 저장 장치.
PCT/KR2022/003544 2021-03-18 2022-03-14 교차로 꼬리물기 인지 및 영상 저장 장치 WO2022197042A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0035357 2021-03-18
KR1020210035357A KR102345798B1 (ko) 2021-03-18 2021-03-18 교차로 꼬리물기 인지 및 영상 저장 장치

Publications (1)

Publication Number Publication Date
WO2022197042A1 true WO2022197042A1 (ko) 2022-09-22

Family

ID=79342268

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/003544 WO2022197042A1 (ko) 2021-03-18 2022-03-14 교차로 꼬리물기 인지 및 영상 저장 장치

Country Status (2)

Country Link
KR (1) KR102345798B1 (ko)
WO (1) WO2022197042A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102345798B1 (ko) * 2021-03-18 2022-01-04 (주)에이아이매틱스 교차로 꼬리물기 인지 및 영상 저장 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128837A (ko) * 2013-04-29 2014-11-06 팅크웨어(주) 차량용 영상 처리 장치 및 이를 이용한 정보 제공 방법
KR101852958B1 (ko) * 2016-11-15 2018-04-30 한국과학기술연구원 이동 객체 추적 시스템 및 이를 이용한 이동 객체 추적 방법
KR20190039648A (ko) * 2017-10-05 2019-04-15 주식회사 스트라드비젼 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
KR102122859B1 (ko) * 2020-03-03 2020-06-15 (주)사라다 교통 영상감시시스템의 멀티 표적 추적 방법
KR20210016761A (ko) * 2019-08-05 2021-02-17 삼성전자주식회사 차량용 전자 장치 및 차량용 전자 장치 동작 방법
KR102345798B1 (ko) * 2021-03-18 2022-01-04 (주)에이아이매틱스 교차로 꼬리물기 인지 및 영상 저장 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101280824B1 (ko) 2011-06-08 2013-07-02 극동산업개발(주) 교차로 신호 위반 단속 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128837A (ko) * 2013-04-29 2014-11-06 팅크웨어(주) 차량용 영상 처리 장치 및 이를 이용한 정보 제공 방법
KR101852958B1 (ko) * 2016-11-15 2018-04-30 한국과학기술연구원 이동 객체 추적 시스템 및 이를 이용한 이동 객체 추적 방법
KR20190039648A (ko) * 2017-10-05 2019-04-15 주식회사 스트라드비젼 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
KR20210016761A (ko) * 2019-08-05 2021-02-17 삼성전자주식회사 차량용 전자 장치 및 차량용 전자 장치 동작 방법
KR102122859B1 (ko) * 2020-03-03 2020-06-15 (주)사라다 교통 영상감시시스템의 멀티 표적 추적 방법
KR102345798B1 (ko) * 2021-03-18 2022-01-04 (주)에이아이매틱스 교차로 꼬리물기 인지 및 영상 저장 장치

Also Published As

Publication number Publication date
KR102345798B1 (ko) 2022-01-04

Similar Documents

Publication Publication Date Title
EP1030188B1 (en) Situation awareness system
JP7218535B2 (ja) 交通違反車両識別システム及びサーバ
WO2020122300A1 (ko) 딥러닝 기반 번호 인식 시스템
WO2013115470A1 (en) Integrated control system and method using surveillance camera for vehicle
KR102491091B1 (ko) 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템
WO2020122301A1 (ko) 딥 러닝 기반 교통 위반 단속 시스템 및 방법
JP2010198552A (ja) 運転状況監視装置
WO2020105780A1 (ko) 다중 객체 검출 시스템 및 방법
KR101034486B1 (ko) 교차로 교통법규 위반 단속 시스템 및 방법
JP6756908B2 (ja) 車両周囲の歩行者を検出する方法及び装置
KR101584105B1 (ko) 다차로 기반의 차량 촬영장치 및 그 제어방법
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
WO2021162205A1 (ko) 충돌 사고 방지 방법, 장치, 서버, 및 컴퓨터 프로그램
WO2022197042A1 (ko) 교차로 꼬리물기 인지 및 영상 저장 장치
WO2019112309A1 (ko) 차량 및 그 제어 방법
WO2020189831A1 (ko) 자율주행 차량의 모니터링 및 제어 방법
WO2022255677A1 (ko) 다중 관측정보를 이용한 고정객체의 위치 결정 방법
CN112289036A (zh) 基于交通语义的场景式违章属性识别系统及方法
WO2021002722A1 (ko) 이벤트 태깅 기반 상황인지 방법 및 그 시스템
KR101210615B1 (ko) 불법유턴 차량 단속 시스템
WO2020241971A1 (ko) 교통 사고 처리 장치 및 교통 사고 처리 방법
Chen et al. Vision-based road bump detection using a front-mounted car camcorder
KR102144778B1 (ko) 실시간 업데이트된 도로정보 제공방법 및 시스템
KR102415620B1 (ko) 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템
KR102270625B1 (ko) 인공지능 학습을 통한 일방통행로의 이동체 진입에 따른 처리 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22771708

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22771708

Country of ref document: EP

Kind code of ref document: A1