WO2023075107A1 - 주차 인식 방법, 주차 인식 시스템 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램 - Google Patents

주차 인식 방법, 주차 인식 시스템 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2023075107A1
WO2023075107A1 PCT/KR2022/012357 KR2022012357W WO2023075107A1 WO 2023075107 A1 WO2023075107 A1 WO 2023075107A1 KR 2022012357 W KR2022012357 W KR 2022012357W WO 2023075107 A1 WO2023075107 A1 WO 2023075107A1
Authority
WO
WIPO (PCT)
Prior art keywords
parking
recognition
camera
image
vehicle
Prior art date
Application number
PCT/KR2022/012357
Other languages
English (en)
French (fr)
Inventor
정상수
싱다난지아
최융지
Original Assignee
주식회사 베스텔라랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 베스텔라랩 filed Critical 주식회사 베스텔라랩
Publication of WO2023075107A1 publication Critical patent/WO2023075107A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06Q50/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • Embodiments of the present invention relate to a parking recognition method, a parking recognition system, and a computer program stored in a recording medium to execute the method, and more particularly, a parking recognition method capable of effectively recognizing a vehicle parked on a parking surface; It relates to a parking recognition system and a computer program stored on a recording medium to execute the method.
  • the present invention is to solve various problems including the above problems, a parking recognition method and a parking recognition system capable of effectively recognizing a vehicle parked on a parking surface, and a computer program stored in a recording medium to execute the method. is intended to provide However, these tasks are illustrative, and the scope of the present invention is not limited thereby.
  • the parking recognition method for recognizing a vehicle parked on at least one parking surface, obtaining a plurality of images of the at least one parking surface and the vehicle photographed by at least one camera Determining a parking recognition target camera and a parking recognition time point among the at least one camera based on an image difference between the plurality of images that are successive in time series, the parking recognition target at the parking recognition time point Setting a parking surface occupancy determination area for each of the at least one parking surface based on an image captured by a camera;
  • a parking recognition method comprising the steps of setting each vehicle recognition area, and determining whether a vehicle is parked with respect to the at least one parking surface based on the parking surface occupancy determination area and the vehicle recognition area, respectively.
  • the image difference may include a difference in brightness, saturation, and color of each pixel unit of the plurality of images.
  • the step of determining the parking recognition target camera and the parking recognition time point may include calculating the image difference between a first image and a second image that are successive in time series, the first image and the second image.
  • the image difference is equal to or greater than a preset threshold, determining a camera that has captured the first image and the second image as the parking recognition target camera;
  • a step of determining the viewpoint may be included.
  • the step of setting the parking surface occupancy determination area, respectively, based on the preset number of parking surfaces belonging to the shooting range of the camera to be the parking recognition target, the vehicle recognition area of the at least one parking surface is preset.
  • the method may include setting the parking surface occupancy determination area based on a predicted range of the area, and resetting the parking surface occupancy determination area based on learning data for the predicted range.
  • the step of setting each vehicle recognition area may include inputting an image captured by a camera to be targeted for parking recognition at the time of parking recognition to a pre-learned deep learning network, and inputting an output value of the pre-learned deep learning network. Based on the parking recognition time point, the vehicle recognition area may be set for the vehicle included in the image captured by the camera to be the parking recognition target.
  • Determining whether a vehicle is parked on the at least one parking surface may include the parking surface occupancy determination area and the vehicle recognition area based on a preset parking surface belonging to a photographing range of a camera subject to parking recognition. and determining whether a preset area of the vehicle recognition area exists within the parking surface occupancy determination area.
  • a computer program stored in a recording medium is provided to execute the above method using a computer.
  • the parking recognition system for recognizing a vehicle parked on at least one parking surface, obtaining a plurality of images of the at least one parking surface and the vehicle taken by at least one camera, , Based on the image difference between the plurality of images that are successive in time series, determining a parking recognition target camera and a parking recognition time point among the at least one camera, and in the parking recognition target camera at the parking recognition time point. Based on the captured image, a parking surface occupancy determination area is set for the at least one parking surface, and the vehicle recognition area for the vehicle is based on an image captured by the camera to be the parking recognition target at the parking recognition time point.
  • a parking recognition system is provided, including a parking recognition server, which respectively sets and determines whether a vehicle is parked with respect to the at least one parking surface based on the parking surface occupancy determination area and the vehicle recognition area. .
  • the image difference may include a difference in brightness, saturation, and color of each pixel unit of the plurality of images.
  • the parking recognition server calculates the image difference between a first image and a second image sequentially successive, and when the image difference is greater than or equal to a preset threshold value, the first image and the second image are captured.
  • a camera may be determined as the parking recognition target camera, and a time point at which the second image is captured may be determined as the parking recognition time point.
  • the parking recognition server based on a predicted range of a preset area of the vehicle recognition area with respect to the at least one parking surface based on the number of preset parking surfaces belonging to the shooting range of the camera to be the parking recognition target. It is possible to set the parking surface occupancy determination area and reset the parking surface occupancy determination area based on the learning data for the predicted range.
  • the parking recognition server inputs an image taken from a camera to be targeted for parking recognition at the parking recognition time point to the pre-learned deep learning network, and determines the parking recognition time point based on the output value of the pre-learned deep learning network.
  • the vehicle recognition area may be set for the vehicle included in the image captured by the camera to be the parking recognition target.
  • the parking recognition server maps the parking surface occupancy determination area and the vehicle recognition area based on a preset parking surface belonging to a shooting range of a camera subject to parking recognition, and the preset area of the vehicle recognition area is the It is possible to determine whether or not the parking surface occupancy determination area exists.
  • a parking recognition method and a parking recognition system capable of effectively recognizing a vehicle parked on a parking surface, and a computer program stored in a recording medium to execute the method can be implemented.
  • the scope of the present invention is not limited by these effects.
  • FIG. 1 is a conceptual diagram schematically illustrating a parking recognition system and a camera according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically showing components of a device included in the parking recognition server of FIG. 1 .
  • FIG. 3 is a diagram for explaining the configuration of a processor of a parking recognition server according to an embodiment of the present invention.
  • FIG. 4 is a flowchart showing a parking recognition method according to an embodiment of the present invention.
  • FIG. 5 is a diagram for explaining a parking recognition method according to an embodiment of the present invention.
  • FIG. 6 is a diagram for explaining a parking recognition method according to another embodiment of the present invention.
  • FIG. 7 is a diagram for explaining a parking recognition method according to another embodiment of the present invention.
  • FIG. 8 is a diagram for explaining a parking recognition method according to another embodiment of the present invention.
  • FIG. 9 is a diagram for explaining a parking recognition method according to another embodiment of the present invention.
  • FIG. 10 is a diagram for explaining a parking recognition method according to another embodiment of the present invention.
  • FIG. 11 is a diagram for explaining a parking recognition method according to another embodiment of the present invention.
  • FIG. 1 is a conceptual diagram schematically illustrating a parking recognition system and a camera according to an embodiment of the present invention.
  • the parking recognition system 1 may include a parking recognition server 300 .
  • the parking recognition system 1 may include the parking recognition server 300 and the camera 100 as needed.
  • Components of the parking recognition system 1 may communicate with each other by being connected through a network.
  • the parking recognition server 300 and the camera 100 may communicate with each other by being connected through a network.
  • the parking recognition system 1 may further include other components or some components may be omitted.
  • the parking recognition system 1 may include a camera terminal (edge) as edge computing, such as an AI camera equipped with a GPU or NPU. Some components of the parking recognition system 1 may be separated into a plurality of devices, or a plurality of components may be merged into one device.
  • the camera 100 is a hardware device required to photograph the parking surface of a parking lot and parked vehicles.
  • the camera 100 may generate image data for the parking surface and the vehicle by photographing the parking surface of the parking lot and the parked vehicle.
  • the camera 100 may transmit image data of a parking surface and a vehicle to the parking recognition server 300 through a network.
  • the camera 100 may include a plurality of cameras.
  • the parking recognition server 300 is connected to the first camera 110, the second camera 120, the third camera 130, and the n-th camera through a network to each other. can communicate
  • This camera 100 may have an ID. That is, each camera 100 installed in the parking lot may have a unique ID.
  • the first camera 110, the second camera 120, the third camera 130, and the n-th camera may be set in an installation location, a photographing angle, and a photographing direction so as to photograph different parking surfaces.
  • unique IDs may be set for the first camera 110 , the second camera 120 , the third camera 130 , and the n-th camera.
  • the ID of the camera 100 may include numbers, letters such as alphabets, special characters and/or symbols.
  • the parking surface photographed by the first camera 110, the second camera 120, the third camera 130, and the n-th camera may be set in advance.
  • the number of parking surfaces photographed by the first camera 110, the second camera 120, the third camera 130, and the n-th camera may be set in advance.
  • the first camera 110 may capture 8 parking surfaces.
  • the parking recognition server 300 may acquire a plurality of images of at least one parking surface and vehicle captured by at least one camera 100 . Also, the parking recognition server 300 may determine a parking recognition target camera and a parking recognition time point among at least one camera based on an image difference between a plurality of consecutive images in time series. In addition, the parking recognition server 300 may set a parking surface occupancy determination area for at least one parking surface, respectively, based on an image captured by a camera that is a parking recognition target at the time of parking recognition. In addition, the parking recognition server 300 may set a vehicle recognition area for each vehicle based on an image taken by a camera that is a parking recognition target at the time of parking recognition. Also, the parking recognition server 300 may determine whether a vehicle is parked on at least one parking surface based on the parking surface occupancy determination area and the vehicle recognition area.
  • the parking recognition server 300 may be, for example, a cloud server, but the present invention is not limited thereto.
  • a network may be defined as one or more data links capable of transmitting and receiving data between electronic devices and/or servers, and may be a wired and/or wireless communication network.
  • the network may include a content delivery network (CDN) capable of efficiently delivering a variety of user-selectable content.
  • CDN content delivery network
  • the network may be cellular (eg, WAN, UDP, etc.), WiFi, Bluetooth, Bluetooth Low Energy, Zigbee, or Ultra Wide Band, UWB), but the network meant by the present invention is not limited thereto.
  • the parking recognition system 1 determines whether a vehicle is parked on a parking surface based on an image captured by a camera that is a target for parking recognition at the time of parking recognition, thereby consuming computing power. has the effect of minimizing
  • FIG. 2 is a block diagram schematically showing components of a device included in the parking recognition server of FIG. 1
  • FIG. 3 is a diagram for explaining the configuration of a processor of the parking recognition server according to an embodiment of the present invention.
  • the parking recognition server 300 may include a communication module 310 , a processor 320 and a memory 330 .
  • the communication module 310 may communicate with various types of external devices or servers according to various types of communication methods.
  • the communication module 310 may be connected to communication modules of other devices through a network to exchange data with each other.
  • the communication module 310 may be connected to the communication module of the camera 100 through a network to exchange data with each other.
  • the processor 320 may perform an operation of generally controlling the parking recognition system 1 using various programs stored in the memory 330 .
  • the processor 320 includes a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated circuit (ASIC), and a field programmable gate array (FPGA). ), but the present invention is not limited thereto.
  • the memory 330 may temporarily or permanently store data processed by the parking recognition server 300 .
  • the memory 330 may include a random access memory (RAM), a read only memory (ROM), and a permanent mass storage device such as a disk drive, but the present invention is not limited thereto.
  • the parking recognition server 300 as shown in FIG. 2 may further include a storage medium (not shown) storing various data for overall operations, such as a program for processing or controlling the processor 320.
  • the storage medium may store a plurality of application programs (applications) running in the parking recognition server 300, data for operation of the parking recognition server 300, and commands. At least some of these application programs may be downloaded from an external server through wireless communication. In addition, at least some of these application programs may exist on the parking recognition server 300 from the time of shipment for basic functions of the parking recognition server 300 .
  • the application program may be stored in a storage medium and driven by the processor 320 to perform an operation (or function) of the parking recognition server 300 .
  • the parking recognition system 1 and each module or unit included therein may be entirely hardware, or may have aspects of being partly hardware and partly software.
  • the parking recognition system 1 and each module or unit included therein may collectively refer to hardware and related software for processing data of a specific format and content or exchanging data in an electronic communication method.
  • terms such as “unit”, “module”, “device”, “terminal”, “server” or “system” may be interpreted as referring to a combination of hardware and software driven by the hardware.
  • the hardware may be a data processing device including a CPU or other processor.
  • software driven by hardware may refer to a running process, an object, an executable file, a thread of execution, a program, and the like.
  • each element constituting the parking recognition system 1 is not necessarily limited to referring to a separate device that is physically separated from each other. That is, the communication module 310, processor 320, and memory 330 of FIG. 2 are only functionally classified according to the operation performed by the parking recognition server 300, and must be independently distinguished from each other. no. Of course, depending on the embodiment, they may be implemented as separate devices that are physically separated from each other.
  • the communication method is not limited, and may include not only a communication method utilizing a communication network (eg, a mobile communication network, wired Internet, wireless Internet, and broadcasting network) that the network may include, but also short-range wireless communication between devices.
  • a communication network eg, a mobile communication network, wired Internet, wireless Internet, and broadcasting network
  • the network includes a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), a broadband network (BBN), the Internet, and the like.
  • PAN personal area network
  • LAN local area network
  • CAN campus area network
  • MAN metropolitan area network
  • WAN wide area network
  • BBN broadband network
  • the network may include any one or more of the networks of
  • the network may include any one or more of network topologies including, but not limited to, a bus network, a star network, a ring network, a mesh network, a star-bus network, a tree or a hierarchical network, and the like. .
  • the communication module 310 may communicate with an external server through a network.
  • the communication method is not limited, but the network may be a local area wireless communication network.
  • the network may be a Bluetooth, Bluetooth Low Energy (BLE), or Wifi communication network.
  • the parking recognition server 300 may include more components than those of FIG. 2 .
  • the parking recognition server 300 may be implemented to include an input/output device or may further include other components such as a battery that supplies power to internal components, a charging device, various sensors, and a database.
  • the internal configuration of the processor 320 of the parking recognition server 300 will be reviewed in detail with reference to FIG. 3 .
  • the processor 320 described later is the processor 320 of the parking recognition server 300 shown in FIG. 1 and described.
  • the processor 320 of the parking recognition server 300 includes an image acquisition unit 321, a parking recognition determination unit 323, a parking surface occupancy determination area setting unit 325, and a vehicle recognition area setting unit. unit 327, and a parking determination unit 329.
  • components of the processor 320 may be selectively included in or excluded from the processor 320 . Also, according to some embodiments, components of the processor 320 may be separated or merged to express the functions of the processor 320 .
  • the processor 320 and components of the processor 320 may control the parking recognition server 300 to perform steps S110 to S150 included in the parking recognition method of FIG. 4 .
  • the processor 320 and components of the processor 320 may be implemented to execute instructions according to an operating system code and at least one program code included in the memory 330 .
  • the components of the processor 320 may be representations of different functions of the processor 320 performed by the processor 320 according to instructions provided by program codes stored in the parking recognition server 300. can A detailed operation of the processor 320 will be described with reference to a flowchart of the parking recognition method of FIG. 4 .
  • FIG. 4 is a flowchart showing a parking recognition method according to an embodiment of the present invention.
  • the parking recognition server 300 may acquire a plurality of images of at least one parking surface and vehicle captured by at least one camera.
  • the parking recognition server 300 may acquire a plurality of images of a plurality of parking surfaces and vehicles photographed by a plurality of cameras installed in a parking lot.
  • the parking recognition server 300 may acquire a plurality of images each captured by a first camera, a second camera, a third camera, and an n-th camera.
  • the plurality of images each photographed by the first camera, the second camera, the third camera, and the n-th camera may include a plurality of parking surfaces included in a photographing range captured by each camera.
  • the plurality of images each photographed by the first camera, the second camera, the third camera, and the n-th camera may include a vehicle parked on a plurality of parking surfaces included in a photographing range taken by each camera.
  • a photographing range taken by each camera For example, eight parking surfaces may be included in a photographing range captured by the first camera.
  • nine parking surfaces may be included in a photographing range photographed by the second camera.
  • the eight parking surfaces included in the shooting range taken by the first camera and the nine parking surfaces included in the shooting range taken by the second camera may be different from each other.
  • the parking recognition server 300 may determine a parking recognition target camera and a parking recognition time point among at least one camera based on an image difference between a plurality of successive images in time series. For example, the parking recognition server 300 may acquire a plurality of time-sequentially continuous images from a plurality of cameras. For example, the parking recognition server 300 may acquire a first image and a second image sequentially from a first camera. In this case, the first image may be an image captured at a time point prior to the second image in chronological order. For example, the parking recognition server 300 may acquire a first image and a second image from a first camera at preset time intervals.
  • the parking recognition server 300 may determine a camera as a parking recognition target among a plurality of cameras. Also, the parking recognition server 300 may determine a parking recognition time point, which is a time point for determining whether a vehicle is parked on a parking surface. For example, the parking recognition server 300 may determine a parking recognition target camera and a parking recognition time point based on an image difference between a first image and a second image that are successive in time series.
  • the image difference between the plurality of images may include a difference in brightness, saturation, and color of each pixel unit of the plurality of images.
  • the image difference between the first image and the second image may include a difference in brightness, saturation, or color of each pixel unit between the first image and the second image.
  • the parking recognition server 300 may calculate an image difference between a plurality of images using an image comparison command (eg, background difference (AbsDiff)).
  • an image comparison command eg, background difference (AbsDiff)
  • the present invention is not limited thereto.
  • the parking recognition server 300 may calculate an image difference between a first image and a second image that are successive in time series. For example, the parking recognition server 300 may calculate an image difference between the first image and the second image using an image comparison command (eg, background difference (AbsDiff)).
  • an image comparison command eg, background difference (AbsDiff)
  • the parking recognition server 300 may determine a camera that has taken the first image and the second image as a camera to be a parking recognition target when the image difference is equal to or greater than a preset threshold. For example, the parking recognition server 300 determines that the preset threshold for the image difference is 10 and the image difference between the first image and the second image is 10 or more, the first image and the second image of the plurality of cameras.
  • a camera that has photographed may be determined as a camera to be targeted for parking recognition.
  • a camera subject to parking recognition may be determined as a first camera.
  • the parking recognition server 300 uses the image difference between the first image and the second image of each of the plurality of cameras and prioritizes the camera having the largest image difference value among the plurality of cameras as the parking recognition target camera. can decide That is, according to the value of the image difference, the parking recognition server 300 may set the priority of the parking recognition calculation high for a camera having a large image difference value.
  • an object recognition process that consumes a lot of computing power can be performed more efficiently by selecting a camera that has priority in parking recognition calculation according to an image difference among a plurality of cameras.
  • the parking recognition server 300 may determine a time point at which the second image is captured as a parking recognition time point. For example, the parking recognition server 300 sets the parking recognition time when the second image was captured when the preset threshold for the image difference is 10 and the image difference between the first image and the second image is 10 or more. can be determined by For example, the parking recognition time point may be determined as a specific time including hours, minutes, and seconds.
  • the parking recognition server 300 may set a parking surface occupancy determination area for at least one parking surface, respectively, based on an image captured by a camera that is a parking recognition target at the time of parking recognition.
  • the parking recognition server 300 may set parking surface occupancy determination areas for a plurality of parking surfaces, respectively, based on an image captured by a first camera at the time the second image is captured. For example, the parking recognition server 300 may set parking surface occupancy determination areas for at least one parking surface included in the second image, respectively, based on the second image captured by the first camera. For example, the parking recognition server 300 may set 8 parking surface occupancy determination areas for 8 parking surfaces included in the second image based on the second image captured by the first camera.
  • the parking recognition server 300 is a preset area of the vehicle recognition area with respect to at least one parking surface based on the number of preset parking surfaces belonging to the shooting range of the camera subject to parking recognition. It is possible to set a parking surface occupancy determination area based on the predicted range for .
  • the parking recognition server 300 may set the parking surface occupancy determination area for eight parking surfaces based on the number of parking surfaces 8 belonging to the photographing range of the first camera.
  • the number of parking surfaces belonging to the shooting range of each camera may be set in advance.
  • the parking surface occupancy determination area may be set based on a predicted range for a preset area of the vehicle recognition area.
  • the parking surface occupancy determination area may be set based on a predicted range of a location of a lower corner of the vehicle recognition area on the road side of the parking lot. That is, the parking surface occupancy determination area may be set based on a predicted range of positions in which the position of the lower edge of the road-side parking lot of the vehicle recognition area is estimated to be located.
  • the parking recognition server 300 may transform the parking surface occupancy determination area using a homography conversion matrix. Also, the parking recognition server 300 may transform the vehicle recognition area using a homography transformation matrix. In addition, the parking recognition server 300 may determine whether a preset area of the vehicle recognition area exists within the parking surface occupancy determination area by using the homography conversion matrix.
  • H denotes a homographic transformation matrix
  • p 1 (x 1 , y 1 ), p 2 (x 2 , y 2 ), and p 3 (x 3 , y 3 ) are parking surfaces before transformation.
  • p 1 '(x 1 ', y 1 '), p 2 '(x 2 ', y 2 ' ), p 3 ′ (x 3 ′, y 3 ′) represent a plurality of corresponding coordinates of the parking surface occupancy determination area after transformation or a plurality of corresponding coordinates of the vehicle recognition area after transformation.
  • the equation expressing the homogeneous coordinate transformation matrix for each corresponding point is as follows.
  • the parking recognition server 300 may reset the parking surface occupancy determination area based on learning data for a predicted range of a preset area of the vehicle recognition area. For example, the parking recognition server 300 may set the prediction range based on learning data about the location of the lower edge of the vehicle recognition area on the road side of the parking lot. Also, the parking recognition server 300 may reset the parking surface occupancy determination area based on the learning data for the predicted range. For example, the learning data may be accumulated data for a predicted range of the parking recognition server for a preset period.
  • the parking recognition server 300 may set a vehicle recognition area for each vehicle based on an image captured by a camera that is a parking recognition target at the time of parking recognition. For example, the parking recognition server 300 may set vehicle recognition areas for vehicles included in the second image based on the second image captured by the first camera.
  • the parking recognition server 300 may input an image captured by a camera that is a parking recognition target at a time of parking recognition to a pre-learned deep learning network.
  • the parking recognition server 300 may set vehicle recognition areas for each vehicle using a deep learning object detection program (eg, YOLO v5).
  • the parking recognition server 300 may input the second image captured by the first camera to the deep learning object detection program.
  • the deep learning network according to an embodiment of the present invention may be pre-learned by vehicle image data captured by a plurality of cameras.
  • the deep learning network of the present invention is not limited to the above example, and may be implemented in various types of artificial neural networks.
  • the parking recognition server 300 may set a vehicle recognition area for a vehicle included in an image captured by a camera that is a parking recognition target at a parking recognition time point based on a pre-learned output value of the deep learning network.
  • the parking recognition server 300 inputs a second image captured by a first camera to a deep learning object detection program, and then detects vehicles included in the second image based on an output value of the deep learning object detection program.
  • a vehicle recognition area can be set for .
  • the vehicle recognition area may be implemented in a rectangular shape including the outer shape of the vehicle.
  • the present invention is not limited thereto.
  • the parking recognition server 300 may determine whether a vehicle is parked on at least one parking surface based on the parking surface occupancy determination area and the vehicle recognition area. For example, when 7 vehicles are parked on the 8 parking surfaces included in the second image taken by the first camera, the parking recognition server determines the 8 parking surfaces included in the second image taken by the first camera. 8 parking surface occupancy determination areas and 7 vehicle recognition areas may be respectively set. In addition, the parking recognition server 300 may determine whether the vehicle is parked on each of the eight parking surfaces.
  • the parking recognition server 300 may map a parking surface occupancy determination area and a vehicle recognition area based on a preset parking surface belonging to a shooting range of a camera subject to parking recognition. For example, when 7 vehicles are parked on 8 parking surfaces included in the second image taken by the first camera, the parking recognition server 300 determines the number of 8 vehicles included in the second image taken by the first camera. Eight parking surface occupancy determination areas may be matched with respect to the dog parking surface. For example, the 8 parking surfaces and the 8 parking surface occupancy determination areas may correspond one-to-one. Also, the parking recognition server 300 may correspond 7 vehicle recognition areas to 8 parking surfaces included in the second image.
  • 7 parking surfaces and 7 vehicle recognition areas may correspond one-to-one, except for a parking surface where no vehicle is parked.
  • the parking recognition server may match 7 parking surface occupancy determination areas with 7 vehicle recognition areas with respect to the 8 parking surface occupancy determination areas.
  • 7 parking surface occupancy determination areas and seven vehicle recognition areas may correspond one-to-one.
  • the parking recognition server 300 may determine whether a preset area of the vehicle recognition area exists within a parking surface occupancy determination area. For example, when the vehicle recognition area is implemented in a rectangular shape, the parking recognition server 300 may determine whether a lower corner of the vehicle recognition area on the road side of the parking lot exists within the parking surface occupancy determination area. For example, the parking recognition server 300 may determine whether a preset area of the vehicle recognition area exists within the parking surface occupancy determination area with respect to the mutually mapped vehicle recognition area and parking surface occupancy determination area. For example, the parking recognition server 300 may determine that the vehicle is parked on the parking surface when a preset area of the vehicle recognition area exists within the parking surface occupancy determination area.
  • 5 to 7 are views for explaining a parking recognition method according to an embodiment of the present invention.
  • an image captured by a camera may include a plurality of vehicles C and a parking surface.
  • the parking surface may refer to each surface divided by a parking line (L).
  • a parking surface having a rectangular shape may be formed by the parking line L.
  • the camera may capture a plurality of images that are sequential in time.
  • the first image i1 shown in FIG. 5 and the second image i2 shown in FIG. 6 may be successive in time series. More specifically, the vehicle 62 of the second image i2 is newly added to one empty parking surface included in the first image i1.
  • the vehicle 51 parked in the first image i1 is changed to the vehicle 61 in the second image i2.
  • the second image i2 includes one empty parking surface.
  • a third image i3 in which the parking recognition server according to an embodiment of the present invention calculates an image difference between the first image i1 and the second image i2 is shown.
  • the parking recognition server may subtract the second image i2 from the first image i1 to calculate an image difference between the first image i1 and the second image i2.
  • the parking recognition server may calculate an image difference between the first image i1 and the second image i2 by subtracting the first image i1 from the second image i1. For example, as shown in FIG.
  • the expression form of FIG. 7 is an exemplary form and the present invention is not limited thereto.
  • FIGS. 8 to 11 are views for explaining a parking recognition method according to another embodiment of the present invention.
  • the parking recognition server may set parking surface occupancy determination areas 81 , 82 , 83 , 84 , 85 , 86 , 87 , and 88 .
  • the parking recognition server may set parking surface occupancy determination areas 81 , 82 , 83 , 84 , 85 , 86 , 87 , and 88 for each parking surface.
  • the parking recognition server may set vehicle recognition areas 91 , 92 , 93 , 94 , 95 , 96 , and 97 .
  • the parking recognition server may set vehicle recognition areas 91 , 92 , 93 , 94 , 95 , 96 , and 97 for each vehicle.
  • the parking recognition server includes a parking surface occupancy determination area 81, 82, 83, 84, 85, 86, 87, 88 and a vehicle recognition area 91, 92, 93, 94, 95, 96, 97), it is possible to determine whether the vehicle is parked on each parking surface.
  • the parking recognition server may map a parking surface occupancy determination area and a vehicle recognition area based on a preset parking surface belonging to a shooting range of a camera subject to parking recognition.
  • the parking surface occupancy determination area of each parking surface may not coincide with the boundary of the parking surface.
  • the parking recognition server determines parking surface occupancy determination areas 81, 82, 83, 84, 85, 86, 87 based on eight parking surfaces belonging to the shooting range of the first camera. , 88) and the vehicle recognition areas 91, 92, 93, 94, 95, 96, and 97 may be mapped.
  • the first parking surface occupancy determination area 81 and the first vehicle recognition area 91 are mapped, the second parking surface occupancy determination area 82 and the second vehicle recognition area 92 are mapped, and the third The parking surface occupancy determination area 83 and the third vehicle recognition area 93 are mapped, the fourth parking surface occupancy determination area 84 and the fourth vehicle recognition area 94 are mapped, and the fifth parking surface occupancy determination Area 85 and the fifth vehicle recognition area 95 are mapped, the sixth parking surface occupancy determination area 86 and the sixth vehicle recognition area 96 are mapped, and the seventh parking surface occupancy judgment area 87 and the seventh vehicle recognition area 97 may be mapped.
  • the parking recognition server may determine whether a preset area of the vehicle recognition area exists within a parking surface occupancy determination area. For example, as shown in FIG. 11 , the parking recognition server determines whether the location of the lower edge Z on the road side of the parking lot of the seventh vehicle recognition area 97 exists within the seventh parking surface occupancy determination area 87. can judge For example, in the case of FIG. 11 , since the corner of the seventh vehicle recognition area 97 is located within the seventh parking surface occupancy determination area 87, the parking recognition server determines that the vehicle is parked on the seventh parking surface. can In addition, since the corner of the vehicle recognition area is not recognized within the eighth parking surface occupancy determination area 88, the parking recognition server may determine that the vehicle is not parked with respect to the eighth parking surface.
  • the parking recognition server may output a parking recognition determination result as result data.
  • the parking recognition server may output the parking recognition determination result as result data in an array in array form.
  • the parking recognition server may output result data as 1 when the vehicle is parked on the parking surface and as 0 data when the vehicle is not parked on the parking surface.
  • the parking recognition server may output result data of [1, 1, 1, 1, 1, 1, 1, 0] for the eight parking surfaces of the first camera. In this case, the vehicle is parked on the first to seventh parking surfaces, and the vehicle is not parked on the eighth parking surface.
  • the present invention it is possible to minimize and lighten the consumption of computing power by determining whether a vehicle is parked on a parking surface based on an image difference between a plurality of images.
  • the devices and/or systems described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components.
  • Devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable PLU (programmable logic unit). logic unit), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may run an operating system (OS) and one or more software applications running on the operating system.
  • a processing device may also access, store, manipulate, process, and generate data in response to execution of software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include.
  • a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
  • Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired, or independently or collectively, a processing device. can be commanded.
  • Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave.
  • Software may be distributed on networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium.
  • Computer readable media may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Abstract

본 발명은 적어도 하나의 카메라에서 촬영된 상기 적어도 하나의 주차면 및 상기 차량에 대한 복수의 이미지를 획득하는 단계, 시계열적으로 연속되는 상기 복수의 이미지 사이의 이미지 차이에 기초하여 상기 적어도 하나의 카메라 중 주차 인식 대상이 되는 카메라와 주차 인식 시점을 결정하는 단계, 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 상기 적어도 하나의 주차면에 대하여 주차면 점유 판단 영역을 각각 설정하는 단계, 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 상기 차량에 대하여 차량 인식 영역을 각각 설정하는 단계, 및 상기 주차면 점유 판단 영역 및 상기 차량 인식 영역을 기초로 상기 적어도 하나의 주차면에 대하여 차량이 주차되어 있는지를 각각 판단하는 단계를 포함하는, 주차 인식 방법을 제공한다.

Description

주차 인식 방법, 주차 인식 시스템 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
본 발명의 실시예들은 주차 인식 방법, 주차 인식 시스템 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램에 관한 것으로서, 더 상세하게는 주차면에 주차된 차량을 효과적으로 인식할 수 있는 주차 인식 방법, 주차 인식 시스템 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램에 관한 것이다.
일반적으로, 빌딩, 병원, 공항, 백화점, 쇼핑몰, 관공서, 아파트, 오피스텔 등 대형 주차장에서는 해당 주차면에 차량이 주차되어 있는지 여부를 파악할 필요가 있다. 이는 주차장의 만차 여부, 주차 가능 대수 등을 운전자에게 표시하고, 주차장을 효율적으로 관리하는데 매우 필요하다. 그런데, 각 주차면에 차량이 주차되어 있는지 또는 공차인지 여부를 판단하기 위하여 일일이 돌아다니며 확인하기 어려우며, 주차면에 별도의 장치를 설치하는 경우 각 주차 영역마다 센서를 설치해야 하므로 설치 비용이 증가하고, 많은 장비로 인해 고장 확률이 증가하여 효율적 관리가 어려우며 유지 보수 비용이 증가한다. 또한, 운전자의 입장에서는, 주차 공간에 대한 판단이 운전자의 시야에 한정되므로 전체 주차 공간에 대한 주차 현황을 한눈에 파악하기 어렵다.
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 주차면에 주차된 차량을 효과적으로 인식할 수 있는 주차 인식 방법, 주차 인식 시스템 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램을 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 일 관점에 따르면, 적어도 하나의 주차면에 주차된 차량을 인식하는 주차 인식 방법에 있어서, 적어도 하나의 카메라에서 촬영된 상기 적어도 하나의 주차면 및 상기 차량에 대한 복수의 이미지를 획득하는 단계, 시계열적으로 연속되는 상기 복수의 이미지 사이의 이미지 차이에 기초하여 상기 적어도 하나의 카메라 중 주차 인식 대상이 되는 카메라와 주차 인식 시점을 결정하는 단계, 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 상기 적어도 하나의 주차면에 대하여 주차면 점유 판단 영역을 각각 설정하는 단계, 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 상기 차량에 대하여 차량 인식 영역을 각각 설정하는 단계, 및 상기 주차면 점유 판단 영역 및 상기 차량 인식 영역을 기초로 상기 적어도 하나의 주차면에 대하여 차량이 주차되어 있는지를 각각 판단하는 단계를 포함하는, 주차 인식 방법이 제공된다.
상기 이미지 차이는, 상기 복수의 이미지의 각 픽셀 단위에 대한 명도, 채도, 및 색의 차이를 포함할 수 있다.
상기 주차 인식 대상이 되는 카메라와 주차 인식 시점을 결정하는 단계는, 시계열적으로 연속되는 제1 이미지 및 제2 이미지 사이의 상기 이미지 차이를 계산하는 단계, 상기 제1 이미지 및 상기 제2 이미지 사이의 상기 이미지 차이가 미리 설정된 임계값 이상인 경우, 상기 제1 이미지 및 상기 제2 이미지를 촬영한 카메라를 상기 주차 인식 대상이 되는 카메라로 결정하는 단계, 및 상기 제2 이미지가 촬영된 시점을 상기 주차 인식 시점으로 결정하는 단계를 포함할 수 있다.
상기 주차면 점유 판단 영역을 각각 설정하는 단계는, 상기 주차 인식 대상이 되는 카메라의 촬영 범위에 속하는 미리 설정된 주차면의 개수에 기초하여, 상기 적어도 하나의 주차면에 대하여 상기 차량 인식 영역의 미리 설정된 영역에 대한 예측 범위를 기초로 상기 주차면 점유 판단 영역을 설정하는 단계, 및 상기 예측 범위에 대한 학습 데이터에 기초하여 상기 주차면 점유 판단 영역을 재설정하는 단계를 포함할 수 있다.
상기 차량 인식 영역을 각각 설정하는 단계는, 미리 학습된 딥러닝 네트워크에 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 입력하는 단계, 및 상기 미리 학습된 딥러닝 네트워크의 출력값에 기초하여 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지에 포함된 상기 차량에 대하여 상기 차량 인식 영역을 설정하는 단계를 포함할 수 있다.
상기 적어도 하나의 주차면에 대하여 차량이 주차되어 있는지를 각각 판단하는 단계는, 상기 주차 인식 대상이 되는 카메라의 촬영 범위에 속하는 미리 설정된 주차면에 기초하여 상기 주차면 점유 판단 영역 및 상기 차량 인식 영역을 매핑하는 단계, 및 상기 차량 인식 영역의 미리 설정된 영역이 상기 주차면 점유 판단 영역 내에 존재하는지 여부를 판단하는 단계를 포함할 수 있다.
본 발명의 일 관점에 따르면, 컴퓨터를 이용하여 상술한 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램이 제공된다.
본 발명의 일 관점에 따르면, 적어도 하나의 주차면에 주차된 차량을 인식하는 주차 인식 시스템에 있어서, 적어도 하나의 카메라에서 촬영된 상기 적어도 하나의 주차면 및 상기 차량에 대한 복수의 이미지를 획득하고, 시계열적으로 연속되는 상기 복수의 이미지 사이의 이미지 차이에 기초하여 상기 적어도 하나의 카메라 중 주차 인식 대상이 되는 카메라와 주차 인식 시점을 결정하고, 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 상기 적어도 하나의 주차면에 대하여 주차면 점유 판단 영역을 각각 설정하고, 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 상기 차량에 대하여 차량 인식 영역을 각각 설정하고, 상기 주차면 점유 판단 영역 및 상기 차량 인식 영역을 기초로 상기 적어도 하나의 주차면에 대하여 차량이 주차되어 있는지를 각각 판단하는, 주차 인식 서버를 포함하는, 주차 인식 시스템이 제공된다.
상기 이미지 차이는, 상기 복수의 이미지의 각 픽셀 단위에 대한 명도, 채도, 및 색의 차이를 포함할 수 있다.
상기 주차 인식 서버는, 시계열적으로 연속되는 제1 이미지 및 제2 이미지 사이의 상기 이미지 차이를 계산하고, 상기 이미지 차이가 미리 설정된 임계값 이상인 경우, 상기 제1 이미지 및 상기 제2 이미지를 촬영한 카메라를 상기 주차 인식 대상이 되는 카메라로 결정하고, 상기 제2 이미지가 촬영된 시점을 상기 주차 인식 시점으로 결정할 수 있다.
상기 주차 인식 서버는, 상기 주차 인식 대상이 되는 카메라의 촬영 범위에 속하는 미리 설정된 주차면의 개수에 기초하여, 상기 적어도 하나의 주차면에 대하여 상기 차량 인식 영역의 미리 설정된 영역에 대한 예측 범위를 기초로 상기 주차면 점유 판단 영역을 설정하고, 상기 예측 범위에 대한 학습 데이터에 기초하여 상기 주차면 점유 판단 영역을 재설정할 수 있다.
상기 주차 인식 서버는, 미리 학습된 딥러닝 네트워크에 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 입력하고, 상기 미리 학습된 딥러닝 네트워크의 출력값에 기초하여 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지에 포함된 상기 차량에 대하여 상기 차량 인식 영역을 설정할 수 있다.
상기 주차 인식 서버는, 상기 주차 인식 대상이 되는 카메라의 촬영 범위에 속하는 미리 설정된 주차면에 기초하여 상기 주차면 점유 판단 영역 및 상기 차량 인식 영역을 매핑하고, 상기 차량 인식 영역의 미리 설정된 영역이 상기 주차면 점유 판단 영역 내에 존재하는지 여부를 판단할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점은 이하의 발명을 실시하기 위한 구체적인 내용, 청구범위 및 도면으로부터 명확해질 것이다.
상기한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 주차면에 주차된 차량을 효과적으로 인식할 수 있는 주차 인식 방법, 주차 인식 시스템 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램을 구현할 수 있다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 주차 인식 시스템과 카메라 등을 개략적으로 도시하는 개념도이다.
도 2는 도 1의 주차 인식 서버가 포함하는 장치의 구성요소들을 개략적으로 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 주차 인식 서버의 프로세서 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 주차 인식 방법을 보여주는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 주차 인식 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 주차 인식 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 또 다른 실시예에 따른 주차 인식 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 주차 인식 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 또 다른 실시예에 따른 주차 인식 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 또 다른 실시예에 따른 주차 인식 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 또 다른 실시예에 따른 주차 인식 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 제1 이나 제2 등의 용어는 한정적인 의미가 아니라, 일 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 그리고 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서 상에 기재된 특징 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하의 실시예에서, 영역, 구성 요소, 부, 블록 또는 모듈 등의 부분이 다른 부분 위에 또는 상에 있다고 할 때, 다른 부분의 바로 위에 있는 경우뿐만 아니라, 그 중간에 다른 영역, 구성 요소, 부, 블록 또는 모듈 등이 개재되어 있는 경우도 포함한다. 그리고 영역, 구성 요소, 부, 블록 또는 모듈 등이 연결되었다고 할 때, 영역, 구성 요소, 부, 블록 또는 모듈들이 직접적으로 연결된 경우뿐만 아니라 영역, 구성요소, 부, 블록 또는 모듈들 중간에 다른 영역, 구성 요소, 부, 블록 또는 모듈들이 개재되어 간접적으로 연결된 경우도 포함한다.
도 1은 본 발명의 일 실시예에 따른 주차 인식 시스템과 카메라 등을 개략적으로 도시하는 개념도이다.
도 1을 참조하면, 주차 인식 시스템(1)은 주차 인식 서버(300)를 포함할 수 있다. 물론 필요에 따라 주차 인식 시스템(1)은 주차 인식 서버(300)와 카메라(100)를 포함할 수도 있다. 이러한 주차 인식 시스템(1)의 구성요소들은 네트워크를 통해 연결되어 서로 통신할 수 있다. 예컨대, 주차 인식 서버(300) 및 카메라(100)는 네트워크로 연결되어 서로 통신할 수 있다.
하지만 본 발명은 이에 한정되지 않으며, 주차 인식 시스템(1)은 다른 구성요소를 더 포함할 수도 있고 일부 구성요소가 생략될 수도 있다. 또한, 주차 인식 시스템(1)은 GPU 혹은 NPU가 탑재된 AI 카메라 등 엣지 컴퓨팅으로서 카메라 단말(edge)을 포함할 수도 있다. 주차 인식 시스템(1)의 일부 구성요소는 복수의 장치로 분리될 수도 있고, 복수개의 구성요소들이 하나의 장치로 병합될 수도 있다.
카메라(100)는 주차장의 주차면과 주차된 차량을 촬영하기 위해 필요한 하드웨어 장치이다. 카메라(100)는 주차장의 주차면 및 주차된 차량을 촬영하여 주차면 및 차량에 대한 이미지 데이터를 생성할 수 있다. 또한, 카메라(100)는 네트워크를 통하여 주차면 및 차량에 대한 이미지 데이터를 주차 인식 서버(300)로 송신할 수 있다.
본 발명의 일 실시예에 따른 카메라(100)는 복수개의 카메라를 포함할 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 주차 인식 서버(300)는 제1 카메라(110), 제2 카메라(120), 제3 카메라(130), 및 제n 카메라와 네트워크로 연결되어 서로 통신할 수 있다.
이러한 카메라(100)는 ID를 가질 수 있다. 즉, 주차장에 설치된 카메라(100)는 각각 고유의 ID를 가질 수 있다. 예를 들어, 제1 카메라(110), 제2 카메라(120), 제3 카메라(130), 및 제n 카메라가 주차장에 설치되는 경우 제1 카메라(110), 제2 카메라(120), 제3 카메라(130), 및 제n 카메라는 서로 다른 주차면을 촬영하도록 설치 장소, 촬영 각도, 및 촬영 방향 등이 설정될 수 있다. 이 경우, 제1 카메라(110), 제2 카메라(120), 제3 카메라(130), 및 제n 카메라에는 각각 고유의 ID가 설정될 수 있다. 예컨대, 카메라(100)의 ID는 숫자, 알파벳과 같은 문자, 특수문자 및/또는 기호 등을 포함할 수 있다.
또한, 제1 카메라(110), 제2 카메라(120), 제3 카메라(130), 및 제n 카메라가 촬영하는 주차면은 미리 설정될 수 있다. 예컨대, 제1 카메라(110), 제2 카메라(120), 제3 카메라(130), 및 제n 카메라가 촬영하는 주차면의 개수가 각각 미리 설정될 수 있다. 예를 들어, 제1 카메라(110)는 8개의 주차면을 촬영할 수 있다.
주차 인식 서버(300)는 적어도 하나의 카메라(100)에서 촬영된 적어도 하나의 주차면 및 차량에 대한 복수의 이미지를 획득할 수 있다. 또한, 주차 인식 서버(300)는 시계열적으로 연속되는 복수의 이미지 사이의 이미지 차이에 기초하여 적어도 하나의 카메라 중 주차 인식 대상이 되는 카메라와 주차 인식 시점을 결정할 수 있다. 또한, 주차 인식 서버(300)는 주차 인식 시점에 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 적어도 하나의 주차면에 대하여 주차면 점유 판단 영역을 각각 설정할 수 있다. 또한, 주차 인식 서버(300)는 주차 인식 시점에 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 차량에 대하여 차량 인식 영역을 각각 설정할 수 있다. 또한, 주차 인식 서버(300)는 주차면 점유 판단 영역 및 차량 인식 영역을 기초로 적어도 하나의 주차면에 대하여 차량이 주차되어 있는지를 각각 판단할 수 있다. 주차 인식 서버(300)는 예를 들면 클라우드 서버일 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
네트워크는 전자 장치 및/또는 서버들 간의 데이터를 송수신할 수 있는 하나 이상의 데이터 링크로 정의될 수 있으며, 유선 및/또는 무선 통신망일 수 있다. 예컨대, 네트워크는 다양한 사용자 선택형 콘텐츠를 효율적으로 전달할 수 있는 콘텐츠 전송 네트워크(CDN)를 포함할 수 있다. 또는, 네트워크는 셀룰러(Cellular)(예를 들어, WAN, UDP 등), 와이파이(WiFi), 블루투스(Bluetooth), 저전력 블루투스(Bluetooth Low Energy), 지그비(Zigbee) 또는 울트라와이드밴드 (Ultra Wide Band, UWB)일 수 있으나, 본 발명에서 의미하는 네트워크가 이에 한정되는 것은 아니다.
이처럼 본 발명의 일 실시예에 따른 주차 인식 시스템(1)은, 주차 인식 시점에 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 주차면에 차량이 주차되어 있는지를 판단함으로써, 컴퓨팅 파워의 소모를 최소화할 수 있는 효과가 있다.
도 2는 도 1의 주차 인식 서버가 포함하는 장치의 구성요소들을 개략적으로 보여주는 블록도이고, 도 3은 본 발명의 일 실시예에 따른 주차 인식 서버의 프로세서 구성을 설명하기 위한 도면이다.
먼저, 도 2를 참조하면, 본 발명의 일 실시예에 따른 주차 인식 서버(300)는 통신모듈(310), 프로세서(320) 및 메모리(330)를 포함할 수 있다.
통신모듈(310)은 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치나 서버와 통신할 수 있다. 통신모듈(310)은 네트워크에 의해 다른 장치의 통신모듈에 연결되어 서로 데이터를 주고받을 수 있다. 예컨대, 통신모듈(310)은 네트워크에 의해 카메라(100)의 통신모듈에 연결되어 서로 데이터를 주고받을 수 있다.
프로세서(320)는 메모리(330)에 저장된 각종 프로그램을 이용하여 주차 인식 시스템(1)을 전반적으로 제어하는 동작을 수행할 수 있다. 프로세서(320)는 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 포함할 수 있으나, 본 발명은 이에 한정되지 않는다.
메모리(330)는 주차 인식 서버(300)가 처리하는 데이터를 일시적 또는 영구적으로 저장할 수 있다. 메모리(330)는 RAM(Random Access Memory), ROM(Read Only Memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(Permanent Mass Storage Device)를 포함할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
도 2에 도시된 것과 같은 주차 인식 서버(300)는 프로세서(320)의 처리 또는 제어를 위한 프로그램 등, 전반의 동작을 위한 다양한 데이터를 저장한 저장 매체(미도시)를 더 포함할 수 있다. 저장 매체는 주차 인식 서버(300)에서 구동되는 다수의 응용 프로그램(application program 또는 어플리케이션(application)), 주차 인식 서버(300)의 동작을 위한 데이터들, 그리고 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는, 주차 인식 서버(300)의 기본적인 기능을 위하여 출고 당시부터 주차 인식 서버(300) 상에 존재할 수 있다. 응용 프로그램은, 저장 매체에 저장되고, 프로세서(320)에 의하여 주차 인식 서버(300)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
주차 인식 시스템(1)과 이에 포함된 각 모듈이나 부(unit)는, 전적으로 하드웨어일 수 있고, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 주차 인식 시스템(1)과 이에 포함된 각 모듈이나 부(unit)는 특정 형식 및 내용의 데이터를 처리하거나 전자통신 방식으로 주고받기 위한 하드웨어 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부", "모듈", "장치", "단말기", "서버" 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 해석될 수 있다. 예컨대, 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable file), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
또한, 주차 인식 시스템(1)을 구성하는 각각의 요소는 반드시 서로 물리적으로 구분되는 별개의 장치를 지칭하는 것으로 한정되는 것은 아니다. 즉, 도 2의 통신모듈(310), 프로세서(320) 및 메모리(330) 등은 주차 인식 서버(300)에 의해 수행되는 동작에 따라 기능적으로 구분한 것일 뿐, 반드시 서로 독립적으로 구분되어야 하는 것이 아니다. 물론, 실시예에 따라서는 이들은 서로 물리적으로 구분되는 별개의 장치로 구현되는 것도 가능하다.
통신 방식은 제한되지 않으며, 네트워크가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
또한, 통신모듈(310)은 외부 서버와 네트워크를 통해 통신할 수 있다. 통신 방식은 제한되지 않지만, 네트워크는 근거리 무선통신망일 수 있다. 예를 들어, 네트워크는 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wifi 통신망일 수 있다.
또한, 다른 실시예들에서 주차 인식 서버(300)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 예를 들어, 주차 인식 서버(300)는 입출력 장치를 포함하도록 구현되거나 또는 내부 구성요소들에 전력을 공급하는 배터리 및 충전 장치, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
이하 도 3을 참조하여 본 발명의 일 실시예에 따른 주차 인식 서버(300)의 프로세서(320)의 내부 구성에 대하여 상세히 검토한다. 후술되는 프로세서(320)는 이해의 용이를 위하여 도 1에 도시된 주차 인식 서버(300)의 프로세서(320)임을 가정하고 설명한다.
본 발명의 일 실시예에 따른 주차 인식 서버(300)의 프로세서(320)는 이미지 획득부(321), 주차 인식 결정부(323), 주차면 점유 판단 영역 설정부(325), 차량 인식 영역 설정부(327), 및 주차 판단부(329)를 포함한다. 몇몇 실시예에 따라 프로세서(320)의 구성요소들은 선택적으로 프로세서(320)에 포함되거나 제외될 수도 있다. 또한, 몇몇 실시예에 따라 프로세서(320)의 구성요소들은 프로세서(320)의 기능의 표현을 위해 분리 또는 병합될 수도 있다.
이러한 프로세서(320) 및 프로세서(320)의 구성요소들은 도 4의 주차 인식 방법이 포함하는 단계들(S110 내지 S150)을 수행하도록 주차 인식 서버(300)를 제어할 수 있다. 예를 들어, 프로세서(320) 및 프로세서(320)의 구성요소들은 메모리(330)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(320)의 구성요소들은 주차 인식 서버(300)에 저장된 프로그램 코드가 제공하는 명령에 따라 프로세서(320)에 의해 수행되는 프로세서(320)의 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서(320)의 구체적인 동작에 대해서는 도 4의 주차 인식 방법의 순서도를 참조하여 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 주차 인식 방법을 보여주는 순서도이다.
단계 S110에서, 주차 인식 서버(300)는 적어도 하나의 카메라에서 촬영된 적어도 하나의 주차면 및 차량에 대한 복수의 이미지를 획득할 수 있다. 예를 들어, 주차 인식 서버(300)는 주차장에 설치된 복수의 카메라에서 촬영된 복수의 주차면 및 차량에 대한 복수의 이미지를 획득할 수 있다. 예컨대, 주차 인식 서버(300)는 제1 카메라, 제2 카메라, 제3 카메라, 및 제n 카메라에서 각각 촬영된 복수의 이미지를 획득할 수 있다. 예를 들어, 제1 카메라, 제2 카메라, 제3 카메라, 및 제n 카메라에서 각각 촬영된 복수의 이미지는 각각의 카메라가 촬영하는 촬영 범위에 포함된 복수의 주차면을 포함할 수 있다. 또한, 제1 카메라, 제2 카메라, 제3 카메라, 및 제n 카메라에서 각각 촬영된 복수의 이미지는 각각의 카메라가 촬영하는 촬영 범위에 포함된 복수의 주차면에 주차된 차량을 포함할 수 있다. 예컨대, 제1 카메라가 촬영하는 촬영 범위에는 8개의 주차면이 포함될 수 있다. 또한, 제2 카메라가 촬영하는 촬영 범위에는 9개의 주차면이 포함될 수 있다. 이 경우, 제1 카메라가 촬영하는 촬영 범위에 포함된 8개의 주차면과 제2 카메라가 촬영하는 촬영 범위에 포함된 9개의 주차면은 서로 상이할 수 있다.
단계 S120에서, 주차 인식 서버(300)는 시계열적으로 연속되는 복수의 이미지 사이의 이미지 차이에 기초하여 적어도 하나의 카메라 중 주차 인식 대상이 되는 카메라와 주차 인식 시점을 결정할 수 있다. 예를 들어, 주차 인식 서버(300)는 시계열적으로 연속되는 복수의 이미지를 복수의 카메라로부터 획득할 수 있다. 예컨대, 주차 인식 서버(300)는 제1 카메라로부터 시계열적으로 연속되는 제1 이미지와 제2 이미지를 획득할 수 있다. 이 경우, 제1 이미지는 시계열적으로 제2 이미지보다 앞선 시점에 촬영된 이미지 일 수 있다. 예컨대, 주차 인식 서버(300)는 제1 카메라로부터 미리 설정된 시간 간격으로 제1 이미지와 제2 이미지를 획득할 수 있다.
본 발명의 일 실시예에 따른 주차 인식 서버(300)는 복수의 카메라 중 주차 인식 대상이 되는 카메라를 결정할 수 있다. 또한, 주차 인식 서버(300)는 주차면에 차량이 주차되어 있는지를 판단하는 시점인 주차 인식 시점을 결정할 수 있다. 예를 들어, 주차 인식 서버(300)는 시계열적으로 연속되는 제1 이미지와 제2 이미지 사이의 이미지 차이에 기초하여 주차 인식 대상이 되는 카메라와 주차 인식 시점을 결정할 수 있다.
본 발명의 일 실시예에서, 복수의 이미지 사이의 이미지 차이는 복수의 이미지의 각 픽셀 단위에 대한 명도, 채도, 및 색의 차이를 포함할 수 있다. 예를 들어, 제1 이미지와 제2 이미지 사이의 이미지 차이는 제1 이미지와 제2 이미지의 각 픽셀 단위에 대한 명도, 채도, 또는 색 등의 차이를 포함할 수 있다. 예를 들어, 주차 인식 서버(300)는 영상 비교 명령어(예를 들어, 배경차분(AbsDiff))를 이용하여 복수의 이미지 사이의 이미지 차이를 계산할 수 있다. 다만, 본 발명은 이에 한정되지 않는다.
본 발명의 일 실시예에서, 주차 인식 서버(300)는 시계열적으로 연속되는 제1 이미지 및 제2 이미지 사이의 이미지 차이를 계산할 수 있다. 예를 들어, 주차 인식 서버(300)는 영상 비교 명령어(예를 들어, 배경차분(AbsDiff))를 이용하여 제1 이미지와 제2 이미지 사이의 이미지 차이를 계산할 수 있다.
또한, 주차 인식 서버(300)는 이미지 차이가 미리 설정된 임계값 이상인 경우, 제1 이미지 및 제2 이미지를 촬영한 카메라를 주차 인식 대상이 되는 카메라로 결정할 수 있다. 예를 들어, 주차 인식 서버(300)는 이미지 차이에 대한 미리 설정된 임계값이 10이고, 제1 이미지와 제2 이미지 사이의 이미지 차이가 10 이상인 경우, 복수의 카메라 중 제1 이미지 및 제2 이미지를 촬영한 카메라를 주차 인식 대상이 되는 카메라로 결정할 수 있다. 예컨대, 주차 인식 대상이 되는 카메라는 제1 카메라로 결정될 수 있다.
또한, 주차 인식 서버(300)는 복수의 카메라 각각의 제1 이미지 및 제2 이미지 사이의 이미지 차이를 이용하여 복수의 카메라 중 이미지 차이의 값이 가장 큰 카메라를 우선하여 주차 인식 대상이 되는 카메라로 결정할 수 있다. 즉, 주차 인식 서버(300)는 이미지 차이의 값에 따라 이미지 차이의 값이 큰 카메라에 대하여 주차 인식 연산의 우선순위를 높게 설정할 수 있다.
본 발명에 따르면 복수의 카메라 중 이미지 차이에 따라 주차 인식 연산의 우선이 되는 카메라를 선정함으로써 컴퓨팅 파워의 소모가 큰 사물 인식 프로세스를 더욱 효율적으로 수행할 수 있는 효과가 있다.
또한, 주차 인식 서버(300)는 제2 이미지가 촬영된 시점을 주차 인식 시점으로 결정할 수 있다. 예를 들어, 주차 인식 서버(300)는 이미지 차이에 대한 미리 설정된 임계값이 10이고, 제1 이미지와 제2 이미지 사이의 이미지 차이가 10 이상인 경우, 제2 이미지가 촬영된 시점을 주차 인식 시점으로 결정할 수 있다. 예컨대, 주차 인식 시점은 시, 분, 초를 포함하는 특정 시각으로 결정될 수 있다. 단계 S130에서, 주차 인식 서버(300)는 주차 인식 시점에 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 적어도 하나의 주차면에 대하여 주차면 점유 판단 영역을 각각 설정할 수 있다. 예를 들어, 주차 인식 서버(300)는 제2 이미지가 촬영된 시점에 제1 카메라에서 촬영된 이미지를 기초로 복수의 주차면에 대하여 주차면 점유 판단 영역을 각각 설정할 수 있다. 예컨대, 주차 인식 서버(300)는 제1 카메라에서 촬영된 제2 이미지를 기초로 제2 이미지에 포함된 적어도 하나의 주차면에 대하여 주차면 점유 판단 영역을 각각 설정할 수 있다. 예를 들어, 주차 인식 서버(300)는 제1 카메라에서 촬영된 제2 이미지를 기초로 제2 이미지에 포함된 8개의 주차면에 대하여 8개의 주차면 점유 판단 영역을 설정할 수 있다.
본 발명의 일 실시예에서, 주차 인식 서버(300)는 주차 인식 대상이 되는 카메라의 촬영 범위에 속하는 미리 설정된 주차면의 개수에 기초하여, 적어도 하나의 주차면에 대하여 차량 인식 영역의 미리 설정된 영역에 대한 예측 범위를 기초로 주차면 점유 판단 영역을 설정할 수 있다. 예를 들어, 주차 인식 서버(300)는 제1 카메라의 촬영 범위에 속하는 주차면의 개수인 8에 기초하여, 8개의 주차면에 대하여 주차면 점유 판단 영역을 설정할 수 있다. 예컨대, 각 카메라의 촬영 범위에 속하는 주차면의 개수는 미리 설정될 수 있다. 여기서, 주차면 점유 판단 영역은 차량 인식 영역의 미리 설정된 영역에 대한 예측 범위를 기초로 설정될 수 있다. 예를 들어, 차량 인식 영역이 사각형의 형태로 설정되는 경우, 주차면 점유 판단 영역은 차량 인식 영역의 주차장 도로측 하단부 모서리의 위치에 대한 예측 범위를 기초로 설정될 수 있다. 즉, 주차면 점유 판단 영역은 차량 인식 영역의 주차장 도로측 하단부 모서리의 위치가 놓여져 있을 것으로 추정되는 위치들의 예측 범위를 기초로 설정될 수 있다.
본 발명의 일 실시예에서 주차 인식 서버(300)는 호모그래피(homography) 변환 행렬을 이용하여 주차면 점유 판단 영역을 변환할 수 있다. 또한, 주차 인식 서버(300)는 호모그래피(homography) 변환 행렬을 이용하여 차량 인식 영역을 변환할 수 있다. 또한, 주차 인식 서버(300)는 호모그래피 변환 행렬을 이용하여 차량 인식 영역의 미리 설정된 영역이 주차면 점유 판단 영역 내에 존재하는지 여부를 판단할 수 있다.
<수학식1>
Figure PCTKR2022012357-appb-img-000001
<수학식2>
Figure PCTKR2022012357-appb-img-000002
Figure PCTKR2022012357-appb-img-000003
여기서, H는 호모그래피 변환 행렬(Homographic Transformation Matrix)을 나타내고, p1(x1, y1), p2(x2, y2), p3(x3, y3)는 변환 전 주차면 점유 판단 영역의 복수개의 임의의 좌표들, 또는 변환 전 차량 인식 영역의 복수개의 임의의 좌표들을 나타내고, p1'(x1', y1'), p2' (x2', y2'), p3' (x3', y3')는 변환 후 주차면 점유 판단 영역의 복수개의 대응하는 좌표들, 또는 변환 후 차량 인식 영역의 복수개의 대응하는 좌표들을 나타낸다. 각각에 대응하는 점들에 대한 동차좌표(homogeneous coordinate) 변환 행렬을 표시하는 식은 다음과 같다.
<수학식 3>
Figure PCTKR2022012357-appb-img-000004
(단 s는 동차좌표 변환에 대한 scale factor)
구체적으로, 호모그래피 변환을 통한 연산 과정에서 차량의 천장부 즉, 주차 인식 영역의 상단부의 좌표를 이용하는 경우 호모그래피 변환 과정에서 실제 위치 대비하여 오차가 발생할 수 있다. 반면, 본 발명에 따르면 호모그래피 변환을 통한 연산 과정에서 차량의 바닥면 즉, 주차 인식 영역의 하단부의 좌표를 이용하므로 오차가 발생하지 않는 효과가 있다.
또한, 주차 인식 서버(300)는 차량 인식 영역의 미리 설정된 영역의 예측 범위에 대한 학습 데이터에 기초하여 주차면 점유 판단 영역을 재설정할 수 있다. 예를 들어, 주차 인식 서버(300)는 차량 인식 영역의 주차장 도로측 하단부 모서리의 위치에 대한 학습 데이터에 기초하여 상기 예측 범위를 설정할 수 있다. 또한, 주차 인식 서버(300)는 상기 예측 범위에 대한 학습 데이터에 기초하여 주차면 점유 판단 영역을 재설정할 수 있다. 예컨대, 상기 학습 데이터는 미리 설정된 기간에 대한 주차 인식 서버의 예측 범위에 대한 누적 데이터일 수 있다.
단계 S140에서, 주차 인식 서버(300)는 주차 인식 시점에 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 차량에 대하여 차량 인식 영역을 각각 설정할 수 있다. 예를 들어, 주차 인식 서버(300)는 제1 카메라에서 촬영된 제2 이미지를 기초로 제2 이미지에 포함된 차량들에 대하여 차량 인식 영역을 각각 설정할 수 있다.
본 발명의 일 실시예에서, 주차 인식 서버(300)는 미리 학습된 딥러닝 네트워크에 주차 인식 시점에 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 입력할 수 있다. 예를 들어, 주차 인식 서버(300)는 딥러닝 객체 감지 프로그램(예컨대, YOLO v5)을 이용하여 차량들에 대하여 차량 인식 영역을 각각 설정할 수 있다. 예컨대, 주차 인식 서버(300)는 제1 카메라에서 촬영된 제2 이미지를 딥러닝 객체 감지 프로그램에 입력할 수 있다.
또한, 본 발명의 일 실시예에 따른 딥러닝 네트워크는 복수의 카메라에 의하여 촬영된 차량 이미지 데이터에 의하여 미리 학습될 수 있다. 다만, 본 발명의 딥러닝 네트워크는 상기 예시에 한정되는 것은 아니며, 다양한 형태의 인공 신경망으로 구현될 수 있다.
또한, 주차 인식 서버(300)는 미리 학습된 딥러닝 네트워크의 출력값에 기초하여 주차 인식 시점에 주차 인식 대상이 되는 카메라에서 촬영된 이미지에 포함된 차량에 대하여 차량 인식 영역을 설정할 수 있다. 예를 들어, 주차 인식 서버(300)는 제1 카메라에서 촬영된 제2 이미지를 딥러닝 객체 감지 프로그램에 입력한 후, 상기 딥러닝 객체 감지 프로그램의 출력값에 기초하여 제2 이미지에 포함된 차량들에 대하여 차량 인식 영역을 설정할 수 있다. 예를 들어, 차량 인식 영역은 차량의 외형을 포함하는 사각형 형태로 구현될 수 있다. 다만, 본 발명은 이에 한정되지 않는다.
단계 S150에서, 주차 인식 서버(300)는 주차면 점유 판단 영역 및 차량 인식 영역을 기초로 적어도 하나의 주차면에 대하여 차량이 주차되어 있는지를 각각 판단할 수 있다. 예를 들어, 주차 인식 서버는 제1 카메라에서 촬영된 제2 이미지에 포함된 8개의 주차면에 대하여 7대의 차량이 주차된 경우, 제1 카메라에서 촬영된 제2 이미지에 포함된 8개의 주차면에 대하여 8개의 주차면 점유 판단 영역과 7개의 차량 인식 영역을 각각 설정할 수 있다. 또한, 주차 인식 서버(300)는 8개의 주차면에 대하여 차량이 주차되어 있는지를 각각 판단할 수 있다.
본 발명의 일 실시예에서, 주차 인식 서버(300)는 주차 인식 대상이 되는 카메라의 촬영 범위에 속하는 미리 설정된 주차면에 기초하여 주차면 점유 판단 영역 및 차량 인식 영역을 매핑할 수 있다. 예를 들어, 주차 인식 서버(300)는 제1 카메라에서 촬영된 제2 이미지에 포함된 8개의 주차면에 대하여 7대의 차량이 주차된 경우, 제1 카메라에서 촬영된 제2 이미지에 포함된 8개의 주차면에 대하여 8개의 주차면 점유 판단 영역을 대응시킬 수 있다. 예컨대, 8개의 주차면과 8개의 주차면 점유 판단 영역은 일대일 대응될 수 있다. 또한, 주차 인식 서버(300)는 제2 이미지에 포함된 8개의 주차면에 대하여 7개의 차량 인식 영역을 대응시킬 수 있다. 예컨대, 차량이 주차 되지 않은 주차면은 제외하고, 7개의 주차면과 7개의 차량 인식 영역은 일대일 대응될 수 있다. 또한, 주차 인식 서버는 8개의 주차면 점유 판단 영역에 대하여 7개의 주차면 점유 판단 영역과 7개의 차량 인식 영역을 대응시킬 수 있다. 예컨대, 차량이 주차 되지 않은 주차면과 대응되는 주차면 점유 판단 영역은 제외하고, 7개의 주차면 점유 판단 영역과 7개의 차량 인식 영역은 일대일 대응될 수 있다.
또한, 주차 인식 서버(300)는 차량 인식 영역의 미리 설정된 영역이 주차면 점유 판단 영역 내에 존재하는지 여부를 판단할 수 있다. 예를 들어, 주차 인식 서버(300)는 차량 인식 영역이 사각형 형태로 구현되는 경우, 차량 인식 영역의 주차장 도로측 하단부 모서리가 주차면 점유 판단 영역 내에 존재하는지 여부를 판단할 수 있다. 예컨대, 주차 인식 서버(300)는 서로 맵핑된 차량 인식 영역과 주차면 점유 판단 영역에 대하여 차량 인식 영역의 미리 설정된 영역이 주차면 점유 판단 영역 내에 존재하는지 여부를 판단할 수 있다. 예를 들어, 주차 인식 서버(300)는 차량 인식 영역의 미리 설정된 영역이 주차면 점유 판단 영역 내에 존재하는 경우, 차량이 주차면에 주차된 것으로 판단할 수 있다.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 주차 인식 방법을 설명하기 위한 도면이다.
먼저, 도 5를 참조하면, 본 발명의 일 실시예에 따른 카메라에서 촬영된 이미지가 도시되어 있다. 예를 들어, 도 5에 도시된 바와 같이, 카메라에서 촬영된 이미지에는 복수의 차량(C)과 주차면이 포함될 수 있다. 예컨대, 주차면은 주차 라인(L)에 의하여 구획이 나뉘어지는 각각의 면을 의미할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 주차 라인(L)에 의하여 직사각형 형태의 주차면이 형성될 수 있다.
도 5 및 도 6을 함께 참조하면, 본 발명의 일 실시예에 따른 카메라는 시계열적으로 연속되는 복수의 이미지를 촬영할 수 있다. 예를 들어, 도 5에 도시된 제1 이미지(i1)와 도 6에 도시된 제2 이미지(i2)는 시계열적으로 연속될 수 있다. 보다 구체적으로, 제1 이미지(i1)에 포함된 비어 있는 하나의 주차면에 제2 이미지(i2)의 차량(62)이 새롭게 추가되었다. 또한, 제1 이미지(i1)에 주차되어 있는 차량(51)이 제2 이미지(i2)의 차량(61)으로 변경되었다. 또한, 제1 이미지(i1)에 주차되어 있던 차량(53)이 제2 이미지(i2)에서 주차면을 빠져나가서 제2 이미지(i2)는 비어 있는 하나의 주차면을 포함하고 있다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 주차 인식 서버가 제1 이미지(i1)와 제2 이미지(i2) 사이의 이미지 차이를 산출하는 제3 이미지(i3)가 도시되어 있다. 예를 들어, 주차 인식 서버는 제1 이미지(i1)에서 제2 이미지(i2)를 차감하여 제1 이미지(i1)와 제2 이미지(i2) 사이의 이미지 차이를 산출할 수 있다. 또는, 주차 인식 서버는 제2 이미지(i1)에서 제1 이미지(i1)를 차감하여 제1 이미지(i1)와 제2 이미지(i2) 사이의 이미지 차이를 산출할 수 있다. 예컨대, 도 7에 도시된 바와 같이, 제1 이미지(i1)에 포함된 비어 있는 하나의 주차면에 새롭게 추가된 제2 이미지(i2)의 차량(62)의 부분(72), 제1 이미지(i1)에 주차되어 있는 차량(51)이 제2 이미지(i2)의 차량(61)으로 변경된 부분(71), 및 제1 이미지(i1)에 주차되어 있던 차량(53)이 제2 이미지(i2)에서 주차면을 빠져나간 부분(73)이 제3 이미지(i3)의 다른 부분과 다른 명도, 채도, 및 색 등으로 표현될 수 있다. 다만, 도 7의 표현 형태는 예시적인 형태이며 본 발명은 이에 한정되지 않는다.
도 8 내지 도 11은 본 발명의 다른 실시예에 따른 주차 인식 방법을 설명하기 위한 도면이다.
먼저, 도 8을 참조하면, 본 발명의 일 실시예에 따른 주차 인식 서버는 주차면 점유 판단 영역(81, 82, 83, 84, 85, 86, 87, 88)을 설정할 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 주차 인식 서버는 각 주차면에 대하여 주차면 점유 판단 영역(81, 82, 83, 84, 85, 86, 87, 88)을 각각 설정할 수 있다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 주차 인식 서버는 차량 인식 영역(91, 92, 93, 94, 95, 96, 97)을 설정할 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 주차 인식 서버는 각 차량에 대하여 차량 인식 영역(91, 92, 93, 94, 95, 96, 97)을 각각 설정할 수 있다.
도 10 및 도 11을 참조하면, 본 발명의 일 실시예에 따른 주차 인식 서버는 주차면 점유 판단 영역(81, 82, 83, 84, 85, 86, 87, 88) 및 차량 인식 영역(91, 92, 93, 94, 95, 96, 97)을 기초로 각 주차면에 대하여 차량이 주차되어 있는지를 각각 판단할 수 있다.
본 발명의 일 실시예에 따른 주차 인식 서버는 주차 인식 대상이 되는 카메라의 촬영 범위에 속하는 미리 설정된 주차면에 기초하여 주차면 점유 판단 영역 및 차량 인식 영역을 매핑할 수 있다. 여기서, 각 주차면의 주차면 점유 판단 영역은 주차면의 경계와 일치하지 않을 수 있다. 예를 들어, 도 10에 도시된 바와 같이, 주차 인식 서버는 제1 카메라의 촬영 범위에 속하는 8개의 주차면에 기초하여 주차면 점유 판단 영역(81, 82, 83, 84, 85, 86, 87, 88)과 차량 인식 영역(91, 92, 93, 94, 95, 96, 97)을 매핑할 수 있다. 예컨대, 제1 주차면 점유 판단 영역(81)과 제1 차량 인식 영역(91)이 매핑되고, 제2 주차면 점유 판단 영역(82)과 제2 차량 인식 영역(92)이 매핑되고, 제3 주차면 점유 판단 영역(83)과 제3 차량 인식 영역(93)이 매핑되고, 제4 주차면 점유 판단 영역(84)과 제4 차량 인식 영역(94)이 매핑되고, 제5 주차면 점유 판단 영역(85)과 제5 차량 인식 영역(95)이 매핑되고, 제6 주차면 점유 판단 영역(86)과 제6 차량 인식 영역(96)이 매핑되고, 제7 주차면 점유 판단 영역(87)과 제7 차량 인식 영역(97)이 매핑 될 수 있다.
또한, 주차 인식 서버는 차량 인식 영역의 미리 설정된 영역이 주차면 점유 판단 영역 내에 존재하는지 여부를 판단할 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 주차 인식 서버는 제7 차량 인식 영역(97)의 주차장 도로측 하단부 모서리(Z)의 위치가 제7 주차면 점유 판단 영역(87) 내에 존재하는지 여부를 판단할 수 있다. 예컨대, 도 11의 경우, 제7 주차면 점유 판단 영역(87) 내에 제7 차량 인식 영역(97)의 모서리가 위치하므로, 주차 인식 서버는 제7 주차면에 대하여 차량이 주차되어 있는 것으로 판단할 수 있다. 또한, 제8 주차면 점유 판단 영역(88) 내에 차량 인식 영역의 모서리가 인식되지 않으므로, 주차 인식 서버는 제8 주차면에 대하여 차량이 주차되어 있지 않은 것으로 판단할 수 있다.
본 발명의 일 실시예에 따르면 주차 인식 서버는 주차 인식 판단 결과를 결과 데이터로 출력할 수 있다. 예컨대, 주차 인식 서버는 주차 인식 판단 결과를 어레이 인 어레이(Array in Array) 형태의 결과 데이터로 출력할 수 있다.
예를 들어, 주차 인식 서버는 주차면에 차량이 주차되어 있는 경우는 1로, 주차면에 차량이 주차되어 있지 않은 경우는 0의 데이터로 결과 데이터를 출력할 수 있다. 예컨대, 주차 인식 서버는 제1 카메라의 8개의 주차면에 대하여 [1, 1, 1, 1, 1, 1, 1, 0]의 결과 데이터를 출력할 수 있다. 이 경우, 제1 주차면 내지 제7 주차면에는 차량이 주차되어 있고, 제8 주차면에는 차량이 주차되어 있지 않은 것을 나타낸다.
본 발명에 따르면, 복수의 이미지 사이의 이미지 차이에 기초하여 주차면에 차량이 주차되어 있는지를 판단함으로써 컴퓨팅 파워의 소모를 최소화, 경량화 할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 주차 인식 판단 결과를 포함하는 최종 데이터를 경량화된 데이터 형태로 출력함으로써 데이터의 전달과 활용이 용이한 효과가 있다.
이상에서 설명된 장치 및/또는 시스템은, 하드웨어 구성요소, 소프트웨어 구성요소 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction) 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이와 같이 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (13)

  1. 적어도 하나의 주차면에 주차된 차량을 인식하는 주차 인식 방법에 있어서,
    적어도 하나의 카메라에서 촬영된 상기 적어도 하나의 주차면 및 상기 차량에 대한 복수의 이미지를 획득하는 단계;
    시계열적으로 연속되는 상기 복수의 이미지 사이의 이미지 차이에 기초하여 상기 적어도 하나의 카메라 중 주차 인식 대상이 되는 카메라와 주차 인식 시점을 결정하는 단계;
    상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 상기 적어도 하나의 주차면에 대하여 주차면 점유 판단 영역을 각각 설정하는 단계;
    상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 상기 차량에 대하여 차량 인식 영역을 각각 설정하는 단계; 및
    상기 주차면 점유 판단 영역 및 상기 차량 인식 영역을 기초로 상기 적어도 하나의 주차면에 대하여 차량이 주차되어 있는지를 각각 판단하는 단계;
    를 포함하는, 주차 인식 방법.
  2. 제1 항에 있어서,
    상기 이미지 차이는, 상기 복수의 이미지의 각 픽셀 단위에 대한 명도, 채도, 및 색의 차이를 포함하는, 주차 인식 방법.
  3. 제1 항에 있어서,
    상기 주차 인식 대상이 되는 카메라와 주차 인식 시점을 결정하는 단계는,
    시계열적으로 연속되는 제1 이미지 및 제2 이미지 사이의 상기 이미지 차이를 계산하는 단계;
    상기 제1 이미지 및 상기 제2 이미지 사이의 상기 이미지 차이가 미리 설정된 임계값 이상인 경우, 상기 제1 이미지 및 상기 제2 이미지를 촬영한 카메라를 상기 주차 인식 대상이 되는 카메라로 결정하는 단계; 및
    상기 제2 이미지가 촬영된 시점을 상기 주차 인식 시점으로 결정하는 단계를 포함하는, 주차 인식 방법.
  4. 제1 항에 있어서,
    상기 주차면 점유 판단 영역을 각각 설정하는 단계는,
    상기 주차 인식 대상이 되는 카메라의 촬영 범위에 속하는 미리 설정된 주차면의 개수에 기초하여, 상기 적어도 하나의 주차면에 대하여 상기 차량 인식 영역의 미리 설정된 영역에 대한 예측 범위를 기초로 상기 주차면 점유 판단 영역을 설정하는 단계; 및
    상기 예측 범위에 대한 학습 데이터에 기초하여 상기 주차면 점유 판단 영역을 재설정하는 단계를 포함하는, 주차 인식 방법.
  5. 제1 항에 있어서,
    상기 차량 인식 영역을 각각 설정하는 단계는,
    미리 학습된 딥러닝 네트워크에 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 입력하는 단계; 및
    상기 미리 학습된 딥러닝 네트워크의 출력값에 기초하여 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지에 포함된 상기 차량에 대하여 상기 차량 인식 영역을 설정하는 단계를 포함하는, 주차 인식 방법.
  6. 제1 항에 있어서,
    상기 적어도 하나의 주차면에 대하여 차량이 주차되어 있는지를 각각 판단하는 단계는,
    상기 주차 인식 대상이 되는 카메라의 촬영 범위에 속하는 미리 설정된 주차면에 기초하여 상기 주차면 점유 판단 영역 및 상기 차량 인식 영역을 매핑하는 단계; 및
    상기 차량 인식 영역의 미리 설정된 영역이 상기 주차면 점유 판단 영역 내에 존재하는지 여부를 판단하는 단계를 포함하는, 주차 인식 방법.
  7. 컴퓨팅 장치를 이용하여 제1 항 내지 제6 항 중 어느 한 항의 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램.
  8. 적어도 하나의 주차면에 주차된 차량을 인식하는 주차 인식 시스템에 있어서,
    적어도 하나의 카메라에서 촬영된 상기 적어도 하나의 주차면 및 상기 차량에 대한 복수의 이미지를 획득하고, 시계열적으로 연속되는 상기 복수의 이미지 사이의 이미지 차이에 기초하여 상기 적어도 하나의 카메라 중 주차 인식 대상이 되는 카메라와 주차 인식 시점을 결정하고, 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 상기 적어도 하나의 주차면에 대하여 주차면 점유 판단 영역을 각각 설정하고, 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 기초로 상기 차량에 대하여 차량 인식 영역을 각각 설정하고, 상기 주차면 점유 판단 영역 및 상기 차량 인식 영역을 기초로 상기 적어도 하나의 주차면에 대하여 차량이 주차되어 있는지를 각각 판단하는, 주차 인식 서버를 포함하는, 주차 인식 시스템.
  9. 제8 항에 있어서,
    상기 이미지 차이는, 상기 복수의 이미지의 각 픽셀 단위에 대한 명도, 채도, 및 색의 차이를 포함하는, 주차 인식 시스템.
  10. 제8 항에 있어서,
    상기 주차 인식 서버는, 시계열적으로 연속되는 제1 이미지 및 제2 이미지 사이의 상기 이미지 차이를 계산하고, 상기 이미지 차이가 미리 설정된 임계값 이상인 경우, 상기 제1 이미지 및 상기 제2 이미지를 촬영한 카메라를 상기 주차 인식 대상이 되는 카메라로 결정하고, 상기 제2 이미지가 촬영된 시점을 상기 주차 인식 시점으로 결정하는, 주차 인식 시스템.
  11. 제8 항에 있어서,
    상기 주차 인식 서버는, 상기 주차 인식 대상이 되는 카메라의 촬영 범위에 속하는 미리 설정된 주차면의 개수에 기초하여, 상기 적어도 하나의 주차면에 대하여 상기 차량 인식 영역의 미리 설정된 영역에 대한 예측 범위를 기초로 상기 주차면 점유 판단 영역을 설정하고, 상기 예측 범위에 대한 학습 데이터에 기초하여 상기 주차면 점유 판단 영역을 재설정하는, 주차 인식 시스템.
  12. 제8 항에 있어서,
    상기 주차 인식 서버는, 미리 학습된 딥러닝 네트워크에 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지를 입력하고, 상기 미리 학습된 딥러닝 네트워크의 출력값에 기초하여 상기 주차 인식 시점에 상기 주차 인식 대상이 되는 카메라에서 촬영된 이미지에 포함된 상기 차량에 대하여 상기 차량 인식 영역을 설정하는, 주차 인식 시스템.
  13. 제8 항에 있어서,
    상기 주차 인식 서버는, 상기 주차 인식 대상이 되는 카메라의 촬영 범위에 속하는 미리 설정된 주차면에 기초하여 상기 주차면 점유 판단 영역 및 상기 차량 인식 영역을 매핑하고, 상기 차량 인식 영역의 미리 설정된 영역이 상기 주차면 점유 판단 영역 내에 존재하는지 여부를 판단하는, 주차 인식 시스템.
PCT/KR2022/012357 2021-11-01 2022-08-18 주차 인식 방법, 주차 인식 시스템 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램 WO2023075107A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0148128 2021-11-01
KR1020210148128A KR102603732B1 (ko) 2021-11-01 2021-11-01 주차 인식 방법, 주차 인식 시스템 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
WO2023075107A1 true WO2023075107A1 (ko) 2023-05-04

Family

ID=86159453

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/012357 WO2023075107A1 (ko) 2021-11-01 2022-08-18 주차 인식 방법, 주차 인식 시스템 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램

Country Status (2)

Country Link
KR (1) KR102603732B1 (ko)
WO (1) WO2023075107A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160076114A (ko) * 2014-12-22 2016-06-30 삼성에스디에스 주식회사 비디오 분석 기술을 활용한 주차장 관리 방법 및 그 장치
KR20180068247A (ko) * 2016-12-13 2018-06-21 동아대학교 산학협력단 차량 주차관리 방법
KR101986463B1 (ko) * 2018-11-23 2019-06-07 주식회사 넥스파시스템 주차유도 시스템 및 그 제어방법
KR20200084946A (ko) * 2018-12-27 2020-07-14 주식회사 디파인 차량의 주차면 분석을 위한 지능형 cctv 장치
KR102240638B1 (ko) * 2019-11-01 2021-04-15 주식회사 누리콘 영상내 차량 이미지 추정 경계 픽셀 데이터와 차량 모델 뷰포인트 분석을 이용한 주차 안내 방법 및 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384532A (zh) * 2015-07-31 2017-02-08 富士通株式会社 视频数据分析方法、装置以及停车位监控系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160076114A (ko) * 2014-12-22 2016-06-30 삼성에스디에스 주식회사 비디오 분석 기술을 활용한 주차장 관리 방법 및 그 장치
KR20180068247A (ko) * 2016-12-13 2018-06-21 동아대학교 산학협력단 차량 주차관리 방법
KR101986463B1 (ko) * 2018-11-23 2019-06-07 주식회사 넥스파시스템 주차유도 시스템 및 그 제어방법
KR20200084946A (ko) * 2018-12-27 2020-07-14 주식회사 디파인 차량의 주차면 분석을 위한 지능형 cctv 장치
KR102240638B1 (ko) * 2019-11-01 2021-04-15 주식회사 누리콘 영상내 차량 이미지 추정 경계 픽셀 데이터와 차량 모델 뷰포인트 분석을 이용한 주차 안내 방법 및 시스템

Also Published As

Publication number Publication date
KR102603732B1 (ko) 2023-11-20
KR20230063171A (ko) 2023-05-09

Similar Documents

Publication Publication Date Title
EP3859708B1 (en) Traffic light image processing method and device, and roadside device
WO2014051246A1 (en) Method and apparatus for inferring facial composite
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
WO2020091421A1 (ko) 네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터
WO2022039319A1 (ko) 개인정보 비식별화 처리 방법, 검증 방법 및 시스템
WO2020246655A1 (ko) 상황 인지 방법 및 이를 수행하는 장치
WO2015102126A1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
JP2022023910A (ja) 通行状態取得方法及び装置、路側装置、並びに、クラウド制御プラットフォーム
WO2022240018A1 (ko) 물류 운송 관리 방법
WO2019147024A1 (ko) 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치
WO2016072627A1 (ko) 전방위 카메라를 이용한 1대 다면 주차장 관리 시스템 및 관리방법
WO2023075107A1 (ko) 주차 인식 방법, 주차 인식 시스템 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
WO2024090786A1 (ko) 레이더 데이터에 기반한 낙상 감지 모델의 학습 방법
WO2018012879A1 (ko) 차량 운전 보조장치
JP7107596B2 (ja) 駅監視システム及び駅監視方法
US20230343083A1 (en) Training Method for Multi-Task Recognition Network Based on End-To-End, Prediction Method for Road Targets and Target Behaviors, Computer-Readable Storage Media, and Computer Device
CN115601738A (zh) 停车信息获取方法、装置、设备、存储介质及程序产品
WO2019103208A1 (ko) 다중 분산 영상 데이터 분석 장치
CN113657316A (zh) 移动交通违章监测方法、系统、电子设备及存储介质
WO2020039898A1 (ja) 駅監視装置、駅監視方法及びプログラム
CN112418234A (zh) 识别车牌号的方法、装置、电子设备及存储介质
WO2022131733A1 (ko) Lpwan(low power wide area network) 환경에서 영상에 기초하여 객체에 관한 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2023158148A1 (ko) 교통 신호 제어 시스템 및 그에 관한 방법
CN111639640A (zh) 基于人工智能的车牌识别方法、装置及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22814278

Country of ref document: EP

Kind code of ref document: A1