WO2024035237A1 - 배송 상품 적재 정보 제공 시스템, 방법 및 컴퓨터 프로그램 - Google Patents

배송 상품 적재 정보 제공 시스템, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2024035237A1
WO2024035237A1 PCT/KR2023/012020 KR2023012020W WO2024035237A1 WO 2024035237 A1 WO2024035237 A1 WO 2024035237A1 KR 2023012020 W KR2023012020 W KR 2023012020W WO 2024035237 A1 WO2024035237 A1 WO 2024035237A1
Authority
WO
WIPO (PCT)
Prior art keywords
loading
delivery
product
information
image
Prior art date
Application number
PCT/KR2023/012020
Other languages
English (en)
French (fr)
Inventor
안순현
Original Assignee
렉스젠(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220138851A external-priority patent/KR20240022960A/ko
Application filed by 렉스젠(주) filed Critical 렉스젠(주)
Publication of WO2024035237A1 publication Critical patent/WO2024035237A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition

Definitions

  • the present invention relates to a technology that supports loading and unloading of delivery drivers based on loading information about delivery products loaded into the loading box of a delivery vehicle.
  • Products with invoices attached are transported through the conveyor several times and are sorted by region and delivery driver by workers, and barcode recognition and video recording are performed during the conveyor transfer process.
  • a delivery driver is a person who performs work from “delivery release” to “delivery completion” when the product is finally delivered to the recipient (recipient) using a delivery vehicle equipped with a loading box.
  • a delivery driver is about 160 people. ⁇ 200 delivery items are delivered.
  • These delivery drivers perform multiple delivery product classifications from the moment the delivery product is loaded into the delivery vehicle's loading box at the logistics center until delivery is completed to the customer. During this delivery product classification process, the delivery driver identifies the characteristics of the delivery product. Identification of each delivered product is performed by memorizing it, manually writing down the identification information on the packaging of the delivered product, or checking the waybill.
  • Delivery drivers classify and identify delivered products by frequently checking the invoice containing customer information, the delivery driver's experience or memory, or customer information provided by the smartphone. Due to the difficulty of such classification and identification, the delivery driver's Delivery mistakes or missed deliveries are known to occur.
  • the waybill is usually attached to the upper surface of the delivered product, but since the delivered product is generally loaded up and down in the cargo compartment of the delivery vehicle, it is difficult for the delivery driver to identify the customer information for the product by looking at the side of the delivered product. . Accordingly, in the past, delivery drivers had the inconvenience of having to frequently lift and move loaded delivery products in order to check customer information on the waybill attached to the delivery product.
  • the present invention was created to solve the above-mentioned problems, and the purpose of the present invention is to analyze the loading image captured in the loading state of the delivered product in the delivery vehicle loading box and include a loaded product image corresponding to a predetermined delivered product image. Detect the loading image, and map the basic delivery information (e.g., recipient's address/name/contact information, sender's address/name/contact information, etc.) mapped to the delivered product image to the detected loading image to display the delivered product.
  • the basic delivery information e.g., recipient's address/name/contact information, sender's address/name/contact information, etc.
  • the purpose of the present invention is to provide a system, method, and computer program that generates output data in a format that can be identified by the delivery driver based on the generated loading information and provides it to the delivery driver.
  • the delivery product loading information providing system analyzes the loading image captured of the loading state of the delivered product in the delivery vehicle loading box, and provides a loaded product corresponding to a predetermined delivery product image. and a data processing unit that detects a loading image including an image and generates loading information of the delivered product by mapping basic delivery information mapped to the delivered product image to the detected loading image.
  • the method of providing delivery product loading information of the system is to analyze the loading image captured of the loading state of the delivered product in the delivery vehicle loading box and add a predetermined delivery product image to the delivery product image. It includes detecting a loading image including a corresponding loaded product image, and mapping basic delivery information mapped to the delivered product image to the detected loading image to generate loading information of the delivered product.
  • a computer program stored in a computer-readable recording medium may include program code that executes the above-described method of providing delivery product loading information.
  • a computer-readable recording medium may store a computer program that executes the above-described method of providing delivery product loading information.
  • the delivery driver when a condition such as a request from a delivery driver or a stoppage of the delivery vehicle occurs, information on the optimal or appropriate product at that time is provided to the delivery driver, thereby eliminating the need for the delivery driver to check the invoice. This reduces the effort and time required by delivery drivers to classify and identify delivered products during the delivery process.
  • loading information on delivered products is output using Augmented Reality (AR) technology, so that the delivery driver can watch the loading while wearing smart glasses or use a smartphone camera. You can easily identify the products loaded in the loading bin by looking at the screen of your smartphone while facing the loading bin.
  • AR Augmented Reality
  • location information of loaded products is provided based on a loading image, which is a live-action image captured through a photographing unit, or a live-action image visible to the user's eyes through smart glasses worn by the user, etc.
  • a loading image which is a live-action image captured through a photographing unit, or a live-action image visible to the user's eyes through smart glasses worn by the user, etc.
  • the working environment of conventional delivery drivers can be improved by increasing the delivery driver's work convenience through the provision of loading information on delivered products.
  • FIG. 1 is a conceptual diagram showing a system for providing loading information according to an embodiment of the present invention.
  • Figure 2 is a block diagram showing a system for providing loading information according to an embodiment of the present invention.
  • Figure 3 is a block diagram showing the database unit in more detail according to an embodiment of the present invention.
  • Figure 4 is a block diagram showing the data processing unit in more detail according to an embodiment of the present invention.
  • Figure 5 is a diagram showing an example of delivery products being loaded into a storage box equipped with a camera according to an embodiment of the present invention.
  • Figure 6 is a diagram showing an example of a loading image according to an embodiment of the present invention.
  • Figure 7 is a diagram showing an image of a delivered product according to an embodiment of the present invention.
  • FIG. 8 is a flowchart showing the load information generation process of the data processing unit according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating in more detail the load information generation process of the data processing unit according to FIG. 8.
  • Figure 10 is a diagram showing the process of detecting images of loaded products according to an embodiment of the present invention.
  • Figure 11 is a diagram showing calculation of loading position information according to an embodiment of the present invention.
  • Figure 12 is a diagram for explaining an example of a change in a loading image according to an embodiment of the present invention.
  • Figure 13 is a flowchart showing a loading information update process according to an embodiment of the present invention.
  • Figure 14 is a diagram showing a virtual model corresponding to an actual loading box of a delivery vehicle according to an embodiment of the present invention.
  • 15 to 18 are diagrams showing examples of output data displayed on a terminal device according to an embodiment of the present invention.
  • the delivery product loading information providing system 1000 can generate and provide loading information that supports the delivery driver's classification task for the delivery products loaded in the delivery vehicle loading box.
  • This delivery product loading information providing system 1000 may include a server 10 and a terminal device 20.
  • the server 10 may store, manage, and/or process various data to support the delivery work of the delivery driver. Specifically, the server 10 may store, manage, and/or process delivery data about delivered products.
  • the delivery data may include basic delivery information, delivery product video, and delivery driver identification information as essential information. Additionally, delivery data may include delivery product characteristic information in addition to the above essential information.
  • the server 10 allows users (e.g., control personnel) of the server 10 to monitor the step-by-step processing status of delivery products in real time based on at least one of data pre-stored in the server and data acquired from the terminal device 20. It can provide functions that allow you to control delivery situations such as the location of the delivery vehicle, shipment status, and delivery completion status.
  • the server 10 may be provided and operated by a company that handles delivery work.
  • the terminal device 20 is a terminal device equipped, installed, or retained by a delivery driver performing delivery work, and can provide various functions to support the delivery driver's classification of delivery products.
  • the terminal device 20 may provide basic delivery information (e.g., customer information such as recipient's address/name/contact information, sender's address/name/contact information, etc.) about the delivery products loaded in the loading box of the delivery vehicle. ) can display a user interface for guidance, search, and modification.
  • the terminal device 20 receives various data to support the delivery driver's delivery work, and uses the received data to support the delivery driver's work according to various conditions such as the delivery driver's location, time, and work environment. Information can be printed.
  • the terminal device 20 includes a vehicle terminal (20-1) installed in the vehicle driven by the delivery driver, a smartphone (20-2) that the delivery driver can carry, and a smart watch (20-3) that can be worn on the delivery driver's body. ), smart glasses (20-4), etc.
  • the terminal device 20 may be implemented as various types of terminals that can be carried by the delivery person, such as a tablet computer, laptop computer, body cam, etc.
  • Figure 2 is a block diagram showing a system for providing delivery product loading information according to an embodiment of the present invention.
  • Figure 3 is a block diagram showing an example of implementation of the database unit according to an embodiment of the present invention.
  • Figure 4 is a block diagram showing an example of implementation of a data processing unit according to an embodiment of the present invention.
  • the delivery product loading information providing system 1000 may include all or part of a photographing unit 110, a database unit 120, a data processing unit 130, and a loading information providing unit 140. You can.
  • the photographing unit 110 may generate a loading image by photographing delivery products loaded in the loading box of a delivery vehicle.
  • FIG 5 is a diagram showing an example of delivery products being loaded in a storage box with a camera installed according to an embodiment of the present invention.
  • the photographing unit 110 is located at the top of the inside of the storage box of the delivery vehicle. It can be implemented as cameras 111, 112, and 113 that are installed and take pictures of delivery products loaded inside the loading box.
  • the installation position of the cameras 111, 112, and 113 in Figure 5(b) is only an example, and the photographing unit 110 may be implemented as a camera installed on the upper center, left side, right side, or inside the loading box door inside the delivery vehicle loading box. You can.
  • delivery drivers typically load products that are delivered first according to the delivery order in the front row closest to the door of the loading box, and load lower-priority products in the row that is further away from the door of the loading box.
  • the number of the column located furthest from the loading door is defined as “column 1" or "X-axis value 1", and based on “column 1", the column number increases or the X-axis value increases as it approaches the loading door. Let's define this as getting bigger.
  • the photographing unit 110 may be implemented as a camera provided in the terminal device 20 provided by the delivery driver.
  • the photographing unit 110 may be implemented as a body cam worn on the delivery driver's body or a camera provided in smart glasses.
  • the delivery driver can aim the direction of the body wearing the body camera or the direction of the face wearing the smart glasses toward the delivery products loaded in the loading box of the delivery vehicle and then take pictures with the camera.
  • the photographing unit 110 may be implemented as a camera provided on the delivery driver's smartphone, and the delivery driver may photograph the loaded product with the camera.
  • the loading image may be generated by filming by the photographing unit 110 during the delivery process from the moment the delivery driver loads the delivery product into the loading box of the delivery vehicle at the logistics center until delivery to the customer is completed.
  • An example of a loading image according to the present invention may be as shown in FIG. 6.
  • FIG. 6 is a diagram showing an example of a loading image according to an embodiment of the present invention.
  • the loading image may be an image showing the loading status of the delivery product in the loading box.
  • the data processing unit 130 which will be described later, can automatically generate the loading location for each delivered product from the loading image through image analysis.
  • the data processing unit 130 may acquire a loading image that satisfies a predetermined condition among the plurality of loading images generated according to the shooting by the photographing unit 110, and store the acquired image in the loading image database unit 122. there is.
  • a loading image that meets a predetermined condition may be an image at a time when the loading status changes based on a predetermined loading unit, for example, an image in a state where loading is completed.
  • the loading completed state refers to a state in which loading can be determined to be complete when the delivery product is loaded into the delivery vehicle loading box. For example, if the delivery driver loads products in the first row and then loads the products in the next row, the second row, so that the products in the first row are obscured, the first row before the products are loaded in the second row is where the row-by-row loading has been completed. It may be a state. As another example, if the delivery driver loads the product in the second row and then again loads the product in the first row and completes the loading of the first row, the first row may be in a state where row-by-row loading has been completed.
  • the loading image that meets the predetermined conditions may change due to a change in the loading position of the delivered product, a change in position due to an impact during movement of the delivered product stacked at a specific location, etc., as shown in Figures 12 and 13, which will be described later ( When an update) occurs, it may be a loaded image that has been changed.
  • the loading video may change depending on the delivery driver's rearrangement of the loaded products, unloading of the products, loading of the products, etc., and the data processing unit 130, which will be described later, can determine the above-described loading completion status through video analysis.
  • an image that meets a predetermined condition may be a loading image requested by a delivery driver.
  • an image that meets a predetermined condition may be a loading image captured when a delivery vehicle stops at an expected stopping location.
  • an image that meets a predetermined condition may be a loading image captured when the delivery vehicle stops at an expected stopping location and then moves.
  • an image that meets a predetermined condition may be a loading image captured when the loading door of a delivery vehicle is opened.
  • an image that meets a predetermined condition may be a loading image captured when the loading box door of a delivery vehicle is closed.
  • the image captured by the photographing unit 110 may be transmitted to the loading image database unit 122, and the loading image database unit 122 may continuously update the database using the received loading image.
  • column units are not limited to this, and column units may be replaced by row units and/or column units.
  • the database unit 120 may include all or part of the delivery product database unit 121, the loading image database unit 122, and the loading information database unit 123.
  • all or part of the delivery product database unit 121, the loading image database unit 122, and the loading information database unit 123 are implemented as a module of the server 10 or as a module of the terminal device 20. It can be configured.
  • the database unit 120 may be implemented as a storage module that performs a memory function of the terminal device 20.
  • the database unit 120 may be implemented not to be included in the server 10 or the terminal device 20.
  • the database unit 120 can be managed by a company that manages the various data described above, and the server 10 connects to the database unit 120, which performs the master database function, and receives various information from the database unit 120. It may also be implemented to download and use data.
  • the delivery product database unit 121 may store delivery data for each of a plurality of delivery products.
  • the delivery data may be data in which basic delivery information, delivery product video, and delivery driver identification information are mapped. Additionally, the delivery data may be data in which delivery product characteristic information is further mapped.
  • the basic delivery information may include the recipient's address/name/contact information, the sender's address/name/contact information, and delivery product identification information.
  • the recipient's address may be referred to as a delivery destination or delivery address, and will be collectively referred to as the "delivery address" in this specification.
  • the delivered product identification information may be identification information such as product ID or product code that identifies the same product.
  • the delivery driver identification information may be identification information that can specify the delivery driver of the corresponding delivery product, such as the delivery driver's ID/mobile phone number/resident registration number, the delivery vehicle ID/vehicle number, etc.
  • the delivered product image may include a plurality of images taken from different shooting directions with respect to the delivered product.
  • delivery products are packaged and delivered in a delivery box, so the delivery product video according to the present invention may be an image of a delivery box. This delivery product video will be described in more detail with reference to FIG. 7.
  • Figure 7 is a diagram showing an image of a delivered product according to an embodiment of the present invention.
  • the delivered product can be photographed in six shooting directions perpendicular to each of the upper surface, lower surface, and four sides constituting the delivered product.
  • the delivered product image is shown in Figure 7 ( As shown in a), it may include a top image, a bottom image, and four side images. That is, the delivered product image may be composed of a plurality of images corresponding to each side.
  • the delivered product may be photographed in a shooting direction that includes at least two or more sides of the delivered product, and in this case, the delivered product image is an image that includes at least two or more sides, as shown in FIG. 7(b). It may be configured to include a plurality.
  • delivered products are loaded up and down in a loading box, so the side of the product is generally included in the loading image, so that the loaded product image can be detected from the loading image through image analysis.
  • Delivery product according to a preferred embodiment of the present invention.
  • the image may be implemented to include at least two side images.
  • the delivery product characteristic information may include at least one of pictures, letters, and symbols displayed on the box of the delivery product.
  • the data processing unit 130 may detect delivery product characteristics including at least one of a picture, text, and symbol from a delivery product image, and generate delivery product characteristic information based on the detection result.
  • the delivery product characteristic information may include at least one of a text format in which the characteristics of the delivery product are converted into text or a video format in which the characteristics of the delivery product are converted into images.
  • the video format may be a video that enlarges or emphasizes the characteristics of the delivered product.
  • the stacked image database unit 122 can classify and store stacked images generated according to shooting in the photographing unit 110.
  • the loading image database unit 122 may map and store delivery driver identification information and loading unit information on the loading image.
  • the loaded image may be saved as a still image.
  • the loading image may be an image showing the loading status of the delivery product in the loading box or an image that further includes a mark on the loading status.
  • the loading image may be a loading image that satisfies a predetermined condition among a plurality of loading images generated according to imaging by the photographing unit 110.
  • the loading unit information may include loading unit identification information that identifies the type of the loading unit and loading unit location information that identifies the location of the loading unit.
  • Loading unit identification information may include at least one of column units, row units, and column units.
  • the stacking unit position information may include stacking position information in each column, row, and column unit, such as “1st column,” “1st row,” and “1st column.”
  • column units are not limited to this, and column units may be replaced by row units and/or column units.
  • the loading information database unit 123 may store loading information generated according to data processing by the data processing unit 130, which will be described later.
  • the loading information may include a loading image and basic delivery information and loading location information for each of a plurality of delivered products included in the loading image.
  • This loading information database unit 123 can be constructed by converting loading information for each delivery driver into data.
  • the data processing unit 130 analyzes the loading image stored in the loading image database unit 122 and detects a loading image including a loading product image corresponding to a predetermined delivery product image stored in the delivery product database unit 121.
  • Basic delivery information mapped to the detected delivery product image can be mapped to the detected loading image to generate loading information for the delivered product.
  • the loading information generated by the data processing unit 130 may further include loading location information for each of the plurality of delivered products.
  • the data processing unit 130 links and stores the images and related information of a plurality of delivered products loaded in the loading box included in the loading image and the delivered product images and related information stored in the delivered product database unit 121.
  • the database unit 121 and the loading information database unit 123 can be controlled.
  • the data processing unit 130 may include all or part of the loading image acquisition unit 131, the delivery data acquisition unit 132, the loading information generation unit 133, and the digital twin generation unit 134.
  • All or part of the loading image acquisition unit 131, the delivery data acquisition unit 132, the loading information creation unit 133, and the digital twin creation unit 134 are implemented as a module of the server 10 or a terminal device. It may be composed of one module of (20).
  • the data processing process of the data processing unit 130 will be described in more detail with reference to FIG. 8.
  • FIG. 8 is a flowchart showing the load information generation process of the data processing unit 130 according to an embodiment of the present invention.
  • the loading image acquisition unit 131 may use the delivery driver identification information to obtain a loading image related to the loading status of the delivery vehicle loading box assigned to the delivery driver from the loading image database unit 122. (S110).
  • the loading image acquisition unit 131 acquires all images of the process of loading the delivered product from the loading image captured by the photographing unit 110, or acquires a loading image each time each delivered product is loaded, or Images can be acquired at the point when loading of a predetermined unit is completed.
  • the delivery data acquisition unit 132 uses the identification information of the delivery driver to obtain a delivery product image for the delivery product assigned to the delivery driver among the delivery data stored in the delivery product database unit 121. It can be obtained from (S120).
  • the loading information generator 133 analyzes the loading image, detects a loading image including a loading product image corresponding to a predetermined delivery product image, and stores basic delivery information mapped to the detected delivery product image. By mapping to the image, loading information of the delivered product can be generated (S130). This loading information generation process will be described in more detail with reference to FIGS. 9 and 10.
  • the loading information generator 133 compares the loading image and the delivered product image. By doing so, it is possible to perform the function of identifying the loaded product, comparing the loading image by considering various forms of transformation of the loaded product image, and mapping customer information corresponding to the loaded product.
  • FIG. 9 is a flowchart illustrating in more detail the loading information generation process according to an embodiment of the present invention.
  • the loading information generator 133 may detect a loaded product image from the loading image (S131).
  • the loading information generator 132 detects the edge of each of a plurality of loaded products included in the loading image using an edge detection algorithm, identifies the boundary of each loaded product, and loads based on the identified boundary.
  • Product images can be detected.
  • the loading information generator 133 may be implemented to use an artificial neural network learned to detect each loaded product from a loading image.
  • the artificial neural network may receive a loading image and output identification data that identifies each of the plurality of loaded products with a bounding box from the loading image.
  • the loading information generator 133 may detect a loaded product image corresponding to each identified loaded product. This process of detecting images of loaded products will be described with reference to FIG. 10.
  • Figure 10 is a diagram showing the process of detecting images of loaded products according to an embodiment of the present invention.
  • Figure 10(a) is a loading image stored in the loading image database unit 122.
  • the loading information generator 133 can identify the loaded products 1001 and 1002 from the loading image, and according to the identification result, the loading product images 1011 and 1002 as shown in FIG. 10(c). 1012) can be detected.
  • the loading information generation unit 133 may compare the delivered product image obtained from the delivered product database unit 121 and the loaded product image detected from the loaded product image (S132).
  • the delivered product image obtained from the delivered product database unit 121 may include a plurality of images taken from different shooting directions with respect to the delivered product, as shown in FIG. 7.
  • the delivered product image obtained from the delivered product database unit 121 may include images of the delivered product taken in various shooting directions as shown in FIG. 7, and the loading information generating unit (133) may detect the corresponding image by comparing the loaded product image detected in the loading image with the delivered product image.
  • only the delivery product image for the delivery product assigned to the delivery driver among the delivery data stored in the delivery product database unit 121 can be used as a comparison object using the delivery driver's identification information.
  • the efficiency of data analysis and processing will be improved by comparing correspondence between videos based on the local terminal (more accurately, the area or volume in charge of a given delivery driver) rather than the tens of thousands of products processed at the logistics center. You can.
  • the image comparison analysis algorithm of the loading information generator 133 can be learned using a large amount of data to improve image detection performance.
  • the loading information generation unit 133 detects basic delivery information mapped to the delivered product image from the delivery product database unit 121 (S134) ), the detected basic delivery information can be mapped to the loading image to generate loading information for the delivered product, and the generated loading information can be stored in the loading information database unit 123 (S135).
  • the loading information generator 133 maps an identifier indicating that the corresponding delivered product was not detected to the loading image to create a loading information database. It can be stored in unit 123 (S136).
  • the loading information generator 133 may generate loading location information for products loaded in the loading box.
  • the loading location information may be location information indicating the column, row, and height of the loaded product within a loading box that forms a three-dimensional space.
  • the loading information generator 133 may generate loading position information for products loaded in the loading bin using a mark installed inside the loading bin as shown in FIG. 6(b). For example, location information may be assigned to the mark, such as “1 row” for “X1 mark”, “column 2” for “X2 mark”, etc., and the loading information generator 133 may generate information inside the loading box from the loading image. By detecting the laid mark and detecting the location information given to the detected mark, loading location information of the loaded products can be generated.
  • the loading information generator 133 may generate loading product location information by analyzing the positional relationship of each loaded product image detected in the loading image. For example, the stacking information generator 133 calculates row-direction position information based on the left/right position relationship of stacked product images detected in a row-unit stacking image, and height-direction position information based on the top/bottom position relationship. Information can be calculated.
  • FIG 11 is a diagram showing the calculation of loading position information according to an embodiment of the present invention.
  • the loading information generator 133 analyzes the loading image and determines the columns, rows, and heights of the loaded products inside the loading box forming a three-dimensional space. With the position information indicated, stacking position information such as “1 column, 3 rows, 3 columns” can be created.
  • the loading information generator 133 may map the generated loading location information to a loading image to generate loading information for the delivered product, and store the generated loading information in the loading information database unit 123.
  • the loading information generator 133 may generate loading information including basic delivery information such as customer information about the delivered product loaded in the loading box and loading location information about the delivered product loaded in the loading box.
  • the loading information may be composed by mapping the loading image, basic delivery information of the delivered product, and loading location information.
  • Figure 12 illustrates that the loading image of the loading box changes depending on the order of delivery time (order a, b, c) after the delivery driver loads the delivery product into the delivery vehicle.
  • Figure 12(a) is a loading image when delivery begins after loading all delivery products, and it can be seen that the loading image changes as shown in Figures 12(b) and 12(c) as delivery progresses.
  • the loading image changes as shown in Figures 12(b) and 12(c) as delivery progresses.
  • shipment stage the loading image at the shipping stage may change due to changes in the location of the product during the product sorting process by the delivery driver.
  • the loading information generator 133 can perform an update process of loading information when a predetermined condition occurs. This will be explained in more detail with reference to FIG. 13.
  • FIG. 13 is a flowchart showing a loading information update process according to an embodiment of the present invention.
  • the loading information generator 133 may determine whether a loading information update condition occurs (S210).
  • the loading information update conditions include a change in loading status, such as a change in the position of the loaded product in the delivery vehicle loading box, a request from the delivery driver, the delivery vehicle stopping at the expected stopping location, the loading door of the delivery vehicle opening, the loading door closing of the delivery vehicle, and It may include at least one of moving after stopping at the expected stopping location of the delivery vehicle.
  • the loading information generator 133 may determine whether the loading status has changed by comparing the loading image previously stored in the loading image database unit 122 with the loading image when the above condition occurs (S220). As an example, the loading information generator 133 may determine whether the loading status has changed by comparing a plurality of loading images stored in rows with the loading image when the above condition occurs.
  • the loading information generator 133 may update the loading information according to the result of determining whether the loading status has changed (S230). Specifically, when the loading status is changed, the loading information generating unit 133 generates loading information based on the process of FIGS. 8 to 9 described above, and updates the loading information database unit 123 based on the generated loading information. can do. However, if the loading status is not changed, the loading information generator 133 may maintain the existing loading information without an update procedure.
  • the loading information update condition occurs without the image analysis process of step S220. It may be implemented to unconditionally update the loading information based on the loading image at the time.
  • the digital twin creation unit 134 can generate a digital twin that digitally represents virtual reality that matches the loading box of the delivery vehicle based on various data stored in the database unit 120. More specifically, the digital twin generator 134 generates a virtual loading box model representing the loading box of the delivery vehicle and a virtual product model representing the products loaded inside the loading box, and uses the generated virtual loading box model and virtual product model to You can create a digital twin model that corresponds to the actual loading box of the delivery vehicle.
  • the digital twin creation unit 134 can link the delivery vehicle's loading box and the digital twin model in real time.
  • the generated virtual model may be a 2-Dimensional (2D) model, a 3-Dimensional (3D) model, or a model that combines 2D and 3D.
  • Figure 14 is a diagram showing a virtual model corresponding to the actual loading box of a delivery vehicle according to an embodiment of the present invention.
  • the digital twin generator 134 generates a 3D-shaped virtual loading box model 1401 corresponding to the actual loading box, and the actual loading box model 1401.
  • a virtual model including a 2D-shaped virtual product model 1402 corresponding to the product loaded inside the loading box can be created.
  • the digital twin generator 134 may add marks (X1, X2, and X3) to the virtual model so that the loading location can be easily identified.
  • the loading information provider 140 provides the delivery driver with visual and auditory information based on at least one of the loading information generated by the loading information generating unit 133, the stopping location information of the delivery vehicle, and the delivery driver's request.
  • Output data in an identifiable form can be generated by at least one.
  • the loading information provider 140 may generate output data that can be visually identified from the loading image, which is an actual image.
  • the output data generated by the loading information provider 140 may be data for the terminal device 20 to output product information that must be unloaded from the loading box of the delivery vehicle at the stopping location of the delivery vehicle.
  • the loading information providing unit 140 compares the stopping location information of the delivery vehicle with the delivery destination information included in the basic delivery information of the loading information assigned to the loading image through linkage with the database units 121, 122, and 123 to determine the stopping location. Detect a loading image including a delivery product to be unloaded from the loading box, detect at least one of loading location information and a delivered product image from the detected loading image, and use the detected information to add a loading image to the loading image from the loading box of the delivery vehicle. Output data can be generated that allows identification of goods that need to be unloaded.
  • the output data generated by the loading information providing unit 140 matches customer information including recipient information such as the recipient's address/name/contact information and sender information such as the sender's address/name/contact information. It may be output data that allows the loaded product to be identified from the loading image.
  • the loading information provider 140 detects at least one of the loading location information and the loading product image of the loading product that matches the customer information, and can identify the loading product from the loading image using the detected information. You can generate output data that allows you to do this.
  • This loading information provider 140 may be implemented as a module of the server 10 or may be configured as a module of the terminal device 20.
  • the loading information providing unit 140 When the loading information providing unit 140 is implemented as a module of the terminal device 20, the loading information providing unit 140 may be implemented as a display unit that generates and displays visual data and a speaker unit that generates and outputs auditory data. You can.
  • the loading information providing unit 140 when the loading information providing unit 140 is implemented as a module of the server 10, the loading information providing unit 140 may perform a function of generating data to be output from the terminal device 20, and the server 10 may perform a function of generating data to be output from the terminal device 20.
  • the output data generated by the loading information provider 140 of (10) may be transmitted to the terminal device 20 and output from the terminal device 20.
  • the terminal device 20 that outputs output data may be, for example, a terminal carried or worn by the delivery driver, a display terminal attached to one side of the vehicle, or smart glasses worn by the delivery driver.
  • the terminal device 20 may generate output data that facilitates the delivery driver's identification of loaded products that meet predetermined conditions.
  • the predetermined condition may include at least one of a loaded product that meets the delivery driver's request and a loaded product that must be unloaded at the stopping location.
  • the loading information provider 140 provides an identifier 1501 that enables identification of loaded products meeting predetermined conditions in the loading image and basic delivery information about the loaded products (e.g., recipient's name). , abbreviated delivery address) and identifier color information 1502 may be generated to output output data through a screen.
  • the terminal device 20 attached to the loading box door of the delivery vehicle may display output data generated by the loading information providing unit 140 on the screen.
  • the loading information provider 140 provides an identifier 1601 that enables identification of loaded products that meet predetermined conditions in the loading image and basic delivery information about the loaded products (e.g., recipient Output data for outputting at least one of (name, abbreviated delivery address) and identifier color information can be generated.
  • the smart glasses can display output data generated by the loading information provider 140 on the wearer's field of view.
  • the loading information provider 140 may generate output data using the virtual model generated by the digital twin generator 134.
  • the loading information providing unit 140 generates a loading product template 1701 based on the virtual model (or digital twin model) generated by the digital twin generating unit 134, and the loading product template 1701 ), output data can be generated by marking (1702, 1703) so that loaded products that meet predetermined conditions can be identified.
  • output data can be generated by displaying loaded products that meet predetermined conditions in the loaded product template 1801 as loaded product images (1802, 1803).
  • the generated output data may be displayed through smart glasses as shown in FIGS. 17 and 18, and according to another implementation example, may be displayed through various terminal devices 20.
  • the above-mentioned example is an example of output data
  • the output data can be in any form as long as the delivery driver can know the loading location of a certain product.
  • the output data may be configured differently by using at least one of a loading image, a template, a product image, and customer information.
  • the output data may be implemented as augmented reality output data that is output by arranging loading information on a real-time captured image of the capturing unit 110 of the terminal device 20, and an example of this may be as shown in FIG. 16.
  • augmented reality techniques delivery drivers can more easily identify loaded products.
  • output data is provided to the delivery driver based on loading information on the optimal or suitable delivery product at that time. , the delivery driver's confirmation of the invoice becomes unnecessary, which reduces the effort and time required for the delivery driver to classify and identify the delivered product during the delivery process.
  • loading information on delivered products is output using Augmented Reality (AR) technology, so that the delivery driver can watch the loading while wearing smart glasses or use a smartphone camera. You can easily identify the products loaded in the loading bin by looking at the screen of your smartphone while facing the loading bin.
  • AR Augmented Reality
  • the work environment of conventional delivery drivers can be improved by increasing the work convenience of delivery drivers by providing loading information on delivered products.
  • the delivery service support method according to various embodiments of the present invention described above may be implemented as a program and provided to servers or devices. Accordingly, each device can access the server or device where the program is stored and download the program.
  • non-transitory readable medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as registers, caches, and memories.
  • the various applications or programs described above may be stored and provided on non-transitory readable media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

배송 상품 적재 정보 제공 시스템이 개시된다. 본 시스템은 배송 상품에 대한 배송 상품 영상과 배송 차량 적재함의 적재에 관한 적재 영상을 비교하여 서로 대응되는 배송 상품 영상과 적재 영상에 포함된 적재 상품 영상을 검출하고, 검출된 배송 상품 영상에 매핑된 배송 기본 정보를 검출된 적재 상품 영상에 매핑하여 적재 상품에 대한 적재 정보를 생성하는 데이터 처리부를 포함하는 배송 상품 적재 정보 제공 시스템이 개시된다.

Description

배송 상품 적재 정보 제공 시스템, 방법 및 컴퓨터 프로그램
본 발명은 배송 차량의 적재함에 적재된 배송 상품들에 대한 적재 정보를 기초로 배송 기사의 상차 및 하차를 지원하는 기술에 관한 것이다.
최근들어 인터넷 쇼핑몰, TV 홈쇼핑 등과 같은 온라인 쇼핑몰의 활성화로 물류가 급속하게 증가함에 따라, 물류의 흐름을 효율적으로 운영하기 위한 많은 노력이 이루어지고 있다.
통상적인 물류의 흐름을 단계적으로 구분하면 "픽업 단계", "집화 처리 단계", "간선상차 단계", "간선하차 단계", "배송 출고 단계", "배송 완료 단계"로 구성되고, 운송장은 일반적으로 "픽업 단계"에 부착된다.
운송장이 부착된 상품은 여러 번 컨베이어를 통해 이송되면서 작업자에 의하여 지역 별, 배송 기사 별로 분류되고, 컨베이어 이송 과정에서 바코드 인식 및 영상 촬영 등이 수행된다.
한편, 물류 회사는 배송 기사에게 배송 상품이 전달되기까지의 과정을 최적화하기 위하여 많은 노력을 기울이고 있으나, 배송 기사에게 배송 상품이 전달된 이후 배송 기사의 업무 효율을 높이기 위한 방안에 대해서는 상대적으로 관심이 적은 상황이다.
여기서, 배송 기사는 적재함이 구비된 배송 차량을 이용하여 "배송 출고" 부터 최종적으로 상품이 수취인(받는 사람)에게 전달되는 "배송 완료"까지 업무를 수행하는 사람으로, 통상적으로 배송 기사는 약 160 ~ 200 건의 배송 상품을 배송한다.
이러한 배송 기사는 물류 센터에서 배송 상품을 배송 차량의 적재함에 싣는 순간부터 고객에게 배송을 완료할 때까지 여러 번의 배송 상품 분류를 수행하고, 이와 같은 배송 상품 분류 과정에서 배송 기사는 배송 상품의 특징을 기억하거나, 또는 배송 상품의 포장에 자신이 식별할 수 있는 내용을 수기로 기록하거나 또는 운송장을 확인하는 등의 방법을 통해 각각의 배송 상품의 식별을 수행한다.
배송 기사는 고객 정보가 기재된 운송장, 배송 기사의 경험이나 기억 또는 스마트폰에서 제공하는 고객 정보를 수시로 확인하며 배송 상품의 분류 및 식별을 수행하게 되는데, 이러한 분류 및 식별의 어려움으로 인하여, 배송 기사의 배송 실수 또는 배송 누락이 발생하는 것으로 알려져 있다.
또한, 통상적으로 운송장은 배송 상품의 상부면에 부착되는데, 배송 차량의 적재함에서 배송 상품은 상하로 적재되는 것이 일반적이기에, 배송 기사가 배송 상품의 측면을 보고 해당 상품의 고객 정보를 식별하기는 어렵다. 이에 따라, 종래에 배송 기사는 배송 상품에 부착된 운송장의 고객 정보를 확인하기 위하여, 적재된 배송 상품을 들어올리고 옮기는 작업을 수시로 해야 하는 불편함이 있었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 배송 차량 적재함에서 배송 상품의 적재 상태를 촬영한 적재 영상을 분석하여 소정의 배송 상품 영상에 대응하는 적재 상품 영상을 포함하는 적재 영상을 검출하고, 배송 상품 영상에 매핑된 배송 기본 정보(예를 들어, 받는 사람의 주소/이름/연락처, 보내는 사람의 주소/이름/연락처 등)를 검출된 적재 영상에 매핑하여 배송 상품의 적재 정보를 생성하는 시스템, 방법 및 컴퓨터 프로그램을 제공함에 있다.
또한, 본 발명의 목적은 생성된 적재 정보를 기초로 배송 기사가 식별 가능한 포맷의 출력 데이터를 생성하여 배송 기사에게 제공하는 시스템, 방법 및 컴퓨터 프로그램을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 배송 상품 적재 정보 제공 시스템은, 배송 차량 적재함에서 배송 상품의 적재 상태를 촬영한 적재 영상을 분석하여 소정의 배송 상품 영상에 대응하는 적재 상품 영상을 포함하는 적재 영상을 검출하고, 상기 배송 상품 영상에 매핑된 배송 기본 정보를 상기 검출된 적재 영상에 매핑하여 상기 배송 상품의 적재 정보를 생성하는 데이터 처리부를 포함한다.
또한, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 시스템의 배송 상품 적재 정보 제공 방법은, 배송 차량 적재함에서 배송 상품의 적재 상태를 촬영한 적재 영상을 분석하여 소정의 배송 상품 영상에 대응하는 적재 상품 영상을 포함하는 적재 영상을 검출하는 단계, 및 상기 배송 상품 영상에 매핑된 배송 기본 정보를 상기 검출된 적재 영상에 매핑하여 상기 배송 상품의 적재 정보를 생성하는 단계를 포함한다.
또한, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램은 상술한 배송 상품 적재 정보 제공 방법을 실행시키는 프로그램 코드를 포함할 수 있다.
또한, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨터 판독 가능한 기록 매체는 상술한 배송 상품 적재 정보 제공 방법을 실행시키는 컴퓨터 프로그램이 저장될 수 있다.
본 발명의 다양한 실시 예에 따르면, 배송 기사의 요청이나 배송 차량의 정차와 같은 조건의 발생 시, 그 시점에 최적인 또는 적합한 상품의 정보를 배송 기사에게 안내함으로써, 배송 기사의 운송장 확인이 불필요하게 되어, 배송 과정에서 배송 기사의 배송 상품의 분류 및 식별에 소요되는 노력과 시간을 절감할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 배송 상품에 대한 적재 정보를 증강 현실(Augmented Reality : AR) 기술을 이용하여 출력함으로써, 배송 기사는 스마트 글래스를 착용한 상태로 적재함을 보면서 또는 스마트폰 카메라가 적재함을 향한 상태로 스마트폰의 화면을 보면서 적재함에 적재된 상품들을 용이하게 식별할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 촬영부를 통해 촬영된 실사 영상인 적재 영상을 기반으로 적재 상품의 위치 정보를 제공하거나 또는 사용자가 착용한 스마트 글래스 등을 통해 사용자의 눈에 보이는 실사 영상인 적재 영상을 기반으로 적재 상품의 위치 정보를 제공함으로써, 배송 기사는 적재 상품의 위치 정보를 더욱 효과적으로 파악할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 배송 상품에 대한 적재 정보의 제공을 통해 배송 기사의 업무 편의성을 높임으로써, 종래 배송 기사의 작업 환경을 개선할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 적재 정보 제공 시스템을 나타내는 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 적재 정보 제공 시스템을 나타내는 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 데이터베이스부를 보다 구체적으로 나타내는 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 데이터 처리부를 보다 구체적으로 나타내는 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 카메라가 설치된 적재함에 배송 상품들이 적재된 예시를 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 적재 영상의 예시를 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 배송 상품 영상을 나타내는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 데이터 처리부의 적재 정보 생성 과정을 나타내는 흐름도이다.
도 9은 도 8에 따른 데이터 처리부의 적재 정보 생성 과정을 보다 구체적으로 나타내는 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 적재 상품 영상 검출 과정을 나타내는 도면이다.
도 11은 본 발명의 일 실시 에에 따른 적재 위치 정보 산출을 나타내는 도면이다.
도 12는 본 발명의 일 실시 예에 따른 적재 영상의 변화 예를 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시 예에 따른 적재 정보 갱신 과정을 나타내는 흐름도이다.
도 14는 본 발명의 일 실시 예에 따른 배송 차량의 실제 적재함에 대응되는 가상 모델을 나타내는 도면이다.
도 15 내지 18은 본 발명의 일 실시 예에 따른 단말 장치에 표시되는 출력 데이터의 예시를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예에 대하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 배송 상품 적재 정보 제공 시스템을 나타내는 개념도이다. 배송 상품 적재 정보 제공 시스템(1000)은 배송 차량 적재함에 적재된 배송 상품들에 대한 배송 기사의 분류 업무를 지원하는 적재 정보를 생성하여 제공할 수 있다.
이러한 배송 상품 적재 정보 제공 시스템(1000)은 서버(10) 및 단말 장치(20)를 포함할 수 있다.
서버(10)는 배송 기사의 배송 업무를 지원하기 위한 각종 데이터의 저장, 관리 및/또는 처리를 수행할 수 있다. 구체적으로, 서버(10)는 배송 상품에 대한 배송 데이터의 저장, 관리 및/또는 처리를 수행할 수 있다. 여기서, 배송 데이터는 배송 기본 정보, 배송 상품 영상 및 배송 기사 식별 정보를 필수 정보로 포함할 수 있다. 또한, 배송 데이터는 상기 필수 정보에 추가로 배송 상품 특징 정보를 포함할 수 있다.
또한, 서버(10)는 서버에 기 저장된 데이터 및 단말 장치(20)로부터 획득된 데이터 중 적어도 하나를 기초로 서버(10)의 사용자(예 : 관제 요원)가 실시간으로 배송 상품의 단계별 처리 상황, 배송 차량의 위치, 출고 현황, 배송 완료 현황 등과 같은 배송 상황을 관제할 수 있도록 하는 기능을 제공할 수 있다.
여기서, 서버(10)는 배송 업무를 처리하는 업체 측에 구비되어 운영될 수 있다.
한편, 단말 장치(20)는 배송 업무를 수행하는 배송 기사 측에 구비, 설치 또는 보유된 단말 장치로, 배송 기사의 배송 상품 분류 업무를 지원하기 위한 각종 기능을 제공할 수 있다. 일 예로, 단말 장치(20)는 배송 차량의 적재함에 적재된 배송 상품들에 대한 배송 기본 정보(예를 들어, 받는 사람의 주소/이름/연락처, 보내는 사람의 주소/이름/연락처 등의 고객 정보)의 안내, 검색 및 수정 등을 위한 유저 인터페이스(User interface)를 표시할 수 있다.
또한, 단말 장치(20)는 배송 기사의 배송 업무 지원을 위한 각종 데이터를 수신하고, 수신된 데이터를 이용하여 배송 기사의 위치, 시간, 업무 환경 등 다양한 조건에 따라 배송 기사의 업무를 지원하는 다양한 정보를 출력할 수 있다.
여기서, 단말 장치(20)는 배송 기사가 운행하는 차량에 설치된 차량용 단말(20-1), 배송 기사가 휴대 가능한 스마트폰(20-2), 배송 기사의 신체에 착용 가능한 스마트 워치(20-3), 스마트 글래스(20-4) 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니고, 단말 장치(20)는 태블릿 컴퓨터, 노트북 컴퓨터, 바디 캠 등과 같이, 배송 기사가 휴대 가능한 다양한 타입의 단말로 구현될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 배송 상품 적재 정보 제공 시스템을 나타내는 블록도이다. 도 3은 본 발명의 일 실시 예에 따른 데이터베이스부의 구현 예시를 나타내는 블록도이다. 도 4는 본 발명의 일 실시 예에 따른 데이터 처리부의 구현 예시를 나타내는 블록도이다.
도 2 내지 4를 참조하면, 배송 상품 적재 정보 제공 시스템(1000)은 촬영부(110), 데이터베이스부(120), 데이터 처리부(130) 및 적재 정보 제공부(140)의 전부 또는 일부를 포함할 수 있다.
촬영부(110)는 배송 차량의 적재함에 적재된 배송 상품들을 촬영하여 적재 영상을 생성할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 카메라가 설치된 적재함에 배송 상품들이 적재된 예시를 나타내는 도면으로, 도 5(b)를 참조하면, 촬영부(110)는 배송 차량의 적재함 내부의 상부에 설치되어 적재함 내부에 적재된 배송 상품들을 촬영하는 카메라(111,112,113)로 구현될 수 있다. 다만, 도 5(b)의 카메라(111,112,113)의 설치 위치는 일 예시일 뿐, 촬영부(110)는 배송 차량 적재함 내부의 상부 중앙, 좌측면, 우측면 또는 적재함 도어의 내측에 설치된 카메라로 구현될 수 있다.
한편, 통상적으로 배송 기사들은 배송 순서에 따라 가장 먼저 배송하는 배송 상품들은 적재함의 도어(door)에 가장 가까운 앞 열에 적재하고, 후순위 배송 상품일수록 적재함의 도어에서 멀어지는 열에 적재를 수행한다.
본 명세서는 적재함 도어에 수직인 방향인 "열 방향"또는 "X 축 방향"으로 정의하고, 적재함 도어에 수평인 방향을 "행 방향"또는 "Y 축 방향"으로 정의하며, 중력 반대 방향을 "높이 방향(또는 단 방향)"또는 "Z 축 방향"으로 정의하기로 한다.
또한, 본 명세서에서는 적재함 도어로부터 가장 멀리 위치한 열의 번호를 "1열"또는 "X축 값 1"로 정의하고, "1열"을 기준으로 적재함 도어에 가까워질수록 열 번호가 증가 또는 X 축 값이 커지는 것으로 정의하기로 한다.
한편, 본 발명의 다른 실시 예에 따르면, 촬영부(110)는 배송 기사가 구비한 단말 장치(20)에 구비된 카메라로 구현될 수도 있다. 일 예로, 촬영부(110)는 배송 기사의 신체에 착용되는 바디 캠 또는 스마트 글래스에 구비된 카메라로 구현될 수 있다. 이 경우, 배송 기사는 바디캠이 착용된 신체의 방향이나 또는 스마트 글래스가 착용된 얼굴의 방향을 배송 차량의 적재함에 적재된 배송 상품들을 향하도록 한 후 카메라로 촬영을 수행할 수 있다. 다른 예로, 촬영부(110)는 배송 기사의 스마트폰에 구비된 카메라로 구현될 수 있고, 배송 기사가 스마트폰으로 적재된 상품을 카메라로 촬영할 수 있다.
여기서, 적재 영상은 배송 기사가 물류 센터에서 배송 상품을 배송 차량의 적재함에 싣는 순간부터 고객에게 배송을 완료할 때까지의 배송 과정에서 촬영부(110)의 촬영에 따라 생성될 수 있다.
본 발명에 따른 적재 영상의 일 예시는 도 6과 같을 수 있다.
도 6은 본 발명의 일 실시 예에 따른 적재 영상의 예시를 나타내는 도면이다. 도 6(a)와 같이, 적재 영상은 적재함에서 배송 상품의 적재 상태를 나타내는 영상일 수 있다.
또한, 배송 차량의 적재함 내부에는 배송 상품의 적재 위치를 구분하기 위한 표식(X1,X2,X3)이 부설될 수 있고, 이 경우, 도 6(b)와 같이, 적재 영상은 배송 상품의 적재 상태와 적재함의 표식(X1,X2,X3)을 더 포함하는 영상일 수 있다.
여기서, 표식(X1,X2,X3)은 적재함 내부에 적재된 배송 상품의 적재 위치를 용이하게 식별하는데 이용될 수 있다. 다만, 표식이 없는 경우에도, 후술할 데이터 처리부(130)는 영상 분석을 통해 적재 영상에서 배송 상품들 각각에 대한 적재 위치를 자동으로 생성할 수 있다.
한편, 데이터 처리부(130)는 촬영부(110)의 촬영에 따라 생성된 복수의 적재 영상들 중 소정 조건에 부합하는 적재 영상을 획득하고, 획득된 영상을 적재 영상 데이터베이스부(122)에 저장할 수 있다.
일 예로, 소정 조건에 부합하는 적재 영상은, 소정의 적재 단위를 기준으로 적재 상태가 변경되는 시점, 예컨대 적재가 완료된 상태의 영상일 수 있다. 여기서, 적재가 완료된 상태는 배송 차량 적재함에 배송상품 상차 시 적재 완료로 판단될 수 있는 상태를 의미한다. 일 예로, 배송 기사가 제1 열에 상품을 적재한 이후 다음 열인 제2 열에 상품을 적재하여 제1 열의 상품이 가려지는 경우, 제2 열에 상품이 적재되기 이전의 제1 열은 열 단위 적재가 완료된 상태일 수 있다. 다른 예로, 배송 기사가 제2 열에 상품을 적재한 이후 다시 제1 열에 상품을 적재한 후 제1 열의 적재를 완료한 경우, 제1 열은 열 단위 적재가 완료된 상태일 수 있다.
다른 예로, 소정 조건에 부합하는 적재 영상은, 후술할 도 12 내지 13과 같이, 배송 상품의 적재 위치 변경, 특정 위치에 쌓여진 배송 상품의 이동 중 충격으로 인한 위치 이탈 등으로 인하여 적재 영상의 변경(갱신) 발생 시, 변경 완료된 상태의 적재 영상일 수 있다.
즉, 적재 영상은 배송 기사의 적재 상품 재배치, 상품 하차, 상품 상차 등에 따라 변경될 수 있고, 후술할 데이터 처리부(130)는 영상 분석을 통하여 상술한 적재 완료 상태를 판단할 수 있다.
또 다른 예로, 소정 조건에 부합하는 영상은, 배송 기사가 요청한 적재 영상일 수 있다.
또 다른 예로, 소정 조건에 부합하는 영상은, 배송 차량의 정차 예상 위치에 정차 시, 촬영된 적재 영상일 수 있다.
또 다른 예로, 소정 조건에 부합하는 영상은, 배송 차량의 정차 예상 위치에 정차 후 이동 시, 촬영된 적재 영상일 수 있다.
또 다른 예로, 소정 조건에 부합하는 영상은, 배송 차량의 적재함 도어 열림 시, 촬영된 적재 영상일 수 있다.
또 다른 예로, 소정 조건에 부합하는 영상은, 배송 차량의 적재함 도어 닫힘 시, 촬영된 적재 영상일 수 있다.
한편, 촬영부(110)에서 촬영된 영상은 적재 영상 데이터베이스부(122)에 전송될 수 있고, 적재 영상 데이터베이스부(122)는 수신된 적재 영상을 이용하여 데이터베이스를 지속적으로 업데이트할 수 있다.
또한, 상술한 예시에서는, 열 단위로 설명했으나, 이에 한정되는 것은 아니고, 열 단위는 행 단위 및/또는 단 단위로 대체될 수 있다.
데이터베이스부(120)는 배송 상품 데이터베이스부(121), 적재 영상 데이터베이스부(122) 및 적재 정보 데이터베이스부(123)의 전부 또는 일부를 포함할 수 있다.
여기서, 배송 상품 데이터베이스부(121), 적재 영상 데이터베이스부(122) 및 적재 정보 데이터베이스부(123)의 전부 또는 일부는 서버(10)의 일 모듈로 구현되거나 또는 단말 장치(20)의 일 모듈로 구성될 수 있다. 일 예로, 단말 장치(20)의 일 모듈로 구현되는 경우, 데이터베이스부(120)는 단말 장치(20)의 메모리 기능을 수행하는 저장 모듈로 구현될 수 있다.
한편, 본 발명의 다른 구현 예에 따르면, 데이터베이스부(120)는 서버(10) 또는 단말 장치(20)에 포함되지 않도록 구현될 수도 있다. 이 경우, 데이터베이스부(120)는 상술한 다양한 데이터를 관리하는 업체에서 관리할 수 있고, 서버(10)는 마스터 데이터베이스 기능을 수행하는 데이터베이스부(120)에 접속하고, 데이터베이스부(120) 로부터 각종 데이터를 다운로드하여 이용하도록 구현될 수도 있다.
배송 상품 데이터베이스부(121)는 복수의 배송 상품 각각에 대하여 배송 데이터를 저장할 수 있다. 여기서, 배송 데이터는 배송 기본 정보, 배송 상품 영상 및 배송 기사 식별 정보가 매핑된 데이터일 수 있다. 또한, 배송 데이터는 배송 상품 특징 정보가 더 매핑된 데이터일 수 있다.
여기서, 배송 기본 정보는 받는 사람의 주소/이름/연락처, 보내는 사람의 주소/이름/연락처, 배송 상품 식별 정보를 포함할 수 있다. 받는 사람의 주소는 배송 목적지 또는 배송 주소로 칭해질 수도 있고, 본 명세서에서는 "배송 주소"로 통칭하기로 한다. 그리고, 배송 상품 식별 정보는 상품 ID, 상품 코드 등 동일 상품임을 알 수 있는 식별 정보일 수 있다.
또한, 배송 기사 식별 정보는 배송 기사의 ID/휴대전화번호/주민등록번호, 배송 차량의 ID/차량번호 등과 같이, 해당 배송 상품의 배송 기사를 특정할 수 있는 식별 정보일 수 있다.
또한, 배송 상품 영상은 배송 상품에 대하여 서로 다른 촬영 방향에서 촬영된 영상을 복수 개 포함할 수 있다. 통상적으로 배송 상품은 배송 상자에 포장되어 배송되기에, 본 발명에 따른 배송 상품 영상은 배송 상자를 촬영한 영상일 수 있다. 이러한 배송 상품 영상에 대해서는 도 7을 참조하여 보다 구체적으로 설명하기로 한다.
도 7은 본 발명의 일 실시 예에 따른 배송 상품 영상을 나타내는 도면이다. 도 7을 참조하면, 배송 상품을 구성하는 상부면, 하부면 및 네 개의 측면 각각의 면에 수직인 6개의 촬영 방향에서 배송 상품이 촬영될 수 있고, 이 경우, 배송 상품 영상은, 도 7(a)와 같이, 상부면 영상, 하부면 영상 및 네 개의 측면 영상을 포함할 수 있다. 즉, 배송 상품 영상은 각각의 면에 대응되는 영상을 복수 개 포함하여 구성될 수 있다.
다른 예로, 배송 상품에 대하여 적어도 두 개 이상의 면이 포함되는 촬영 방향에서 배송 상품이 촬영될 수 있고, 이 경우, 배송 상품 영상은 도 7(b)와 같이 적어도 두 개 이상의 면을 포함하는 영상을 복수 개 포함하여 구성될 수 있다.
통상적으로 적재함에서 배송 상품들은 상하로 적재되므로 상품의 측면이 적재 영상에 포함되는 것이 일반적이기에, 영상 분석을 통해 적재 영상으로부터 적재 상품 영상의 검출이 가능하도록, 본 발명의 바람직한 실시 예에 따른 배송 상품 영상은 적어도 두 개의 측면 영상을 포함하도록 구현될 수 있다.
또한, 배송 상품 특징 정보는 배송 상품의 상자에 표시된 그림, 문자 및 기호 중 적어도 하나를 포함할 수 있다. 구체적으로, 데이터 처리부(130)는 배송 상품 영상에서 그림, 문자 및 기호 중 적어도 하나를 포함하는 배송 상품 특징을 검출하고, 검출 결과를 기초로 배송 상품 특징 정보를 생성할 수 있다.
여기서, 배송 상품 특징 정보는 배송 상품의 특징을 텍스트화 한 텍스트 포맷 또는 배송 상품 특징을 영상화 한 영상 포맷 중 적어도 하나를 포함할 수 있다. 일 예로, 영상 포맷은 배송 상품 특징을 확대 또는 강조한 영상일 수 있다.
적재 영상 데이터베이스부(122)는 촬영부(110)에서 촬영에 따라 생성된 적재 영상을 분류하여 저장할 수 있다. 일 예로, 적재 영상 데이터베이스부(122)는 적재 영상에 배송 기사 식별 정보 및 적재 단위 정보를 매핑하여 저장할 수 있다. 여기서, 적재 영상은 정지 영상으로 저장될 수 있다.
적재 영상은 적재함에서 배송 상품의 적재 상태를 나타내는 영상 또는 적재 상태에 표식을 더 포함하는 영상일 수 있다.
또한, 적재 영상은 촬영부(110)의 촬영에 따라 생성된 복수의 적재 영상들 중 소정 조건에 부합하는 적재 영상일 수 있다.
그리고, 적재 단위 정보는 적재 단위의 종류를 식별시키는 적재 단위 식별 정보 및 적재 단위의 위치를 식별시키는 적재 단위 위치 정보를 포함할 수 있다. 적재 단위 식별 정보는 열 단위, 행 단위 및 단 단위 중 적어도 하나를 포함할 수 있다. 그리고, 적재 단위 위치 정보는 "1열", "1행", "1단" 과 같이 열 단위, 행 단위 및 단 단위 각각에서의 적재 위치 정보를 포함할 수 있다.
또한, 상술한 예시에서는, 열 단위로 설명했으나, 이에 한정되는 것은 아니고, 열 단위는 행 단위 및/또는 단 단위로 대체될 수 있다.
한편, 적재 정보 데이터베이스부(123)는 후술할 데이터 처리부(130)의 데이터 처리에 따라 생성된 적재 정보를 저장할 수 있다. 여기서, 적재 정보는 적재 영상 및 적재 영상에 포함된 복수의 배송 상품들 각각에 대한 배송 기본 정보 및 적재 위치 정보를 포함할 수 있다.
이러한 적재 정보 데이터베이스부(123)는 배송 기사 별로 적재 정보를 데이터화하여 구축할 수 있다.
한편, 데이터 처리부(130)는 적재 영상 데이터베이스부(122)에 저장된 적재 영상을 분석하여 배송 상품 데이터베이스부(121)에 저장된 소정의 배송 상품 영상에 대응하는 적재 상품 영상을 포함하는 적재 영상을 검출하고, 검출된 배송 상품 영상에 매핑된 배송 기본 정보를 검출된 적재 영상에 매핑하여 배송 상품의 적재 정보를 생성할 수 있다.
여기서, 데이터 처리부(130)에서 생성된 적재 정보는 복수의 배송 상품들 각각에 대한 적재 위치 정보를 더 포함할 수 있다.
한편, 데이터 처리부(130)는 적재 영상에 포함된 적재함에 적재된 복수의 배송 상품들의 영상 및 관련 정보와 배송 상품 데이터베이스부(121)에 저장된 배송 상품 영상 및 관련 정보를 서로 연동시켜 저장하도록 배송 상품 데이터베이스부(121) 및 적재 정보 데이터베이스부(123)를 제어할 수 있다.
여기서, 데이터 처리부(130)는 적재 영상 획득부(131), 배송 데이터 획득부(132), 적재 정보 생성부(133) 및 디지털 트윈 생성부(134)의 전부 또는 일부를 포함할 수 있다.
이러한 적재 영상 획득부(131), 배송 데이터 획득부(132), 적재 정보 생성부(133) 및 디지털 트윈 생성부(134)의 전부 또는 일부는 서버(10)의 일 모듈로 구현되거나 또는 단말 장치(20)의 일 모듈로 구성될 수 있다.
이러한 데이터 처리부(130)의 데이터 처리 과정에 대해서는 도 8을 참조하여 보다 구체적으로 설명하기로 한다.
도 8은 본 발명의 일 실시 예에 따른 데이터 처리부(130)의 적재 정보 생성 과정을 나타내는 흐름도이다. 도 8을 참조하면, 적재 영상 획득부(131)는 배송 기사 식별 정보를 이용하여 해당 배송 기사에 할당된 배송 차량 적재함의 적재 상태에 관한 적재 영상을 적재 영상 데이터베이스부(122)로부터 획득할 수 있다(S110).
이 경우, 적재 영상 획득부(131)는 촬영부(110)에서 촬영된 적재 영상으로부터 배송 상품이 적재되는 과정의 모든 영상을 획득하거나, 각각의 배송 상품이 적재될 때마다 적재 영상을 획득하거나 또는 소정 단위의 적재가 완료되는 시점에 영상을 획득할 수 있다.
한편, 배송 데이터 획득부(132)는 배송 기사의 식별 정보를 이용하여 배송 상품 데이터베이스부(121)에 저장된 배송 데이터 중 배송 기사에게 할당된 배송 상품에 대한 배송 상품 영상을 배송 상품 데이터베이스부(121)로부터 획득할 수 있다(S120).
그리고, 적재 정보 생성부(133)는 적재 영상을 분석하여 소정의 배송 상품 영상에 대응하는 적재 상품 영상을 포함하는 적재 영상을 검출하고, 검출된 배송 상품 영상에 매핑된 배송 기본 정보를 검출된 적재 영상에 매핑하여 배송 상품의의 적재 정보를 생성할 수 있다(S130). 이러한 적재 정보 생성 과정에 대해서는 도 9 내지 10을 참조하여 보다 구체적으로 설명하기로 한다.
즉, 배송 차량의 적재함에 상품이 어떤 방향(예를 들어, 적재함의 도어 방향을 향하는 상품의 적재 방향)으로 적재될지 알 수 없기에, 적재 정보 생성부(133)는 적재 영상과 배송 상품 영상을 비교하여 적재 상품을 식별하고, 적재 영상에서 적재 상품 영상의 다양한 형태의 변형을 고려하여 비교하며, 적재 상품에 대응되는 고객 정보를 매핑하는 기능을 수행할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 적재 정보 생성 과정을 보다 구체적으로 나타내는 흐름도이다.
도 9를 참조하면, 적재 정보 생성부(133)는 적재 영상으로부터 적재 상품 영상을 검출할 수 있다(S131). 일 예로, 적재 정보 생성부(132)는 에지 검출 알고리즘을 이용하여 적재 영상에 포함된 복수의 적재 상품들 각각의 에지를 검출하여 적재 상품들 각각의 경계를 식별하고, 식별된 경계를 기초로 적재 상품 영상을 검출할 수 있다. 다른 예로, 적재 정보 생성부(133)는 적재 영상으로부터 적재 상품들 각각을 검출하도록 학습된 인공 신경망을 이용하도록 구현될 수도 있다. 이 경우, 인공 신경망은 적재 영상을 입력받고, 적재 영상으로부터 복수의 적재 상품들 각각을 바운딩 박스(bounding box)로 식별한 식별 데이터를 출력할 수 있다. 이 경우, 적재 정보 생성부(133)는 식별된 각각의 적재 상품들에 대응되는 적재 상품 영상을 검출할 수 있다. 이러한 적재 상품 영상 검출 과정에 대해서는 도 10을 참조하여 설명하기로 한다.
도 10은 본 발명의 일 실시 예에 따른 적재 상품 영상 검출 과정을 나타내는 도면이다. 도 10(a)는 적재 영상 데이터베이스부(122)에 저장된 적재 영상이다. 도 10(b)를 참조하면, 적재 정보 생성부(133)는 적재 영상으로부터 적재 상품(1001, 1002)을 식별할 수 있고, 식별 결과에 따라 도 10(c)와 같은 적재 상품 영상(1011,1012)을 검출할 수 있다.
한편, 적재 정보 생성부(133)는 배송 상품 데이터베이스부(121)로부터 획득된 배송 상품 영상과 적재 영상으로부터 검출된 적재 상품 영상을 비교할 수 있다(S132). 여기서, 배송 상품 데이터베이스부(121)로부터 획득된 배송 상품 영상은 도 7과 같이 배송 상품에 대하여 서로 다른 촬영 방향에서 촬영된 영상을 복수 개 포함할 수 있다.
통상적으로 적재함에서 배송 상품들은 상하로 적재되기 때문에 상품의 측면이 적재 영상에 포함되는 것이 일반적이다. 이에 따라, 본 발명의 일 실시 예에 따른 배송 상품 데이터베이스부(121)로부터 획득된 배송 상품 영상은 도 7과 같이 다양한 촬영 방향에서 촬영된 배송 상품에 대한 영상을 포함할 수 있고, 적재 정보 생성부(133)는 적재 영상에서 검출된 적재 상품 영상과 상기 배송 상품 영상을 비교하여 대응되는 영상을 검출할 수 있다.
또한, 본 발명에 따르면, 배송 기사의 식별 정보를 이용하여 배송 상품 데이터베이스부(121)에 저장된 배송 데이터 중 배송 기사에게 할당된 배송 상품에 대한 배송 상품 영상만을 비교 대상으로 이용할 수 있다. 즉, 물류 센터에서 처리하는 수 만개의 상품이 대상이 아니라 지역 터미널(보다 정확하게는 소정 배송기사의 담당지역 또는 담당물량)을 기준으로 영상 간의 대응 여부를 비교함으로써, 데이터 분석 및 처리의 효율성을 높일 수 있다.
또한, 적재 정보 생성부(133)의 영상 비교 분석 알고리즘은 영상의 검출 성능을 높이기 위하여, 대량의 데이터를 이용하여 학습될 수 있다.
한편, 적재 정보 생성부(133)는 적재 상품 영상과 대응되는 배송 상품 영상이 검출되면(S133:Y), 배송 상품 영상에 매핑된 배송 기본 정보를 배송 상품 데이터베이스부(121)로부터 검출하고(S134), 검출된 배송 기본 정보를 적재 영상에 매핑하여 배송 상품의 적재 정보를 생성하고, 생성된 적재 정보를 적재 정보 데이터베이스부(123)에 저장할 수 있다(S135).
다만, 적재 상품 영상에 대응되는 배송 상품 영상이 검출되지 않으면(S133:N), 적재 정보 생성부(133)는 대응되는 배송 상품이 검출되지 않았음을 나타내는 식별자를 적재 영상에 매핑하여 적재 정보 데이터베이스부(123)에 저장할 수 있다(S136).
한편, 적재 정보 생성부(133)는 적재함에 적재된 상품의 적재 위치 정보를 생성할 수 있다. 여기서, 적재 위치 정보는 3차원 공간을 형성하는 적재함 내부에서 적재 상품의 열, 행 및 높이를 나타내는 위치 정보일 수 있다.
일 예로, 적재 정보 생성부(133)는 도 6(b)와 같은 적재함 내부에 부설된 표식을 이용하여 적재함에 적재된 상품의 적재 위치 정보를 생성할 수 있다. 예를 들어, "X1 표식"은 "1열", "X2 표식"은 "2열" 등과 같이, 표식에는 위치 정보가 할당될 수 있고, 적재 정보 생성부(133)는 적재 영상으로부터 적재함 내부에 부설된 표식을 검출하고, 검출된 표식에 부여된 위치 정보를 검출하여 적재 상품들의 적재 위치 정보를 생성할 수 있다.
다른 예로, 적재 정보 생성부(133)는 적재 영상에서 검출된 각각의 적재 상품 영상의 위치 관계를 분석하여 적재 상품 위치 정보를 생성할 수 있다. 예를 들어, 적재 정보 생성부(133)는 열 단위 적재 영상에서 검출된 적재 상품 영상들의 좌/우측 위치 관계를 기초로 행 방향 위치 정보를 산출하고, 상/하측 위치 관계를 기초로 높이 방향 위치 정보를 산출할 수 있다.
도 11은 본 발명의 일 실시 에에 따른 적재 위치 정보 산출을 나타내는 도면으로, 적재 정보 생성부(133)는 적재 영상을 분석하여 3차원 공간을 형성하는 적재함 내부에서 적재 상품의 열, 행 및 높이를 나타내는 위치 정보로 "1열 3행 3단"과 같은 적재 위치 정보를 생성할 수 있다.
한편, 적재 정보 생성부(133)는 생성된 적재 위치 정보를 적재 영상에 매핑하여 배송 상품의 적재 정보를 생성하고, 생성된 적재 정보를 적재 정보 데이터베이스부(123)에 저장할 수 있다.
이와 같이, 적재 정보 생성부(133)는 적재함에 적재된 배송 상품에 대한 고객 정보와 같은 배송 기본 정보 및 적재함에 적재된 배송 상품에 대한 적재 위치 정보를 포함하는 적재 정보를 생성할 수 있다.
즉, 적재 정보는 적재 영상, 배송 상품의 배송 기본 정보 및 적재 위치 정보가 매핑되어 구성될 수 있다.
한편, 상술한 적재함의 적재 상황은 소정 조건에 따라 지속적으로 변화할 수 있다. 도 12는 배송 기사가 배송 상품을 배송 차량에 적재한 후 배송하는 시간의 순서(a, b, c 순서)에 따라 적재함의 적재 영상이 달라지는 것을 예시한 것이다.
도 12(a)는 모든 배송 상품을 적재한 후 배송을 시작할 때의 적재 영상이고, 배송 출고가 진행됨에 따라 도 12(b) 및 도 12(c)와 같이 적재 영상이 달라지는 것을 확인할 수 있다. 예를 들어, 적재 영상은 물류 센터, 간선 하차단계에서 소정 배송기사가 차량에 배송 상품을 적재하는 단계(출고 단계)에서 획득하는 것이 가능하다. 다만, 배송 차량이 이동하여 배송을 시작하면, 출고 단계의 적재 영상은 배송 기사의 상품 분류 과정에서 상품의 위치 변경 등으로 적재 영상이 달라지는 부분이 발생할 수 있다.
이에 따라, 본 발명에 따른 적재 정보 생성부(133)는 소정 조건 발생 시 적재 정보의 갱신 과정을 수행할 수 있다. 이에 대해서는 도 13을 참조하여 보다 구체적으로 설명하기로 한다.
도 13은 본 발명의 일 실시 예에 따른 적재 정보 갱신 과정을 나타내는 흐름도이다. 도 13을 참조하면, 적재 정보 생성부(133)는 적재 정보 갱신 조건의 발생 여부를 판단할 수 있다(S210). 여기서, 적재 정보 갱신 조건은 배송 차량 적재함에서 적재 상품의 위치 변경 등과 같은 적재 상태 변경, 배송 기사의 요청, 배송 차량의 정차 예상 위치에 정차, 배송 차량의 적재함 도어 열림, 배송 차량의 적재함 도어 닫힘 및 배송 차량의 정차 예상 위치에 정차 후 이동 중 적어도 하나를 포함할 수 있다.
이 경우, 적재 정보 생성부(133)는 적재 영상 데이터베이스부(122)에 기 저장된 적재 영상과 상기 조건 발생 시의 적재 영상을 비교하여 적재 상태 변경 여부를 판단할 수 있다(S220). 일 예로, 적재 정보 생성부(133)는 열 단위로 저장된 복수의 적재 영상과 상기 조건 발생 시의 적재 영상을 비교하여 적재 상태 변경 여부를 판단할 수 있다.
그리고, 적재 정보 생성부(133)는 적재 상태 변경 여부의 판단 결과에 따라 적재 정보의 갱신을 수행할 수 있다(S230). 구체적으로, 적재 상태가 변경된 경우, 적재 정보 생성부(133)는 상술한 도 8 내지 9의 과정을 기초로 적재 정보를 생성하고, 생성된 적재 정보를 기초로 적재 정보 데이터베이스부(123)를 업데이트할 수 있다. 다만, 적재 상태가 변경되지 않은 경우, 적재 정보 생성부(133)는 업데이트 절차 없이 기존 적재 정보를 그대로 유지할 수 있다.
한편, 도 13에서는 S220 단계를 통해 소정 조건 발생 시 적재 상태 변경 여부를 판단하는 것을 예로 설명하였으나, 본 발명의 다른 구현 예에 따르면, S220 단계의 영상 분석 과정 없이, 적재 정보 갱신 조건이 발생하면 발생 시점의 적재 영상을 기초로 적재 정보를 무조건 갱신하도록 구현될 수도 있다.
한편, 디지털 트윈 생성부(134)는 데이터베이스부(120)에 저장된 각종 데이터를 기초로 배송 차량의 적재함과 일치하는 가상 현실을 디지털로 표현하는 디지털 트윈을 생성할 수 있다. 보다 구체적으로, 디지털 트윈 생성부(134)는 배송 차량의 적재함을 나타내는 가상 적재함 모델과 적재함 내부에 적재된 상품을 각각 나타내는 가상 상품 모델을 생성하고, 생성된 가상 적재함 모델과 가상 상품 모델을 이용하여 배송 차량의 실제 적재함에 대응되는 디지털 트윈 모델을 생성할 수 있다.
디지털 트윈 생성부(134)는 배송 차량의 적재함과 디지털 트윈 모델을 실시간 연동시킬 수 있다.
여기서, 생성된 가상 모델은 2D(2-Dimensional) 모델 또는 3D(3-Dimensional) 또는 2D 와 3D가 결합된 모델일 수 있다.
도 14는 본 발명의 일 실시 예에 따른 배송 차량의 실제 적재함에 대응되는 가상 모델을 나타내는 도면으로, 디지털 트윈 생성부(134)는 실제 적재함에 대응되는 3D 형상의 가상 적재함 모델(1401), 실제 적재함의 내부에 적재된 상품에 대응되는 2D 형상의 가상 상품 모델(1402)를 포함하는 가상 모델을 생성할 수 있다.
또한, 디지털 트윈 생성부(134)는 적재 위치를 용이하게 식별 가능하도록, 가상 모델에 표식(X1,X2,X3)을 추가할 수도 있다.
도 2로 돌아와서, 적재 정보 제공부(140)는 적재 정보 생성부(133)에서 생성된 적재 정보, 배송 차량의 정차 위치 정보 및 배송 기사의 요청 중 적어도 하나를 기초로 배송 기사가 시각 및 청각 중 적어도 하나에 의하여 식별 가능한 형태의 출력 데이터를 생성할 수 있다.
특히, 적재 정보 제공부(140)는 실사 영상인 적재 영상에 시각을 통해 식별 가능한 출력 데이터를 생성할 수 있다.
여기서, 적재 정보 제공부(140)에서 생성되는 출력 데이터는 배송 차량의 정차 위치에서 배송 차량의 적재함으로부터 하차해야 하는 상품 정보를 단말 장치(20)에서 출력하기 위한 데이터일 수 있다. 구체적으로, 적재 정보 제공부(140)는 데이터베이스부(121,122,123)와의 연동을 통해 배송 차량의 정차 위치 정보와 적재 영상에 할당된 적재 정보의 배송 기본 정보에 포함된 배송 목적지 정보를 비교하여 해당 정차 위치에서 적재함에서 하차해야 할 배송 상품을 포함하는 적재 영상을 검출하고, 검출된 적재 영상으로부터 적재 위치 정보 및 배송 상품 영상 중 적어도 하나를 검출하고, 검출된 정보를 이용하여 적재 영상에 배송 차량의 적재함으로부터 하차해야 하는 상품의 식별을 가능하게 하는 출력 데이터를 생성할 수 있다.
또한, 적재 정보 제공부(140)에서 생성되는 출력 데이터는 받는 사람의 주소/이름/연락처와 같은 받는 사람 정보, 보내는 사람의 주소/이름/연락처 등과 같은 보내는 사람의 정보를 포함하는 고객 정보와 일치하는 적재 상품을 적재 영상에서 식별 가능하게 하는 출력 데이터일 수 있다. 구체적으로, 적재 정보 제공부(140)는 고객 정보에 일치하는 적재 상품의 적재 위치 정보 및 적재 상품 영상 중 적어도 하나를 검출하고, 검출된 정보를 이용하여 적재 영상으로부터 적재 상품을 적재 영상에서 식별 가능하게 하는 출력 데이터를 생성할 수 있다.
이러한 적재 정보 제공부(140)는 서버(10)의 일 모듈로 구현되거나 또는 단말 장치(20)의 일 모듈로 구성될 수 있다.
적재 정보 제공부(140)가 단말 장치(20)의 일 모듈로 구현되는 경우, 적재 정보 제공부(140)는 시각 데이터를 생성하고 표시하는 디스플레이부 및 청각 데이터를 생성하고 출력하는 스피커부로 구현될 수 있다.
또한, 적재 정보 제공부(140)가 서버(10)의 일 모듈로 구현되는 경우, 적재 정보 제공부(140)는 단말 장치(20)에서 출력될 데이터를 생성하는 기능을 수행할 수 있고, 서버(10)의 적재 정보 제공부(140)에서 생성된 출력 데이터는 단말 장치(20)에 전송되어 단말 장치(20)에서 출력될 수 있다.
여기서, 출력 데이터를 출력하는 단말 장치(20)는, 일 예로, 배송 기사가 휴대 또는 착용하는 단말기, 차량의 일측에 부착된 디스플레이 단말, 배송기사가 착용하는 스마트 글래스 등일 수 있다.
이러한 출력 데이터에 대해서는 도 15 내지 18을 참조하여 구체적으로 설명하기로 한다.
도 15 내지 18은 본 발명의 일 실시 예에 따른 단말 장치(20)에 표시되는 출력 데이터의 예시를 나타내는 도면이다. 도 15 내지 18을 참조하면, 단말 장치(20)는 소정 조건에 부합하는 적재 상품을 배송 기사의 식별을 용이하게 하는 가능하게 하는 출력 데이터를 생성할 수 있다. 여기서, 소정 조건은 배송 기사의 요청에 부합하는 적재 상품 및 정차 위치에서 하차해야 하는 적재 상품 중 적어도 하나를 포함할 수 있다.
도 15를 참조하면, 적재 정보 제공부(140)는 적재 영상에서 소정 조건에 부합하는 적재 상품을 식별 가능하게 하는 식별자(1501)와 적재 상품에 대한 배송 기본 정보(예를 들어, 받는 사람의 이름, 간략 배송 주소) 및 식별자 색상 정보(1502) 중 적어도 하나를 화면(screen)을 통해 출력하기 위한 출력 데이터를 생성할 수 있다. 이 경우, 배송 차량의 적재함 도어에 부착된 단말 장치(20)는 화면을 통해 적재 정보 제공부(140)에서 생성된 출력 데이터를 표시할 수 있다.
또한, 도 16을 참조하면, 적재 정보 제공부(140)는 적재 영상에서 소정 조건에 부합하는 적재 상품을 식별 가능하게 하는 식별자(1601)와 적재 상품에 대한 배송 기본 정보(예를 들어, 받는 사람의 이름, 간략 배송 주소) 및 식별자 색상 정보 중 적어도 하나를 글래스(glass)를 통해 출력하기 위한 출력 데이터를 생성할 수 있다. 이 경우, 스마트 글래스는 착용자가 바라보는 시야 상에 출력되는 적재 정보 제공부(140)에서 생성된 출력 데이터를 표시할 수 있다.
또한, 적재 정보 제공부(140)는 디지털 트윈 생성부(134)에서 생성된 가상 모델을 이용하여 출력 데이터를 생성할 수 있다.
도 17을 참조하면, 적재 정보 제공부(140)는 디지털 트윈 생성부(134)에서 생성된 가상 모델(또는 디지털 트윈 모델)을 기초로 적재 상품 템플릿(1701)을 생성하고, 적재 상품 템플릿(1701)에 소정 조건에 부합하는 적재 상품을 식별 가능하게 마킹(1702,1703)한 출력 데이터를 생성할 수 있다.
또는, 도 18과 같이, 적재 상품 템플릿(1801)에 소정 조건에 부합하는 적재 상품을 적재 상품 영상으로 표시(1802,1803)한 출력 데이터를 생성할 수 있다.
생성된 출력 데이터는 도 17 내지 도 18과 같이 스마트 글래스를 통해 표시될 수 있고, 다른 구현 예에 따르면, 다양한 단말 장치(20)를 통해 표시될 수 있다.
한편, 상술한 예시는 출력 데이터의 일 예시이고, 출력 데이터의 형태는 배송 기사가 소정 상품의 적재 위치를 알 수 있는 것이면 어느 형태로도 가능할 수 있다. 일 예로, 적재 영상, 템플릿, 상품 영상 및 고객정보 중 적어도 하나를 혼용하여 출력 데이터의 형태를 다르게 구성할 수 있다.
또한, 출력 데이터는 단말 장치(20)의 촬영부(110)의 실시간 촬영 영상에 적재 정보를 배치하여 출력하는 증강현실 출력 데이터로 구현될 수도 있고, 그 일 예시는 도 16과 같을 수 있다. 이러한 증강현실 기법을 이용함으로써, 배송 기사는 더 용이하게 적재 상품을 식별할 수 있다.
이러한 본 발명의 다양한 실시 예에 따르면, 배송 기사의 요청이나 배송 차량의 정차와 같은 조건의 발생 시, 그 시점에 최적인 또는 적합한 배송 상품에 대한 적재 정보를 기초로 출력 데이터를 배송 기사에게 제공함으로써, 배송 기사의 운송장 확인이 불필요하게 되어, 배송 과정에서 배송 기사의 배송 상품의 분류 및 식별에 소요되는 노력과 시간을 절감할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 배송 상품에 대한 적재 정보를 증강 현실(Augmented Reality : AR) 기술을 이용하여 출력함으로써, 배송 기사는 스마트 글래스를 착용한 상태로 적재함을 보면서 또는 스마트폰 카메라를 적재함을 향한 상태로 스마트폰의 화면을 보면서 적재함에 적재된 상품들을 용이하게 식별할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 배송 상품에 대한 적재 정보의 제공을 통해 배송 기사의 업무 편의성을 높임으로써, 종래 배송 기사의 직업 환경을 개선할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 배송 업무 지원 방법은 프로그램으로 구현되어 서버 또는 기기들에 제공될 수 있다. 이에 따라 각 장치들은 프로그램이 저장된 서버 또는 기기에 접속하여, 상기 프로그램을 다운로드 할 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들에 따른 방법은 프로그램으로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (28)

  1. 배송 차량 적재함에서 배송 상품의 적재 상태를 촬영한 적재 영상을 분석하여 소정의 배송 상품 영상에 대응하는 적재 상품 영상을 포함하는 적재 영상을 검출하고, 상기 배송 상품 영상에 매핑된 배송 기본 정보를 상기 검출된 적재 영상에 매핑하여 상기 배송 상품의 적재 정보를 생성하는 데이터 처리부;를 포함하는 배송 상품 적재 정보 제공 시스템.
  2. 제1항에 있어서,
    상기 배송 상품 영상은 배송 상품에 대하여 서로 다른 촬영 방향에서 촬영된 영상을 복수 개 포함하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  3. 제1항에 있어서,
    상기 적재 영상은,
    상기 적재함에서 배송 상품의 적재 상태를 나타내는 영상 또는 상기 적재 상태에 상기 적재함의 내부에 부설된 적재 위치 구분 표식을 더 포함하는 영상인 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  4. 제1항에 있어서,
    상기 데이터 처리부는,
    상기 배송 기사의 식별 정보를 이용하여 배송 상품 데이터베이스부에 저장된 배송 데이터 중 상기 배송 기사에게 할당된 배송 상품에 대한 배송 상품 영상을 획득하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  5. 제1항에 있어서,
    상기 데이터 처리부는,
    상기 적재 영상으로부터 적재 상품 영상을 검출하고, 상기 검출된 적재 상품 영상과 상기 배송 상품 영상을 비교하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  6. 제5항에 있어서,
    상기 데이터 처리부는,
    소정의 배송 상품 영상에 대응하는 적재 상품 영상을 포함하는 적재 영상을 검출되면, 상기 검출된 배송 상품 영상에 매핑된 배송 기본 정보를 상기 적재 영상에 매핑하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  7. 제6항에 있어서,
    상기 데이터 처리부는,
    소정의 배송 상품 영상에 대응하는 적재 상품 영상을 포함하는 적재 영상을 검출되지 않으면, 상기 배송 상품이 검출되지 않았음을 나타내는 식별자를 상기 적재 영상에 매핑하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  8. 제1항에 있어서,
    상기 데이터 처리부는,
    상기 적재 영상을 분석하여 상기 적재함에 적재된 상품의 적재 위치 정보를 더 포함하는 적재 정보를 생성하고,
    상기 적재 위치 정보는 상기 적재함의 내부에서 상기 적재 상품의 3차원 위치 정보인 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  9. 제1항에 있어서,
    상기 데이터 처리부는,
    적재 상태 변경, 배송 기사의 요청, 배송 차량의 정차 예상 위치에 정차, 배송 차량의 적재함 도어 열림, 배송 차량의 적재함 도어 닫힘 및 배송 차량의 정차 예상 위치에 정차 후 이동 중 적어도 하나의 조건 발생 시 상기 적재 정보를 갱신하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  10. 제1항에 있어서,
    상기 생성된 적재 정보를 이용하여 소정 조건에 부합하는 적재 상품을 배송 기사가 시각 및 청각 중 적어도 하나에 의하여 식별 가능하게 하는 출력 데이터를 생성하는 적재 정보 제공부;를 더 포함하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  11. 제10항에 있어서,
    상기 적재 정보 제공부는 실사 영상인 적재 영상에 상기 시각을 통해 식별 가능한 상기 출력 데이터를 생성하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  12. 제10항에 있어서,
    상기 출력 데이터는,
    상기 배송 차량의 정차 위치에서 상기 배송 차량의 적재함으로부터 하차해야 하는 상품 정보를 배송 기사의 단말 장치에서 출력하기 위한 데이터인 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  13. 제10항에 있어서,
    상기 출력 데이터는,
    고객 정보와 일치하는 적재 상품을 상기 적재 영상에서 식별 가능하게 출력하는 데이터인 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  14. 제10항에 있어서,
    상기 적재 정보 제공부는,
    상기 적재 영상에서 상기 소정 조건에 부합하는 적재 상품을 식별 가능하게 하는 식별자를 화면(screen) 또는 글래스(glass)를 통해 출력하기 위한 출력 데이터를 생성하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  15. 제14항에 있어서,
    상기 적재 정보 제공부는,
    상기 식별자에 추가로 배송 기본 정보 및 식별자 색상 정보 중 적어도 하나를 더 포함하는 출력 데이터를 생성하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  16. 제14항에 있어서,
    상기 적재 정보 제공부는,
    상기 적재함에 대한 디지털 트윈(digital twin) 모델을 기초로 적재 상품 템플릿을 생성하고, 상기 적재 상품 템플릿에 상기 소정 조건에 부합하는 적재 상품을 식별 가능하게 표시한 출력 데이터를 생성하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  17. 제16에 있어서,
    상기 적재 정보 제공부는,
    상기 적재 상품 템플릿에 마킹 및 적재 상품 영상 중 적어도 하나로 상기 소정 조건에 부합하는 적재 상품을 식별 가능하게 표시하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  18. 제1항에 있어서,
    상기 적재 영상을 촬영하는 촬영부;를 더 포함하고,
    상기 촬영부는,
    상기 배송 차량의 적재함에 설치된 카메라 및 상기 배송 기사가 착용하는 착용형 단말(wearable device)에 구비된 카메라 중 적어도 하나를 포함하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  19. 제1항에 있어서,
    상기 데이터 처리부는,
    상기 배송 차량의 적재함을 나타내는 가상 적재함 모델과 상기 적재함 내부에 적재된 상품을 각각 나타내는 가상 상품 모델을 포함하는 디지털 트윈 모델을 생성하는 디지털 트윈 생성부;를 포함하고,
    상기 디지털 트윈 생성부는 상기 배송 차량의 적재함과 상기 디지털 트윈 모델을 실시간 연동시키는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  20. 제1항에 있어서,
    복수의 배송 상품 각각에 대하여 배송 데이터를 저장하는 배송 상품 데이터베이스부;를 더 포함하고,
    상기 배송 데이터는 배송 기본 정보, 배송 상품 영상 및 배송 기사 식별 정보가 매핑된 데이터이고,
    상기 배송 기본 정보는 배송 상품을 받는 사람의 정보를 포함하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  21. 제1항에 있어서,
    상기 적재 영상에 배송 기사 식별 정보 및 적재 단위 정보를 매핑하여 저장하는 적재 영상 데이터베이스부;를 더 포함하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  22. 제1항에 있어서,
    적재 영상에 포함된 복수의 적재 상품 각각에 대하여 배송 기본 정보 및 적재 위치 정보가 매핑된 적재 정보를 저장하는 적재 정보 데이터베이스부;를 더 포함하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  23. 제1항에 있어서,
    상기 데이터 처리부는,
    복수의 적재 영상 중 소정 조건에 부합하는 적재 영상을 획득하고, 상기 획득된 영상을 적재 영상 데이터베이스부에 저장하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  24. 제23항에 있어서,
    상기 소정 조건에 부합하는 적재 영상은,
    배송 상품의 소정 단위 적재가 완료된 상태의 영상, 적재 영상의 변경 발생 시 변경 완료된 상태의 영상, 배송 기사가 요청한 적재 영상, 배송 차량의 정차 예상 위치에 정차 시 촬영된 적재 영상, 배송 차량의 정차 예상 위치에 정차 후 이동 시 촬영된 적재 영상, 배송 차량의 적재함 도어 열림 시 촬영된 적재 영상 및 배송 차량의 적재함 도어 닫힘 시 촬영된 적재 영상 중 적어도 하나를 포함하는 것을 특징으로 하는 배송 상품 적재 정보 제공 시스템.
  25. 시스템의 배송 상품 적재 정보 제공 방법에 있어서,
    배송 차량 적재함에서 배송 상품의 적재 상태를 촬영한 적재 영상을 분석하여 소정의 배송 상품 영상에 대응하는 적재 상품 영상을 포함하는 적재 영상을 검출하는 단계; 및
    상기 배송 상품 영상에 매핑된 배송 기본 정보를 상기 검출된 적재 영상에 매핑하여 상기 배송 상품의 적재 정보를 생성하는 단계;를 포함하는 배송 상품 적재 정보 제공 방법.
  26. 제25항에 있어서,
    상기 생성된 적재 정보를 이용하여 소정 조건에 부합하는 적재 상품을 배송 기사가 시각 및 청각 중 적어도 하나에 의하여 식별 가능하게 하는 출력 데이터를 생성하는 단계;를 더 포함하는 배송 상품 적재 정보 제공 방법.
  27. 제26항에 있어서,
    상기 출력 데이터는 배송 기사가 구비한 단말 장치를 통해 표시되는 것을 특징으로 하는 배송 상품 적재 정보 제공 방법.
  28. 제25항 내지 제27항 중 어느 한 항에 기재된 배송 상품 적재 정보 제공 방법을 실행시키는 프로그램 코드를 포함하는 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
PCT/KR2023/012020 2022-08-12 2023-08-14 배송 상품 적재 정보 제공 시스템, 방법 및 컴퓨터 프로그램 WO2024035237A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220101478 2022-08-12
KR10-2022-0101478 2022-08-12
KR10-2022-0138851 2022-10-26
KR1020220138851A KR20240022960A (ko) 2022-08-12 2022-10-26 배송 상품 적재 정보 제공 시스템, 방법 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
WO2024035237A1 true WO2024035237A1 (ko) 2024-02-15

Family

ID=89852247

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/012020 WO2024035237A1 (ko) 2022-08-12 2023-08-14 배송 상품 적재 정보 제공 시스템, 방법 및 컴퓨터 프로그램

Country Status (1)

Country Link
WO (1) WO2024035237A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101845904B1 (ko) * 2017-07-11 2018-04-05 씨제이대한통운(주) 택배 물품을 직관적인 이미지로 구현하기 위한 이동 단말기 및 디스플레이 장치
KR20190016015A (ko) * 2018-12-31 2019-02-15 주식회사 한비세트론 Ｑｒ 코드 스캔 기능과 rfid 리더와 통신할 수 있는 스마트 글래스를 사용한 창고 관리 시스템
KR101928698B1 (ko) * 2018-03-29 2019-03-12 최은철 자재물품 거래 장치 및 그 방법
KR102187446B1 (ko) * 2019-10-28 2020-12-08 동명대학교산학협력단 가상현실 및 증강현실 기반 차량 내 화물 적재 시스템
JP2021103551A (ja) * 2013-06-26 2021-07-15 アマゾン テクノロジーズ インコーポレイテッド 物品の相互作用及び移動検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021103551A (ja) * 2013-06-26 2021-07-15 アマゾン テクノロジーズ インコーポレイテッド 物品の相互作用及び移動検出方法
KR101845904B1 (ko) * 2017-07-11 2018-04-05 씨제이대한통운(주) 택배 물품을 직관적인 이미지로 구현하기 위한 이동 단말기 및 디스플레이 장치
KR101928698B1 (ko) * 2018-03-29 2019-03-12 최은철 자재물품 거래 장치 및 그 방법
KR20190016015A (ko) * 2018-12-31 2019-02-15 주식회사 한비세트론 Ｑｒ 코드 스캔 기능과 rfid 리더와 통신할 수 있는 스마트 글래스를 사용한 창고 관리 시스템
KR102187446B1 (ko) * 2019-10-28 2020-12-08 동명대학교산학협력단 가상현실 및 증강현실 기반 차량 내 화물 적재 시스템

Similar Documents

Publication Publication Date Title
WO2018143550A1 (ko) 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법
WO2021071123A2 (ko) 영상 기반 선반 상품 재고 모니터링 시스템 및 방법
EP3689793A1 (en) Package sorting system, projected instruction device, and package sorting method
WO2020032487A1 (ko) 우선 순위에 기반하여 상품과 관련된 정보를 제공하는 방법 및 그 전자 장치
JP2017171448A (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
WO2022039330A1 (ko) 가상 셀을 이용한 ocr 기반 문서 분석 시스템 및 방법
JP2017171444A (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
WO2021071121A1 (ko) 영상 기반 구매 행동 인식 시스템 및 방법
JP2017171443A (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
WO2020080734A1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
US11250578B2 (en) Projection indication device, parcel sorting system, and projection indication method
WO2024035237A1 (ko) 배송 상품 적재 정보 제공 시스템, 방법 및 컴퓨터 프로그램
WO2022124673A1 (ko) 기계학습 모델을 이용해 촬영 영상에 기반하여 용기 내의 물건 부피를 측정하는 장치 및 방법
US11666948B2 (en) Projection instruction device, parcel sorting system, and projection instruction method
WO2019004754A1 (en) ADVERTISEMENTS WITH INCREASED REALITY ON OBJECTS
WO2021177498A1 (ko) 투명 스크린을 포함하는 디스플레이 장치를 제어하기 위한 방법 및 그 디스플레이 장치
WO2024136396A1 (ko) 배송 상품 식별 정보 제공 시스템, 방법 및 컴퓨터 프로그램
WO2021025237A1 (ko) 쇼핑 카트 및 그의 상품 인식 방법, 이를 이용한 쇼핑 서비스 제공 시스템 및 방법
JP2020114778A (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
US11763482B2 (en) Baggage recognition device, baggage sorting system, and baggage recognition method
WO2014148741A1 (en) Mobile device and method for controlling the same
WO2020045804A1 (ko) 인포그래픽을 제공하기 위한 전자 장치 및 그에 관한 방법
KR20240022960A (ko) 배송 상품 적재 정보 제공 시스템, 방법 및 컴퓨터 프로그램
WO2019164057A1 (ko) 상호 연관성 규칙 마이닝을 적용한 증강현실 기술에서 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
WO2022108044A1 (ko) 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23853102

Country of ref document: EP

Kind code of ref document: A1