WO2019228063A1 - 商品检测终端、方法、系统以及计算机设备、可读介质 - Google Patents

商品检测终端、方法、系统以及计算机设备、可读介质 Download PDF

Info

Publication number
WO2019228063A1
WO2019228063A1 PCT/CN2019/081309 CN2019081309W WO2019228063A1 WO 2019228063 A1 WO2019228063 A1 WO 2019228063A1 CN 2019081309 W CN2019081309 W CN 2019081309W WO 2019228063 A1 WO2019228063 A1 WO 2019228063A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
commodity
product
color channel
shelf
Prior art date
Application number
PCT/CN2019/081309
Other languages
English (en)
French (fr)
Inventor
张欢欢
刘童
张忆非
唐小军
Original Assignee
京东方科技集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司 filed Critical 京东方科技集团股份有限公司
Priority to US16/498,750 priority Critical patent/US11403839B2/en
Publication of WO2019228063A1 publication Critical patent/WO2019228063A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Definitions

  • Embodiments of the present disclosure relate to a commodity detection terminal, a method, a system, a computer device, and a readable medium.
  • At least one embodiment of the present disclosure provides a commodity detection terminal, including:
  • An image segmentation unit configured to obtain position information of each grid of a shelf in the shelf image based on a first image, where the first image is an image when no goods are placed on the shelf;
  • a detection unit configured to obtain a current grid and a current quantity where each commodity is located based on a second image, the second image being a current image of a shelf on which the commodity is placed;
  • the judging unit is configured to compare the current grid and the current quantity of each commodity with the preset grid and the preset quantity of the commodity to determine whether the state of the commodity satisfies a preset condition.
  • the image segmentation unit includes:
  • a feature extraction unit configured to convert the first image into a grayscale image, and obtain a feature image based on the grayscale image and the extracted color channel image;
  • An edge detection unit configured to extract edge information according to the feature image and perform edge detection to obtain a binary image
  • the straight line extraction unit is configured to extract a straight line from the binary image, and use the straight line as a division line of the first image.
  • the color channel image includes: a first color channel image, a second color channel image, and a third color channel image;
  • the feature extraction unit includes a calculation unit configured to obtain a differential absolute value image of the grayscale image and one of the color channel images, and obtain a gradient amplitude image of the differential absolute value image, where The shaving magnitude image is set as the feature image.
  • the first color is red
  • the second color is green
  • the third color is blue
  • the feature extraction unit extracts a red channel image
  • the calculation unit calculates the grayscale image and A differential absolute value image of a red color channel image, and a gradient amplitude image of the differential absolute value image is obtained.
  • the image segmentation unit includes at least one of the following units:
  • a straight line clustering unit configured to cluster the straight lines to obtain a straight line detection result
  • a noise processing unit configured to perform an average filtering process on the first image to remove image noise
  • the distortion correction unit is configured to perform image correction on the first image by using a checkerboard calibration method.
  • the commodity detection terminal further includes a training unit configured to establish a commodity detection model based on an SSD algorithm; wherein the detection unit performs commodity detection through the commodity detection model.
  • the determining unit includes:
  • the wrong product judgment unit is configured to compare the current grid where the product is located with the preset grid of the product, and when the comparison result is inconsistent, determine that the product is in the wrong state; and / or,
  • the out-of-stock determination unit is configured to compare a current quantity of a product with a preset critical quantity value of the product, and determine that the product is out of stock when the current quantity of the product is less than the preset critical quantity value of the product.
  • At least one embodiment of the present disclosure provides a method for detecting a commodity, including:
  • the current grid and current quantity of each commodity are compared with a preset grid and a preset critical quantity value of the commodity to determine whether the state of the commodity meets a preset condition.
  • acquiring position information of each grid of a shelf in the first image based on the first image includes:
  • a straight line is extracted based on the binary image, and the straight line is used as a division line of the first image.
  • the color channel image includes: a first color channel image, a second color channel image, and a third color channel image;
  • Converting the first image into a grayscale image, and obtaining a feature image based on the grayscale image and the extracted color channel image includes: obtaining a differential absolute value image of the grayscale image and one of the color channel images, and acquiring the The gradient amplitude image of the differential absolute value image is set as the feature image.
  • the first color is red
  • the second color is green
  • the third color is blue.
  • obtaining a feature image includes: a red channel image, The differential absolute value image of the grayscale image and the red color channel image is described, and the gradient amplitude image of the differential absolute value image is obtained, and the shaving amplitude image is set as the feature image.
  • the grayscale image is obtained by calculating an effective brightness value of each pixel in the first image, and a formula of the effective brightness value is:
  • Y 0.3R + 0.59G + 0.11B, where Y is the gray value of the pixel, R is the first color channel value of the pixel, G is the second color channel value of the pixel, and B is the first color channel value of the pixel Three color channel values.
  • obtaining the position information of each grid of the shelf in the first image based on the first image further includes at least one of the following steps:
  • the checkerboard calibration method was used to correct the first image.
  • the method further includes establishing a commodity detection model based on the SSD algorithm, and the commodity detection model is suitable for commodity detection.
  • the current grid and current quantity of each commodity are compared with the preset grid and preset critical quantity values of the commodity to determine whether the state of the commodity meets
  • the preset conditions include:
  • the current quantity of the commodity is compared with a preset critical quantity value of the commodity, and when the current quantity is less than the preset critical quantity value, it is determined that the commodity is out of stock.
  • At least one embodiment of the present disclosure provides a computer device including a memory, a processor, and a computer program stored on the memory and executable on the processor, wherein the processor executes the computer program To achieve the above-mentioned commodity detection method.
  • At least one embodiment of the present disclosure provides a computer-readable medium on which a computer program is stored, wherein the computer program implements the above-mentioned commodity detection method when executed by a processor.
  • At least one embodiment of the present disclosure provides an intelligent shelf system, including:
  • An acquisition module configured to acquire images of a shelf
  • the computing module includes a memory, a processor, and a computer program stored on the memory and executable on the processor, and the processor implements the foregoing commodity detection method when the processor executes the program.
  • the shelf includes a background plate, a first baffle, and a second baffle; the background plate, the first baffle, and the second baffle have different colors, and the The first baffle and the second baffle divide the background plate into a plurality of partitions.
  • FIG. 1 is a schematic structural diagram of an intelligent shelf known to the inventors
  • FIG. 2 illustrates a schematic architecture diagram of a commodity detection system according to an embodiment of the present disclosure
  • FIG. 3 is a schematic structural diagram of a commodity detection terminal according to an embodiment of the present disclosure.
  • FIG. 4 is a schematic structural diagram of an image segmentation unit in a product detection terminal according to an embodiment of the present disclosure
  • FIG. 5 is a schematic structural diagram of a commodity detection terminal according to another embodiment of the present disclosure.
  • FIG. 6 shows a schematic diagram of an SSD algorithm grid according to an embodiment of the present disclosure
  • FIG. 7 is a schematic flowchart of a commodity detection method according to an embodiment of the present disclosure.
  • FIG. 8 is a schematic flowchart of a commodity detection method according to another embodiment of the present disclosure.
  • FIG. 9 shows a schematic flowchart of S200 in FIG. 7;
  • FIG. 10 shows a schematic flowchart of S000 in FIG. 8
  • FIG. 11 is a flowchart of another step of S000 in FIG. 8; FIG.
  • FIG. 12 is a schematic structural diagram of a commodity detection system according to an embodiment of the present disclosure.
  • FIG. 13 shows a schematic structural diagram of the shelf shown in FIG. 12;
  • FIG. 14 shows a schematic structural diagram of a computer device suitable for implementing a terminal device or a server according to at least one embodiment of the present disclosure.
  • FIG. 1 shows a smart shelf known by the inventors.
  • the smart shelf system includes a shelf 101 and a commodity 102 placed on the shelf 101.
  • the shelf is equipped with an induction antenna and a radio frequency identification reader 103.
  • Each layer of the shelf 101 is equipped with a display screen 104, and a radio frequency identification electronic tag is attached to the commodity 102.
  • the RFID electronic tags on the goods 102 need to be scanned manually or automatically. When there are too many goods, it is easy to cause confusion.
  • FIG. 2 illustrates a schematic diagram of a commodity detection system according to at least one embodiment of the present disclosure.
  • the commodity detection system includes a commodity detection terminal 203 and a commodity shelf 201.
  • the commodity detection system may further include a server 202 and the like.
  • the commodity detection system further includes a camera and a wireless communication module that collect images of commodity shelves, and the camera collects and transmits images of the commodity shelves to the wireless communication module, and the wireless communication module transmits the images to Server.
  • the server stores related comparison data and compares the received image with the stored comparison data to determine whether the product is in the wrong or out of stock state.
  • the above devices can all perform data and signaling transmission and interaction through a communication network, and the communication network includes network node devices such as a network base station and a data exchange device.
  • related modules having a storage function and a processing function may also be provided in a commodity detection terminal.
  • the commodity detection terminal includes:
  • the image segmentation unit 300 is configured to obtain position information of each grid of a shelf in a shelf image based on a first image, where the first image is an image when no product is placed on the shelf;
  • the detection unit 301 is configured to obtain a current grid and a current quantity where each commodity is located based on a second image, where the second image is an image of a shelf on which the commodity is placed;
  • the judging unit 302 compares the current grid and the current quantity of each commodity with the preset grid and the preset quantity of the commodity to determine whether the state of the commodity satisfies a preset condition.
  • the current status includes whether the product is out of stock and whether the product is out of stock.
  • the second image can be captured by a device with an image capture function, such as a camera, a camera, etc., where the device can be placed on a shelf, or directly opposite the shelf, or even in a room where the shelf is placed. Monitor the entire room and acquire shelf images on the other hand.
  • an image capture function such as a camera, a camera, etc.
  • the shelf may be a shelf with a physical grid structure, that is, a horizontal structure and a vertical plate separated into a grid structure, or a shelf having only a layered structure.
  • the grid in this embodiment may be According to the characteristics of the shelf, it is a real separated grid, or it can be a virtual grid, which is defined by the product arrangement.
  • the detection unit 301 can obtain the position and quantity information of all commodities after one detection, or obtain the position and quantity information of one commodity for each type of inspection, and then traverse all the commodities to obtain The positions and quantities of all the products, the embodiments of the present disclosure are not limited thereto.
  • the determination unit 302 may compare a preset grid and a preset number of each commodity with a current grid and a current number of the commodity.
  • the preset grid and preset number of each commodity can be stored in a database unit built into the terminal.
  • the determining unit 302 includes:
  • the missed goods judgment unit 3021 is configured to compare the current grid of the commodity with a preset grid of the commodity, and when the comparison result is inconsistent, determine that the commodity is in the wrong state; and / or,
  • the out-of-stock determination unit 3022 is configured to compare the current quantity of the product with a critical quantity value of the product, and determine that the product is out of stock when the current quantity of the product is less than its corresponding critical quantity value.
  • the product detection terminal determines the state of the product from the current product shelf image.
  • the product detection terminal does not require additional sensors, radio frequency identification tags, etc., has low cost, simple operation, and low error rate.
  • At least one embodiment of the present disclosure provides an image segmentation unit based on the principle of three primary colors.
  • the image segmentation unit 300 includes:
  • a feature extraction unit 3001 is configured to convert a first image into a grayscale image and obtain a feature image based on the grayscale image and the extracted color channel image, wherein the first image is an image when no product is placed on a shelf;
  • An edge detection unit 3002 is configured to extract edge information according to the feature image and perform edge detection;
  • the straight line extraction unit 3003 is configured to obtain a straight line based on the binary image obtained by edge detection, and use the extracted straight line as a division line of the first image.
  • the color channel image includes a first color channel image, a second color channel image, and a third color channel image.
  • the first color is red
  • the second color is green
  • the third color is blue.
  • the color channel image represents the brightness value of the red pixel in the first image
  • the second color channel image represents the brightness value of the green pixel in the first image
  • the third color channel image represents the first The brightness value of blue pixels in an image.
  • the feature extraction unit 3001 includes a calculation unit configured to calculate a differential absolute value image of a grayscale image and one of the color channel images, and calculate a gradient amplitude image of the differential absolute value image, where the shaved amplitude image is The feature image output by the feature extraction unit. Taking red as an example, the feature extraction unit extracts a red channel image, and the calculation unit calculates a differential absolute value image of the grayscale image and the red channel image. The width and height of the absolute difference value image are the same as the width of the grayscale image and the red channel image.
  • the pixel value of each pixel point is the absolute value of the difference between the pixel value of the gray image at the pixel point and the pixel value of the red channel image at the pixel point .
  • R is the red channel value of the pixel
  • G is the green channel value of the pixel
  • B is the blue channel value of the pixel
  • Y is the gray value of the pixel.
  • This embodiment is based on the principle of three primary colors, and performs image segmentation on the collected images to divide the shelves. Compared with the image segmentation method known by the inventors, it is beneficial to highlight the edge characteristics of color changes, and it is especially suitable for color images with obvious color differences, which improves the accuracy of image segmentation.
  • the image segmentation unit according to the embodiment of the present disclosure can also be applied to the segmentation of any image separately, which should not be limited to the commodity detection described in the present disclosure.
  • the image segmentation unit may be configured as an independent device, which may separately perform signal transmission with the server and / or the image acquisition module.
  • the image segmentation unit can improve the segmentation accuracy of the color image.
  • the image segmentation unit 400 may include at least one of the following units:
  • the straight line clustering unit 4001 is configured to cluster straight line extraction results to obtain straight line detection results;
  • a noise processing unit 4002 configured to perform a mean filtering process on the first image to remove image noise
  • the distortion correction unit 4003 is configured to correct the first image by using a checkerboard calibration method.
  • the commodity detection terminal further includes: a training unit 504 configured to establish a commodity detection model based on an SSD algorithm.
  • the detection unit builds a commodity detection model including a commodity data set based on a deep learning convolutional neural network, thereby speeding up the detection speed.
  • a convolutional neural network is a multilayer neural network that is good at processing machine learning related to images, especially large images.
  • convolutional networks continuously reduce the dimensionality of image recognition problems with large amounts of data, and finally enable them to be trained.
  • the SSD (Single Shot MultiBox Detector) algorithm is a known detection algorithm. It is well known in the art.
  • the core of the SSD is to use a convolution kernel on the feature map to predict the class score and offset of a series of default bounding boxes.
  • SSD is a method that borrows the ideas of YOLO (You Only Look Once) based on deep learning and Raster R-CNN at the same time. It has fast target detection speed and high target detection accuracy.
  • a 3 ⁇ 1 convolution kernel is preset.
  • the convolution kernel includes three small squares, and each square contains a corresponding Number or function relationship.
  • a total of N convolution kernels can be formed.
  • This process can be understood as we use a filter (convolution kernel) to filter small areas of the image, so as to obtain the feature values of these small areas.
  • each convolution kernel represents an image mode. If an image block has a large convolution value with this convolution kernel, the image block is considered to be very Close to this convolution kernel.
  • the image in this embodiment has 6 underlying texture modes, that is, an image can be drawn through 6 basic modes.
  • the value of the convolution kernel is obtained during the learning process.
  • the product detection model includes at least one corresponding convolution kernel, and other corresponding functions and relationships. This disclosure does not More details.
  • At least one embodiment of the present disclosure provides a commodity detection method. As shown in FIG. 7, the commodity detection method includes:
  • the image segmentation unit obtains position information of each grid of the shelf in the first image based on the first image, where the first image is an image when no product is placed on the shelf;
  • the detection unit acquires a current grid and a current quantity where each product is located based on a second image, where the second image is an image when the product is placed on a shelf;
  • the judging unit compares the current grid and current quantity where each commodity is located with the preset grid and preset quantity of the commodity to determine whether the state of the commodity satisfies a preset condition.
  • the first image and the second image may be obtained by a device having an image capturing function, and details are not described herein again.
  • the judging unit may compare the current grid and the current quantity of the commodity according to the preset grid and the preset quantity of the commodity stored in the commodity detection terminal.
  • the preset grid and preset number may be the a priori information entered in the database unit in advance, or may be the information obtained by performing image analysis on the images collected when the goods are placed on the shelves for the first time.
  • the commodity detection method further includes:
  • the acquisition unit collects a third image
  • the detection unit analyzes the third image to obtain a preset grid and a preset number of products, where the third image is an image of a shelf when the product is placed on the shelf according to a standard.
  • the image segmentation unit can divide the area according to the characteristics of the shelf or merchandise placement, and locate the product in a certain area, thereby binding the position on the shelf with the type of the product.
  • the judging unit compares the current grid and the current quantity where each commodity is located with the preset grid and the preset quantity of the commodity to judge the kind Whether the status of the product meets the preset conditions includes:
  • the wrong goods judgment unit compares the current grid where the goods are located with the preset grid of the goods, and determines that the goods are in the wrong goods state when the comparison result is inconsistent; and / or,
  • the out-of-stock determination unit compares the current quantity of the product with the preset critical quantity value of the product based on the preset critical quantity value of the product. When the current quantity of the product is less than the preset critical quantity value, it determines that the product is in short supply. Goods status.
  • the state of a commodity is determined by a second image (an image of a shelf on which a commodity is placed), no additional sensors, radio frequency identification tags, etc. are needed, the cost is low, and the operation is simple, The error rate is low.
  • At least one embodiment of the present disclosure provides an image segmentation method based on the principle of three primary colors. As shown in FIG. 10, based on a first image (that is, an image when no product is placed on a shelf), each grid of the shelf is obtained in The location information in an image includes:
  • S010 Convert the first image into a grayscale image, extract a color channel image of the first image, and obtain a feature image based on the grayscale image and the color channel image;
  • S020 Extract edge information based on the feature image and perform edge detection to obtain a binary image
  • S030 Extract a straight line based on the binary image, and use the straight line as a dividing line of the first image.
  • the first image is an image when no product is placed on the shelf.
  • the color channel image includes: a first color channel image, a second color channel image, and a third color channel image.
  • the step S010 includes:
  • S011 Calculate a differential absolute value image of the grayscale image and a color channel image, calculate a gradient amplitude image of the differential absolute value image, and use the gradient amplitude image as a feature image.
  • R is the red channel value of the pixel
  • G is the green channel value of the pixel
  • B is the blue channel value of the pixel
  • Y is the gray value of the pixel.
  • image segmentation is performed on the acquired images, thereby dividing the shelves. This method is helpful for highlighting the edge characteristics of color changes, and is suitable for color images with obvious color differences, which improves the accuracy of image segmentation.
  • the image segmentation method according to the embodiment of the present disclosure is applicable to the segmentation of any image, and it should not be limited to the product detection according to the present disclosure.
  • Product detection method or product detection system In some feasible embodiments, the image segmentation method can at least improve the accuracy of color image segmentation.
  • the image segmentation method includes at least one of the following steps:
  • straight-line clustering includes:
  • step d Repeat step d, and sequentially compare all unmerged straight lines with straight line i in the straight line extraction result;
  • Clustering the collected images with straight lines can improve the accuracy of image detection.
  • Performing average filtering processing on the first image to remove image noise can be that the image segmentation method is adapted to an environment with weak lighting conditions and a lot of noise.
  • the method further includes:
  • S050 Establish a commodity detection model based on the SSD algorithm; wherein the commodity detection model is suitable for commodity detection.
  • the SSD algorithm can adjust the learning rate, or it can cut the input image into multiple fixed sizes for training.
  • At least one embodiment of the present disclosure provides an intelligent shelf system.
  • the system includes: a shelf 121 configured to place items, for example, the items include but Not limited to commodities; acquisition module 122, which collects image information of shelves; and calculation module 123, which includes a memory 1231, a processor 1232, and a computer program stored on the memory 1231 and which can be run on the processor 1232.
  • the processor is implemented when the program is executed The above commodity detection method.
  • the shelf includes a background plate 131, a first baffle 132, and a second baffle 133; wherein the background plate 131 is white and the first baffle 132 is green The second baffle 133 is blue, and the first baffle 132 and the second baffle 133 divide the background plate 131 into a plurality of partitions 134.
  • At least one embodiment of the present disclosure provides a computer device including a memory, a processor, and a computer program stored on the memory and executable on the processor.
  • the processor executes the program, the product detection terminal is implemented as described above.
  • FIG. 14 is a schematic structural diagram of a computer device suitable for implementing a commodity detection terminal or a commodity detection system according to an embodiment of the present disclosure.
  • the computer device 1400 includes a central processing unit (CPU) 1401 configured to be loaded into a random access memory (RAM) 1403 according to a program stored in a read-only memory (ROM) 1402 or from a storage portion 1408. Program to execute processing. In the RAM 1403, programs and data required for the operation of the computer device 1400 are also stored.
  • the CPU 1401, the ROM 1402, and the RAM 1403 are connected to each other through a bus 1404.
  • An input / output (I / O) interface 1405 is also connected to the bus 1404.
  • the computer device 1400 further includes: an input device 1406, such as a keyboard, a mouse, etc .; an output device 1407, such as a display device such as a cathode ray tube (CRT), a liquid crystal display (LCD), and a speaker; and a storage device 1408, such as a hard disk.
  • a communication device 1409 such as a LAN card, a modem, and the like; a drive 1410; and a removable medium 1411 such as a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, and the like.
  • the above devices are connected to the bus 1404 through an input / output (I / O) interface 1405.
  • the communication device 1409 performs communication via, for example, the Internet.
  • the removable medium 1411 is installed on the drive 1410 as needed, so that the computer program read out therefrom is installed as needed as the storage section 1408.
  • the method described above with reference to the flowchart may be implemented as a computer software program.
  • at least one embodiment of the present disclosure provides a computer program product including a computer program tangibly embodied on a machine-readable medium, the computer program including program code for performing a method shown in a flowchart.
  • the computer program may be downloaded and installed from a network through a communication device 1409, and / or installed from a removable medium 1411.
  • each block in the flowchart or block diagram may represent a module, a program segment, or a portion of code, which contains one or more of the logic required to implement the specified logic.
  • Functional executable instructions may also be sent in a different order than those marked in the drawings. For example, two successively represented boxes may actually be executed substantially in parallel, and they may sometimes be executed in the reverse order, determined according to the functions involved.
  • each block in the block diagrams and / or flowcharts, and combinations of blocks in the block diagrams and / or flowcharts can be implemented by a dedicated hardware-based system that performs the specified function or operation , Or it can be implemented with a combination of dedicated hardware and computer instructions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种商品检测终端，包括：图像分割单元(300)，配置为基于第一图像获取货架的各栅格在所述货架图像中的位置信息，所述第一图像是货架未放置商品时的图像；检测单元(301)，配置为基于第二图像获取每种商品所在的当前栅格和当前数量，所述第二图像是放置有商品的货架的当前图像；以及判断单元(302)，配置为对所述每种商品所在的当前栅格和当前数量与该种商品的预设栅格和预设数量进行比对，以判断该种商品的状态是否满足预设条件。还提供了一种商品检测方法、智能货架系统、计算机设备和可读介质。

Description

商品检测终端、方法、系统以及计算机设备、可读介质
本申请要求于2018年5月30日递交的中国专利申请第201810540197.6号的优先权，在此全文引用上述中国专利申请公开的内容以作为本申请的一部分。
技术领域
本公开的实施例涉及商品检测终端、方法、系统以及计算机设备、可读介质。
背景技术
随着无人零售超市的兴起，如何检测货架上商品缺少的位置及放错位置成为了当前无人零售的一大难题，目前的主流技术手段都是基于传感器技术，例如重力传感器等，但传感器对使用环境要求苛刻及使用寿命有限。
发明内容
本公开的至少一个实施例提供了一种商品检测终端，包括：
图像分割单元，配置为基于第一图像获取货架的各栅格在所述货架图像中的位置信息，所述第一图像是货架未放置商品时的图像；
检测单元，配置为基于第二图像获取每种商品所在的当前栅格和当前数量，所述第二图像是放置有商品的货架的当前图像；以及
判断单元，配置为对所述每种商品所在的当前栅格和当前数量与该种商品的预设栅格和预设数量进行比对，以判断该种商品的状态是否满足预设条件。
在本公开的一个实施例中，所述图像分割单元包括：
特征提取单元，配置为将第一图像转化为灰度图像，并基于灰度图像和提取的颜色通道图像，得到特征图像；
边缘检测单元，配置为根据所述特征图像提取边缘信息，并进行边缘检测以获得二值图像；
直线提取单元，配置为根据所述二值图像提取直线，并将所述直线作为第一图像的分割线。
在本公开的一个实施例中，所述颜色通道图像包括：第一颜色通道图像、第二颜色通道图像以及第三颜色通道图像；以及
所述特征提取单元包括计算单元，所述计算单元配置为获取所述灰度图像和其中一个颜色通道图像的差分绝对值图像，并获得所述差分绝对值图像的梯度幅值图像，其中，将所述剃度幅值图像设置为所述特征图像。
在本公开的一个实施例中，第一颜色为红色，第二颜色为绿色，第三颜色为蓝色；所述特征提取单元提取红色通道图像，所述计算单元计算获得所述灰度图像和红色颜色通道图像的差分绝对值图像，并获得所述差分绝对值图像的梯度幅值图像。
在本公开的一个实施例中，其中，所述灰度图像被配置为通过计算第一图像中每个像素的有效亮度值获得，所述有效亮度值的公式为：Y＝0.3R+0.59G+0.11B，其中，Y表示该像素的灰度值，R表示该像素的第一颜色通道值，G表示该像素的第二颜色通道值，B表示该像素的第三颜色通道值。
在本公开的一个实施例中，所述图像分割单元包括下述单元的至少之一：
直线聚类单元，配置为对所述直线进行聚类，获取直线检测结果；
噪声处理单元，配置为对所述第一图像进行均值滤波处理，去除图像噪声；以及
畸变校正单元，配置为采用棋盘格标定法对第一图像进行图像校正。
在本公开的一个实施例中，所述商品检测终端还包括训练单元，所述训练单元配置为基于SSD算法，建立商品检测模型；其中，所述检测单元通过所述商品检测模型进行商品检测。
在本公开的一个实施例中，所述判断单元包括：
错货判断单元，配置为对所述商品的所在的当前栅格与商品的预设所在栅格进行比对，当比对结果为不一致时，确定商品为错货状态；和/或，
缺货判断单元，配置为将商品的当前数量与该商品的预设临界数量值进行比对，当商品的当前数量小于该商品的预设临界数量值时，确定商品为缺货状态。
本公开的至少一个实施例提供了一种商品检测方法，包括：
基于第一图像，获取货架的各栅格在所述第一图像中的位置信息，其中，所述第一图像是所述货架未放置商品时的图像；
基于第二图像，获取每种商品所在的当前栅格和当前数量，其中，第二图像是放置有商品的货架的当前图像；以及
将所述每种商品所在的当前栅格和当前数量与该种商品的预设栅格和预设临界数量值进行比对以判断该种商品的状态是否满足预设条件。
在本公开的一个实施例中，基于第一图像获取货架的各栅格在所述第一图像中的位置信息包括：
将所述第一图像转化为灰度图像，并基于灰度图像和提取的颜色通道图像，得到特征图像；
根据所述特征图像，进行边缘检测以提取边缘信息，获得二值图像；以及
基于所述二值图像提取直线，将所述直线作为所述第一图像的分割线。
在本公开的一个实施例中，所述颜色通道图像包括：第一颜色通道图像、第二颜色通道图像以及第三颜色通道图像；
将所述第一图像转化为灰度图像，并基于灰度图像和提取的颜色通道图像，得到特征图像包括：获得所述灰度图像和其中一个颜色通道图像的差分绝对值图像，并获取该差分绝对值图像的梯度幅值图像，将该剃度幅值图像设置为所述特征图像。
在本公开的一个实施例中，第一颜色为红色，第二颜色为绿色，第三颜色为蓝色，基于灰度图像和提取的颜色通道图像，得到特征图像包括：红色通道图像，获得所述灰度图像和红色颜色通道图像的差分绝对值图像，并获取该差分绝对值图像的梯度幅值图像，将该剃度幅值图像设置为所述特征图像。
在本公开的一个实施例中，所述灰度图像通过计算第一图像中每个像素的有效亮度值获得，所述有效亮度值的公式为：
Y＝0.3R+0.59G+0.11B，其中，Y表示该像素的灰度值，R表示该像素的第一颜色通道值，G表示该像素的第二颜色通道值，B表示该像素的第三颜色通道值。
在本公开的一个实施例中，基于第一图像，获取货架的各栅格在所述第一图像中的位置信息进一步包括下述步骤的至少之一：
对所述直线进行聚类，获取直线检测结果；
对第一图像进行均值滤波处理，去除图像噪声；以及
采用棋盘格标定法对第一图像进行图像校正。
在本公开的一个实施例中，所述方法进一步包括基于SSD算法，建立商品检测模型，所述商品检测模型适于进行商品检测。
在本公开的一个实施例中，将所述每种商品所在的当前栅格和当前数量与该种商品的预设栅格和预设临界数量值进行比对以判断该种商品的状态是否满足预设条件包括：
对所述商品的所在的当前栅格与商品的预设栅格进行比对，当比对结果为不一致时，确定所述商品为错货状态；和/或，
对所述商品的当前数量与所述商品的预设临界数量值进行比对，当所述当前数量小于所述预设临界数量值，确定所述商品为缺货状态。
本公开的至少一个实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述商品检测方法。
本公开的至少一个实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述商品检测方法。
本公开的至少一个实施例提供了一种智能货架系统，包括：
货架；
采集模块，配置为采集货架的图像；以及
计算模块，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述商品检测方法。
在本公开的一个实施例中，所述货架包括背景板、第一挡板和第二挡板；所述背景板、所述第一挡板以及所述第二挡板颜色不同，并且所述第一挡板和所述第二挡板将所述背景板分割为多个分区。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作 简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1示出了发明人已知技术的一种智能货架结构示意图；
图2示出了根据本公开的一个实施例的商品检测系统的架构示意图；
图3示出了根据本公开的一个实施例的商品检测终端结构示意图；
图4示出了根据本公开的一个实施例的商品检测终端中的图像分割单元的结构示意图；
图5示出了根据本公开另一个实施例的商品检测终端结构示意图；
图6示出了根据本公开一个实施例的SSD算法网格示意图；
图7示出了根据本公开一个实施例的商品检测方法流程示意图；
图8示出了根据本公开另一个实施例的商品检测方法流程示意图；
图9示出了图7中S200的流程示意图；
图10示出了图8中S000的流程示意图；
图11示出了图8中S000的另一种步骤流程图；
图12示出了根据本公开的一个实施例的商品检测系统结构示意图；
图13示出了图12所示的货架的结构示意图；以及
图14示出适于实现根据本公开的至少一个实施例的终端设备或服务器的计算机设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
在附图中示出了根据本公开公开实施例的各种截面图。应当理解的是，这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及他们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域人员根据实际所需可以另外设计具有不同形状、大 小、相对位置的区域/层。
近年来，随着人工智能的兴起，无人零售超市越来越多，无人零售超市需要更新商品的当前状态，以确定每种商品是否处于缺货状态或者错货状态。图1示出了发明人已知的一种智能货架，该智能货架系统包括货架101和放置在货架101上的商品102，其中，所述货架上安装有感应天线和射频识别读写器103，货架101的每一层都配备有显示屏104，所述商品102上贴附有射频识别电子标签。为了更新商品的当前状态，需要手动或者自动扫描商品102上的射频识别电子标签，当商品过多时，容易造成混乱。
图2示出了根据本公开至少一个实施例的商品检测系统的架构示意图，所述商品检测系统包括商品检测终端203和商品货架201，可选的，所述商品检测系统还可以包括服务器202等。例如在本公开的一个实施例中，所述商品检测系统还包括一个采集商品货架图像的摄像头以及无线通信模块，摄像头采集商品货架的图像并传输至无线通信模块，该无线通信模块将图像传输至服务器，服务器存储相关的比对数据并对接受到的图像和存储的比对数据进行比较，确定商品是否处于错货或者缺货状态。上述设备均可以通过通信网络进行数据和信令的传输交互，通信网络包括网络基站、数据交换设备等网络节点设备。
在本公开的一个实施例中，具有存储功能和处理功能的相关模块也可以设置在商品检测终端中。
本本公开的至少一个实施例提供了一种商品检测终端，如图3所示，所述商品检测终端包括：
图像分割单元300，配置为基于第一图像获取货架的各栅格在货架图像中的位置信息，所述第一图像是货架上未放置商品时的图像；
检测单元301，配置为基于第二图像获取每种商品所处的当前栅格和当前数量，其中，所述第二图像是放置有商品的货架的图像；以及
判断单元302，将每种商品所处的当前栅格和当前数量与该种商品的预设栅格和预设数量进行比对以判断该种商品的状态是否满足预设条件，其中，商品的当前状态包括商品是否处于错货状态以及商品是否处于缺货状态。
第二图像可通过具有图像捕捉功能的设备捕捉，例如摄像头、相机等，其中，该设备可设置于货架上，也可以设置于货架的正对面，甚至可以设置 于放置货架的房间内，一方面监视整个房间内，另一方面采集货架图像。
在本公开中，货架可以是具有物理栅格结构的货架，即具有水平板和竖直板分隔成一个个格子结构，也可以是仅仅具有分层结构的货架，本实施例中的栅格可以根据货架特性，为真实分隔的格子，也可以为虚拟划分出的，由商品排布定义出的栅格。
需要说明的是，所述检测单元301可以经过一次检测得出所有商品的位置和数量信息，也可以针对每种商品，每一次检测获取一种商品的位置和数量信息，然后遍历所有商品，获得所有商品的位置和数量，本公开的实施例不限于此。
在本公开的一个实施例中，判断单元302可以对每种商品的预设栅格和预设数量和该商品的当前栅格和当前数量进行比对。每种商品的预设栅格和预设数量可以存储在该终端内置的数据库单元中。例如，如图3所示，所述判断单元302包括：
错货判断单元3021，配置为对商品的当前栅格与商品的预设栅格进行比对，当比对结果为不一致时，确定商品为错货状态；和/或，
缺货判断单元3022，配置为对商品的当前数量与商品的临界数量值进行比对，当商品的当前数量小于其对应的临界数量值，确定商品为缺货状态。
根据本公开实施例的商品检测终端通过当前商品货架图像判断商品的状态，该商品检测终端不需要额外的传感器、射频识别标签等，成本较低，并且操作简单，错误率低。
本公开的至少一个实施例提供了一种基于三基色原理的图像分割单元，如图3所示，所述图像分割单元300包括：
特征提取单元3001，配置为将第一图像转化为灰度图像，并基于灰度图像和提取的颜色通道图像，得到特征图像，其中，所述第一图像是货架未放置商品时的图像；
边缘检测单元3002，配置为根据所述特征图像提取边缘信息，并进行边缘检测；以及
直线提取单元3003，配置为基于边缘检测获取的二值图像获取直线，以提取的直线作为第一图像的分割线。
所述颜色通道图像包括：第一颜色通道图像、第二颜色通道图像以及第 三颜色通道图像，例如，第一颜色为红色，第二颜色为绿色，第三颜色为蓝色，所述第一颜色通道图像表征的是第一图像中的红色像素的亮度值，所述第二颜色通道图像表征的是第一图像中的绿色像素的亮度值，以及所述第三颜色通道图像表征的是第一图像中的蓝色像素的亮度值。
特征提取单元3001包括：计算单元，配置为计算获得灰度图像和其中一个颜色通道图像的差分绝对值图像，并计算获得该差分绝对值图像的梯度幅值图像，其中，该剃度幅值图像为特征提取单元输出的特征图像。以红色为例，特征提取单元提取出红色通道图像，计算单元计算灰度图像和红色通道图像的差分绝对值图像，所述绝对差分值图像的宽度和高度与灰度图像和红色通道图像的宽度和高度相同，在所述绝对差分值图像中，每个像素点的像素值为灰色图像在该像素点处的像素值与所述红色通道图像在该像素点处的像素值的差的绝对值。上述对于绿色通道图像和蓝色通道图像同样适用。彩色图像转为灰度图像需要计算图像中每个像素有效的亮度值，其计算公式为：
Y＝0.3R+0.59G+0.11B；
其中，R表示该像素的红色通道值，G表示该像素的绿色通道值，B表示该像素的蓝色通道值，Y表示该像素的灰度值。
本实施例基于三基色原理，对采集的图像进行图像分割，从而对货架进行划分。相较于发明人已知的图像分割方式，有利于突出颜色变化的边缘特征，尤其适用于颜色相差较为明显的彩色图像，提高了图像分割的精确度。
根据本公开实施例的所述图像分割单元，也可以单独应用于任何图像的分割，其不应当局限于本公开所述的商品检测。例如在一些可行的实施例中，图像分割单元可以作为配置为独立的装置，其可以单独与服务器和/或图像采集模块进行信号传输。在该些可行的实施例中，所述图像分割单元可以提高彩色图像的分割精确度。
进一步地，为了提高图像分割的精确度，如图4所示，图像分割单元400可以至少包括以下单元的至少之一：
直线聚类单元4001，配置为对直线提取结果聚类，获取直线检测结果；
噪声处理单元4002，配置为对第一图像进行均值滤波处理，去除图像噪声；以及
畸变校正单元4003，配置为采用棋盘格标定法进行对第一图像校正。
在本公开的一个实施例中，请结合图5所示，所述商品检测终端进一步包括：训练单元504，配置为基于SSD算法建立商品检测模型。
在该实施例中，检测单元基于深度学习的卷积神经网络建立包括商品数据集的商品检测模型，从而加快检测速度。
本领域技术人员明了，卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关机器学习。卷积网络通过一系列方法，将数据量庞大的图像识别问题不断降维，最终使其能够被训练。
SSD(Single Shot MultiBox Detector)算法是一种已知的检测算法，本领域公知的，SSD的核心是在特征图上采用卷积核来预测一系列default bounding boxes的类别分数、偏移量。SSD是同时借鉴了基于深度学习的目标检测算法YOLO(You Only Look Once)和Raster R-CNN的思想的方法，目标检测速度快，目标检测精度高。
下面结合图6所示的实施例对卷积进行详细说明，在该实施例中，预设一个3x1的卷积核，该卷积核包括三个小方格，每个方格包含一个对应的数或者函数关系，在图6中，一共能够形成N个卷积核，通过对货架图像进行卷积操作(可以理解为有一个滑动窗口，把卷积核与对应的图像像素做乘积然后求和)，得到了3x1的卷积结果。这个过程我们可以理解为我们使用一个过滤器(卷积核)来过滤图像的各个小区域，从而得到这些小区域的特征值。
在实施时，通常采用多个卷积核，可以认为，每个卷积核代表了一种图像模式，如果某个图像块与此卷积核卷积出的值大，则认为此图像块十分接近于此卷积核。例如在一些可行的实施例中，包括6个卷积核，可以理解：该实施例的图像上有6种底层纹理模式，也就是可以通过6种基础模式描绘出一副图像。
在实际训练过程中，卷积核的值是在学习过程中获得的。通过不断的深度学习，形成对于某一个货架的商品检测速度最快，准确度最高的商品检测模型，该商品检测模型包括对应的至少一个卷积核，以及其他对应函数、关系等，本公开不再赘述。
本公开的至少一个实施例提供了一种商品检测方法，如图7所示，所述商品检测方法包括：
S000，图像分割单元基于第一图像获取货架的各栅格在第一图像中的位置信息，其中，所述第一图像是货架未放置商品时的图像；
S100，检测单元基于第二图像获取每种商品所在的当前栅格和当前数量，其中，所述第二图像是货架放置商品时的图像；以及
S200，判断单元对每种商品所在的当前栅格和当前数量和该种商品的预设栅格和预设数量进行比对，以判断该种商品的状态是否满足预设条件。
在本公开的一些实施例中，第一图像和第二图像可通过具有图像捕捉功能的设备获得，在此不再赘述。
在本公开的一个实施例中，判断单元可根据存储在在该商品检测终端内的该种商品的预设栅格和预设数量对商品的当前栅格和当前数量进行比对，该种商品的预设栅格和预设数量可以为事先录入数据库单元中的先验信息，也可以为通过对第一次商品摆满货架时采集的图像进行图像分析得到的信息。
例如，如图8所示，在一个可选实施例中，所述商品检测方法还包括：
S001，采集单元采集第三图像，检测单元对所述第三图像进行分析得到商品的预设栅格和预设数量，其中，第三图像是按照标准在货架上放置商品时货架的图像。
在该实施例中，图像分割单元能够根据货架或者商品摆布的特性划分区域，将商品定位在某一个区域内，从而将货架上的位置与商品种类绑定。
在本公开的一个实施例中，如图9所示，判断单元对每种商品所在的当前栅格和当前数量和该种商品的预设栅格和预设数量进行比对，以判断该种商品的状态是否满足预设条件包括：
S201：错货判断单元根据商品所在的当前栅格与商品的预设栅格进行比对，当比对结果为不一致时，确定商品为错货状态；和/或，
S202：缺货判断单元基于商品的预设临界数量值，将商品的当前数量与商品的预设临界数量值进行比对，当商品的当前数量小于其预设临界数量值，确定该商品为缺货状态。
在根据本公开实施例的所述商品检测方法中，通过第二图像(放置有商品的货架的图像)判断商品的状态，不需要额外的传感器、射频识别标签等，成本较低，操作简单，错误率低。
本公开的至少一个实施例提供了一种基于三基色原理的图像分割方法，如图10所示，基于第一图像(即，货架未放置商品时的图像)，获取货架的各栅格在第一图像中的位置信息包括：
S010：将第一图像转化为灰度图像，并提取所述第一图像的颜色通道图像，并基于所述灰度图像和所述颜色通道图像得到特征图像；
S020：根据特征图像，提取边缘信息，并进行边缘检测，以获得二值图像；以及
S030：基于所述二值图像提取直线，将所述直线作为第一图像的分割线。
第一图像是货架未放置商品时的图像，颜色通道图像包括：第一颜色通道图像、第二颜色通道图像以及第三颜色通道图像；在本公开的一个实施例中，该S010步骤中包括:
S011：计算所述灰度图像和一个颜色通道图像的差分绝对值图像，计算获得该差分绝对值图像的梯度幅值图像，并将该所述梯度幅值图像作为特征图像。
计算第一图像中每个像素有效的亮度值，将第一图像转换为灰度图像，其计算公式为：
Y＝0.3R+0.59G+0.11B；
其中，R表示该像素的红色通道值，G表示该像素的绿色通道值，B表示该像素的蓝色通道值，Y表示该像素的灰度值。
在上述本实施例中，基于三基色原理，对采集的图像进行图像分割，从而将货架划分。该方法有利于突出颜色变化的边缘特征，适用于颜色相差较为明显的彩色图像，提高了图像分割的精确度。
当然，根据本公开实施例的图像分割方法应用于任何图像的分割，其不应当局限于根据本公开所述的商品检测，即根据本公开实施例的图像分割方法实质上可以脱离于根据本公开的商品检测方法或者商品检测系统而单独实施。在一些可行实施例中，所述图像分割方法至少可以提高彩色图像分割的精确度。
进一步地，为了提高图像分割的精确度，如图11所示，所述图像分割方法至少包括以下步骤之一：
S041：执行直线聚类，对直线提取结果进行聚类，获取直线检测结果；
S042：对第一图像进行均值滤波处理，去除图像噪声；以及
S043：基于采集的第一图像，采用棋盘格标定法进行图像校正。
在本公开的一个实施例中，直线聚类包括：
a)针对直线提取结果，首先建立在图像内直线间彼此相交情况矩阵。假设有N条直线，则建立N维方阵，第i行和第j列的方阵元素值表示第i条直线和第j条直线的相交情况，其中：0表示两直线相交于图像外，1表示两直线在图像内相交，2表示两直线平行；
b)提取直线提取结果的各条直线与图像坐标的水平轴的夹角；
c)提取图像坐标原点到直线提取结果的各条直线的垂直距离；
d)取直线提取结果中编号为i的直线，取直线提取结果中编号为j的未被合并的直线，若直线j与直线i不在图像内相交则不处理；若直线j与直线i平行，则求取图像坐标原点到直线j和直线i的距离差值，如果小于一定阈值则存储直线j上的各个点坐标值；若直线j与直线i在图像内相交，则求取直线j和直线i与图像坐标水平轴的夹角差值，如果小于一定阈值则存储直线j上的各个坐标值；标记直线j为已被合并；
e)重复步骤d，依次将直线提取结果中所有未被合并的直线与直线i进行比较；
f)如果直线提取结果中有需要与直线i进行合并的直线，则将直线i和所有待合并直线上所有的点进行直线拟合；
g)重复步骤d-f，完成直线提取结果的所有直线的聚类，得到最终的直线检测结果。
对采集的图像进行直线聚类可提高图像检测精度。
对第一图像进行均值滤波处理，去除图像噪声，能够是所述图像分割方法适应于光照条件弱、噪声较多的环境。
相机、摄像机采集图像时，都会有一个畸变量，不同相机的畸变量不同，部分相机、摄像机的畸变量可以忽略，但广角镜头的畸变量较大，如果忽略则误差较大，因此当采集设备为广角镜头时，需要采用棋盘格标定法进行图像校正。
此外，在本公开的一个实施例中，所述方法进一步包括：
S050：基于SSD算法，建立商品检测模型；其中，所述商品检测模型适 应于商品检测。
在一些实施例中，SSD算法可以调节学习率，或者可以将输入的图像剪切为多个固定尺寸进行训练。
本公开的至少一个实施例提供了一种智能货架系统，如图12所示，在一个可实现的货架商品检测系统中，该系统包括：货架121，配置为放置物品，例如所述物品包括但不限于商品；采集模块122，采集货架的图像信息；以及计算模块123，包括存储器1231、处理器1232以及存储在存储器1231上并可在处理器1232上运行的计算机程序，处理器执行程序时实现上述商品检测方法。
由于上述实施例通过图像分割方法获取商品分区信息，当货架的颜色具有一定的区分度时，所提取的边缘特征明显，图像检测精确度高。货架各个区域的颜色差异越大，亮度值差别越大，图像检测精确度越高。例如，在本公开的一个实施例中，如图13所示，货架包括背景板131、第一挡板132和第二挡板133；其中，背景板131为白色，第一挡板132为绿色，第二挡板133为蓝色，并且第一挡板132和第二挡板133将背景板131分割为多个分区134。
进一步地，本公开的至少一个实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上的由商品检测终端执行的方法，或者由本公开的一些实施例体现的由图像分割单元、商品检测终端或者商品检测系统执行的方法。
图14示出了适于用来实现本公开实施例的商品检测终端或商品检测系统的计算机设备的结构示意图。
如图14所示，计算机设备1400包括中央处理单元(CPU)1401，其配置为根据存储在只读存储器(ROM)1402中的程序或者从存储部分1408加载到随机访问存储器(RAM))1403中的程序而执行处理。在RAM1403中，还存储有计算机设备1400操作所需的程序和数据。CPU1401、ROM1402、以及RAM1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。
所述计算机设备1400还包括：输入装置1406，例如键盘、鼠标等；输出设备1407，例如诸如阴极射线管(CRT)、液晶显示器(LCD)等显示装 置以及扬声器等；储存设备1408，例如硬盘等；通信装置1409，诸如LAN卡、调制解调器等；驱动器1410；以及可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等。上述装置均通过输入/输出(I/O)接口1405连接至总线1404。通信装置1409经由例如互联网进行通信。所述可拆卸介质1411根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装如存储部分1408。
根据本公开的实施例，上文参考流程图描述的方法可以被实现为计算机软件程序。进而，本公开的至少一个实施例提供了一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包括用于执行流程图所示的方法的程序代码。在该实施例中，该计算机程序可以通过通信装置1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。
附图中的流程图和框图示出了按照本公开实施例的商品检测系统、商品检测方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发送。例如两个接连地表示的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，根据涉及的功能确定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。

Claims (20)

  1. 一种商品检测终端，包括：
    图像分割单元，配置为基于第一图像获取货架的各栅格在所述货架图像中的位置信息，所述第一图像是货架未放置商品时的图像；
    检测单元，配置为基于第二图像获取每种商品所在的当前栅格和当前数量，所述第二图像是放置有商品的货架的当前图像；以及
    判断单元，配置为对所述每种商品所在的当前栅格和当前数量与该种商品的预设栅格和预设数量进行比对，以判断该种商品的状态是否满足预设条件。
  2. 根据权利要求1所述的商品检测终端，其中，所述图像分割单元包括：
    特征提取单元，配置为将第一图像转化为灰度图像，并基于灰度图像和提取的颜色通道图像，得到特征图像；
    边缘检测单元，配置为根据所述特征图像提取边缘信息，并进行边缘检测以获得二值图像；
    直线提取单元，配置为根据所述二值图像提取直线，并将所述直线作为第一图像的分割线。
  3. 根据权利要求2所述的商品检测终端，其中，所述颜色通道图像包括：第一颜色通道图像、第二颜色通道图像以及第三颜色通道图像；
    所述特征提取单元包括计算单元，所述计算单元配置为获取所述灰度图像和其中一个颜色通道图像的差分绝对值图像，并获得所述差分绝对值图像的梯度幅值图像，其中，将所述剃度幅值图像设置为所述特征图像。
  4. 根据权利要求3所述的商品检测终端，其中，所述灰度图像被配置为通过计算第一图像中每个像素的有效亮度值获得，所述有效亮度值的公式为：
    Y＝0.3R+0.59G+0.11B，其中，Y表示该像素的灰度值，R表示该像素的第一颜色通道值，G表示该像素的第二颜色通道值，B表示该像素的第三颜色通道值。
  5. 根据权利要求3所述的商品检测终端，其中，第一颜色为红色，第二颜色为绿色，第三颜色为蓝色；所述特征提取单元提取红色通道图像，所述计算单元计算获得所述灰度图像和红色颜色通道图像的差分绝对值图像，并获得所述差分绝对值图像的梯度幅值图像。
  6. 根据权利要求2-5中任一项所述的商品检测终端，其中，所述图像分割单元包括下述单元的至少之一：
    直线聚类单元，配置为对所述直线进行聚类，获取直线检测结果；
    噪声处理单元，配置为对所述第一图像进行均值滤波处理，去除图像噪声；以及
    畸变校正单元，配置为采用棋盘格标定法对第一图像进行图像校正。
  7. 根据权利要求1所述的商品检测终端，其还包括
    训练单元，基于SSD算法，建立商品检测模型；其中，所述检测单元通过所述商品检测模型进行商品检测。
  8. 根据权利要求1所述终端，其中，所述判断单元包括：
    错货判断单元，配置为对所述商品的所在的当前栅格与商品的预设所在栅格进行比对，当比对结果为不一致时，确定商品为错货状态；和/或，
    缺货判断单元，配置为将商品的当前数量与该商品的预设临界数量值进行比对，当商品的当前数量小于该商品的预设临界数量值时，确定商品为缺货状态。
  9. 一种商品检测方法，包括：
    基于第一图像，获取货架的各栅格在所述第一图像中的位置信息，其中，所述第一图像是所述货架未放置商品时的图像；
    基于第二图像，获取每种商品所在的当前栅格和当前数量，其中，第二图像是放置有商品的货架的当前图像；
    将所述每种商品所在的当前栅格和当前数量与该种商品的预设栅格和预设临界数量值进行比对以判断该种商品的状态是否满足预设条件。
  10. 根据权利要求9所述的商品检测方法，其中，基于第一图像获取货架的各栅格在所述第一图像中的位置信息包括：
    将所述第一图像转化为灰度图像，并基于灰度图像和提取的颜色通道图像，得到特征图像；
    根据所述特征图像，进行边缘检测以提取边缘信息，获得二值图像；以及
    基于所述二值图像提取直线，将所述直线作为所述第一图像的分割线。
  11. 根据权利要求10所述的商品检测方法，其中，所述颜色通道图像包括：第一颜色通道图像、第二颜色通道图像以及第三颜色通道图像；
    将所述第一图像转化为灰度图像，并基于灰度图像和提取的颜色通道图像，得到特征图像包括：
    获得所述灰度图像和其中一个颜色通道图像的差分绝对值图像，并获取该差分绝对值图像的梯度幅值图像，将该剃度幅值图像设置为所述特征图像。
  12. 根据权利要求10所述的商品检测方法，其中，第一颜色为红色，第二颜色为绿色，第三颜色为蓝色，基于灰度图像和提取的颜色通道图像，得到特征图像包括：红色通道图像，获得所述灰度图像和红色颜色通道图像的差分绝对值图像，并获取该差分绝对值图像的梯度幅值图像，将该剃度幅值图像设置为所述特征图像。
  13. 根据权利要求10所述的商品检测方法，其中，所述灰度图像通过计算第一图像中每个像素的有效亮度值获得，所述有效亮度值的公式为：
    Y＝0.3R+0.59G+0.11B，其中，Y表示该像素的灰度值，R表示该像素的第一颜色通道值，G表示该像素的第二颜色通道值，B表示该像素的第三颜色通道值。
  14. 根据权利要求10-13任一项所述的商品检测方法，其中，基于第一图像，获取货架的各栅格在所述第一图像中的位置信息进一步包括下述步骤的至少之一：
    对所述直线进行聚类，获取直线检测结果；
    对第一图像进行均值滤波处理，去除图像噪声；以及
    采用棋盘格标定法对第一图像进行图像校正。
  15. 根据权利要求9所述的商品检测方法，进一步包括
    基于SSD算法，建立商品检测模型，所述商品检测模型适于进行商品检测。
  16. 根据权利要求9-15中任何一项所述的商品检测方法，其中，将所述每种商品所在的当前栅格和当前数量与该种商品的预设栅格和预设临界数量值进行比对以判断该种商品的状态是否满足预设条件包括：
    对所述商品的所在的当前栅格与商品的预设栅格进行比对，当比对结果为不一致时，确定所述商品为错货状态；和/或，
    对所述商品的当前数量与所述商品的预设临界数量值进行比对，当所述当前数量小于所述预设临界数量值，确定所述商品为缺货状态。
  17. 一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，
    所述处理器执行所述计算机程序时实现如权利要求9-16任一项所述的商品检测方法。
  18. 一种计算机可读介质，其上存储有计算机程序，其中，
    所述计算机程序被处理器执行时实现如权利要求9-16中任一项所述的商品检测方法。
  19. 一种智能货架系统，包括：
    货架，配置为放置物品；
    采集模块，配置为采集货架的图像；以及
    计算模块，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求9-16任一项所 述方法。
  20. 根据权利要求19所述的智能货架系统，其中，所述货架包括背景板、第一挡板和第二挡板；
    其中，所述背景板、所述第一挡板以及所述第二挡板颜色不同，并且所述第一挡板和所述第二挡板将所述背景板分割为多个分区。
PCT/CN2019/081309 2018-05-30 2019-04-03 商品检测终端、方法、系统以及计算机设备、可读介质 WO2019228063A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/498,750 US11403839B2 (en) 2018-05-30 2019-04-03 Commodity detection terminal, commodity detection method, system, computer device, and computer readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810540197.6 2018-05-30
CN201810540197.6A CN108846401A (zh) 2018-05-30 2018-05-30 商品检测终端、方法、系统以及计算机设备、可读介质

Publications (1)

Publication Number Publication Date
WO2019228063A1 true WO2019228063A1 (zh) 2019-12-05

Family

ID=64211042

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/081309 WO2019228063A1 (zh) 2018-05-30 2019-04-03 商品检测终端、方法、系统以及计算机设备、可读介质

Country Status (3)

Country Link
US (1) US11403839B2 (zh)
CN (1) CN108846401A (zh)
WO (1) WO2019228063A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080695A (zh) * 2019-12-31 2020-04-28 合肥美的智能科技有限公司 售货设备及其监控方法和监控装置
CN113128927A (zh) * 2021-03-23 2021-07-16 广东便捷神科技股份有限公司 基于双摄像头无人零售终端机库损的优化方法
CN114359882A (zh) * 2021-12-31 2022-04-15 广东哈士奇制冷科技股份有限公司 一种货柜中瓶体商品的检测方法及系统

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846401A (zh) * 2018-05-30 2018-11-20 京东方科技集团股份有限公司 商品检测终端、方法、系统以及计算机设备、可读介质
CN109829516A (zh) * 2019-03-07 2019-05-31 苏州达家迎信息技术有限公司 图像处理方法及装置、设备及存储介质
CN109977886B (zh) * 2019-03-29 2021-03-09 京东方科技集团股份有限公司 货架空置率计算方法及装置、电子设备、存储介质
CN109961101B (zh) * 2019-03-29 2021-04-27 京东方科技集团股份有限公司 货架状态确定方法及装置、电子设备、存储介质
CN110189319B (zh) * 2019-05-31 2021-08-13 北京百度网讯科技有限公司 置物架分割方法、装置、设备和存储介质
US11508149B2 (en) 2019-06-05 2022-11-22 Novatek Microelectronics Corp. Operating method with goods information and non-transitory computer readable medium thereof
CN112308869A (zh) * 2019-07-30 2021-02-02 阿里巴巴集团控股有限公司 图像采集方法、装置、电子设备及计算机存储介质
CN110490137A (zh) * 2019-08-20 2019-11-22 上海秒针网络科技有限公司 告警信息的发出方法及装置、存储介质、电子装置
CN110852240A (zh) * 2019-11-06 2020-02-28 创新奇智(成都)科技有限公司 零售商品检测系统及检测方法
CN110919653B (zh) * 2019-11-29 2021-09-17 深圳市优必选科技股份有限公司 机器人的爬楼控制方法、装置、存储介质和机器人
CN112950246B (zh) * 2019-12-11 2024-04-23 汉朔科技股份有限公司 商超商品定位系统及方法
CN111160330B (zh) * 2019-12-30 2020-12-08 华东理工大学 电子标签识别辅助提升图像识别准确度的训练方法
CN111275906A (zh) * 2020-02-17 2020-06-12 重庆邮电大学 基于ssd算法的智能称重水果识别系统
CN113643083A (zh) * 2020-04-27 2021-11-12 京东方科技集团股份有限公司 一种商品标记及展示方法、服务器、终端及商品展示系统
CN114565837B (zh) * 2022-01-19 2024-05-03 山东大学 基于机器视觉的堆垛信息实时识别方法及系统
CN114511820A (zh) * 2022-04-14 2022-05-17 美宜佳控股有限公司 货架商品检测方法、装置、计算机设备及存储介质
CN117152539B (zh) * 2023-10-27 2024-01-26 浙江由由科技有限公司 基于降维特征机器校验的生鲜商品分类修正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184405A (zh) * 2011-04-19 2011-09-14 清华大学 图像采集分析方法
US20130051667A1 (en) * 2011-08-31 2013-02-28 Kevin Keqiang Deng Image recognition to support shelf auditing for consumer research
CN106570510A (zh) * 2016-11-07 2017-04-19 南京航空航天大学 一种超市商品识别方法
CN107516111A (zh) * 2017-08-23 2017-12-26 昆山塔米机器人有限公司 一种售卖机缺货检测方法及装置
CN108846401A (zh) * 2018-05-30 2018-11-20 京东方科技集团股份有限公司 商品检测终端、方法、系统以及计算机设备、可读介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982332A (zh) * 2012-09-29 2013-03-20 顾坚敏 基于云处理方式的零售终端货架影像智能分析系统
CN102930264B (zh) * 2012-09-29 2015-10-28 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
US9536167B2 (en) * 2014-12-10 2017-01-03 Ricoh Co., Ltd. Realogram scene analysis of images: multiples for scene analysis
US10169660B1 (en) * 2014-12-19 2019-01-01 Amazon Technologies, Inc. Counting inventory items using image analysis
CN106779729A (zh) 2015-11-20 2017-05-31 刘佳伟 自助购物系统及使用方法
CN106658407A (zh) 2016-11-30 2017-05-10 深圳市赛亿科技开发有限公司 一种智能超市货架系统
CN107146063A (zh) 2017-07-13 2017-09-08 卢竹林 智能货架系统、仓储管理系统及货物陈列管理系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184405A (zh) * 2011-04-19 2011-09-14 清华大学 图像采集分析方法
US20130051667A1 (en) * 2011-08-31 2013-02-28 Kevin Keqiang Deng Image recognition to support shelf auditing for consumer research
CN106570510A (zh) * 2016-11-07 2017-04-19 南京航空航天大学 一种超市商品识别方法
CN107516111A (zh) * 2017-08-23 2017-12-26 昆山塔米机器人有限公司 一种售卖机缺货检测方法及装置
CN108846401A (zh) * 2018-05-30 2018-11-20 京东方科技集团股份有限公司 商品检测终端、方法、系统以及计算机设备、可读介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080695A (zh) * 2019-12-31 2020-04-28 合肥美的智能科技有限公司 售货设备及其监控方法和监控装置
CN111080695B (zh) * 2019-12-31 2023-10-20 合肥美的智能科技有限公司 售货设备及其监控方法和监控装置
CN113128927A (zh) * 2021-03-23 2021-07-16 广东便捷神科技股份有限公司 基于双摄像头无人零售终端机库损的优化方法
CN113128927B (zh) * 2021-03-23 2023-12-22 广东便捷神科技股份有限公司 基于双摄像头无人零售终端机库损的优化方法
CN114359882A (zh) * 2021-12-31 2022-04-15 广东哈士奇制冷科技股份有限公司 一种货柜中瓶体商品的检测方法及系统
CN114359882B (zh) * 2021-12-31 2024-04-02 广东哈士奇制冷科技股份有限公司 一种货柜中瓶体商品的检测方法及系统

Also Published As

Publication number Publication date
US20210334574A1 (en) 2021-10-28
CN108846401A (zh) 2018-11-20
US11403839B2 (en) 2022-08-02

Similar Documents

Publication Publication Date Title
WO2019228063A1 (zh) 商品检测终端、方法、系统以及计算机设备、可读介质
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及系统
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
WO2020199776A1 (zh) 货架空置率计算方法及装置、存储介质
CN108710916B (zh) 图片分类的方法及装置
CN108596187B (zh) 商品纯净度检测方法及展示柜
CN110796141A (zh) 目标检测方法及相关设备
CN109840982B (zh) 排队推荐方法及装置、计算机可读存储介质
CN106339707A (zh) 一种基于对称性特征的仪表指针图像识别方法
CN103020993A (zh) 一种双通道颜色对比度融合的视觉显著性检测方法
CN101114337A (zh) 一种地面建筑物识别定位方法
KR101997048B1 (ko) 물류 관리를 위한 원거리 다수의 코드 인식 방법 및 이를 이용한 코드 인식 장치
CN111310662A (zh) 一种基于集成深度网络的火焰检测识别方法及系统
WO2023138163A1 (zh) 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法
CN111213154A (zh) 一种车道线检测方法、设备、移动平台及存储介质
CN110119742A (zh) 一种集装箱号的识别方法、装置及移动终端
CN110619336B (zh) 基于图像处理的货品识别算法
CN105976407A (zh) 一种适用于遮挡条件下的餐盘形状识别方法
CN109255792A (zh) 一种视频图像的分割方法、装置、终端设备及存储介质
CN108364300A (zh) 蔬菜叶部病害图像分割方法、系统及计算机可读存储介质
CN111259736A (zh) 一种基于深度学习的复杂环境下行人实时检测方法
CN113177941A (zh) 一种钢卷边裂识别方法、系统、介质和终端
CN104573698A (zh) 面向成像测量的图像纹理主方向识别方法
CN116718599A (zh) 一种基于三维点云数据的表观裂缝长度测量方法
CN116596428A (zh) 一种基于无人机的乡村物流智能配送系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19812554

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19812554

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 06.05.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19812554

Country of ref document: EP

Kind code of ref document: A1