WO2023185832A1 - 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质 - Google Patents

冰箱内物品目标同一性判断方法、冰箱和计算机存储介质 Download PDF

Info

Publication number
WO2023185832A1
WO2023185832A1 PCT/CN2023/084375 CN2023084375W WO2023185832A1 WO 2023185832 A1 WO2023185832 A1 WO 2023185832A1 CN 2023084375 W CN2023084375 W CN 2023084375W WO 2023185832 A1 WO2023185832 A1 WO 2023185832A1
Authority
WO
WIPO (PCT)
Prior art keywords
target detection
detection frame
target
image
item
Prior art date
Application number
PCT/CN2023/084375
Other languages
English (en)
French (fr)
Inventor
毕研华
孔令磊
Original Assignee
青岛海尔电冰箱有限公司
海尔智家股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 青岛海尔电冰箱有限公司, 海尔智家股份有限公司 filed Critical 青岛海尔电冰箱有限公司
Publication of WO2023185832A1 publication Critical patent/WO2023185832A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Definitions

  • the object of the present invention is to provide a method for determining object identity of items in a refrigerator, a refrigerator and a computer storage medium.
  • the target detection frame with the shortest Euclidean distance is selected and determined as the target detection frame B max with the highest degree of coincidence.
  • deleting the target 1 information after the review includes:
  • the information in the target detection frame B 1 is saved and continues to participate in the detection of item information in the third image.
  • the target 1 information where 3 ⁇ m ⁇ n.
  • Figure 1 is a schematic diagram of the steps of a method for determining object identity of items in a refrigerator in an embodiment of the present invention.
  • 6 to 8 are schematic diagrams of the space inside the refrigerator taken during the step of detecting items blocked by hands in the object identity judgment method of items in the refrigerator in one embodiment of the present invention.
  • the present invention provides a method for determining the target identity of items in a refrigerator, which is used to detect and track information about items in the refrigerator, including the steps:
  • the camera is installed at the bottom of the bottle holder of the refrigerator, and is used to capture information about the ingredients in the bottle holder below it.
  • the camera can also be installed in other storage spaces in the refrigerator such as the refrigerator or freezer, and its position can be adjusted according to the structure of the refrigerator or freezer.
  • S12 Detect the item information in the first image, generate target detection frames at each item, respectively target detection frame B 1 to target detection frame B n , and assign ID information to the items in each target detection frame, corresponding to the target respectively. 1 to target n.
  • the food materials in the image are obtained.
  • the items can be detected through common target detection algorithms such as YOLOv4.
  • the target detection frame is usually a rectangular or quadrilateral detection frame that contains a single object.
  • Figure 3 it is a schematic diagram of the image after Figure 2.
  • the second image which includes 5 target detection frames, and no ID has been assigned to the item.
  • S14 Compare the overlap between each item target detection frame and the target detection frame B 1 in the second image, obtain the target detection frame B max with the highest overlap, and detect the similarity between the two. If the similarity meets the minimum requirements, then The items in the target detection frame B max are assigned the value of target 1. Otherwise, the target 1 information will be deleted after review.
  • S15 Compare the overlap and similarity between target 2 to target n with each target detection frame in the second image, and update the item ID information in the second image.
  • step S14 comparing the overlap between each item target detection frame and the target detection frame B 1 in the second image includes the steps:
  • intersection ratio In image detection, the intersection ratio is used to describe the overlapping area between two frames. It can be used to measure the degree of coincidence between two target detection frames.
  • the program for calculating the intersection ratio is an existing technology and will not be described again here. .
  • step S14 the target detection frame B max with the highest degree of coincidence is obtained, including:
  • S143 Calculate the Euclidean distance between the target detection frame B 1 and the center points of each target detection frame that meet the minimum requirements for coincidence.
  • S144 Select the target detection frame with the shortest Euclidean distance and determine it as the target detection frame B max with the highest degree of coincidence.
  • Euclidean distance is the straight-line distance between two points. , when the Euclidean distance is the shortest, it can be considered that the two target detection frames are actually the closest.
  • the intersection ratio is greater than the first threshold V 1 , select it as the target detection frame with the highest degree of coincidence, and the judgment is highly reliable. .
  • the target detection frame B max is actually displaced relative to the target detection frame B 1.
  • the cosin similarity between the two is compared.
  • cosin similarity is more about distinguishing differences in direction and is not sensitive to absolute values. Therefore, for target detection frames whose positions have changed, cosin similarity is more efficient. Accuracy.
  • step S147 the target 1 information is deleted after review, including:
  • the information in the target detection frame B 1 is saved and continues to participate in the detection of item information in the third image.
  • the information of target 1 is temporarily deleted and saved. , compare it again in the subsequent detection of image information, until the information without target 1 is detected multiple times in a row, it can be determined that it has been taken away by the user, thereby improving the accuracy of detection and determination.
  • the m value is 7, that is, after no target detection frame that meets the similarity requirements with target detection frame B 1 is identified in 7 consecutive images, the information of target 1 is deleted.
  • the item ID information assignment in the first image is updated to the second image.
  • step S14 also includes:
  • a step of detection and recognition is also included:
  • step S21 the degree of coincidence between the corresponding target detection frame B j and the target detection frame B h of the hand in the a-th image is compared, including:
  • intersection and union ratio Calculate the intersection and union ratio between the target detection frame B j and the target detection frame B h .
  • the intersection and union ratio is greater than the fourth threshold V 4 , it is determined that the minimum requirement of coincidence degree is met.
  • the item has a high probability to be blocked by the hand, or picked up by the user to move it.
  • both The target detection frames between have a high degree of overlap. Therefore, by detecting the intersection ratio between the two, we can determine whether the object is blocked by the hand. And temporarily save the item information for subsequent inspection.
  • step S23 it is determined whether the minimum coincidence degree requirement is met by calculating whether the intersection and union ratio between the target detection frame B j2 and the target detection frame B h is greater than the sixth threshold V 6 .
  • step S23 the content similarity between the target detection frame B j2 and the target detection frame B j is detected, including:
  • FIG 8 it is the next image in Figure 7, in which the same type of item 6 is detected and recognized, and its target detection frame is between the target detection sixth threshold V6 frame of the hand in Figure 7
  • the minimum requirement of coincidence is met. Therefore, continue to extract the 512-dimensional features of the image within it to calculate the cosin similarity with the image in the object detection frame of item 6 in Figure 6. If it is greater than the fifth threshold V 5 , assign it the value of item 6.
  • the present invention can detect and track changes in the information and position of each item in a continuous image with high accuracy, and can effectively detect and track items that are temporarily blocked by hands or taken by the user in multiple consecutive images. It can handle moving items with less tracking loss and high tracking accuracy.
  • the present invention also provides a refrigerator, including: a camera, a memory and a processor, and the camera is configured to capture images of the storage space in the refrigerator.
  • the memory stores a computer program that can be run on the processor. When the processor executes the program, the steps of the above method for determining the target identity of items in the refrigerator are implemented.
  • the refrigerator includes a plurality of bottle holders, and the plurality of bottle holders are arranged on the refrigerator door body from top to bottom.
  • the camera is arranged at the bottom of the bottle holders and is set vertically downward for taking pictures in the space of the bottle holders below. image.
  • the present invention also provides a computer storage medium, in which a computer program is stored, and when the computer program is run, the device where the computer storage medium is located executes the steps of the above method for determining object identity of items in the refrigerator.

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种冰箱内物品目标同一性判断方法、冰箱和计算机存储介质，其包括步骤：获取多幅冰箱内存储空间图片，为第1图像至第n图像；在第1图像内各物品处生成目标检测框，分别为目标检测框B1至目标检测框Bn，并赋值ID信息。检测第2图像内物品信息，找到第2图像内各物品目标检测框与目标检测框B1之间重合度最高的目标检测框Bmax，若两者相似度满足最低要求，则目标检测框Bmax内物品赋值为目标1，否则，复核后删除目标1信息，重复上述步骤更新图像信息。

Description

冰箱内物品目标同一性判断方法、冰箱和计算机存储介质 技术领域
本发明涉及制冷装置领域，具体地涉及一种冰箱内物品目标同一性判断方法、冰箱和计算机存储介质。
背景技术
随着家用电器智能化的发展，对内部物品进行识别已经是只能冰箱所必需的功能。通常为了实现对冰箱内部物品的识别跟踪，来检测食材的存放日期和存放时长等，冰箱的内部储存空间内都安装有一个或多个摄像头用于拍摄物品，并对拍摄的照片进行处理后生成识别结果。
然而，在图像检测识别过程中，现有的Sort和deepsort算法不太适合冰箱瓶座上存放物品的目标跟踪，因为冰箱门打开以后会出现各种光线的变化以及人身体自身对物品的遮挡，开门的过程中物品可能会大范围晃动，导致长时间检测不到目标，甚至人手长时间遮挡目标情况下目标发生了移动，导致跟丢目标，或者出现目标ID的迅速切换，严重影响了用户体验。
发明内容
本发明的目的在于提供一种冰箱内物品目标同一性判断方法、冰箱和计算机存储介质。
本发明提供一种冰箱内物品目标同一性判断方法，包括步骤：
获取于固定位置连续拍摄的多幅冰箱内存储空间图片，分别为第1图像至第n图像，其中，n为大于1的整数；
检测所述第1图像内的物品信息，在各物品处生成目标检测框，分别为目标检测框B1至目标检测框Bn，并对各目标检测框内物品赋值ID信息，分别对应为目标1至目标n；
检测第2图像内的物品信息，在各物品处生成目标检测框；
比较所述第2图像内各物品目标检测框与所述目标检测框B1之间的重合度，得到重合度最高的目标检测框Bmax，检测所述目标检测框Bmax和所述目标检测框B1相 似度，若相似度满足最低要求，则所述目标检测框Bmax内物品赋值为所述目标1，否则，复核后删除所述目标1信息；
将目标2至目标n分别依次与第2图像内各目标检测框进行重合度和相似度比较，更新所述第2图像内物品ID信息；
重复上述步骤，依次通过第x-1图像对第x图像更新物品ID信息，其中，2≤x≤n。
作为本发明的进一步改进，还包括步骤：
更新物品ID信息后，当所述第x图像中依然存在未赋值ID的物品时，对其赋值新ID。
作为本发明的进一步改进，比较所述第2图像内各物品目标检测框与所述目标检测框B1之间的重合度，包括步骤：
计算所述第2图像内各物品目标检测框与所述目标检测框B1之间的交并比；
对于交并比大于第一阈值V1的目标检测框，判定为满足重合度最低要求。
作为本发明的进一步改进，所述得到重合度最高的目标检测框Bmax，包括：
计算所述目标检测框B1与满足所述重合度最低要求的各所述目标检测框中心点之间的欧氏距离；
选择欧氏距离最短的目标检测框判定为重合度最高的目标检测框Bmax。
作为本发明的进一步改进，所述检测所述目标检测框Bmax和所述目标检测框B1相似度，，包括：
当所述目标检测框Bmax与所述目标检测框B1之间欧氏距离小于等于第二阈值V2时，将所述目标检测框Bmax内物品赋值为所述目标1；
当所述目标检测框Bmax与所述目标检测框B1之间欧氏距离大于第二阈值V2时，提取所述目标检测框Bmax与所述目标检测框B1内截图区域的多维特征，计算两者的cosin相似度；
若cosin相似度大于设定的第三阈值V3，将所述目标检测框Bmax内物品赋值为所述目标1，否则，复核后删除所述目标1信息。
作为本发明的进一步改进，所述复核后删除所述目标1信息，包括：
当所述第2图像中不存在与所述目标检测框B1满足相似度最低要求的目标检测框时，将所述目标检测框B1内信息保存，继续参与第三图像内物品信息检测，当存在满足重合度和相似度最低要求的目标检测框时，对其内物品赋值为目标1，否则重复上述步骤，直至在第m图像中不存在满足相似度最低要求的目标检测框后，删除所述目标1信息，其中，3≤m≤n。
作为本发明的进一步改进，还包括步骤：
当在第a图像中检测到手，且第a-1图像中存在目标j经检测后未在所述第a图像中被检测到时，比较其所对应的目标检测框Bj与所述第a图像中手的目标检测框Bh之间的重合度，其中，2≤a≤n，1≤j≤n；
当满足重合度最低要求时，将所述目标检测框Bj与所述目标检测框Bh信息关联保存；
继续进行后续图像物品信息检测，当存在与物品j同类型的物品j2，且其对应的目标检测框Bj2与所述目标检测框Bh满足重合度最低要求时，检测所述目标检测框Bj2和所述目标检测框Bj内容相似度，若相似度满足最低要求，对所述目标检测框Bj2内物品赋值j，否则，对所述目标检测框Bj2内物品赋值新ID。
作为本发明的进一步改进，所述比较其所对应的目标检测框Bj与所述第a图像中手的目标检测框Bh之间的重合度，包括：
计算所述目标检测框Bj与所述目标检测框Bh之间的交并比，当交并比大于第四阈值V4时，判定为满足重合度最低要求。
作为本发明的进一步改进，所述检测所述目标检测框Bj2和所述目标检测框Bj内容相似度，包括：
截取所述目标检测框Bj2与所述目标检测框Bj内图像，分别提取其512维特征，计算cosin相似度，若cosin相似度大于第五阈值V5，则对物品j2更新赋值ID为j，否则，对物品j2赋值新ID。
本发明还提供一种冰箱，包括：摄像机以及存储器和处理器，所述摄像机被配置用于拍摄冰箱内存储空间图像；
所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述 程序时实现上述冰箱内物品目标同一性判断方法的步骤。
作为本发明的进一步改进，所述冰箱包括多个瓶座，多个所述瓶座从上至下依次排布设置在冰箱门体上，所述摄像机设置于所述瓶座底部，竖直向下设置，用于拍摄其下方瓶座空间内图像。
本发明还提供一种计算机存储介质，其中存储有计算机程序，并且所述计算机程序运行时导致所述计算机存储介质的所在设备执行上述冰箱内物品目标同一性判断方法的步骤。
本发明的有益效果是：本发明能够在一段连续图像中以高准确度检测跟踪各物品信息和位置的变化，并且能够有效检测跟踪在连续多幅图像中暂时被手遮挡、或被用户拿起移动的物品，跟踪丢失少，跟踪精度高。
附图说明
图1是本发明一实施方式中的冰箱内物品目标同一性判断方法步骤示意图。
图2至图4是本发明一实施方式中的冰箱内物品目标同一性判断方法中所拍摄的冰箱内空间示意图。
图5是本发明一实施方式中的冰箱内物品目标同一性判断方法中检测被手遮挡物品的步骤示意图。
图6至图8是本发明一实施方式中的冰箱内物品目标同一性判断方法中检测被手遮挡物品的步骤所拍摄的冰箱内空间示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施方式及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施方式仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。
下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发 明的限制。
为方便说明，本文使用表示空间相对位置的术语来进行描述，例如“上”、“下”、“后”、“前”等，用来描述附图中所示的一个单元或者特征相对于另一个单元或特征的关系。空间相对位置的术语可以包括设备在使用或工作中除了图中所示方位以外的不同方位。例如，如果将图中的装置翻转，则被描述为位于其他单元或特征“下方”或“上方”的单元将位于其他单元或特征“下方”或“上方”。因此，示例性术语“下方”可以囊括下方和上方这两种空间方位。
如图1所示，本发明提供一种冰箱内物品目标同一性判断方法，用于对冰箱内物品信息进行检测和追踪，包括步骤：
S11：获取于固定位置连续拍摄的多幅冰箱内存储空间图片，分别为第1图像至第n图像，其中n为大于1的整数。
这里所说的于同一点位拍摄即通过设置于一固定点位的摄像机，在其与取景区域之间保持相对稳定后连续拍摄得到多幅图像，或从拍摄的影像中连续截取多帧图像，从而最大限度的保证每幅图像中的物体位置保持相同，便于进行后续的检测与识别。
示例性的，在本实施方式中，摄像机设于冰箱瓶座底部，用于拍摄其下方瓶座内食材的信息。于本发明的其他实施方式中，摄像头机也可设于冷藏室或冷冻室等冰箱内其他储存空间内，并根据冷藏室或冷冻室的结构调整其设置的位置。
在接收到开始拍摄的指令后，摄像机开始工作，通常这一指令可以通过冰箱门被打开而发出，此时，由于冰箱门刚被打开，因此拍摄区域内物品依然保持为未被用户触碰的状态，可识别度高，以此为判断基准图像，识别准确度较高。
S12：检测第1图像内的物品信息，在各物品处生成目标检测框，分别为目标检测框B1至目标检测框Bn，并对各目标检测框内物品赋值ID信息，分别对应为目标1至目标n。
具体的，基于检测算法模型，获取图像内食材，如可通过YOLOv4等常用目标检测算法对物品进行检测。目标检测框通常为将单个物品囊括于其内的矩形或四边形检测框。
示例性的，如图2所示，为一幅图像示意图，为便于说明工作逻辑，选取一幅用户开始调整冰箱内物品过程中的图像作为第1图像，其内包括5个目标检测框，且其内物品分别对应标识为目标1至目标5。
S13：检测第2图像内的物品信息，在各物品处生成目标检测框。
示例性的，如图3所示，为图2后一幅图像示意图，为便于说明，将其定为第二图像，其内包括5个目标检测框，且尚未对物品赋值ID。
S14：比较第2图像内各物品目标检测框与目标检测框B1之间的重合度，得到重合度最高的目标检测框Bmax，检测两者间相似度，若相似度满足最低要求，则目标检测框Bmax内物品赋值为目标1，否则，复核后删除目标1信息。
S15：将目标2至目标n分别依次与第2图像内各目标检测框进行重合度和相似度比较，更新第2图像内物品ID信息。
具体的，在步骤S14中，比较第2图像内各物品目标检测框与目标检测框B1之间的重合度，包括步骤：
S141：计算第2图像内各物品目标检测框与目标检测框B1之间的交并比。
S142：对于交并比大于第一阈值V1的目标检测框，判定为满足重合度最低要求。
交并比在图像检测中，用以描述两个框之间的重叠面积，可以用其衡量两个目标检测框之间的重合度，计算交并比的程序为现有技术，这里不再赘述。
先通过逻辑相对简单的交并比计算，筛选出与目标检测框B1之间重合度较高的目标检测框作为检测识别的候选目标，减少后续识别所需要的工作量。
具体的，在步骤S14中，得到重合度最高的目标检测框Bmax，包括：
S143：计算目标检测框B1与满足重合度最低要求的各目标检测框中心点之间的欧氏距离。
S144：选择欧氏距离最短的目标检测框判定为重合度最高的目标检测框Bmax。
在实际情况中，目标检测框的大小和分布位置对交并比的影响可能会导致最终对重合度判断产生误差，因此增加测试欧氏距离的步骤，欧氏距离即两点之间的直线距离，当欧氏距离最短时，可以认为两个目标检测框之间实际最为相近，在交并比大于第一阈值V1的情况下，选择其作为重合度最高的目标检测框，判断可靠性高。
具体的，在步骤S14中，检测两者间相似度，包括：
S145：当目标检测框Bmax与目标检测框B1之间欧氏距离小于等于第二阈值V2时，将目标检测框Bmax内物品赋值为目标1。
这里，对于欧氏距离小于等于第二阈值V2时的情况，可以判定为实际两个目标检测框内的物品并未发生移动，因此可以直接对其赋值，从而省去后续的检测步骤，省时高效。
S146：当目标检测框Bmax与目标检测框B1之间欧氏距离大于第二阈值V2时，提取目标检测框Bmax与目标检测框B1内截图区域的多维特征，计算两者的cosin相似度。
S147：若cosin相似度大于设定的第三阈值V3，将目标检测框Bmax内物品赋值为目标1，否则，复核后删除目标1信息。
这里，对于欧氏距离大于第二阈值V2时的情况，目标检测框Bmax相对于目标检测框B1实际发生了位移，此时，为了提高识别的准确率，比较两者间的cosin相似度，cosin相似度相比于欧氏距离，其更多的是从方向上区分差异，而对绝对的数值不敏感，因此对于位置发生了变化的目标检测框，检测cosin相似度具有更高的准确率。
具体的，在步骤S147中，复核后删除目标1信息，包括：
当第2图像中不存在与目标检测框B1满足相似度最低要求的目标检测框时，将目标检测框B1内信息保存，继续参与第三图像内物品信息检测，当存在满足重合度和相似度最低要求的目标检测框时，对其内物品赋值为目标1，否则重复上述步骤，直至在第m图像中不存在满足相似度最低要求的目标检测框后，删除目标1信息，其中，3≤m≤n。
这里，考虑到可能存在误判后者遮挡等情况，当仅在第2图像中未找到与目标检测框B1满足相似度要求的目标检测框时，暂缓删除目标1的信息，将其保存后，在后续图像信息的检测中再次将其进行对比，直至连续多次检测无目标1的信息后，可以判定其已被用户取走，从而提高检测判定的准确度。
在本实施方式中，m值取7，即连续在7幅图像中未识别到与目标检测框B1满足相似度要求的目标检测框后，删除目标1的信息。
通过重复上述步骤，将第1图像中的物品ID信息赋值更新到第2图像中。
示例性的，如图4所示，物品1至物品4未发生移动，直接将图2中的物品ID信息对其赋值，物品5被用户移动，但其满足低最相似度要求，因此对其进行赋值。
进一步的，步骤S14还包括：
在更新物品ID信息后，当第x图像中依然存在未赋值ID的物品时，对其赋值新ID。此时，判定为用户在冰箱内放置了新物品。
S16：重复上述步骤，依次通过第x-1图像对第x图像更新物品ID信息，其中，2≤x≤n。
进一步的，如图5所示，在本发明的一些实施方式中，针对冰箱内物品暂时被用户手遮挡的情况，还包括检测识别的步骤：
S21：当在第a图像中检测到手，且第a-1图像中存在目标j经检测后未在第a图像中被检测到时，比较其所对应的目标检测框Bj与第a图像中手的目标检测框Bh之间的重合度，其中，2≤a≤n，1≤j≤n。
S22：当满足重合度最低要求时，将目标检测框Bj与目标检测框Bh信息关联保存。
具体的，在步骤S21中，比较其所对应的目标检测框Bj与第a图像中手的目标检测框Bh之间的重合度，包括：
计算目标检测框Bj与目标检测框Bh之间的交并比，当交并比大于第四阈值V4时，判定为满足重合度最低要求。
这里，在检测过程中，当有物品未被检测到，且同时检测到手的信息后，该物品具有较高的可能性被手遮挡，或者被用户拿起准备将其移动，此时，两者间的目标检测框具有较高的重合度，因此，通过检测两者间的交并比，来判断物品是否被手遮挡。并暂时将物品信息保存，留待后续继续检测。
示例性的，如图6和图7所示，其中，图7为图6的下一图像，在图6中检测识别到物品1至物品6，在图7中，检测识别到物品1至物品5和手的信息，物品6被用户手拿起，其信息被遮挡，图6中物品6和图7中手的目标检测框的交并比满足重合度最低要求，将两目标检测框内的内容关联后暂时保存。
S23：继续进行后续图像物品信息检测，当存在与物品j同类型的物品j2，且其对应的目标检测框Bj2与目标检测框Bh满足重合度最低要求时，检测目标检测框Bj2和目标检测框Bj内容相似度，若相似度满足最低要求，对目标检测框Bj2内物品赋值j，否则，对目标检测框Bj2内物品赋值新ID。
具体的，在步骤S23中，通过计算目标检测框Bj2与目标检测框Bh之间交并比是否大于第六阈值V6来判断是否满足重合度最低要求。
具体的，在步骤S23中，检测目标检测框Bj2和目标检测框Bj内容相似度，包括：
截取目标检测框Bj2与目标检测框Bj内图像，分别提取其512维特征，计算cosin相似度，若cosin相似度大于第五阈值V5，则对物品j2更新赋值ID为j，否则，对物品j2赋值新ID。
示例性的，如图8所示，其为图7下一图像，在其内检测识别到物品6同类型物品，其目标检测框与图7中手的目标检第六阈值V6框之间满足重合度最低要求，因此，继续提取其内图像512维特征计算与图6中物品6目标检测框内图像的cosin相似度，大于第五阈值V5，对其赋值为物品6。
进一步的，当在第a图像中检测到手，且第a-1图像中存在多个目标经检测后未在第a图像中被检测到时，对于多个对象分别进行后续检测。
综上所述，本发明通过上述方法能够在一段连续图像中以高准确度检测跟踪各物品信息和位置的变化，并且能够有效检测跟踪在连续多幅图像中暂时被手遮挡、或被用户拿起移动的物品，跟踪丢失少，跟踪精度高。
本发明还提供一种冰箱，包括：摄像机以及存储器和处理器，摄像机被配置用于拍摄冰箱内存储空间图像。存储器存储有可在处理器上运行的计算机程序，处理器执行程序时实现上述冰箱内物品目标同一性判断方法的步骤。
进一步的，冰箱包括多个瓶座，多个瓶座从上至下依次排布设置在冰箱门体上，摄像机设置于瓶座底部，竖直向下设置，用于拍摄其下方瓶座空间内图像。
本发明还提供一种计算机存储介质，其中存储有计算机程序，并且计算机程序运行时导致计算机存储介质的所在设备执行上述冰箱内物品目标同一性判断方法的步骤。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (13)

  1. 一种冰箱内物品目标同一性判断方法，其特征在于，包括步骤：
    获取于固定位置连续拍摄的多幅冰箱内存储空间图片，分别为第1图像至第n图像，其中，n为大于1的整数；
    检测所述第1图像内的物品信息，在各物品处生成目标检测框，分别为目标检测框B1至目标检测框Bn，并对各目标检测框内物品赋值ID信息，分别对应为目标1至目标n；
    检测第2图像内的物品信息，在各物品处生成目标检测框；
    比较所述第2图像内各物品目标检测框与所述目标检测框B1之间的重合度，得到重合度最高的目标检测框Bmax，检测所述目标检测框Bmax和所述目标检测框B1相似度，若相似度满足最低要求，则所述目标检测框Bmax内物品赋值为所述目标1，否则，复核后删除所述目标1信息；
    将目标2至目标n分别依次与第2图像内各目标检测框进行重合度和相似度比较，更新所述第2图像内物品ID信息；
    重复上述步骤，依次通过第x-1图像对第x图像更新物品ID信息，其中，2≤x≤n。
  2. 根据权利要求1所述的冰箱内物品目标同一性判断方法，其特征在于，还包括步骤：
    更新物品ID信息后，当所述第x图像中依然存在未赋值ID的物品时，对其赋值新ID。
  3. 根据权利要求2所述的冰箱内物品目标同一性判断方法，其特征在于，比较所述第2图像内各物品目标检测框与所述目标检测框B1之间的重合度，包括步骤：
    计算所述第2图像内各物品目标检测框与所述目标检测框B1之间的交并比；
    对于交并比大于第一阈值V1的目标检测框，判定为满足重合度最低要求。
  4. 根据权利要求3所述的冰箱内物品目标同一性判断方法，其特征在于，所述得到重合度最高的目标检测框Bmax，包括：
    计算所述目标检测框B1与满足所述重合度最低要求的各所述目标检测框中心点之间的欧氏距离；
    选择欧氏距离最短的目标检测框判定为重合度最高的目标检测框Bmax。
  5. 根据权利要求4所述的冰箱内物品目标同一性判断方法，其特征在于，所述检测所述目标检测框Bmax和所述目标检测框B1相似度，包括：
    当所述目标检测框Bmax与所述目标检测框B1之间欧氏距离小于等于第二阈值V2时，将所述目标检测框Bmax内物品赋值为所述目标1；
    当所述目标检测框Bmax与所述目标检测框B1之间欧氏距离大于第二阈值V2时，提取所述目标检测框Bmax与所述目标检测框B1内截图区域的多维特征，计算两者的cosin相似度；
    若cosin相似度大于设定的第三阈值V3，将所述目标检测框Bmax内物品赋值为所述目标1，否则，复核后删除所述目标1信息。
  6. 根据权利要求5所述的冰箱内物品目标同一性判断方法，其特征在于，所述复核后删除所述目标1信息，包括：
    当所述第2图像中不存在与所述目标检测框B1满足相似度最低要求的目标检测框时，将所述目标检测框B1内信息保存，继续参与第三图像内物品信息检测，当存在满足重合度和相似度最低要求的目标检测框时，对其内物品赋值为目标1，否则重复上述步骤，直至在第m图像中不存在满足相似度最低要求的目标检测框后，删除所述目标1信息，其中，3≤m≤n。
  7. 根据权利要求1所述的冰箱内物品目标同一性判断方法，其特征在于，还包括步骤：
    当在第a图像中检测到手，且第a-1图像中存在目标j经检测后未在所述第a图像中被检测到时，比较其所对应的目标检测框Bj与所述第a图像中手的目标检测框Bh之间的重合度，其中，2≤a≤n，1≤j≤n；
    当满足重合度最低要求时，将所述目标检测框Bj与所述目标检测框Bh信息关联保存；
    继续进行后续图像物品信息检测，当存在与物品j同类型的物品j2，且其对应 的目标检测框Bj2与所述目标检测框Bh满足重合度最低要求时，检测所述目标检测框Bj2和所述目标检测框Bj内容相似度，若相似度满足最低要求，对所述目标检测框Bj2内物品赋值j，否则，对所述目标检测框Bj2内物品赋值新ID。
  8. 根据权利要求7所述的冰箱内物品目标同一性判断方法，其特征在于，所述比较其所对应的目标检测框Bj与所述第a图像中手的目标检测框Bh之间的重合度，包括：
    计算所述目标检测框Bj与所述目标检测框Bh之间的交并比，当交并比大于第四阈值V4时，判定为满足重合度最低要求。
  9. 根据权利要求7所述的冰箱内物品目标同一性判断方法，其特征在于，所述检测所述目标检测框Bj2和所述目标检测框Bj内容相似度，包括：
    截取所述目标检测框Bj2与所述目标检测框Bj内图像，分别提取其512维特征，计算cosin相似度，若cosin相似度大于第五阈值V5，则对物品j2更新赋值ID为j，否则，对物品j2赋值新ID。
  10. 根据权利要求7所述的冰箱内物品目标同一性判断方法，其特征在于，
    当在第a图像中检测到手，且第a-1图像中存在多个目标经检测后未在所述第a图像中被检测到时，对于多个对象分别进行后续检测。
  11. 一种冰箱，包括：摄像机以及存储器和处理器，其特征在于，
    所述摄像机被配置用于拍摄冰箱内存储空间图像；
    所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-10中任意一项所述冰箱内物品目标同一性判断方法的步骤。
  12. 根据权利要求11所述的冰箱，其特征在于，所述冰箱包括多个瓶座，多个所述瓶座从上至下依次排布设置在冰箱门体上，所述摄像机设置于所述瓶座底部，竖直向下设置，用于拍摄其下方瓶座空间内图像。
  13. 一种计算机存储介质，其特征在于，其中存储有计算机程序，并且所述计算机程序运行时导致所述计算机存储介质的所在设备执行根据权利要求1-10中任意一项所述冰箱内物品目标同一性判断方法的步骤。
PCT/CN2023/084375 2022-03-29 2023-03-28 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质 WO2023185832A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210323201.XA CN114882349B (zh) 2022-03-29 2022-03-29 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质
CN202210323201.X 2022-03-29

Publications (1)

Publication Number Publication Date
WO2023185832A1 true WO2023185832A1 (zh) 2023-10-05

Family

ID=82669254

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/084375 WO2023185832A1 (zh) 2022-03-29 2023-03-28 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质

Country Status (2)

Country Link
CN (1) CN114882349B (zh)
WO (1) WO2023185832A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746304A (zh) * 2024-02-21 2024-03-22 浪潮软件科技有限公司 基于计算机视觉的冰箱食材识别定位方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882349B (zh) * 2022-03-29 2024-05-24 青岛海尔制冷电器有限公司 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665336A (zh) * 2017-09-20 2018-02-06 厦门理工学院 智能冰箱中基于Faster‑RCNN的多目标检测方法
US20200033052A1 (en) * 2019-03-29 2020-01-30 Lg Electronics Inc. Refrigerator and method for managing articles in refrigerator
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质
CN112634326A (zh) * 2020-12-17 2021-04-09 深圳云天励飞技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN113983737A (zh) * 2021-10-18 2022-01-28 海信（山东）冰箱有限公司 冰箱及冰箱的食材定位方法
CN114882349A (zh) * 2022-03-29 2022-08-09 青岛海尔电冰箱有限公司 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11094070B2 (en) * 2019-04-23 2021-08-17 Jiangnan University Visual multi-object tracking based on multi-Bernoulli filter with YOLOv3 detection
CN113158876A (zh) * 2021-04-16 2021-07-23 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法、冰箱和计算机存储介质
CN113095240B (zh) * 2021-04-16 2023-08-29 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法、冰箱和计算机存储介质
CN113076908A (zh) * 2021-04-16 2021-07-06 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法、冰箱和计算机存储介质
CN113610895A (zh) * 2021-08-06 2021-11-05 烟台艾睿光电科技有限公司 目标跟踪方法、装置、电子设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665336A (zh) * 2017-09-20 2018-02-06 厦门理工学院 智能冰箱中基于Faster‑RCNN的多目标检测方法
US20200033052A1 (en) * 2019-03-29 2020-01-30 Lg Electronics Inc. Refrigerator and method for managing articles in refrigerator
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质
CN112634326A (zh) * 2020-12-17 2021-04-09 深圳云天励飞技术股份有限公司 目标跟踪方法、装置、电子设备及存储介质
CN113983737A (zh) * 2021-10-18 2022-01-28 海信（山东）冰箱有限公司 冰箱及冰箱的食材定位方法
CN114882349A (zh) * 2022-03-29 2022-08-09 青岛海尔电冰箱有限公司 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746304A (zh) * 2024-02-21 2024-03-22 浪潮软件科技有限公司 基于计算机视觉的冰箱食材识别定位方法及系统
CN117746304B (zh) * 2024-02-21 2024-05-14 浪潮软件科技有限公司 基于计算机视觉的冰箱食材识别定位方法及系统

Also Published As

Publication number Publication date
CN114882349B (zh) 2024-05-24
CN114882349A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
WO2023185832A1 (zh) 冰箱内物品目标同一性判断方法、冰箱和计算机存储介质
US11238605B2 (en) Simultaneous localization and mapping method, computer device, and storage medium
WO2020082258A1 (zh) 一种多目标实时跟踪方法、装置及电子设备
US20180260962A1 (en) Feature trackability ranking, systems and methods
US10217221B2 (en) Place recognition algorithm
US9633249B2 (en) Face detection in an image data stream using skin colour patch constructs
WO2017107494A1 (zh) 羽毛球挥拍动作识别方法和装置
WO2019033574A1 (zh) 电子装置、动态视频人脸识别的方法、系统及存储介质
CN110516705A (zh) 基于深度学习的目标跟踪方法、装置及计算机可读存储介质
US10990829B2 (en) Stitching maps generated using simultaneous localization and mapping
CN110598559B (zh) 检测运动方向的方法、装置、计算机设备和存储介质
TW201947495A (zh) 儲物裝置中人機互動方法、裝置、儲物裝置以及儲存媒體
CN109446364A (zh) 抓拍检索方法、图像处理方法、装置、设备及存储介质
TWI695324B (zh) 影像處理裝置及其方法
CN111626201A (zh) 商品检测方法、装置及可读存储介质
CN110070560B (zh) 基于目标检测的物体运动方向识别方法
Dymczyk et al. Will it last? Learning stable features for long-term visual localization
WO2022217935A1 (zh) 冰箱内物品信息识别方法和冰箱
WO2019003858A1 (ja) 商品特定システム
US20220300774A1 (en) Methods, apparatuses, devices and storage media for detecting correlated objects involved in image
KR102127872B1 (ko) 영상처리 및 위치정보를 이용한 위치결정 방법 및 장치
WO2021233058A1 (zh) 监控货架上的物品的方法、计算机和系统
Chen et al. A real-time system for object detection and location reminding with RGB-D camera
US20190003955A1 (en) Method and apparatus for discriminating between bloodstains, and computer program for executing the method
Ferranti et al. Can you trust your pose? confidence estimation in visual localization

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23778197

Country of ref document: EP

Kind code of ref document: A1