WO2021027655A1 - 查看和跟踪储存物品的方法 - Google Patents

查看和跟踪储存物品的方法 Download PDF

Info

Publication number
WO2021027655A1
WO2021027655A1 PCT/CN2020/107117 CN2020107117W WO2021027655A1 WO 2021027655 A1 WO2021027655 A1 WO 2021027655A1 CN 2020107117 W CN2020107117 W CN 2020107117W WO 2021027655 A1 WO2021027655 A1 WO 2021027655A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
storage item
program
dimensional image
dimensional
Prior art date
Application number
PCT/CN2020/107117
Other languages
English (en)
French (fr)
Inventor
柳春宰
施罗德·迈克尔·古德曼
普伊斯·安德鲁
Original Assignee
青岛海尔电冰箱有限公司
海尔智家股份有限公司
海尔美国电器解决方案有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 青岛海尔电冰箱有限公司, 海尔智家股份有限公司, 海尔美国电器解决方案有限公司 filed Critical 青岛海尔电冰箱有限公司
Priority to CN202080057563.8A priority Critical patent/CN114270124B/zh
Publication of WO2021027655A1 publication Critical patent/WO2021027655A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明揭示了一种操作冰箱的方法，可包括在摄像头模块处启动第一图像捕获程序，并根据第一图像捕获程序的第一二维图像来识别第一储存物品。所述方法还可包括确定第一储存物品在制冷间室内的内部位置，或者生成第一储存物品和与第一储存物品间隔开的第二储存物品的扩展图像。

Description

查看和跟踪储存物品的方法 技术领域
本发明一般涉及查看和跟踪储藏箱(例如制冷电器)内的物品。
背景技术
储藏箱(例如制冷电器和食品柜)，通常提供用于容纳多种食物或物品的封闭室。例如，制冷电器通常包括配有制冷间室的箱体。用户可将食物或物品放置在制冷间室内，以防止食物腐烂。因此，可延长易腐食物或物品的使用时间。
随着时间的推移，大量储存的物品(例如，食物)会积聚在冰箱的制冷间室中。随着储存物品的积累，制冷电器的用户会难以识别制冷电器内的物品。此外，用户还可能难以确定制冷电器内某些物品的数量。当多个用户在不与其他用户沟通的情况下从一个普通的制冷电器中添加/取出物品时，通常会遇到这种情况。因此，用户可能会不小心额外再购买物品或购买超出其需要的物品。例如，某些食物在制冷间室内不容易腐烂，并且这种食物可能不经常食用。因此，这种食物可以长时间存放在制冷间室内。尽管已经有可接受的食物，但用户可能会忘记这些食物而购买替代品。这样，可能给用户带来麻烦或增添不必要的开销。此外/或者，一些用户可能不知道某些食物已被清理或食用，而未能更新或补充这些食物。
因此，能帮助用户查看或跟踪制冷间室中物品的制冷电器将十分有益。特别是，帮助用户查看或跟踪制冷间室中食物以建立制冷间室中储存食物清单的制冷电器将十分有益。
发明内容
将在下面的描述中部分地阐述本发明的各个方面和优点，或者在该描述中可能会变得显而易见，或者可能通过本发明的实践而获知。
在本发明的一个示范性方面，提供了一种操作冰箱的方法。所述方法可包括在摄像头模块处启动第一图像捕获程序，并根据第一图像捕获程序的第一二维图像来识别第一储存食物。所述方法还可包括根据第一图像捕获程序的第二二维图像来确定第一储存食物在制冷间室内的位置。可以在第一图像捕获程序的第一二维图像之后捕获第一图像捕获程序的第二二维图像。所述方法还可包括记录第一储存食物的标签和第一储存食物的内部位置。
在本发明的另一示范性方面，提供了一种操作冰箱的方法。所述方法可包括在摄像头模块处启动第一图像捕获程序，并根据第一图像捕获程序的第一二维图像来识别第一储存食物。所述方法还可包括记录第一储存食物的图像。所述方法还可包括在第一图像捕获程序之后启动第二图像捕获程序，并根据第二图像捕获程序的第一二维图像识别第二储存食物。所述方法还可包括记录第二储存食物的图像，并生成第一储存食物和与第一储存食物间隔开的第二储存食物的扩展图像。
参考以下说明和所附权利要求书，更好地理解本技术的这些和其它特征、方面和优点。纳入并构成本说明书一部分的附图对本发明的实施例进行说明，并与说明书一起用于解释本发明的原理。
附图说明
本说明书参考附图针对本领域的普通技术人员充分且可实施地公开了本发明，包括其最佳方式。
图1是根据本发明示范性实施例的制冷电器的正视图。
图2是根据本发明示范性实施例的制冷电器的正视图，其中冷藏门体处于打开位置。
图3是根据本发明示范性实施例的制冷电器的示意图。
图4是根据本发明示范性实施例在制冷电器摄像头组件处捕获的制冷电器的食物保鲜室内的搁物架的示范性二维图像。
图5是根据本发明示范性实施例的制冷电器制冷间室内搁物架上储存食物的一系列二维图像。
图6是根据本发明示范性实施例的制冷电器制冷间室内搁物架上储存食物的一系列二维图像。
图7是根据本发明示范性实施例在制冷电器的摄像头组件处捕获的制冷电器抽屉的示范性二维图像。
图8是根据本发明示范性实施例的制冷电器抽屉中储存食物的一系列二维图像。
图9是根据本发明示范性实施例的制冷电器抽屉中储存食物的一系列二维图像。
图10是根据本发明示范性实施例的制冷电器抽屉中储存食物的一系列二维图像。
图11是根据本发明示范性实施例的制冷电器抽屉中储存食物的一系列二维图像。
图12是根据本发明示范性实施例的可在移动显示器上看到的制冷电器抽屉中储存食物的二维图像示意图。
图13是根据本发明示范性实施例操作制冷电器方法的流程图。
图14是根据本发明示范性实施例操作制冷电器方法的流程图。
图15是根据本发明示范性实施例操作制冷电器方法的流程图。
具体实施方式
现在将详细参考本技术的实施例，在附图中说明其一个或多个示例。每个示例均用于对本技术进行解释说明，而不是对其进行限制。实际上，对于本领域技术人员来说显而易见的是，在不脱离本技术的范围或精神的情况下，可以对本技术进行各种修改和变型。例如，作为一个实施例的一部分说明或描述的特征能与另一实施例一起使用以产生又一实施例。因此，本技术旨在涵盖所附权利要求及其等同物的范围内的此类修改和变型。
如本文中所示，“或”一般旨在表示包括在内(即“A或B”旨在表示“A或B或两者”)。“第一”，“第二”和“第三”可互换使用，以将一个组件与另一个组件区分开，但并不表示各个组件的准确位置或重要性。
一般来说，本发明提供有助于管理制冷电器或食品柜等储藏箱内食品清单的方法。所述方法可包括一个或多个步骤，用于自动(例如无用户直接输入)检测哪些食物(即储存的物品)添加到储藏箱中或从储藏箱取出。所述方法还可包括一个或多个用于检测食物在储藏箱内位置的步骤。例如，所述方法可以自动识别用户放置食物的特定搁物架或抽屉。所述方法还可进一步包括一个或多个步骤，用于生成新的扩展图像，以用户相对容易理解的格式显示储藏箱内的每个食物。
现在转到附图，图1是根据本发明示范性实施例的制冷电器100的正视图，其中制冷电器100的冷藏门体128显示为处于关闭位置。图2是制冷电器100的正视图，其中冷藏门体128显示为处于打开位置，以显示制冷电器100的食物保鲜室122。
制冷电器100包括沿着垂直方向在顶部101和底部102之间延伸的箱体或壳体120。壳体120限定用于容纳需储存的食物的制冷间室。特别地，壳体120限定了位于或邻近壳体120顶部101的食物保鲜室122和布置在或邻近壳体120底部102的冷冻室124。这样，制冷电器100通常称为底置型冰箱。但是，应当认识到，本发明的益处适用于其他类型和风格的储藏箱，例如顶置型制冷电器、并排式制冷电器或非冷藏食品储藏箱。因此，本文的描述仅仅是为了说明的目的，并不在任何方 面限制任何特定的储藏箱或制冷间室配置。
冷藏门体128可旋转地铰接到壳体120的边缘，用于选择性地进入食物保鲜室122。此外，冷冻门体130布置在冷藏门体128下方，用于选择性地进入冷冻室124。冷冻门体130连接到可滑动地安装在冷冻室124内的冷冻室抽屉142(未示出)。如上所述，冷藏门体128和冷冻门体130在图1中显示为关闭状态，冷藏门体128在图2中显示为打开状态。
现在转到图2，根据本领域技术人员的理解，各种储存组件安装在食物保鲜室122内，以便于在所述食物保鲜室中储存食物。具体而言，储存组件包括安装在食物保鲜室122内的箱140、抽屉142和搁物架144。箱140、抽屉142和搁物架144配置为用于容纳储存食物(例如，饮料或固体食物)，并有助于帮助整理这些食物。例如，抽屉142可以容纳新鲜食物(例如，蔬菜、水果或奶酪)，并增加这种新鲜食物的使用寿命。
制冷电器100还包括用于帮助用户识别位于食物保鲜室122或冷冻室124内食物的特征。用户可以利用这些特征，例如，查看储存在食物保鲜室122或冷冻室124中的食品，或者创建这些食物的清单。下文将更详细地讨论这些特征。
图3是制冷电器100的示意图。制冷电器100包括与配置为用于冷却食物保鲜室122或冷冻室124的制冷电器100的制冷系统(未示出)的组件有效耦合或通信的控制器150。这些组件包括压缩机170、蒸发器风扇172和冷凝器风扇174。控制器150可以选择性地操作这些组件，以便冷却食物保鲜室122或冷冻室124。控制器150还与恒温器152(例如热电偶或热敏电阻)通信。恒温器152可以位于食物保鲜室122或冷冻室124中(图2)。控制器150可以从恒温器152接收对应于食物保鲜室122或冷冻室124的温度的信号。控制器150还可以包括用于计算经过的时间的内部定时器。
控制器150可以包括存储器和一个或多个微处理器、中央处理器等，例如可操作执行与制冷电器100的操作相关联的编程指令或微控制代码的通用或专用微处理器。存储器可以为随机存取存储器，例如DRAM，或者只读存储器，例如ROM或FLASH。在一些实施例中，处理器执行存储在存储器中的非暂时性编程指令。对于某些实施例，指令包括配置为操作电器100或执行操作例程的软件包(例如，下面参考图13至15描述的示范性方法1300、1400和1500)。存储器可以是独立于处理器的组件，或包含在处理器内部。或者，控制器150不使用微处理器(例如，使用离散模拟或数字逻辑电路的组合；例如开关、放大器、积分器、比较器、触发器 和门等)来执行控制功能，而不是依赖软件。
控制器150可以位于制冷电器100的多个位置。输入/输出(“I/O”)信号可以在控制器150和制冷电器100的各种操作组件之间路由。制冷电器100的一个或多个组件可以经由一个或多个导电信号线或共享通信总线与控制器150通信(例如电通信)。此外/或者，制冷电器100的一个或多个组件可以经由一个或多个无线信号频带与控制器150通信(例如无线通信)。
制冷电器100还包括摄像头或摄像头模块160。摄像头160可以是适于捕获二维图片或图像的任何类型的设备，例如图4、图7(例如7-1)、图10(例如10-1)和图11(例如11-1)中所示的图像。例如，摄像头160可以是具有电子图像传感器(例如，电荷耦合器件(CCD)或CMOS传感器)的视频摄像头或数字摄像头。组装时，摄像头160与控制器150通信(例如电通信或无线通信)，从而使控制器150从摄像头160接收与摄像头160捕获的图像相对应的信号。
通常，摄像头160位于制冷电器100内，并指向一个或多个制冷间室(例如，食物保鲜室122-图2)。在一些实施例中，摄像头160安装在食物保鲜室122的顶部(例如邻近顶部101)。例如，摄像头160可以固定到或引导穿过限定食物保鲜室122的内胆的顶壁。在此类实施例中，摄像头160可以如图2所示指向下方。组装时，摄像头160可以指向抽屉142和搁物架144(图2)中的任何一个或两者组合的至少一部分。因此，摄像头160可以捕获单个抽屉142、所有抽屉142、单个搁物架144、所有搁物架144或其任何合适组合的图像。
在某些实施例中，制冷电器100包括集成显示器180。集成显示器180可以安装在冷藏门体128(图1)上或者制冷电器100上的任何其他合适位置。集成显示器180与控制器150通信，从而使集成显示器180从控制器150接收与由摄像头160捕获的图像相对应的信号。集成显示器180从控制器150接收此类信号，并将图像以可视方式呈现给用户。集成显示器180可包括例如液晶显示面板(LCD)、等离子显示面板(PDP)、或者用于显示图像的任何其他合适机构(例如投影仪)。
在附加或替代实施例中，制冷电器100包括将制冷电器100(例如控制器150)耦合到网络190的网络接口(未示出)，从而使制冷电器100通过网络190发送和接收信息。网络190可以是任何有线或无线网络，例如WAN、LAN或HAN。
在一些此类实施例中，制冷电器100(例如控制器150)通过网络190与移动显示器182通信。移动显示器182可以是配置成通过网络190进行通信并显示从所述网络接收的图像的任何设备。例如，移动显示器182可以是计算机、智能手机或 平板电脑。移动显示器182与控制器150通信，从而使移动显示器182从控制器150(经由网络190)接收与用户界面或摄像头160捕获的图像相对应的信号。移动显示器182可以从控制器150接收此类信号，并以可视方式向用户呈现一个或多个图像。移动显示器182可包括例如液晶显示面板(LCD)、等离子显示面板(PDP)、或者用于显示图像的任何其他合适的机构(例如投影仪)。移动显示器182还可包括允许移动显示器182通过网络190启动与制冷电器100的通信的界面(例如，触觉输入，例如按钮或图形用户界面)。
如通常所理解的，在使用期间，例如在图像捕获程序期间，摄像头160可以捕获一个或多个可传输到控制器150(例如作为数据信号)的二维图像(例如作为视频来源或一系列连续静态图像)。根据所捕获的图像，控制器150可以自动识别摄像头160的视场内的物品(例如，储存的物品，例如食物，或者非储存的物品，例如用户肢体部、搁物架、可移动抽屉等)。根据理解，可以通过边缘匹配、分治式搜索、灰度匹配、感受区响应直方图或其他合适的例程(例如，根据来自摄像头160的一个或多个捕获图像在控制器150处执行)来执行确认或识别此类物品。
现在转到图4至图6，示出了与搁物架储存相关的各种示范性二维图像，例如可以在摄像头160(图2)处捕获、在集成显示器180(图3)上观看、或者在移动显示器182(图3)上观看的示范性二维图像。
例如，图4示出了示范性二维图像，例如作为图像捕获程序的一部分可以在摄像头160处捕获的二维图像。换言之，图4示出了摄像头160朝向制冷间室的可能视场。作为附加或替代示例，图5和图6都示出了单独的一系列示范性二维图像，这些图像在作为图像捕获程序的一部分从摄像头160捕获的初始图像中分离或生成之后，可以在显示器180或182上观看。
在某些实施例中，摄像头160和控制器150配置成捕获多个连续的二维图像(例如以预定的速率或模式)，作为图像捕获程序的一部分。可以记录(例如，临时地)顺序图像(例如，先前捕获的图像和最近捕获的图像)并在控制器150处对其进行比较。通过比较，可以检测连续图像之间的变化或差异。在一些实施例中，在检测到制冷间室内(例如食物保鲜室122)有移动时，触发或启动图像捕获程序。随后可以根据一个或多个结束条件(例如预定时间段的到期、未能检测到连续图像的进一步变化或冷藏门体128的关闭)停止或中止图像捕获程序。
如图4所示，在摄像头160(图2)的视场内至少可见多个搁物架144A、144B、144C、144D、144E的一部分。具体来讲，搁物架144A、144B、144C、144D、 144E的前边缘210A、210B、210C、210D、210E在摄像头160(图2)的视场内。每个前边缘210A、210B、210C、210D、210E可以代表相应搁物架144A、144B、144C、144D、144E的最前表面，所述表面可以是最靠近食物保鲜室122开口的搁物架表面。例如，如图4所示，前边缘210A对应于搁物架144A，前边缘210B对应于搁物架144B，前边缘210C对应于搁物架144C，前边缘210D对应于搁物架144D，前边缘210E对应于搁物架144E。在一些实施例中，搁物架144A、144B、144C、144D、144E中的一个或多个设置在不同的高度(即食物保鲜室122内的相对垂直位置)。可选地，可以从一个或多个搁物架144A、144B、144C、144D、144E向前设置摄像头160。因此，位于食物保鲜室122内的不连续高度处的搁物架144A、144B、144C、144D、144E的前边缘210A、210B、210C、210D、210E可以在摄像头160的视场内。
在某些实施例中，控制器150配置成根据从摄像头160接收的信号或图像(例如在图像捕获程序期间)来识别一个或多个搁物架144A、144B、144C、144D、144E的基准标记或区域。例如，根据从摄像头160捕获的二维图像，控制器150可以识别搁物架144A、144B、144C、144D、144E中的一个或多个基准边缘212A、212B、212C、212D、212E。可选地，每个搁物架144A、144B、144C、144D、144E对应的基准边缘212A、212B、212C、212D、212E可被识别。可在食物保鲜室122内为基准边缘212A、212B、212C、212D、212E一起建立垂直坐标系。使用该垂直坐标系，控制器150能够确定物品或用户肢体部214A、214B(例如手、手臂等)位于哪个搁物架4A、144B、144C、144D、144E，或者位于哪个垂直相邻的搁物架144(例如144A和144C)之间。例如，在图4所示的图像中，用户的左臂214A示为穿过基准边缘212C，而未穿过较高的基准边缘212A。因此，可以确定用户的左臂214A正在搁物架144A和搁物架144C之间经过。再如，在图4所示的图像中，用户的右臂214B示为穿过基准边缘212E，而未穿过较高的基准边缘212D和212B。因此，可以确定用户的右臂214B正在搁物架144D和搁物架144E之间经过。
转到图5和图6，在附加或替代实施例中，将控制器150配置成识别一个或多个储存物品(例如，在图像捕获程序期间)。例如，根据从摄像头160捕获的二维图像，控制器150可以识别出一个或多个储存物品(例如220、222)添加到一个或多个搁物架144(图2)上或从一个或多个搁物架144(图2)上取出。根据理解，控制器150可通常配置成启动或执行对象识别程序或算法来识别特定对象。可选地，控制器150可以根据相应对象的二维轮廓的子部分(即小于整体)来识别一个或多 个储存物品。因此，控制器150可以校准捕获的二维图像的部分，从而对在捕获的二维图像中隐藏、模糊或其他不可见的一个或多个储存物品的部分进行推断。
例如，如上所述，图5和图6示出了一系列示范性二维图像，这些图像作为图像捕获程序的一部分在从在摄像头160捕获的初始图像中分离或生成之后，即可在显示器180或182上观看。具体来讲，二维图像5-1示出了一对储存物品220、222，所述储存物品220、222在放置到食物保鲜室122中时被捕获。二维图像5-2示出了生成(例如由控制器150从二维图像5-1生成)的扩展图像，并提供与第二储存物品222(例如西瓜)间隔开的第一储存物品220(例如果汁盒)。同样，二维图像6-1示出了一对储存物品220、222，所述储存物品220、222在放置到食物保鲜室122中时被捕获(例如，在第二储存物品222的一部分已经从其剩余部分取出之后)。二维图像6-2示出了生成(例如由控制器150从二维图像6-1生成)的扩展图像，并提供与第二储存物品222间隔开的第一储存物品220。
尽管第二储存物品222部分地阻挡或覆盖第一储存物品220，使得在捕获的图像中仅可以看见第一储存物品220的子部分，但是控制器150可以识别第一储存物品220(例如，以及第二储存物品222)。可以推断出第一储存物品220的剩余或被阻挡的部分。
在某些实施例中，控制器150可以配置成记录所识别的储存物品的标签(例如，在制冷电器100内检测到的储存物品的清单内)。例如，标签可包括命名或一般描述相应储存物品的文本串。作为附加或替代的示例，标签可以包括储存物品的相应图像。标签的此类图像可以是摄像头160捕获的图像(或其一部分)，或者是从另一个远程源(例如，远程服务器)接收的预载图像。如果作为预载图像提供，标签可以提供基本相同的物品的图像。例如，如果储存物品识别为一盒果汁，则标签可以提供另一盒(例如通用)果汁的预载图像，所述图像对于用户来说是容易视觉区分或识别的。
可选地，可以生成扩展的二维图像(例如5-2或6-2)，以示出彼此间隔开的储存物品，使得用户可以轻易地获知已经捕获和识别了哪些储存物品。这种扩展图像可以使用在摄像头160处捕获的二维图像的部分来生成(例如，其中存储物品的捕获的部分彼此独立并传送至扩展图像)，或者从在控制器150处存储或接收的单独预载图像来生成(例如，其中类似物品的预载图像从诸如互联网服务器的远程服务器接收，并传送至扩展图像)。
用于对象识别的图像可以与捕获一个或多个肢体部的图像分开捕获，或者在捕 获一个或多个肢体部的图像之外捕获。在一些实施例中，可以根据肢体部和储存物品被识别的顺序做出一项或多项测定(例如，在控制器150处)。例如，如果在先前捕获的图像中(例如在图像捕获程序期间)识别或标识了存储的物品，而在最近捕获的图像中标识了阻挡一个或多个基准边缘212A、212B、212C、212D、212E的肢体部(例如214A、214B)，则控制器150可以确定正在将储存物品放置到食物保鲜室122内。可选地，储存物品放置的内部位置或搁物架144可以记录(例如，与储存物品的相应标签一起记录或在储存物品的相应标签之外额外记录)。作为附加或替代示例，如果在先前捕获的图像中识别或标识出(例如在图像捕获程序期间)阻挡一个或多个基准边缘212A、212B、212C、212D、212E的肢体部(例如214A、214B)，而在最近捕获的图像中识别或标识出储存物品，则控制器150可以确定正从食物保鲜室122中取出储存物品。
现在转到图7至图12，示出了与抽屉储存相关的各种示范性二维图像，例如可以在摄像头160(图2)处捕获、在集成显示器180(图3)处观看或者在移动显示器182处观看的二维图像。
例如，图7示出了示范性二维图像7-1，例如作为图像捕获程序的一部分可以在摄像头160处捕获的二维图像。换言之，图像7-1示出了摄像机160朝向食物保鲜室122的可能视场(或其一部分)。作为附加或替代的示例，图8至11示出了在作为图像捕获程序的一部分从摄像头160捕获的初始图像中分离或生成之后，可以在显示器180或182上观看的单独的一系列示范性二维图像。
在某些实施例中，摄像头160和控制器150配置成捕获多个连续二维图像(例如以预定速率或模式)，作为图像捕获程序的一部分。可以记录(例如，临时地)顺序图像(例如，先前捕获的图像和最近捕获的图像)并在控制器150处对其进行比较。从比较中可以检测到连续图像之间的变化或差异。在一些实施例中，在检测到制冷间室(例如，食物保鲜室122)内的移动或从制冷间室向前的移动时，触发或启动图像捕获程序。随后根据一个或多个结束条件(例如预定时间段的到期、未能检测到连续图像的进一步变化或冷藏门体128的关闭)停止或中止图像捕获程序。
在某些实施例中，控制器150配置成根据从摄像头160接收的信号或图像(例如在图像捕获程序期间)来识别食物保鲜室122内的至少一个抽屉142的打开状态。例如，根据从摄像头160捕获的二维图像，控制器150可以识别抽屉142已经位于摄像头160视场的预定边界区域216内。在某些此类实施例中，预定边界区域216建立相对于食物保鲜室122固定(例如从食物保鲜室向前)的二维足迹或区域。可 选地，可以为每个抽屉142识别相应的预定边界区域216。通常，预定边界区域216可以建立为相应的抽屉142不再关闭，并且至少部分打开，从而允许放入或取出储存物品。例如，在图7所示的图像中，抽屉142放置在预定边界区域216内。因此，可以确定抽屉142是打开的或者处于打开状态，从而使物品可以进出抽屉142的储存区域。
转到图8至图11，在附加或替代实施例中，控制器150配置成识别一个或多个储存物品(例如在图像捕获程序期间)。例如，根据从摄像头160捕获的二维图像，控制器150可以识别正添加到抽屉142或从抽屉142取出的一个或多个储存物品(例如，当此类储存物品进出预定边界区域216)。根据理解，控制器150可通常配置成启动或执行对象识别程序或算法来识别特定对象。可选地，控制器150可以根据相应对象的二维轮廓的子部分(即小于整体)来识别一个或多个储存物品。因此，控制器150可以校准捕获的二维图像的部分，从而推断捕获的图像中隐藏、模糊或不可见的一个或多个储存物品的部分。此外/或者，根据下文的进一步描述，控制器150可以确定或选择物品放置在抽屉142内的层。
例如，如上所述，图8至11示出了一系列示范性二维图像，这些图像在作为图像捕获程序的一部分从摄像头160捕获的初始图像中分离或生成之后，可以在显示器180或182上观看。具体来讲，图8至11示出了抽屉142内识别的储存物品的各种二维捕获图像、抽屉142的选定垂直层内识别的储存物品的二维独立图像、以及抽屉142内所有相应识别的储存物品的二维扩展图像。
通常，图8至11示出了放置在抽屉142内的储存物品的示范性进程。图8至11中的每个图都可理解为示出例如在相应的图像捕获程序期间放置在抽屉142内的附加储存物品。例如，转到图8，二维图像8-1示出了当抽屉142在预定边界区域216中时，在抽屉142内捕获的第一储存物品220(例如一袋苹果)。二维图像8-2示出了(例如，由控制器150从二维图像8-1中)生成的二维独立图像，以示出保存第一储存物品220的独立第一层。二维图像8-3示出了(例如由控制器150从二维图像8-2中)生成的二维扩展图像，从而在图像8-1处显示抽屉142内的所有储存物品(即第一储存物品220)。
转到图9，二维图像9-1示出了当抽屉142在预定边界区域216中时，在抽屉142内(例如在8-1之后)捕获的第一储存物品220和第二储存物品222(例如一袋橘子)。二维图像9-2示出了(例如，由控制器150从二维图像9-1中)生成的二维独立图像，以示出保存第一储存物品220和第二储存物品222的独立第一层。二 维图像9-3示出了(例如由控制器150从二维图像9-2中)生成的二维扩展图像，从而在图像9-1处显示抽屉142内的彼此间隔开的所有储存物品(即第一储存物品220和第二储存物品222)。
转到图10，二维图像10-1示出了当抽屉142在预定边界区域216中时，在抽屉142内(例如在9-1之后)捕获的第一储存物品220、第二储存物品222、第三储存物品224(例如菠萝)和第四储存物品226(例如哈密瓜)。二维图像10-2A示出了(例如由控制器150从二维图像10-1或9-2中)生成的二维独立图像，从而显示保存第一储存物品220、第二储存物品222和第四储存物品226的独立第一层。二维图像10-2B示出了(例如由控制器150从二维图像10-1中)生成的二维独立图像，从而显示保存第三储存物品224的独立第二层。二维图像10-3示出了(例如由控制器150从二维图像10-2A和10-2B)生成的二维扩展图像，从而显示在图像10-1处抽屉142内的彼此间隔开的所有储存物品(即第一储存物品220、第二储存物品222、第四储存物品226和第三储存物品224)。
转到图11，二维图像11-1示出了当抽屉142处于预定边界区域216中时，在抽屉142内(例如在10-1之后)捕获的第一储存物品220、第二储存物品222、第三储存物品224、第四储存物品226和第五储存物品228(例如冷藏比萨饼)。二维图像11-2A示出了(例如由控制器150从二维图像11-1、9-2或10-2A)生成的二维独立图像，从而显示保存第一储存物品220、第二储存物品222和第四储存物品226的独立第一层。二维图像11-2B示出了(例如由控制器150从二维图像11-1或10-2B)生成的二维独立图像，从而显示保存第三储存物品224的独立第二层。二维图像11-2C示出了(例如由控制器150从二维图像11-1中)生成的二维独立图像，从而显示保存第五储存物品228的独立第二层。二维图像11-3示出了生成(例如由控制器150从二维图像11-2A、11-2B和11-2C生成)的二维扩展图像，从而在图像11-1处显示抽屉142内的彼此间隔开的所有储存物品(即第一储存物品220、第二储存物品222、第三储存物品224、第四储存物品226和第五储存物品228)。
总体回到图8至图12，在某些实施例中，控制器150可以配置成记录所识别的储存物品的标签(例如，在制冷电器100内的储存物品的跟踪清单或记录)。例如，标签可以包括命名或一般描述相应储存物品的文本串。作为附加或替代示例，标签可以包括储存物品的相应图像。标签的此类图像可以是从摄像头160捕获的二维图像(或图像的部分)，或者是从另一个远程源(例如远程服务器)接收的预载图像。
如图8至图12所示，可以生成扩展的二维图像，所述图像显示了彼此间隔开的 储存物品，使用户可以轻易地获知已经捕获和识别了哪些储存物品。这种扩展图像可以使用在摄像头160处捕获的图像的部分来生成(例如，其中存储物品的捕获的部分彼此独立并传送至扩展图像)，或者从在控制器150处存储或接收的单独预载图像来生成(例如，其中类似物品的预载图像从诸如互联网服务器的远程服务器接收，并传送至扩展图像)。独立或扩展的二维图像可以呈现给用户(例如在移动显示器182上)，从而提供食物保鲜室122内物品的易于理解的视图。可选地，这种图像可以包含内部位置，使得用户可以容易地辨别特定存储物品在食物保鲜室122内的位置。
在附加或替代实施例中，可以对特定层的确定或选择进行记录(例如与标签一起记录或作为标签的一部分记录)作为每个储存物品的位置。在某些此类实施例中，每个储存物品的特定层可以至少部分基于被上部储存物品覆盖的下部储存物品的区域。例如，当新储存物品放置在抽屉142内时，可以确定储存物品是否覆盖先前层中物品捕获区域的最小捕获区域(例如预设最小阈值百分比)。换言之，如果在新储存物品被放置在抽屉142内之前，新储存物品确定为覆盖或阻挡抽屉142内储存物品总捕获区域的至少最小捕获区域(例如在第n层)，则新储存物品可确定为占据更高层(例如，紧邻的更高层或第n+1层)。通常，捕获区域是指在抽屉142内放置和检测新储存物品之前(例如紧接在此之前)抽屉142内储存物品所占据的区域(例如，以平方毫米或像素为单位)。
在可选实施例中，最小捕获面积的预设值为20％。在其他实施例中，最小捕获面积的预设值为30％。在附加实施例中，最小捕获面积的预设值为40％。
以图10为例，在捕获图像10-1中，第三储存物品224确定为至少覆盖第一储存物品220和第二储存物品222定义的总区域中的最小捕获区域(例如根据9-1的确定)。因此，控制器150可以选择第三储存物品224所处的新的更高的第二层。相比之下，第四储存物品226未覆盖10-1的捕获图像内的任何其他储存物品。因此，控制器150可以选择第四储存物品226所处的第一层。
使用图11作为进一步的示例，在捕获图像11-1中，第五储存物品228确定为至少覆盖由第二层中的第三储存物品224限定区域的最小捕获区域。因此，控制器150可以选择第五储存物品228所处的新的更高的第三层。
现在转到图13至15，图中是根据本发明示范性实施例的方法1300、1400和1500的流程图。通常，方法1300、1400和1500提供操作包括上述摄像头160的制冷电器100(图1)的方法。方法1300、1400和1500可例如由控制器150(图3)等执行。例如，根据讨论，控制器150可以与摄像头160、集成显示器180(图 3)或移动显示器182(图3)通信。在操作期间，控制器150可以向摄像头160、集成显示器180或移动显示器182发送信号和从其接收信号。控制器150还可以进一步与制冷电器100的其他合适的组件通信，以便于制冷电器100的一般操作。
为了说明和讨论的目的，图13至15描绘了以特定顺序执行的步骤。使用本文提供的内容，本领域普通技术人员知晓，在不偏离本发明范围的情况下，能够以各种方式修改、修订、重新排列、省略或扩展本文提供的任何方法的步骤(除非另有描述)。
转到图13中的1310，方法1300包括检测制冷电器制冷间室内(例如，食物保鲜室)的移动。例如，可以在指向制冷间室的摄像头模块处检测到移动。具体来讲，根据通常的理解，可以检测由摄像头模块捕获的光或像素的变化(例如在随时间捕获的多个图像之间)，显示了摄像头模块视场内一个或多个对象的移动。
所述移动可以在制冷电器的门打开之前检测到。例如，检测到的光或像素的变化可以表示选择性地覆盖制冷间室的冷藏门体已打开，并且用户打算/试图向/从制冷间室添加或取出储存物品。在另一示例中，在接收到来自单独传感器(例如选择性地与门接合的开关)的信号之后，可以检测移动。通常理解的，此类开关例如可同时控制制冷间室照明灯的开启。因此，打开冷藏门体即可打开照明灯并传输指示制冷间室内移动的信号。
在1312中，方法1300包括启动第一图像捕获程序。第一图像捕获程序可以包括捕获多个二维图像(例如，第一二维图像、后续第二二维图像等)，例如在视频来源或一系列连续静态图像(例如根据预定速率或条件拍摄或捕获的)内。一旦在摄像头模块处捕获，二维图像可传输到控制器(例如作为数据信号)。然后，记录二维图像(例如暂时)，用于比较或评估。
在某些实施例中，在1310检测到移动之后，启动第一图像捕获程序。因此，可以防止在检测到移动前记录或评估来自摄像头模块的二维图像。可选地，可以继续第一图像捕获程序，直到满足一个或多个结束条件。例如，结束条件可包括在相应移动检测开始之后的预定时间段(例如，时间跨度)的期满。再如，结束条件可以包括未能检测到第一图像捕获程序的连续图像中的进一步变化。换言之，第一图像捕获程序可以在连续图像停止改变或检测到进一步移动之后结束。结束条件可能具体要求未变更连续图像的预设数量或时间段。再如，结束条件可包括检测到制冷间室门的关闭。换言之，在检测到门移动到关闭位置后，即可结束第一图像捕获程序。
在1314中，方法1300包括根据第一图像捕获程序的第一二维图像识别第一储 存物品。换言之，使用在1312捕获的多个二维图像中的至少一个二维图像，可以识别第一储存物品(例如，食物)。如上所述，1314的识别可能要求第一储存物品通过摄像头模块的视场或者在视场内。因此，第一二维图像可以至少包括第一储存物品的捕获部分。此外，在捕获后，可以通过边缘匹配、分治式搜索、灰度匹配、感受区响应直方图或其他合适的例程来执行对第一储存物品的确认或识别。
在1316中，方法1300包括确定制冷间室内第一存储物品的内部位置。第一储存物品的内部位置可以至少部分基于第一图像捕获程序的第二二维图像。具体来讲，可以在第一图像捕获程序的第一二维图像之后捕获第一图像捕获程序的第二二维图像。换言之，使用在1312捕获的多个二维图像中的至少一个二维图像，可以确定第一储存物品的内部位置(例如用户在制冷间室内放置了第一储存物品的的位置)。
在一些实施例中，内部位置包括安装在制冷间室内的特定搁物架。在1316确定内部位置可以包括识别第一图像捕获程序的第二二维图像内的用户肢体部。如上所述，用户肢体部可以是手或手臂。此外，用户肢体部可识别为从第一储存物品延伸或者与第一储存物品接触。在识别到用户肢体部之后，1316可以包括确定用户肢体部穿过安装在制冷间室内的上述至少一个搁物架的预设基准边缘。
在附加或替代实施例中，内部位置包括可移动地安装在制冷间室内的特定抽屉。在1316确定内部位置可以包括根据第一图像捕获程序的一个或多个二维图像识别抽屉的打开状态。例如，如上所述，可以在预定边界区域内检测抽屉。在抽屉确定处于打开状态时，1316可以包括检测预定边界区域内的第一存储物品。可选地，内部位置可以包括上述抽屉内的特定层(例如第一垂直层)。
在1318中，方法1300包括记录第一储存物品的标签和第一储存物品的内部位置。因此，控制器可以提供第一储存物品的标签和内部位置(例如在控制器上记录的清单内)。如上所述，标签可以包括文本或图像。在可选实施例中，第一储存物品的标签至少包括第一图像捕获程序的第一二维图像的一部分。在替代实施例中，第一储存物品的标签包括从制冷电器单独捕获的接收到的二维图像(例如从远程服务器下载到控制器)。因此，如果用户难以在第一二维图像中视觉区分第一储存物品，则可以呈现基本相同物品的单独图像(例如，预载图像)。
在1320中，方法1300包括启动第二图像捕获程序。类似于第一图像捕获程序，第二图像捕获程序可以包括捕获多个二维图像(例如，第一二维图像、后续第二二维图像等)，例如在视频来源或一系列连续静态图像(例如根据预定速率或条件拍摄或捕获的)内。一旦在摄像头模块处被捕获，二维图像可以传输到控制器(例如作 为数据信号)。然后，记录二维图像(例如暂时)，用于比较或评估。
通常，1320发生在1312的第一图像捕获程序之后(即随后)。在某些实施例中，在检测到第一图像捕获程序之后的移动之后，启动第二图像捕获程序。例如，在第一图像捕获程序和第二图像捕获程序之间，可以关闭制冷间室的门，并可在一段时间内无移动。可选地，可以继续第二图像捕获程序，直到满足一个或多个结束条件。第二图像捕获程序的结束条件可以与第一图像捕获程序的结束条件相同或不同。例如，第二图像捕获程序的结束条件可以包括在相应的移动检测开始之后预定时间段(例如，时间跨度)的期满。再如，第二图像捕获程序的结束条件可以包括未能检测到第二图像捕获程序的连续图像中的进一步变化。换言之，第二图像捕获程序可以在连续图像停止改变或检测到进一步移动之后结束。第二图像捕获程序的结束条件可能具体要求未变更连续图像的预设数量或时间段。再如，第二图像捕获程序的结束条件可以包括检测到制冷间室门关闭。换言之，在检测到门移动到关闭位置后，即可结束第二图像捕获程序。
在1322中，方法1300包括根据第二图像捕获程序的第一二维图像识别第二储存物品。换言之，使用在1320捕获的多个二维图像中的至少一个二维图像，可以识别第二储存物品(例如，食物)。如上所述，1322的标识可能要求第二储存物品通过摄像头模块的视场或者在视场内。因此，第二图像捕获程序的第一二维图像可以至少包括第二储存物品的捕获部分。此外，在捕获后，可以通过边缘匹配、分治式搜索、灰度匹配、感受区响应直方图或其他合适的例程来执行对第二储存物品的确认或识别。
在1324中，方法1300包括确定制冷间室内第二存储物品的内部位置。第二储存物品的内部位置可以至少部分基于第二图像捕获程序的第二二维图像。具体来讲，可以在第二图像捕获程序的第一二维图像之后捕获第二图像捕获程序的第二二维图像。换言之，使用在1320捕获的多个二维图像中的至少一个二维图像，可以确定第二储存物品的内部位置(例如用户在制冷间室内放置了第二储存物品的位置)。
在一些实施例中，内部位置包括安装在制冷间室内的特定搁物架144。在1324确定内部位置可以包括识别第二图像捕获程序的第二二维图像内的用户肢体部。如上所述，用户肢体部可以是手或手臂。此外，用户肢体部可以识别为从第二储存物品延伸或者与第二储存物品接触。在识别到用户肢体部之后，1324可以包括确定用户肢体部穿过安装在制冷间室内的上述至少一个搁物架的预设基准边缘。
在附加或替代实施例中，内部位置包括可移动地安装在制冷间室内的特定抽屉。 在1324确定内部位置可以包括根据第二图像捕获程序的一个或多个二维图像识别抽屉的打开状态。例如，如上所述，可以在预定边界区域内检测抽屉。在抽屉确定处于打开状态时，1324可以包括检测预定边界区域内的第二存储物品。可选地，内部位置可以包括上述抽屉内的特定层(例如第一垂直层或第二垂直层)。例如，根据第二图像捕获程序的第二二维图像，1324可以包括确定第二储存物品覆盖第一层的最小捕获区域。此外，1324可以包括在确定第二储存物品覆盖第一层的最小捕获面积后，选择上述第二储存物品的内部位置作为抽屉的第二垂直层。在一些此类实施例中，第一层的最小捕获面积包括第一图像捕获程序的第二二维图像中第一储存物品的总捕获面积的至少30％。
在1326，方法1300包括记录第二储存物品的标签和第二储存物品的内部位置。因此，控制器可以提供第二储存物品的标签和内部位置(例如在控制器上记录的清单内)。如上所述，标签可以包括文本或图像。在可选实施例中，第二储存物品的标签至少包括第二图像捕获程序的第一二维图像的一部分。在替代实施例中，第二储存物品的标签包括从制冷电器单独捕获的接收到的二维图像(例如从远程服务器下载到控制器)。因此，如果用户难以在第一二维图像中视觉区分第二储存物品，则可以呈现基本相同物品的单独图像(例如，预载图像)。
在1328中，方法1300包括生成第一储存物品和与第一储存物品间隔开的第二储存物品的扩展图像。换言之，1328提供新图像，所述新图像显示了与第二储存物品(即其图片)间隔开的第一储存物品(即其图片)。在一些实施例中，扩展图像是从在1318和1326中用作标签的图像生成的。例如，可以使用在第一和第二图像捕获程序期间在摄像头模块处捕获的图像部分来生成扩展图像(例如，其中储存物品的捕获部分彼此隔离并传送至扩展图像)。再如，扩展图像可以从存储在控制器或在控制器处接收的单独预载图像中生成(例如，其中从诸如因特网服务器的远程服务器接收类似物品的预载图像，并将其传输到扩展图像)。
虽然根据当在制冷间室内装载或放置第一和第二储存物品时检测第一和第二储存物品来进行描述，但是应当理解，1300还可以包括用于检测第一或第二储存物品的步骤。
在一些实施例中，1300还包括在第一图像捕获程序之后(即随后)启动第三图像捕获程序(例如与第二图像捕获程序分离或独立)。在某些实施例中，在检测到第一图像捕获程序之后的移动后，启动第三图像捕获程序。例如，在第一图像捕获程序和第三图像捕获程序之间，可以关闭制冷间室的门，并以在一段时间内无移动。 可选地，可以继续第三图像捕获程序，直到满足一个或多个结束条件。第三图像捕获程序的结束条件可以与第一图像捕获程序的结束条件相同或不同。例如，第三图像捕获程序的结束条件可以包括在相应的移动检测开始之后预定时间段(例如，时间跨度)的期满。再如，第三图像捕获程序的结束条件可以包括未能检测到第三图像捕获程序的连续图像中的进一步变化。换言之，第三图像捕获程序可以在连续图像停止改变或检测到进一步移动之后结束。第三图像捕获程序的结束条件可能具体要求未变更连续图像的预设数量或时间段。再如，第三图像捕获程序的结束条件可以包括检测到制冷间室门关闭。换言之，在检测到门移动到关闭位置后，即可结束第三图像捕获程序。
在进一步的实施例中，方法1300包括基于第三图像捕获程序的第一二维图像来识别用户肢体部。如上所述，用户肢体部可以是手或手臂。此外，在第三图像捕获程序期间，在识别任何储存物品之前，可以将用户肢体部识别为延伸到制冷间室内。在识别到用户肢体部之后，1324可以包括确定用户肢体部穿过安装在制冷间室内的上述至少一个搁物架的预设基准边缘。
在识别第三图像捕获程序的用户肢体部之后，方法1300可以包括根据第三图像捕获程序的第二二维图像确定从制冷间室内取出第一储存物品。具体来讲，可以在第三图像捕获程序的第一二维图像之后捕获第三图像捕获程序的第二二维图像。确定取出例如包括识别到从用户肢体部延伸的第一储存物品跟随用户肢体部穿过预设基准边缘。
在确定取出第一储存物品时，方法1300可以包括丢弃第一储存物品的标签和第一储存物品的内部位置。例如，可以从控制器的清单中删除第一储存物品的记录。
现在转到图14，在1410中，方法1400包括检测制冷电器中打开的门。例如，如上所述，打开的门可以是选择性地覆盖制冷间室(例如食物保鲜室)并处于打开位置的冷藏门体。检测打开的门可以包括检测摄像头模块处的光或像素的变化(例如，从摄像头模块接收的一个或多个图像或信号的光或像素变化)。此外/或者，检测打开的门可以包括从单独传感器接收信号，例如选择性地与门接合的开关(例如在关闭位置与门接合)。通常理解的，此类开关例如可同时控制制冷间室照明灯的开启。因此，打开冷藏门体即可打开照明灯并传输指示制冷间室内移动的信号。
在1412，方法1400包括撤回电器的清单。通常，清单可以提供目前识别或记录为在制冷电器的至少一部分内(例如在食物保鲜室内)的所有储存物品的图表或数据库。撤回清单可以是将清单设置为用户可见(例如在集成显示器或移动显示器 上)或可以更改(例如通过控制器)的状态。
在1414中，方法1400包括识别制冷间室内一个或多个搁物架的多个基准边缘。例如，在1412之后，可以从摄像头模块捕获的二维图像中检测和选择多个搁物架的基准边缘。可选地，可以为食物保鲜室内的每个搁物架识别相应的基准边缘。如上所述，基准边缘可以在制冷间室内建立垂直坐标系。
在1416中，方法1400包括检测制冷间室的移动。例如，在1412之后，通常理解的是，摄像头模块可以检测由摄像头模块捕获的光或像素的变化(例如随时间捕获的多个图像之间的变化)，用以指示摄像头模块视场内的一个或多个对象的移动。
在1418中，方法1400包括启动第一图像捕获捉程序。第一图像捕获程序可以包括捕获多个二维图像(例如，第一二维图像、后续第二二维图像等)，例如在视频来源或一系列连续静态图像(例如根据预定速率或条件拍摄或捕获的)内。一旦在摄像头模块处捕获，二维图像可传输到控制器(例如作为数据信号)。然后，记录二维图像(例如暂时)，用于比较或评估。
在某些实施例中，在1416检测到移动之后，启动第一图像捕获程序。因此，可以防止在检测到移动前记录或评估来自摄像头模块的二维图像。可选地，可以继续第一图像捕获程序，直到满足一个或多个结束条件。例如，结束条件可以包括在相应移动检测开始之后的预定时间段(例如，时间跨度)的期满。再如，结束条件可以包括未能检测到第一图像捕获程序的连续图像中的进一步变化。换言之，第一图像捕获程序可以在连续图像停止改变或检测到进一步移动之后结束。结束条件可能具体要求未变更连续图像的预设数量或时间段。再如，结束条件可以包括检测到制冷间室门的关闭。换言之，在检测到门移动到关闭位置后，即可结束第一图像捕获程序。
在1420，方法1400包括识别第一储存物品。在一些实施例中，1420的识别基于第一图像捕获程序的第一二维图像。换言之，使用在1418捕获的多个二维图像中的至少一个二维图像，可以识别第一存储物品(例如食物)。如上所述，1420中的识别因而可能要求第一储存物品通过摄像头模块的视场或者在视场内。因此，第一二维图像可以至少包括第一储存物品的捕获部分。此外，在捕获后，可以通过边缘匹配、分治式搜索、灰度匹配、感受区响应直方图或其他合适的例程来执行对第一储存物品的确认或识别。
在1422中，方法1400包括识别用户肢体部。在一些实施例中，在第一图像捕 获程序的第二二维图像中识别用户肢体部。如上所述，用户肢体部可以是由合适的例程(例如，边缘匹配、分治式搜索、灰度匹配或感受区响应直方图)识别的手或手臂。此外，用户肢体部可识别为从第一储存物品延伸或者与第一储存物品接触。
在1424中，方法1400包括确定用户肢体部穿过至少一个搁物架的预设基准边缘。如上所述，穿过预设基准边缘可以为用户肢体部(以及从第一存储物体延伸)在垂直相邻搁物架之间经过提供证据。
在1426中，方法1400包括在1428中根据基准边缘为第一储存物品选择特定搁物架。
在1428，方法1400包括将第一储存物品的标签和第一储存物品的内部位置记录到清单中。因此，控制器可以提供第一储存物品的标签和内部位置(例如选定的搁物架)。如上所述，标签可以包括文本或图像。在可选实施例中，第一储存物品的标签至少包括第一图像捕获程序的第一二维图像的一部分。在替代实施例中，第一储存物品的标签包括从制冷电器单独捕获的接收到的二维图像(例如从远程服务器下载到控制器)。因此，如果用户难以在第一二维图像中视觉区分第一储存物品，则可以呈现基本相同物品的单独图像(例如，预载图像)。
在1430中，方法1400包括启动第二图像捕获捉程序。类似于第一图像捕获程序，第二图像捕获程序可以包括捕获多个二维图像(例如，第一二维图像、后续第二二维图像等)，例如在视频来源或一系列连续静态图像(例如根据预定速率或条件拍摄或捕获的)内。一旦在摄像头模块处捕获，二维图像可传输到控制器(例如作为数据信号)。然后，记录二维图像(例如暂时)，用于比较或评估。
通常，1430发生在1420的第一图像捕获程序之后(即随后)。在某些实施例中，在检测到第一图像捕获程序之后的移动之后，启动第二图像捕获程序。例如，在第一图像捕获程序和第二图像捕获程序之间，可以关闭制冷间室的门，并可在一段时间内无移动。可选地，可以继续第二图像捕获程序，直到满足一个或多个结束条件。第二图像捕获程序的结束条件可以与第一图像捕获程序的结束条件相同或不同。例如，第二图像捕获程序的结束条件可以包括在相应的移动检测开始之后预定时间段(例如，时间跨度)的期满。再如，第二图像捕获程序的结束条件可以包括未能检测到第二图像捕获程序的连续图像中的进一步变化。换言之，第二图像捕获程序可以在连续图像停止改变或检测到进一步移动之后结束。第二图像捕获程序的结束条件可能具体要求未变更连续图像的预设数量或时间段。再如，第二图像捕获程序的结束条件可以包括检测到制冷间室门关闭。换言之，在检测到门移动到关闭位置后， 即可结束第二图像捕获程序。
在1432中，方法1400包括识别第二储存物品。换言之，使用在1430捕获的多个二维图像中的至少一个二维图像，可以识别第二储存物品(例如食物)。如上所述，1432的识别可能要求第二储存物品通过摄像头模块的视场或者在视场内。因此，第二图像捕获程序的第一二维图像可以至少包括第二储存物品的捕获部分。此外，在捕获后，可以通过边缘匹配、分治式搜索、灰度匹配、感受区响应直方图或其他合适的例程来执行对第二储存物品的确认或识别。
在1434中，方法1400包括识别用户肢体部。在一些实施例中，在第二图像捕获程序的第二二维图像中识别用户肢体部。如上所述，用户肢体部可以是由合适的例程(例如，边缘匹配、分治式搜索、灰度匹配或感受区响应直方图)识别的手或手臂。此外，用户肢体部可识别为从第二储存物品延伸或者与第二储存物品接触。
在1436中，方法1400包括确定用户肢体部穿过至少一个搁物架的预设基准边缘。1436的至少一个搁物架可以与1426的至少一个搁物架不同或相同。如上所述，穿过预设基准边缘可以为用户肢体部(以及从第二存储物体延伸)在垂直相邻搁物架之间经过提供证据。
在1438中，方法1400包括在1436中根据基准边缘为第二储存物品选择特定搁物架。
在1440，方法1400包括将第二储存物品的标签和第二储存物品的内部位置记录到清单中。因此，控制器可以提供第二储存物品的标签和内部位置(例如选定的搁物架)。如上所述，标签可以包括文本或图像。在可选实施例中，第二储存物品的标签至少包括第二图像捕获程序的第一二维图像的一部分。在替代实施例中，第二储存物品的标签包括从制冷电器单独捕获的接收到的二维图像(例如从远程服务器下载到控制器)。因此，如果用户难以在第一二维图像中视觉区分第二储存物品，则可以呈现基本相同物品的单独图像(例如，预载图像)。
在1442中，方法1400包括生成第一储存物品和与第一储存物品间隔开的第二储存物品的扩展图像。换言之，1442提供新图像，所述新图像显示与第二储存物品(即其图片)间隔开的第一储存物品(即其图片)。在一些实施例中，扩展图像是从在1428和1438中用作标签的图像生成的。例如，可以使用在第一和第二图像捕获程序期间在摄像头模块处捕获的图像部分来生成扩展图像(例如，其中储存物品的捕获部分彼此隔离并传送至扩展图像)。再如，扩展图像可以从存储在控制器或在控制器处接收的单独预载图像中生成(例如，其中从诸如因特网服务器的远程服务器 接收类似物品的预载图像，并将其传输到扩展图像)。
现在转到图15，在1510中，方法1500包括检测打开的门。例如，如上所述，打开的门可以是选择性地覆盖制冷间室(例如食物保鲜室)并处于打开位置的冷藏门体。检测打开的门可以包括检测摄像头模块处的光或像素的变化(例如，从摄像头模块接收的一个或多个图像或信号的光或像素变化)。此外/或者，检测打开的门可以包括从单独传感器接收信号，例如选择性地与门接合的开关(例如在关闭位置与门接合)。通常理解的，此类开关例如可同时控制制冷间室照明灯的开启。因此，打开冷藏门体即可打开照明灯并传输指示制冷间室内移动的信号。
在1512，方法1500包括撤回电器的清单。通常，清单可以提供目前识别或记录为在制冷电器的至少一部分内(例如在食物保鲜室内)的所有储存物品的图表或数据库。撤回清单可以是将清单设置为用户可见(例如在集成显示器或移动显示器上)或可以更改(例如通过控制器)的状态。
在1514中，方法1500包括检测制冷间室的移动。例如，在1512之后，通常理解的是，摄像头模块可以检测由摄像头模块捕获的光或像素的变化(例如随时间捕获的多个图像之间的变化)，用以指示摄像头模块的视场内的一个或多个对象的移动。
在1516中，方法1500包括识别抽屉的打开状态。例如，如上所述，可以在预定边界区域内检测抽屉。
在1518中，方法1500包括启动第一图像捕获程序(例如在1516之后)。第一图像捕获程序可以包括捕获多个二维图像(例如，第一二维图像、后续第二二维图像等)，例如在视频来源或一系列连续静态图像(例如根据预定速率或条件拍摄或捕获的)内。一旦在摄像头模块处捕获，二维图像可传输到控制器(例如作为数据信号)。然后，记录二维图像(例如暂时)，用于比较或评估。
在某些实施例中，在1516中，在识别到处于打开状态的抽屉后，启动第一图像捕获程序。因此，可以防止在检测到移动前记录或评估来自摄像头模块的二维图像。可选地，可以继续第一图像捕获程序，直到满足一个或多个结束条件。例如，结束条件可以包括在相应移动检测开始之后的预定时间段(例如，时间跨度)的期满。再如，结束条件可以包括未能检测到第一图像捕获程序的连续图像中的进一步变化。换言之，第一图像捕获程序可以在连续图像停止改变或检测到进一步移动之后结束。结束条件可能具体要求未变更连续图像的预设数量或时间段。再如，结束条件可以包括检测到抽屉向关闭位置的移动。换言之，在抽屉被移离预定边界区域后可以结 束第一图像捕获程序。
在1520，方法1500包括识别第一储存物品。在一些实施例中，1520的识别基于第一图像捕获程序的第一二维图像。换言之，使用在1518捕获的多个二维图像中的至少一个二维图像，可以识别第一存储物品(例如食物)。如上所述，1520中的识别因而可能要求第一储存物品通过摄像头模块的视场或者在视场内。因此，第一二维图像可以至少包括第一储存物品的捕获部分。此外，在捕获后，可以通过边缘匹配、分治式搜索、灰度匹配、感受区响应直方图或其他合适的例程来执行对第一储存物品的确认或识别。
在1522中，方法1500包括在抽屉打开状态相对应的预定边界区域内检测第一存储物品。例如，在1516和1520之后，1522可以包括检测预定边界区域内的第一储存物品。
在1524中，方法1500包括为抽屉内的第一储存物品选择特定层。在一些此类实施例中，如上所述，第一储存物品的特定层可以至少部分地基于被上部储存物品覆盖的下部储存物品的区域。
在1526中，方法1500包括确定制冷间室内第一储存物品的内部位置。具体来讲，内部位置可以对应于在1524中选择的特定层。
在1528，方法1500包括将第一储存物品的标签和第一储存物品的内部位置记录到清单中。因此，控制器可以同时提供第一储存物品的标签和内部位置(例如选择的层)。如上所述，标签可以包括文本或图像。在可选实施例中，第一储存物品的标签至少包括第一图像捕获程序的第一二维图像的一部分。在替代实施例中，第一储存物品的标签包括从制冷电器单独捕获的接收到的二维图像(例如从远程服务器下载到控制器)。因此，如果用户难以在第一二维图像中视觉区分第一储存物品，则可以呈现基本相同物品的单独图像(例如，预载图像)。
在1530中，方法1500包括启动第二图像捕获程序。类似于第一图像捕获程序，第二图像捕获程序可以包括捕获多个二维图像(例如，第一二维图像、后续第二二维图像等)，例如在视频来源或一系列连续静态图像(例如根据预定速率或条件拍摄或捕获的)内。一旦在摄像头模块处捕获，二维图像可传输到控制器(例如作为数据信号)。然后，记录二维图像(例如暂时)，用于比较或评估。
在1532中，方法1500包括识别第二储存物品。换言之，使用在1530捕获的多个二维图像中的至少一个二维图像，可以识别第二储存物品(例如食物)。如上所述，1532的识别可能要求第二储存物品通过摄像头模块的视场或者在视场内。因此， 第二图像捕获程序的第一二维图像可以至少包括第二储存物品的捕获部分。此外，在捕获后，可以通过边缘匹配、分治式搜索、灰度匹配、感受区响应直方图或其他合适的例程来执行对第二储存物品的确认或识别。
在1534中，方法1500包括在抽屉打开状态相对应的预定边界区域内检测第二存储物品。
例如，在1516和1530之后，1532可以包括检测预定边界区域内的第二储存物品。
在1536中，方法1500包括为抽屉内的第二储存物品选择特定层。在一些此类实施例中，如上所述，第二储存物品的特定层可以至少部分地基于被上部储存物品覆盖的下部储存物品的区域。
在1538中，方法1500包括确定制冷间室内第二储存物品的内部位置。具体来讲，内部位置可以对应于在1536中选择的特定层。
在1540，方法1500包括将第二储存物品的标签和第二储存物品的内部位置记录到清单中。
因此，控制器可以提供第二储存物品的标签和内部位置(例如选择的层)。如上所述，标签可以包括文本或图像。在可选实施例中，第二储存物品的标签至少包括第二图像捕获程序的第一二维图像的一部分。在替代实施例中，第二储存物品的标签包括从制冷电器单独捕获的接收到的二维图像(例如从远程服务器下载到控制器)。因此，如果用户难以在第一二维图像中视觉区分第二储存物品，则可以呈现基本相同物品的单独图像(例如，预载图像)。
在1542中，方法1500包括生成第一储存物品和与第一储存物品间隔开的第二储存物品的扩展图像。换言之，1542提供新图像，所述新图像显示了与第二储存物品(即其图片)间隔开的第一储存物品(即其图片)。在一些实施例中，扩展图像是从在1528和1540中用作标签的图像生成的。例如，可以使用在第一和第二图像捕获程序期间在摄像头模块处捕获的图像部分来生成扩展图像(例如，其中储存物品的捕获部分彼此隔离并传送至扩展图像)。再如，扩展图像可以从存储在控制器或在控制器处接收的单独预载图像中生成(例如，其中从诸如因特网服务器的远程服务器接收类似物品的预载图像，并将其传输到扩展图像)。
该书面描述使用示例来公开本发明(包括最佳方式)和帮助让本领域的任何技术人员实施本发明，包括制作和使用任何设备或系统以及执行任何纳入的方法。本发明的可获得专利范围由权利要求书限定，并可包括本领域技术人员能想到的其它 示例。若这种其它示例包括与权利要求的字面语言并无不同的结构元件，或它们包括与权利要求的字面语言没有实质性差异的等效结构元件，则意欲将这些示例包含在权利要求书的范围内。

Claims (20)

  1. 一种操作制冷电器的方法，所述制冷电器包括安装在制冷间室顶部箱体内的摄像头模块，其特征在于，所述方法包括：
    在摄像头模块处启动第一图像捕获程序；
    根据第一图像捕获程序的第一二维图像识别第一储存物品；
    根据第一图像捕获程序的第二二维图像确定第一储存物品在制冷间室内的内部位置，第一图像捕获程序的第二二维图像的捕获在第一图像捕获程序的第一二维图像之后；及
    记录第一储存物品的标签和第一储存物品的内部位置。
  2. 根据权利要求1所述的方法，其特征在于，第一储存物品的标签包括第一图像捕获程序的第一二维图像的至少一部分。
  3. 根据权利要求1所述的方法，其特征在于，第一储存物品的标签包括与制冷电器分开捕获的接收到的二维图像。
  4. 根据权利要求1所述的方法，其特征在于，确定第一储存物品的内部位置包括：
    识别第一图像捕获程序的第二二维图像内的用户肢体部；及
    确定用户肢体部至少穿过安装在制冷间室内的一个搁物架的预设基准边缘。
  5. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    在第一图像捕获程序之后启动第二图像捕获程序；
    根据第二图像捕获程序的第一二维图像识别第二储存物品；
    根据第二图像捕获程序的第二二维图像确定第二储存物品在制冷间室内的内部位置，第二图像捕获程序的第二二维图像的捕获在第二图像捕获程序的第一二维图像之后；及
    记录第二个储存食物的标签和第二个储存食物的内部位置。
  6. 根据权利要求5所述的方法，其特征在于，生成第一储存物品和与第一储存物品间隔开的第二储存物品的扩展图像。
  7. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    在第一图像捕获程序之后启动第三图像捕获程序；
    根据第三图像捕获程序的第一二维图像识别用户肢体部；
    根据第三图像捕获程序的第二二维图像确定从制冷间室内取出第一储存物品，第三图像捕获程序的第二二维图像的捕获在第三图像捕获程序的第一二维图像之后；及
    丢弃第一储存物品的标签和第一存储物品的内部位置。
  8. 根据权利要求1所述的方法，其特征在于，确定第一储存物品的内部位置包括：
    根据所述第一图像捕获程序的一个或多个二维图像来识别抽屉的打开状态；及
    检测对应于抽屉打开状态的预定边界区域内的第一个储存物品。
  9. 根据权利要求8所述的方法，其特征在于，第一储存物品的内部位置包括所述抽屉内的第一垂直层。
  10. 根据权利要求8所述的方法，其特征在于，所述方法还包括：
    在第一图像捕获程序之后启动第二图像捕获程序；
    根据第二图像捕获程序的第一二维图像识别第二储存物品；
    根据第二图像捕获程序的第二二维图像确定第二储存物品在制冷间室内的内部位置，第二图像捕获程序的第二二维图像的捕获在第二图像捕获程序第一二维图像之后；及
    记录第二个储存食物的标签和第二个储存食物的内部位置，
    其中，确定第二储存物品的内部位置包括：
    根据第二图像捕获程序的一个或多个二维图像识别抽屉的打开状态；及
    检测对应于抽屉打开状态的预定边界区域内的第二储存物品。
  11. 根据权利要求10所述的方法，其特征在于，确定第二储存物品的内部位置还包括：
    根据第二图像捕获程序的第二二维图像，确定第二储存物品覆盖第一层的最小捕获面积；及
    在确定第二储存物品覆盖第一层的最小捕获面积后，选择第二储存物品的内部位置作为抽屉的第二垂直层。
  12. 根据权利要求11所述的方法，其特征在于，第一层的最小捕获面积包括第一图像捕获程序的第二二维图像中的所述第一储存物品总捕获面积的至少30％。
  13. 根据权利要求11所述的方法，其特征在于，所述方法还包括：
    生成第一储存物品和与第一储存物品间隔开的第二储存物品的扩展图像。
  14. 一种操作冰箱的方法，所述冰箱包括安装在制冷间室顶部箱体内的摄像头模块，其特征在于，所述方法包括：
    在摄像头模块处启动第一图像捕获程序；
    根据第一图像捕获程序的第一二维图像识别第一储存物品；
    记录第一储存物品的图像；
    在第一图像捕获程序之后启动第二图像捕获程序；
    根据第二图像捕获程序的第一二维图像识别第二储存物品；
    记录第二储存物品的图像；及
    生成第一储存物品和与第一储存物品间隔开的第二储存物品的扩展图像。
  15. 根据权利要求14所述的方法，其特征在于，第一储存物品的图像包括至少第一图像捕获程序第一二维图像的一部分。
  16. 根据权利要求14所述的方法，其特征在于，第一储存物品的图像包括与制冷电器分开捕获的接收到的二维图像。
  17. 根据权利要求14所述的方法，其特征在于，所述方法还包括：
    在第一图像捕获程序之后启动第三图像捕获程序；
    根据第三图像捕获程序的第一二维图像识别用户肢体部；
    根据第三图像捕获程序的第二二维图像确定从制冷间室内取出第一储存物品，第三图像捕获程序的第二二维图像的捕获在第三第一图像捕获程序的第一二维图像之后；及
    丢弃第一储存物品的图像。
  18. 根据权利要求14所述的方法，其特征在于，所述方法还包括：
    根据所述第一图像捕获程序的一个或多个二维图像来识别抽屉的打开状态；
    检测对应于抽屉打开状态的预定边界区域内的第一个储存物品；及
    将第一储存物品的内部位置记录为抽屉内的第一垂直层。
  19. 根据权利要求18所述的方法，其特征在于，所述方法还包括：
    根据第二图像捕获程序的一个或多个二维图像识别抽屉的打开状态；
    检测对应于抽屉打开状态的预定边界区域内的第二储存物品；
    根据第二图像捕获程序的第二二维图像，确定第二储存物品覆盖第一层的最小捕获面积；及
    在确定第二储存物品覆盖第一层的最小捕获面积后，记录第二储存物品的内部位置并作为抽屉的第二垂直层。
  20. 根据权利要求19所述的方法，其特征在于，第一层的最小捕获面积包括第一图像捕获程序的第二二维图像中的所述第一储存物品总捕获面积的至少30％。
PCT/CN2020/107117 2019-08-15 2020-08-05 查看和跟踪储存物品的方法 WO2021027655A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202080057563.8A CN114270124B (zh) 2019-08-15 2020-08-05 查看和跟踪储存物品的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/541,512 US11335010B2 (en) 2019-08-15 2019-08-15 Methods for viewing and tracking stored items
US16/541,512 2019-08-15

Publications (1)

Publication Number Publication Date
WO2021027655A1 true WO2021027655A1 (zh) 2021-02-18

Family

ID=74566734

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/107117 WO2021027655A1 (zh) 2019-08-15 2020-08-05 查看和跟踪储存物品的方法

Country Status (3)

Country Link
US (1) US11335010B2 (zh)
CN (1) CN114270124B (zh)
WO (1) WO2021027655A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11122203B1 (en) * 2020-05-26 2021-09-14 Haier Us Appliance Solutions, Inc. Refrigerator camera modules and methods for preventing lens fog
WO2023102151A1 (en) * 2021-12-01 2023-06-08 SNWC, Inc. Refrigeration system with imaging
WO2023128965A1 (en) * 2021-12-29 2023-07-06 Arcelik Anonim Sirketi A refrigerator with camera comprising a protective cover
US20230316755A1 (en) * 2022-04-05 2023-10-05 Haier Us Appliance Solutions, Inc. Refrigerator appliance and methods for tracking stored items in a freezer chamber

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106288591A (zh) * 2016-11-08 2017-01-04 朱恺 一种具有食材管理功能的冰箱及食材管理方法
CN106403436A (zh) * 2016-06-02 2017-02-15 成都科曦科技有限公司 一种智能冰箱及监控系统
CN107477971A (zh) * 2017-08-04 2017-12-15 三星电子（中国）研发中心 一种对冰箱内食物的管理方法和设备
CN108766528A (zh) * 2018-05-08 2018-11-06 天津大学 一种饮食管理系统及其构建方法、一种食材管理方法
CN109631486A (zh) * 2018-12-18 2019-04-16 广东美的白色家电技术创新中心有限公司 一种食物监控方法、冰箱及具有存储功能的装置
CN109670086A (zh) * 2018-12-28 2019-04-23 合肥盈川信息技术有限公司 食品安全留样冰箱智能操控及大数据物联网监控软件
CN109708427A (zh) * 2018-12-17 2019-05-03 苏州席正通信科技有限公司 一种冰箱智能管理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129277B2 (en) 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
US9367770B2 (en) 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US20140168396A1 (en) 2012-12-18 2014-06-19 General Electric Company Method for viewing contents of a refrigerator appliance
JP6391943B2 (ja) * 2013-03-12 2018-09-19 東芝ライフスタイル株式会社 冷蔵庫、カメラ装置、庫内画像表示プログラム
EP2985553B1 (en) 2013-04-10 2020-08-26 LG Electronics Inc. Method for managing storage product in refrigerator using image recognition, and refrigerator for same
JP6313014B2 (ja) * 2013-08-27 2018-04-18 東芝ライフスタイル株式会社 カメラシステム、冷蔵庫
WO2017177101A1 (en) * 2016-04-07 2017-10-12 Wal-Mart Stores, Inc. Shelf height indication and validation device
JP6938116B2 (ja) 2016-05-30 2021-09-22 シャープ株式会社 在庫管理装置および在庫管理方法
WO2018020541A1 (ja) 2016-07-25 2018-02-01 三菱電機株式会社 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム
GB201701593D0 (en) 2017-01-31 2017-03-15 Smarter Applications Ltd Imaging apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106403436A (zh) * 2016-06-02 2017-02-15 成都科曦科技有限公司 一种智能冰箱及监控系统
CN106288591A (zh) * 2016-11-08 2017-01-04 朱恺 一种具有食材管理功能的冰箱及食材管理方法
CN107477971A (zh) * 2017-08-04 2017-12-15 三星电子（中国）研发中心 一种对冰箱内食物的管理方法和设备
CN108766528A (zh) * 2018-05-08 2018-11-06 天津大学 一种饮食管理系统及其构建方法、一种食材管理方法
CN109708427A (zh) * 2018-12-17 2019-05-03 苏州席正通信科技有限公司 一种冰箱智能管理方法
CN109631486A (zh) * 2018-12-18 2019-04-16 广东美的白色家电技术创新中心有限公司 一种食物监控方法、冰箱及具有存储功能的装置
CN109670086A (zh) * 2018-12-28 2019-04-23 合肥盈川信息技术有限公司 食品安全留样冰箱智能操控及大数据物联网监控软件

Also Published As

Publication number Publication date
US20210049775A1 (en) 2021-02-18
US11335010B2 (en) 2022-05-17
CN114270124A (zh) 2022-04-01
CN114270124B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
WO2021027655A1 (zh) 查看和跟踪储存物品的方法
JP7211700B2 (ja) 冷蔵庫、表示システム
KR102023013B1 (ko) 냉장고 및 그 동작 방법
KR102023014B1 (ko) 냉장고 및 그 동작 방법
JP7040193B2 (ja) 冷蔵庫システム
JP6307698B2 (ja) 冷蔵庫
JP6877734B2 (ja) 物品貯蔵庫の在庫管理装置
WO2021212993A1 (zh) 制冷电器摄像头模块和用于防止镜头起雾的方法
WO2021057769A1 (zh) 用于查看并跟踪所储存的物品的方法
EP3719424B1 (en) Refrigerator and refrigerator system
US20140168396A1 (en) Method for viewing contents of a refrigerator appliance
JP7164296B2 (ja) 冷蔵庫
JP7281755B2 (ja) 冷蔵庫
WO2021057820A1 (zh) 制冷电器和用于跟踪所储存物品的方法
JP2022103368A (ja) 冷蔵庫
WO2022048564A1 (zh) 具有可移动相机的制冷电器
US20230316755A1 (en) Refrigerator appliance and methods for tracking stored items in a freezer chamber
WO2022073430A1 (zh) 制冷电器和用户识别的方法
US20230375258A1 (en) Refrigerator appliances and image-based methods of detecting a door position
US20230308632A1 (en) Refrigerator camera modules and methods for addressing persistent conditions on the camera lens

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20851504

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20851504

Country of ref document: EP

Kind code of ref document: A1