RU188020U1

RU188020U1 - Интеллектуальный холодильник

Info

Publication number: RU188020U1
Application number: RU2018141787U
Authority: RU
Inventors: Алексей Вячеславович Ерошкин
Original assignee: Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк)
Priority date: 2018-11-27
Filing date: 2018-11-27
Publication date: 2019-03-26

Abstract

Данное техническое решение, в общем, относится к области вычислительной техники, а в частности к умным устройствам в Интернете вещей. Интеллектуальный холодильник, выполненный с возможностью удаленного мониторинга за физическими характеристиками продуктов, содержащий набор боковых полок, расположенных в двери, под каждой из которых располагается тензометрический датчик, выполненный с возможностью определения веса полок и направления результатов измерений на коммутирующий контроллер; набор видеокамер, встроенных в боковую панель корпуса изнутри и в верхнюю панель, выполненных с возможностью получения видеоизображений и направления их на головной контроллер; коммутирующий контроллер, встроенный с обратной стороны внутренней лицевой панели двери и выполненный с возможностью получения данных из тензометрических датчиков и перенаправления их на головной контроллер; набор поворотных полок, расположенных в основном отделе корпуса, выполненных с возможностью вращения при получении сигнала от коммутирующего контроллера; головной контроллер, выполненный с возможностью осуществления видеосъемки содержимого холодильника посредством установленных камер при закрытии двери на заданный угол поворота. Технический результат - повышение точности определения физических свойств продуктов и товаров, находящихся в холодильнике, посредством их удаленного мониторинга. 5 з.п. ф-лы, 4 фиг.

Description

[001] Данное техническое решение, в общем, относится к области вычислительной техники, а в частности к «умным» устройствам в концепции Интернета вещей.

УРОВЕНЬ ТЕХНИКИ

[002] В настоящее время все большее количество устройств оказывается подключено к сети Интернет - начиная с компьютеров и смартфонов пользователей и заканчивая более обыденными вещами, вроде телевизоров или холодильников. В случае подключения новых типов устройств к сети Интернет они «приобретают» приставку «умный» (англ. «smart»), которая служит маркетинговым целям. При подключении Smart - устройств к сети Интернет пользователи получают возможность обновления самих устройств, наблюдения за статусом работы устройства (например, холодильника) и интегрирования самого устройства в так называемую концепцию «умный дом» (англ. Smart house). Подобная концепция позволяет управлять подобными «умными» вещами (устройствами) из одной точки, проверяя статус работы таких вещей, настраивать их под свои личные нужды. Концепция «умного дома» затрагивает и другую концепцию под названием Интернет вещей (англ. Internet of Things, IoT), которая подразумевает взаимодействие вышеуказанных вещей уже без прямого участия человека.

[003] Во многих холодильниках, даже не относящихся к умным моделям, устанавливают камеры, которые позволяют владельцу видеть находящиеся внутри продукты. В умных холодильниках эта технология получила логичное развитие - изображение камеры используется процессором, чтобы определить, какие продукты находятся на хранении. Кроме того, возможно определение их срока годности при автоматическом заказе. В Южной Корее готовится к запуску площадка, поддерживающая автоматические заказы недостающих продуктов, которые формируют умные холодильники, ориентируясь на предпочтения владельцев. Поэтому сейчас приходится вводить название продуктов и их срок годности вручную. Когда срок годности заканчивается, или подходят к концу какие-то продукты, на дисплее холодильника и телефоне/смартфоне владельца появляется информация об этом.

[004] Из уровня техники известен патент US 9920979 B2 «Refrigerator and control method for the same» (патентообладатель: LG Electronics Inc., дата публикации: 2016-08-04), в котором раскрываются конструкция холодильника и способ управления им. Холодильник содержит отделение для хранения, выдвижной ящик, камеру, которая фотографирует внутри ящика продукты, и контроллер, который распознает положение маркера на снимках, сделанных с помощью камеры на временных интервалах, и, который определяет информацию о состоянии ящика на основании изменения в положении маркера на фотографиях. Однако определение характеристик продуктов с помощью видеокамер может быть не совсем точным, даже с учетом использования алгоритмов машинного обучения.

[005] Недостатком данного технического решения является то, что способ определения содержимого ящиков для продуктов не является точным, вследствие чего могут возникнуть ошибки при определении содержимого.

СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ

[006] Техническое решение направлено на устранение недостатков, присущих существующим решениям из известного уровня техники.

[007] Решаемой технической проблемой с помощью заявленного технического решения является устранение недостатков, присущих известным аналогам.

[008] Технической проблемой или задачей, решаемой в данном техническом решении, является определение содержащихся в холодильнике продуктов, посредством измерения их физических характеристик, в том числе с помощью анализа изображений, хранимых в холодильнике, получаемых с помощью одной или нескольких видеокамер.

[009] Достигаемым техническим результатом при решении вышеуказанной задачи является повышение точности определения физических свойств продуктов и товаров, находящихся в холодильнике, посредством их удаленного мониторинга.

[0010] Также дополнительным техническим результатом является расширение функциональных возможностей.

[0011] Указанный технический результат достигается за счет устройства, которое разработано в концепции Интернета вещей и является подключенным к сети устройством для сбора данных и последующей их обработки на сервере. Данные с сервера можно просмотреть через web-сервис или мобильное приложение. Пользователь холодильника в режиме онлайн получает доступ к информации о находящихся в холодильнике продуктам, их весу и сроку нахождения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0012] Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания и прилагаемых чертежей, на которых:

[0013] Фиг. 1 иллюстрирует полки основного отдела умного холодильника.

[0014] На Фиг. 2 показано схемотехническое крепление полки на дверце и воздействие на тензометрический датчик.

[0015] На Фиг. 3 показан пример реализации захвата видеокамерой продуктов в холодильнике и отображение веса посредством работы видеоаналитики.

[0016] На Фиг. 4 показан вариант реализации архитектуры технического решения.

ПОДРОБНОЕ ОПИСАНИЕ

[0017] Ниже будут описаны понятия и термины, необходимые для понимания данного технического решения.

[0018] В данном техническом решении под системой подразумевается, в том числе компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).

[0019] Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).

[0020] Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройств хранения данных. В роли устройства хранения данных могут выступать, но не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.

[0021] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.

[0022] Данное техническое решение имеет следующую конструкцию.

[0023] Дверца умного холодильника и часть полок основного отдела, как показано на Фиг. 1, укомплектованы встроенными датчиками (тензометрическими или датчиками размера/объема), данные от которых показывают:

a. вес полок (балконов),

b. размера заполненного ряда (например, яиц или иного товара в формате хранения - ряды);

c. объем заполнения контейнера.

[0024] Указанные данные могут отображаться в графическом интерфейсе пользователя на мобильном устройстве связи пользователя.

[0025] В некоторых вариантах реализации контейнер является частью полки или балкона, например, открытого, установленного на дверце.

[0026] Тензометрический датчик может быть встроен с обратной стороны внутренней лицевой панели двери, тем самым при снятии полок не нужно размыкать контактные группы, можно перемещать полки и менять размером. Тензометрическим датчиком называется датчик, преобразующий измеряемую деформацию твердых тел (полки) в электрический сигнал. Рассмотрим принцип действия и устройство тензометрического датчика сопротивления, преобразующего деформацию (растяжение или сжатие) в изменение электрического сопротивления проводников или полупроводников. Конструктивно прибор представляет собой тензорезистор с контактным элементом. Он закреплен на верхней панели устройства, которая соприкасается с измеряемым телом. Для включения датчика в сеть применяются специальные электрические отводы, которые подключаются к чувствительной пластине.

[0027] Изменение сопротивления проводника тензометрического датчика при действии деформации объясняется 2-мя причинами: изменением геометрических размеров (длины, диаметра проволоки) и изменением удельного сопротивления материала тензометрического датчика. Работа тензометрического датчика характеризуется коэффициентом тензочувствительности (S), который равен частному от деления относительного изменения сопротивления тензометрического датчика на его относительную деформацию. В данном техническом решении могут использоваться следующие типы датчиков: фольговые или пленочные, или проволочные.

[0028] Набор датчиков отправляет информацию через коммутирующий контроллер по шине данных на головной контроллер. В некоторых вариантах реализации в панель двери могут быть встроены датчики газа, детектирующие наличие испорченных продуктов и также направляющие об этом информацию на головной контроллер. Шина данных может быть выполнена на базе USART, Ethernet, или Arcnet, или Token Ring, или FDDI.

[0029] Головным контроллером может быть микропроцессор, который реализует все вычислительные действия, заставляющие функционировать умный холодильник в целом, который заключен в корпус интеллектуального холодильника или находится на корпусе.

[0030] Коммутирующий контроллер получает информацию из тензометрических датчиков и перенаправляет ее на головной контроллер. Коммутирующий контроллер обеспечивает управление четырьмя компонентами: шиной оперативной памяти, AGP, системной шиной и контроллером ввода/вывода. Коммутирующий контроллер может иметь в своем составе контроллеры дисководов, клавиатуры, мыши, других внешних интерфейсов, что обеспечивает управление внешними интерфейсами интеллектуального холодильника (USB, COM, LPT и т.д.). Единый набор транспортных и логических протоколов может включать в себя протокол TCP/IP, UDP/IP, MODBUS, BACnet.

[0031] Полки (балконы) дверцы умного холодильника имеют возможность конфигурации по подобию органайзера под требования пользователя. Таким образом, предусмотрено несколько различных полок как по размеру, так и предназначению (например, яичная, масленая, сырная, бутылочная, под пластиковые лотки и т.д.). Полки представляют собой предустановленный набор, который можно менять местами и по высоте. Можно докупить отдельно дополнительные полки и сделать допустим А - три классических балкона во всю ширину, или Б - 15 разных полок шириной в 10 см. Схемотехнически крепление полки и воздействие на тензометрический датчик показаны на Фиг. 2. В случае наличия продукта в лотке, он давит на тензометрический датчик с определенным давлением, которое и используется для определения веса.

[0032] Головной контроллер при закрытии дверцы на заданный оптимальный угол поворота производит фотосьемку содержимого холодильника посредством установленных видеокамер (от 2 шт. и более). В некоторых вариантах реализации фото- или видеокамера расположена близко к дверце (в противном случае ее будут закрывать продукты в основной секции), в связи с чем в закрытом положении фотографирование не осуществляется. Если открыть дверь полностью, то товары не видно в силу того, что камера установлена на двери. Камеры встраиваются в боковую панель изнутри, и в верхнюю панель. В некоторых вариантах реализации камеры частично погружаются в панель для экономии пространства. Количество фото- или видеокамер может варьироваться от 2-х, потому что одной камеры в конкретном варианте реализации не хватает для получения угла обзора, в связи с чем падает качество получаемого изображения. Получение изображений с камер, установленных на боковой двери, осуществляется автоматически в случае открытия боковой двери интеллектуального холодильника на заданный заранее угол открытия данного двери. Данный угол подбирается эмпирически и может лежать в диапазоне от 1 до 90 градусов. Реализация при открытии двери на заданный угол осуществляется с помощью датчика угла открытия двери. Работа данного устройства основана на принципе работы всех оптических датчиков: излучающий элемент направляет световой поток, блок электронной обработки данных определяет скорость возврата луча.

[0033] Данный датчик имеет широкие возможности настройки:

установка времени удержания выхода в активном состоянии после срабатывания: 2, 7 или 15 секунд,

можно выбирать уровень чувствительности датчика - высокий или низкий,

защищать от ошибочного срабатывания дверей, это рекомендуется делать при близком расположении нескольких автоматических дверей с различными датчиками,

устанавливать угол обзора (угол между плоскостью двери и лучом датчика): 7.5, 14.5, 21.5 или 28.5 градусов (шаг 7 градусов),

регулировать ширину рабочей зоны: выключить правое и/или левое «крыло» светового пучка, сузив, таким образом, рабочую зону датчика.

[0034] Основной отдел интеллектуального холодильника имеет поворотные полки и установленные на боковых панелях камеры (набор), причем при анализе содержимого основного отдела происходит прокручивание полок на 360 градусов, данные с камер передаются на головной контроллер, как показано на Фиг. 3. В некоторых вариантах реализации пользователь осуществляет прокручивание полок на любой угол посредством использования мобильного приложения и направления управляющих команд на коммутирующий контроллер, который перенаправляет их на поворотные полки (их микроконтроллер). Камеры могут быть установлены хотя бы в одном дальнем углу над каждой полкой или в нескольких углах, не ограничиваясь.

[0035] Головной контроллер производит предварительную обработку данных и фотографий. Головной контроллер направляет управляющий сигнал на камеры (ее контроллеры) на выполнение снимка (получение изображений), после чего передает на сервер по беспроводному протоколу передачи данных. В некоторых вариантах реализации головной контроллер осуществляет визуальное редактирование полученных кадров, например, склеивание нескольких, работу с балансом белого, выпрямлением и т.п. Сегментированная информация отправляется на сервер посредством беспроводной технологии передачи данных, например, Wi-Fi, BLE, GSM или иной, на выбор пользователя. Каждый тензометрический датчик имеет свой уникальный идентификационный номер. Для связи области получаемого кадра из набора камер и номера датчика осуществляют калибровку датчика и головного контроллера. Например, если в интеллектуальном холодильнике установлено 5 контейнеров по одной секции, то необходимо произвести процедуру калибровки датчика и контроллера, например, когда пользователь в интерфейсе мобильного приложения нажимает на полку и подтверждает, что это одна или тройная полка. Если используется один широкий балкон на 5 секций, то данные должны суммироваться с 5 датчиков, расположенных под балконом и равноудаленных друг от друга. Реализация калибровки повышает точность определения физических характеристик продуктов.

[0036] В зависимости от примера реализации, либо на сервере, либо локально на интеллектуальном холодильнике производится обработка изображений, полученных с головного контроллера, и с использованием методов компьютерного зрения/искусственного интеллекта определяется название товара из имеющейся базы образов товаров. Данная база образов может быть, как заимствованной у третьих производителей, так и собственная. На данном шаге обученная ранее на тестовом наборе данных искусственная нейронная сеть осуществляет классификацию полученного изображения из головного контроллера и определяет его физические характеристики.

[0037] Пользователь в мобильном приложении или web-интерфейсе может настроить:

d. нижний критический предел для данных датчиков, для визуализации на слепке (изображение рамки на снимке);

e. отображение всех возможных дополнительных масок (наименование товара, данные датчиков и т.д.)

f. прочие пользовательские настройки.

[0038] Нижний критический предел (например, по весу) для датчика настраивается заранее пользователем по его требованиям. Допустим, пользователь потребляет в сутки 200 гр. молока, на основании чего устанавливается предел 250 гр. При снижении массы ниже 250 гр. происходит уведомление, отображение или автоматический заказ молока в мобильном приложении пользователя (в его графическом интерфейсе пользователя).

[0039] Слепок представляет собой фотографию дверцы/основного отсека умного холодильника, на которую нанесена маска с данными о весе. Если пользователь выбрал порог в 250 гр., и вес меньше 250 гр., то маска горит красным цветом, а если вес продукта находится в необходимом интервале - зеленым. В других вариантах реализации выделение маски цветом может говорить об истечении срока годности продукта.

[0040] В некоторых вариантах реализации в качестве маски может использоваться срок годности товара, физические данные (вес, размер, объем).

[0041] Пользовательские настройки могут включать оповещения по CMC, автозаказ, включение продувки в случае прокисания продукта и т.д.

[0042] Далее через мобильное приложение или Web-интерфейс авторизованный пользователь может увидеть слепок (фотографию) содержимого холодильника с нанесенной маской, отражающей информацию:

g. Вес, кол-во в ряде, объем товара - данные с датчиков;

h. Наименование распознанного товара;

i. Границы полки (если применимо);

j. Выделение цветом критического остатка товара.

[0043] На основе этих данных пользователь может принимать решения о заказе, приобретении товаров либо настроить их заказ в автоматическом режиме.

[0044] Общая схема технического решения представлена на Фиг. 4.

[0045] Компонент связи технического решения выполнен с возможностью поддержания связи, проводной или беспроводной, между умным холодильником и другими устройствами. Устройство может обеспечивать доступ к беспроводной сети, основанной на стандарте связи, таком как Wi-Fi, 2G или 3G или их комбинации. В одном примерном варианте осуществления компонент связи принимает широковещательный сигнал или информацию, связанную с широковещательной передачей, из внешней широковещательной системы управления через широковещательный канал. В одном примерном варианте осуществления компонент связи дополнительно включает в себя модуль связи с малым радиусом действия (NFC) для поддержания ближней связи. Например, модуль NFC можно реализовать на основании технологии радиочастотной идентификации (RFID), технологии Ассоциации передачи данных в инфракрасном диапазоне (IrDA), технологии ультраширокой полосы (UWB), технологии Bluetooth (ВТ) и других технологий.

[0046] В примерных вариантах осуществления коммутирующий или головной контроллер можно реализовать с помощью одного или более специализированных интегральных микросхем (ASIC), цифровых процессоров сигналов (DSP), устройств цифровой обработки сигналов (DSPD), программируемых логических устройств (PLD), программируемых логических матриц типа FPGA (FPGA), микроконтроллеров, микропроцессоров или других электронных компонентов, предназначенных для выполнения вышеописанных способов.

[0047] Головной контроллер обеспечивает следующие интерфейсы и функции.

VHF канал (дуплекс) для двухсторонней связи с устройствами считывания через излучающий кабель.

Поддержка сериального интерфейса для возможности подключения стандартных PC.

Энергонезависимая память для хранения конфигурационных параметров.

Встроенный микроконтроллер.

[0048] Вышеуказанные функциональные элементы интеллектуального холодильника образуют конструктивно-функциональное единство и соединяются посредством сборочных операций к корпусу холодильника и между собой, например, с помощью резьбовых или болтовых соединений, спайки т.п., в зависимости от конфигурационных требований при создании заявленного устройства.

[0049] Таким образом, все признаки заявленной совокупности существенных признаков, выражающей сущность полезной модели как технического решения, находятся в причинно-следственной связи с указанным техническим результатом (повышение точности определения физических свойств продуктов и товаров, находящихся в холодильнике, посредством их удаленного мониторинга), влияя на его получение.

[0050] Модификации и улучшения вышеописанных вариантов осуществления настоящего технического решения будут ясны специалистам в данной области техники. Предшествующее описание представлено только в качестве примера и не несет никаких ограничений. Таким образом, объем настоящего технического решения ограничен только объемом прилагаемой формулы полезной модели.

Claims

1. Интеллектуальный холодильник, выполненный с возможностью удаленного мониторинга за физическими характеристиками продуктов, содержащий набор боковых полок, расположенных в двери, под каждой из которых располагается тензометрический датчик, выполненный с возможностью определения веса полок и направления результатов измерений на коммутирующий контроллер; набор видеокамер, встроенных в боковую панель корпуса изнутри и в верхнюю панель, выполненных с возможностью получения видеоизображений и направления их на головной контроллер; коммутирующий контроллер, встроенный с обратной стороны внутренней лицевой панели двери и выполненный с возможностью получения данных из тензометрических датчиков и перенаправления их на головной контроллер, направления управляющей команды вращения набору поворотных полок; набор поворотных полок, расположенных в основном отделе корпуса, выполненных с возможностью вращения при получении управляющей команды от коммутирующего контроллера; головной контроллер, расположенный в корпусе и выполненный с возможностью осуществления видеосъемки содержимого холодильника посредством установленных видеокамер при закрытии двери на заданный угол поворота.

2. Интеллектуальный холодильник по п. 1, характеризующийся тем, что под боковой полкой дополнительно располагается набор датчиков размера, выполненный с возможностью определения размера заполненного ряда.

3. Интеллектуальный холодильник по п. 1, характеризующийся тем, что под боковой полкой дополнительно располагается набор датчиков объема, выполненный с возможностью определения объема заполнения полок.

4. Интеллектуальный холодильник по п. 1, характеризующийся тем, что головной контроллер осуществляет редактирование полученных кадров.

5. Интеллектуальный холодильник по п. 1, характеризующийся тем, что каждый датчик имеет уникальный идентификатор.

6. Интеллектуальный холодильник по п. 1, характеризующийся тем, что осуществляют калибровку датчика и головного контроллера для связи области получаемого кадра с камеры и идентификатора датчика.