WO2014196130A1 - 家電装置で使用した物品を特定する情報処理システム及び防犯システム - Google Patents

家電装置で使用した物品を特定する情報処理システム及び防犯システム Download PDF

Info

Publication number
WO2014196130A1
WO2014196130A1 PCT/JP2014/002585 JP2014002585W WO2014196130A1 WO 2014196130 A1 WO2014196130 A1 WO 2014196130A1 JP 2014002585 W JP2014002585 W JP 2014002585W WO 2014196130 A1 WO2014196130 A1 WO 2014196130A1
Authority
WO
WIPO (PCT)
Prior art keywords
article
information
home appliance
processing system
recognition
Prior art date
Application number
PCT/JP2014/002585
Other languages
English (en)
French (fr)
Inventor
高志 森本
幸　裕弘
真佐男 野仲
和訓 大久保
美菜 清水
秀勝 金本
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to US14/428,668 priority Critical patent/US10026038B2/en
Priority to JP2015521274A priority patent/JP6345656B2/ja
Priority to CN201480002720.XA priority patent/CN104718553B/zh
Publication of WO2014196130A1 publication Critical patent/WO2014196130A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Definitions

  • This disclosure relates to an information processing system and a security system that identify an article used in a home appliance.
  • Home appliances such as washing machines and refrigerators are related to various daily necessities and foods such as detergents and foods.
  • a washing machine needs a laundry detergent and a softening agent for washing, and a refrigerator stores food such as beef and eggs.
  • various services using the home appliance can be provided. For example, it is possible to automatically set a laundry course according to the laundry detergent to be used or to recommend a meal menu by checking food in the refrigerator.
  • Patent Document 1 In order to automatically identify various articles, image recognition by a camera is often used (for example, Patent Document 1).
  • An information processing system includes a recognition database generated from information on a purchased item, the purchased item is associated with a home appliance, and the purchased appliance is associated with the home appliance. Based on the article use detection information, matching processing is performed with the recognition database to identify the article used in the home appliance.
  • FIG. 1 is a diagram illustrating a configuration and a process flow in the first embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating a database matching process using image recognition for all general-purpose food items.
  • FIG. 3 is a diagram illustrating database matching processing according to the first embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating a configuration and a processing flow in the second embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating a process flow according to the second embodiment of the present disclosure.
  • FIG. 6A is a diagram illustrating a flow of database generation according to the second embodiment of the present disclosure.
  • FIG. 6B is a diagram illustrating a flow of image recognition processing according to the second embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a configuration and a process flow according to the third embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating a flow of recognition processing according to Embodiment 3 of the present disclosure.
  • FIG. 9 is a diagram illustrating a recognition database table according to the third embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating a configuration and a flow of processing in a modification / application of the present disclosure.
  • FIG. 11 is a diagram illustrating a configuration and a flow of processing in a modification / application of the present disclosure.
  • FIG. 12 is a diagram illustrating a configuration and a flow of processing in a modification / application of the present disclosure.
  • FIG. 13 is a diagram illustrating a flow of processing in a modification / application example of the present disclosure.
  • devices such as washing machines are equipped with cameras only for the purpose of identifying detergents, and in terms of cost, they are cameras for image recognition. Difficult to implement.
  • FIG. 1 is a diagram illustrating a configuration and a process flow of the information processing system according to the first embodiment of the present disclosure. It is assumed that the user purchases, for example, “mandarin orange, 1/3 cut watermelon, A company's seasoning” at a store such as a supermarket. At this time, using the accounting information in the sales management device (cash register, POS system, etc.), information on the purchased item at the store is transmitted to the cloud server side. Information on purchased items is associated with information on a user who purchased the item (hereinafter also referred to as a purchaser). In the cloud server, an image recognition database including only user purchases as reference data is generated. The object to be recognized is limited by the image recognition database generation process. This reduces the probability of misrecognizing even articles that look similar, such as citrons and mandarin oranges.
  • the home appliance is associated with the information of the user who purchased the item.
  • the home appliance is associated with the information of the user who purchased the item.
  • a refrigerator is assumed, but in the case of a refrigerator, the use of an article is detected when the article is put into or taken out from the warehouse.
  • the use detection of the article is performed by an imaging device such as a camera provided in the home appliance, and an image of the article taken in and out from the warehouse is output as the article use detection information.
  • a personal ID such as member information.
  • member cards that give point privileges are often distributed at the time of purchase of goods, and the personal ID of these card information is linked to the list information of purchased goods.
  • the home appliance can be associated with the purchased item.
  • a unique ID associated with information on purchased items may be issued during the purchase process. In this case, when a purchase process is performed by the sales management apparatus, a unique ID is issued and printed on each receipt.
  • the unique ID has several means such as a two-dimensional barcode and a number.
  • This unique ID information and purchased article information associated with it are transmitted to the cloud server.
  • the receipt printed with the unique ID is scanned with the camera of the home appliance. Note that the number may be input manually instead of scanning.
  • the home appliance acquires information on the purchased article corresponding to the scanned unique ID from the cloud server.
  • the image of the article that is taken in and out from the warehouse which is the article use detection information, is transmitted to the cloud server.
  • image recognition processing is performed on the cloud server side. At this time, only items having the closest feature amount in the image recognition database including only the purchased item are matched.
  • the image recognition target is all general-purpose food items, and an image recognition database having a large size including all food items is prepared accordingly. For this reason, for example, even if one type of watermelon is used, various types of watermelons are registered as reference data. Further, in image recognition, it is necessary to perform pattern matching with all registered data on the image recognition database. In other words, there are many correct answer candidates, and it is difficult to obtain an accurate recognition result. Further, in order to obtain further responsiveness of recognition processing, it is necessary to improve the performance of the cloud server, and the cost tends to increase.
  • the registration data serving as a reference can be limited from the image recognition database based on purchase information.
  • the registration data serving as a reference can be limited from the image recognition database based on purchase information.
  • a new product or the like when not yet in the general-purpose food image recognition database, it may be added to the image recognition database based on product information from the store. Also, it is not generally mass-produced, and especially items such as side dishes cooked in the store or items that are completely different from the contents of the package are images of the products actually sold in the store.
  • the same kind of processed and packaged products of the same kind may be registered in the image recognition database as representative ones.
  • the shape of the recognized object changes before it is removed from the refrigerator, such as a fruit that can be cut, and when it is used and stored in the refrigerator.
  • an image recognition database relating to the object is determined from the image at the time of storage. It may be reconfigured. In this way, the image recognition database can be created based on the image of the purchased item, or the image processed or packaged in the same way as the purchased item, so that more accurate recognition results can be obtained when image recognition is performed. Can do.
  • information registered in the image recognition database is automatically deleted when the article is used.
  • the expiration date of each article it may be determined that the article has been used or cannot be used, so that recognition is unnecessary, and the article may be deleted from the image recognition database.
  • Other items that need to be refrigerated may be deleted when it is detected that they have been removed from the refrigerator, and when the item has not been returned to the refrigerator for more than one day, it is determined that the item can no longer be used.
  • the user may input manual use such as voice or device operation, and frozen food may be automatically deleted upon detection of use in a microwave oven.
  • FIG. 4 is a diagram illustrating a configuration and a process flow of an information processing system according to the second embodiment of the present disclosure.
  • This example shows a configuration of an information processing system in which a list of contents of a refrigerator can be confirmed on a terminal.
  • description of the components similar to those in the first embodiment will be omitted, and only the parts specific to the present embodiment will be described.
  • a process for acquiring a list of stored items in a home appliance such as a refrigerator from a terminal such as a smartphone will be described as an example.
  • the list of contents is managed by recognizing articles taken out of the refrigerator on the cloud server.
  • a list of contents in the controlled refrigerator is sent.
  • FIG. 5 is a diagram showing a processing flow of the system.
  • registration processing at the time of purchase is performed in a sales management device such as a cash register of a store.
  • the object of the registration process at the time of purchase may be the same data as general store accounting information. Further, it may be data in which the amount of the purchased item is deleted, or information on the image of the purchased item itself, as long as it is information that can identify the purchased item.
  • information on the purchases of the user is transmitted to the cloud server.
  • New products and food items processed at stores may be sent together with images or metadata (color and / or shape) for image recognition.
  • image recognition database generation (selection) processing is performed based on this list information.
  • This image recognition database generation (selection) process further includes the process of FIG. 6A.
  • a processed product in a store such as a side dish that is not in the existing image recognition database may be newly added to the image recognition database (FIG. 3).
  • an image recognition matching method is selected.
  • pattern matching may be used using only the feature values of those colors.
  • there are only objects having the same shape but different sizes such as “watermelon” and “sudachi”, matching may be performed using only the feature amount of the size.
  • the home appliance side detects the input of the article and / or the use of the article.
  • the image information of the recognition target article is transmitted to the cloud server.
  • the imaging device monitors the refrigerator entrance to detect the input and / or use of the article. If the door is opened and closed, detection information may be generated on the assumption that an article has been thrown in and / or used.
  • the washing machine may detect the use of the article, that is, the insertion of the article, that is, the detergent or the softener, and / or the use of the article when the “wash” menu is used.
  • the cloud server performs the image recognition process in FIG. 6B based on the image recognition database and the image information sent from the home appliance.
  • the cloud server waits until there is an input from the home appliance.
  • image recognition processing is performed.
  • the image recognition method may be determined by the image recognition database generation (selection) process as described above, or may be statically determined in advance. Finally, an object in the image recognition database having the closest feature amount among the recognition results is selected. Data of articles used in the home appliance obtained by the above processing is stored in a cloud server.
  • the content list list is created on the cloud server side. This is a process of making a list of articles into a list that can be confirmed by the user, for example, generating HTML.
  • the generated result is transmitted to the terminal side and displayed by the browser application on the terminal side.
  • FIG. 7 is a diagram illustrating the configuration of the information processing system and the flow of processing according to the third embodiment of the present disclosure.
  • the difference from the second embodiment shown in FIG. 4 is that recognition is performed using presence / absence of home appliance attributes on the image recognition database, input / extraction in a plurality of home appliances, and detection information.
  • the home appliance attribute is included in the feature quantity of the image recognition database.
  • a table of the image recognition database in FIG. 9 is shown.
  • the item name includes the name of the object that is the recognition result
  • the feature amount data includes information such as home appliance attribute 1, home appliance attribute 2, and size. Note that there may be a color, a printed character of a package, a barcode, or the like as a feature amount other than these.
  • Home appliance attribute 1 indicates information on a home appliance in which an article may be used.
  • Company B retort food in “A Company Seasoning, Company B Retort Food, Company C Dessert” may be used in both refrigerators and microwave ovens. For this reason, if the detection of the insertion in the microwave oven is detected after the detection of the removal in the refrigerator, it can be determined that there is a high possibility that this article is the B company retort food.
  • the home appliance attribute information and the use information on which home appliance is used as the feature amount are also used as the feature amount of the recognition process, thereby realizing higher recognition accuracy.
  • FIG. 10 is a diagram showing a configuration and processing flow when used in a microwave oven without an image recognition function.
  • the configuration of the third embodiment may be used as a prediction mechanism for predicting the input article.
  • FIG. 10 is a diagram showing a configuration and processing flow when used in a microwave oven without an image recognition function.
  • the B company retort food has the microwave oven home appliance attribute.
  • it may be predicted that the retort food of company B will be contained.
  • a control command or the like may be sent to the home appliance using the recognition result processed on the cloud server side. For example, as shown in FIG. 11, immediately after the home appliance device 1 (refrigerator) recognizes B company's retort food, the home appliance corresponding to the defrosting of B company's retort food is detected when it is put into the microwave and detected. Control such as setting (transmission of control commands) may be performed.
  • each of these processes may be performed on either the home appliance device side or the cloud server side.
  • all processing after image recognition may be performed on the home appliance side.
  • image recognition has been described as an example, but the recognition is not limited to images.
  • voice recognition may be used.
  • voice recognition for example, when a user takes out an article from a refrigerator, there is a method of inputting “Take out oranges” with a voice.
  • the speech recognition database contains only “mandarin oranges, 1/3 cut watermelon, company A seasoning”, and the three words in the database and “take out oranges”. Since it is only necessary to match the voice input from the user, high voice recognition accuracy can be obtained.
  • image recognition describes a method based on feature-based matching of objects such as size and color
  • the present disclosure is not limited to these image recognition methods.
  • the image itself or the luminance distribution in the image may be simply subjected to pattern matching.
  • the present disclosure can be used in a wide range of applications other than the applications described in actual forms.
  • the present invention can be applied to a crime prevention service in a home delivery service.
  • the cloud server is maintained and managed by a courier and has a database relating to the courier who delivers to the customer's home.
  • the sales management device manages at the delivery station, and inputs to the cloud server a delivery schedule for which visitor visits to which customer's home today.
  • the home appliance is installed in the customer's home, and when the courier visits, obtains a facial image of the courier and makes an inquiry to the cloud server.
  • the cloud server checks whether the correct courier is based on the acquired courier face image and the courier schedule entered in the sales management device of the courier station. Display the results.
  • the article used in the home appliance can be specified by the information processing system of the present disclosure.
  • the crime prevention system by a household appliance can be constructed

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

　本開示は、物品の情報から生成した認識データベースを備え、物品は家電装置に紐付けられており、物品が紐付けられた家電装置での物品使用検出情報を元に、認識データベースとマッチング処理を行い、家電装置で使用した物品を特定する情報処理システムである。かかる構成によって、購入した物品の情報から生成した認識のデータベースと、購入物品の購入者に紐づいた家電装置の物品使用検出情報を元に、家電装置で使用した物品を特定することができる。

Description

家電装置で使用した物品を特定する情報処理システム及び防犯システム
　本開示は、家電装置で使用した物品を特定する情報処理システム及び防犯システムに関する。
　洗濯機や冷蔵庫などの家電装置は、洗剤や食品など様々な日用品や食品が関係する。例えば洗濯機は洗濯をするために衣類洗剤や柔軟剤が必要であり、冷蔵庫であれば牛肉や卵などの食品が庫内に保管される。家電装置においてこれらの物品の特定が可能になると、家電装置を使った様々なサービスが可能になる。例えば、使用する洗濯洗剤に合わせた洗濯コースの自動設定や冷蔵庫内の食品を確認して食事メニューの推薦などが実現できる。
　しかし、現在の家電装置においてはこれらの物品、または物品の利用のタイミングを特定できていない。
　様々な物品を自動で特定するためには、カメラによる画像認識が一般的に使われることが多い（例えば、特許文献１）。
特開平１０－９７５３号公報
　本開示の一態様にかかる情報処理システムは、購入した物品の情報から生成した認識データベースを備え、購入した物品は家電装置に紐付けられており、購入した物品が紐付けられた家電装置での物品使用検出情報を元に、認識データベースとマッチング処理を行い、家電装置で使用した物品を特定する。
　かかる構成により、購入した物品の情報から生成した認識のデータベースと、購入物品の購入者に紐づいた家電装置の物品使用検出情報を元に、家電装置で使用した物品を特定することができる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
図１は、本開示の実施の形態１における構成と処理の流れを示す図である。 図２は、汎用的な食料品のすべてを対象とした、画像認識を用いたデータベースのマッチング処理を示す図である。 図３は、本開示の実施の形態１におけるデータベースのマッチング処理を示す図である。 図４は、本開示の実施の形態２における構成と処理の流れを示す図である。 図５は、本開示の実施の形態２における処理の流れを示す図である。 図６Ａは、本開示の実施の形態２におけるデータベース生成の流れを示す図である。 図６Ｂは、本開示の実施の形態２における画像認識処理の流れを示す図である。 図７は、本開示の実施の形態３における構成と処理の流れを示す図である。 図８は、本開示の実施の形態３における認識処理の流れを示す図である。 図９は、本開示の実施の形態３における認識データベースのテーブルを示す図である。 図１０は、本開示の変形例・応用例における構成と処理の流れを示す図である。 図１１は、本開示の変形例・応用例における構成と処理の流れを示す図である。 図１２は、本開示の変形例・応用例における構成と処理の流れを示す図である。 図１３は、本開示の変形例・応用例における処理の流れを示す図である。
　まず、本発明者らが本開示にかかる各態様の発明をするにあたって、検討した事項を説明する。
　食品など多種多様な物品を対象にする場合には画像認識の精度が課題になる。この理由はいくつかある。例えば同じ物品であってもみかんと柚子のように見た目が似ているケース、同じスイカでも、１／３カットや１／８カットなど加工されて形状が変化する場合などが理由の１つとして上げられる。また、認識対象物品と照会する認識データベースのサイズ、つまり認識の候補が食料品全体となるためマッチング対象規模が大きくなり、その結果、誤認識が増えることも挙げられる。
　また、ユーザーが内容物を見たいというニーズがある冷蔵庫とは異なり、洗濯機のような機器は、洗剤の特定のためだけにカメラを搭載することになり、コストの面で画像認識用のカメラを実装することが難しい。
　（実施の形態１）
　図１は、本開示の実施の形態１にかかる情報処理システムの、構成と処理の流れを示す図である。ユーザーはスーパーマーケットのような販売店で例えば「みかん、１／３カットのスイカ、Ａ社の調味料」の３つを購入したとする。この時に、この販売管理装置（レジ、ＰＯＳシステム等）での会計情報を使って販売店での購入物品の情報をクラウドサーバ側へ送信する。購入物品の情報は物品を購入したユーザー（以下、購入者とも記載）の情報と紐付けられている。クラウドサーバでは、ユーザーの購入物のみをリファレンスデータとして含む画像認識データベースを生成する。この画像認識データベース生成処理によって、認識すべき物体が制限されることになる。これにより，ゆずやみかんのように見た目が似ているような物品であっても誤認識する確率が下がる。
　次に、家電装置で物品の使用を検出する。家電装置は、物品を購入したユーザーの情報と紐付けられている。例えば、この図の例の場合は冷蔵庫を想定しているが、冷蔵庫の場合は物品を庫内へ投入する際、もしくは庫内から取り出す際に物品の使用を検出する。物品の使用検出は、家電装置が備えるカメラなどの撮像装置で行い、庫内からの出し入れ物品の画像を物品使用検出情報として出力する。
　購入物品の情報と家電装置とを紐づける方法はいくつかの方法が考えられる。例えば、会員情報などの個人ＩＤを介して行う方法がある。スーパーマーケットやコンビニエンスストアでは、物品の購入時にポイント特典を付与する会員カード等を配布していることが多く、これらのカード情報がもつ個人ＩＤには購入物品の一覧情報が紐づけられていることが多い。この個人ＩＤと家電装置が持つ機器ＩＤを事前に紐づけておくことで家電装置と購入物品の紐づけを実現する。また、これ以外にも、購入処理時に、購入物品の情報と紐付けられた固有ＩＤを発行することとしてもよい。この場合には販売管理装置で購入処理を行った際に、各レシートに固有ＩＤを発行して印刷する。固有ＩＤは二次元バーコード、数字などいくつか手段がある。この固有ＩＤの情報とそれに紐づく購入物品の情報をクラウドサーバ側に送信しておく。物品を購入したユーザーは自宅に帰った際に、この固有ＩＤが印刷されたレシートを家電装置のカメラでスキャンする。なお、スキャンではなくても手動で番号を入力してもよい。家電装置はスキャンした固有ＩＤに対応する購入物品の情報をクラウドサーバから取得する。
　最後に、物品使用検出情報である、庫内からの出し入れ物品の画像をクラウドサーバに送信する。その後にクラウドサーバ側で画像認識処理を行う。この時に、先ほどの購入物だけを含む画像認識データベース内の物品で最も特徴量が近いものだけをマッチングする。
　本開示の特徴である画像認識データベースのマッチング処理の部分について図２と図３の概念図を用いて説明をする。図２の例では画像認識の対象を汎用的な食料品のすべてとしており、画像認識データベースもこれに合わせてすべての食料品を含むサイズの大きなものを用意している。このため、例えばスイカ１種類にしても様々なカットのスイカをリファレンスデータとして登録している。更に、画像認識の際には画像認識データベース上のすべての登録データとパターンマッチングを行う必要がある。言い換えると正解の候補が多く、正確な認識結果を得ることが難しい。また、更に認識処理の応答性を得るためにはクラウドサーバの性能を上げる必要があり、コストも高くなる傾向がある。
　図３のように本開示の場合は、先ほどの図２のケースとは異なり、購入情報を元に画像認識データベースからリファレンスとなる登録データを限定できる。これにより、外見が似ており認識が難しいものが少なくなり、高い精度で認識ができる。なお、新製品などで、まだ汎用的な食料品の画像認識データベースにない場合には、店からの商品情報を元に画像認識データベースに追加してもよい。また、一般的に大量生産されているものではなく、特に店で調理されたお惣菜のようなもの、パッケージと中身が全く異なるようなものなどは、実際に店で売られた商品そのものの画像や、同様の加工やパッケージされた同一品種の品物を代表的なものとして画像認識データベースに登録してもよい。また、カットできる果物のように冷蔵庫から取り出す前と、使用して冷蔵庫に収納する場合には認識物体の形状が変化するが、この場合には収納の際の画像からその物体に関する画像認識データベースを再構成してもよい。このように画像認識データベースを購入した物品の画像、もしくは購入物品と同様の加工やパッケージングされたものの画像をベースに作成できるため、画像認識を行った際に、より正確な認識結果を得ることができる。
　なお、画像認識データベースに登録されている情報はその物品が使用された場合に自動で削除を行う。一例として、物品それぞれの賞味期限を過ぎた場合は、その物品が使用された、もしくは使用不可のため認識不要と判断をして画像認識データベースから削除してもよい。他には要冷蔵の品物であって、冷蔵庫から取り出されたことを検知し、かつ１日以上冷蔵庫に戻されなかった場合は物品が使用できなくなったと判断して削除してもよい。また、使用者が音声や機器操作など手動で使用したことを入力してもよく、冷凍食品などは電子レンジで使用されたことを検知して自動で削除してもよい。
　（実施の形態２）
　図４は本開示の第２の実施形態にかかる情報処理システムの、構成と処理の流れを示す図である。この例は、冷蔵庫の内容物の一覧を端末で確認できる情報処理システムの構成を示している。なお、以降では実施の形態１と同様の構成部分の説明は割愛し、本実施の形態特有の部分のみ説明する。
　本開示では、スマートフォンなどの端末から冷蔵庫などの家電装置内の保存物一覧を取得する処理を例にして説明する。このために、クラウドサーバ上で冷蔵庫から取り出した物品を認識して内容物の一覧管理を行う。端末からの問い合わせ時には、管理している冷蔵庫内の内容物の一覧表を送付する。
　図５はシステムの処理フローを示す図である。最初に販売店のレジのような販売管理装置において、購入時登録処理を行う。この購入時登録処理の対象は一般的な店舗の会計の情報と同じデータであってもよい。また、購入物の金額を消去したデータ、もしくは購入物そのものの画像の情報であってもよく、購入物品を特定できる情報であればよい。この購入時登録処理によって、ユーザーの購入物の情報をクラウドサーバへ送信する。新製品や店舗で加工された惣菜品のようなものは画像、もしくは画像認識のためのメタデータ（色および／または形など）もあわせて送付してもよい。
　クラウドサーバ側では、この一覧情報を元に画像認識データベース生成（選択）処理を行う。この画像認識データベース生成（選択）の処理は更に図６Ａの処理から構成される。最初に購入物の情報を受信して、生成する画像認識データベースに含まれる物品を決定する。次に、すでにある一般的な画像認識データベースを元に、その中から先ほど取得した購入物品の情報だけを選択して画像認識データベースを生成する。この際に、既存の画像認識データベースにない惣菜のような店での加工品は、新たに画像認識データベースに追加してもよい（図３）。最後に、画像認識マッチング方法の選択を行う。例えば、生成された画像認識データベースに「りんご」と「みかん」のように、形状が同じで色が異なる物体しかない場合には、それらの色の特徴量だけを用いてパターンマッチングを用いればよい。また、「スイカ」と「すだち」のように形状が同じで大きさが異なる物体しかない場合には、大きさの特徴量だけを用いてマッチングを行えばよい。当たり前であるが、以前に冷蔵庫に入っている物品の情報も合わせて認識方法を選択する必要がある。以上のように生成した画像認識データベースと、それに最適化された画像認識マッチング方法を選択することによって精度が高く、処理量が少ない画像認識が可能になる。
　次に、家電装置側で物品の投入および／または物品の使用の検出を行う。その際に認識対象物品の画像情報をクラウドサーバに送信する。この際に、例えば冷蔵庫であれば、撮像装置で冷蔵庫入口を監視して物品の投入および／または使用の検出をする。なお、扉の開閉が発生すれば物品投入および／または使用が発生したとして検出情報を生成してもよい。また、洗濯機も「洗う」メニューが使用されたことをもって、物品、つまり洗剤や柔軟剤の物品の投入および／または物品の使用の検出を行ってもよい。
　クラウドサーバでは画像認識データベースと家電装置から送られた画像情報を元に、図６Ｂの画像認識処理を行う。クラウドサーバ側では家電装置からの入力があるまで待機する。入力待ちの状態に、家電装置から入力があった場合には画像認識処理を行う。なお、画像認識の方法は前述のように画像認識データベース生成（選択）処理で決められたものを用いてもよいし、静的にあらかじめ決めたものを使っても良い。最後に、認識結果の中で最も特徴量が近い画像認識データベース内の物体を選択する。以上の処理によって得られる家電装置で使用した物品のデータをクラウドサーバに蓄積しておく。
　端末側から、スマートフォンアプリケーションで冷蔵庫の内容物一覧の問い合わせのデータ要求がクラウドサーバへ発生した場合には、クラウドサーバ側で内容物一覧リスト作成を行う。これは、物品の一覧をユーザーが確認できる一覧表にする処理であり、例えばＨＴＭＬの生成を行う。この生成された結果を端末側に送信して、端末側のブラウザアプリケーションで表示する。
　（実施の形態３）
　図７は本開示の第３の実施の形態３にかかる情報処理システムの構成と処理の流れを示す図である。図４に示す第２の実施形態との違いは、画像認識データベース上の家電属性の有無、複数の家電装置での投入、取り出し検知情報を用いて認識を行っている点である。
　図７の例では２つの家電装置のデータを用いている。以降では、これらの２つの家電装置をそれぞれ冷蔵庫と電子レンジとして説明する。この図において、ユーザーが最初にスーパーマーケットで購入した物品は「Ａ社調味料、Ｂ社レトルト食品、Ｃ社デザート」である。ここで、これらのパッケージは外見が似ており、カメラの撮像条件においては認識が難しいものであると仮定する。この条件下において、例えばカメラ画像だけで画像認識を行うと画像認識の精度が課題となる。一方、本実施の形態のように実際に使用される各家電装置と画像認識データベースに付与された家電属性を組み合わせることで、認識の精度を高めることができる。
　例えば、図８のようにＢ社レトルト食品を冷蔵庫から取り出して、直後に電子レンジで温める場合について説明する。本実施の形態では画像認識データベースの特徴量に家電属性を含む。一例として図９の画像認識データベースのテーブルを示す。このテーブルでは品目名に認識結果となる物体の名前があり、それらの特徴量データとして、家電属性１、家電属性２、大きさなどの情報がある。なお、これら以外の特徴量として、色やパッケージの印刷文字やバーコードなどがあってもよい。家電属性１は物品が使われる可能性がある家電の情報を示している。例えば、「Ａ社調味料、Ｂ社レトルト食品、Ｃ社デザート」の中でＢ社レトルト食品だけが、冷蔵庫と電子レンジの両方で使用される可能性がある。このため、冷蔵庫での取り出しの検知が行われた後に、電子レンジでの投入の検知が行われた場合には、この物品はＢ社レトルト食品である可能性が高いと判断できる。
　以上のように家電装置での投入および／または取り出しの検知時に、家電属性情報およびどの家電装置で物品が使用されたかの使用情報も認識処理の特徴量として用いることで、更に高い認識精度を実現できる。
　（変形例、応用例）
　家電装置に認識機能がない場合には、実施の形態３の構成を、投入物品を予測するための予測機構として利用してもよい。図１０は画像認識機能がない電子レンジで使用する場合の構成と処理の流れを示す図である。例えば、図９の例では、ユーザーの購入物の「Ａ社調味料、Ｂ社レトルト食品、Ｃ社デザート」の中で、電子レンジの家電属性を持つものはＢ社レトルト食品だけである。この場合には、電子レンジに物品が投入された際にはＢ社のレトルト食品が入ったであろうと予測してもよい。
　また、クラウドサーバ側で処理をした認識結果を用いて、家電装置へ制御コマンド等を送ってもよい。例えば図１１のように家電装置１（冷蔵庫）でＢ社のレトルト食品が認識された直後に、電子レンジに投入、取り出し検出が行われた場合には、Ｂ社レトルト食品の解凍に対応する家電設定などの制御（制御コマンドの送信）を行っても良い。
　また、これらの各処理は家電装置側、クラウドサーバ側のどちらで行っても良い。例えば、図１２、図１３のように画像認識以降のすべての処理を家電装置側で実施してもよい。
　なお、上記のすべての実施の形態例では画像認識を例にして説明したが、認識を画像に制限するものではない。例えば、音声認識をつかってもよい。音声認識の場合は、例えばユーザーが冷蔵庫から物品を取り出す際に、「みかんを取り出し」と声で入力する方法などがある。その場合、例えば図３を例にして説明すると、音声認識データベースには「みかん、１／３カットスイカ、Ａ社調味料」だけが入っており、そのデータベースの３つの言葉と「みかんを取り出し」というユーザーからの音声入力をマッチングさせるだけでよいため高い音声認識精度を得ることができる。
　また、画像認識は大きさや色など物体の特徴量ベースのマッチングによる方法について説明しているが、本開示はこれらの画像認識方法に制限するものではない。例えば、画像そのものや、画像内の輝度分布を単純にパターンマッチングしてもよい。
　なお、本開示は、実際の形態に記載の用途以外に幅広い用途で使用できる。例えば、宅配便における防犯サービスにも適用できる。クラウドサーバは宅配便業者が保持管理し、お客様宅まで宅配する宅配者に関するデータベースを有する。そして販売管理装置は、宅配ステーションで管理し、今日はどのお客様のお宅にどの宅配者が訪問するかの宅配スケジュールをクラウドサーバに入力する。そして、家電装置はお客様宅に設置されており、宅配者が訪問した際、その宅配者の顔画像等を取得し、クラウドサーバに問い合わせる。そして、クラウドサーバは取得した宅配者の顔画像と、宅配ステーションの販売管理装置で入力された宅配スケジュールをもとに、正しい宅配者がどうかを確認し、同じくお客様宅に設置されている端末で結果を表示する。なお、クラウドサーバでは、多くの宅配者のうち当日配送担当になりそうな数名のみが認識対象としてリストアップされているものとする。これにより、家電装置側での認識精度を上げることができる。以上のような仕組みを用いることで、宅配業者を装った犯罪者の場合、不正と表示されるので、犯罪に巻き込まれることを防止できる効果を有する。
　本開示の情報処理システムにより、家電装置で使用した物品を特定することができる。また、画像認識技術を用いて、家電装置による防犯システムを構築することができる。

Claims (11)

  1. 　物品の情報から生成した認識データベースを備え、
    　前記物品は家電装置に紐付けられており、
    　前記物品が紐付けられた家電装置での物品使用検出情報を元に、前記認識データベースとマッチング処理を行い、前記家電装置で使用した物品を特定する情報処理システム。
  2. 　前記認識データベースは、前記物品の画像、もしくは前記物品と同様の加工またはパッケージングがされたものの画像をベースに生成されることを特徴とする請求項１記載の情報処理システム。
  3. 　画像認識、または音声認識により前記家電装置で使用した物品を特定することを特徴とする請求項１記載の情報処理システム。
  4. 　前記物品の情報に合わせて、前記マッチング処理の方法を選択することを特徴とする請求項１記載の情報処理システム。
  5. 　前記物品が購入したものであり、家電装置への紐づけを、購入者の会員情報などの個人ＩＤを用いて行うことを特徴とする請求項１記載の情報処理システム。
  6. 　前記購入した物品の家電装置への紐づけを、購入時に販売管理装置から発行される固有ＩＤを前記家電装置での読み取ることによって行うことを特徴とする請求項１記載の情報処理システム。
  7. 　前記認識データベースは、物品ごとに、当該物品が使用される可能性がある家電装置を示す属性情報を含み、
    　前記属性情報と、どの家電装置で物品が使用されたかの使用情報とを用いて前記家電装置で使用した物品を特定することを特徴とする請求項１記載の情報処理システム。
  8. 　更に複数の家電装置での物品使用検出情報を元に、認識または認識補正処理を行うことを特徴とする請求項１記載の情報処理システム。
  9. 　購入した物品の情報から生成した予測データベースを備え、
    　前記購入した物品は家電装置に紐付けられており、
    　前記購入した物品に紐付けられた家電装置での物品の使用情報を元に、前記予測データベースを用いて、前記家電装置で使用した物品を予測する情報処理システム。
  10. 　前記家電装置で使用した物品と連携した家電制御コマンドを、前記家電装置、または関連する別の家電装置へ提供することを特徴とする請求項９記載の情報処理システム。
  11. 　１人以上の訪問者の候補の情報が登録された認識データベースを備え、
    　訪問先の住宅の家電装置にあらかじめ前記認識データベースを利用させる指示を与え、
    　前記家電装置での人物訪問の検出情報を元に、訪問者が前記認識データベースにある人物かどうかを判定する防犯システム。
PCT/JP2014/002585 2013-06-04 2014-05-16 家電装置で使用した物品を特定する情報処理システム及び防犯システム WO2014196130A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/428,668 US10026038B2 (en) 2013-06-04 2014-05-16 Information processing system for identifying used commodities in domestic electrical appliances, and security system
JP2015521274A JP6345656B2 (ja) 2013-06-04 2014-05-16 家電装置で使用した物品を特定する情報処理システム及び防犯システム
CN201480002720.XA CN104718553B (zh) 2013-06-04 2014-05-16 信息处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361830737P 2013-06-04 2013-06-04
US61/830,737 2013-06-04

Publications (1)

Publication Number Publication Date
WO2014196130A1 true WO2014196130A1 (ja) 2014-12-11

Family

ID=52007791

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/002585 WO2014196130A1 (ja) 2013-06-04 2014-05-16 家電装置で使用した物品を特定する情報処理システム及び防犯システム

Country Status (5)

Country Link
US (1) US10026038B2 (ja)
JP (2) JP6345656B2 (ja)
CN (1) CN104718553B (ja)
TW (1) TW201510752A (ja)
WO (1) WO2014196130A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959615B (zh) * 2017-04-17 2020-10-30 青岛海尔股份有限公司 一种智能家居系统的控制方法
JP7191561B2 (ja) 2018-06-29 2022-12-19 シャープ株式会社 冷蔵庫
JP7175656B2 (ja) * 2018-07-24 2022-11-21 東芝テック株式会社 電子レシートシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092308A (ja) * 2000-09-14 2002-03-29 Sanyo Electric Co Ltd 情報処理方法、情報処理装置及びサーバ
JP2004013871A (ja) * 2002-06-12 2004-01-15 Creer:Kk 防犯システム
WO2006006576A1 (ja) * 2004-07-13 2006-01-19 Mitsubishi Denki Kabushiki Kaisha 情報処理装置、情報処理方法
US20130015753A1 (en) * 2010-12-29 2013-01-17 Mina Son Refrigerator

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH109753A (ja) 1996-06-26 1998-01-16 Matsushita Refrig Co Ltd 冷凍冷蔵庫の食品在庫管理装置
JP2003208548A (ja) * 2002-01-16 2003-07-25 Nec Corp 販売制限システム、販売店側システム及びプログラム
WO2004106009A1 (ja) * 2003-06-02 2004-12-09 Matsushita Electric Industrial Co., Ltd. 物品操作システムおよび方法、並びに物品管理システムおよび方法
JP2005084826A (ja) * 2003-09-05 2005-03-31 Ntt Docomo Inc サーバ装置、及び情報提供方法
US8068011B1 (en) * 2010-08-27 2011-11-29 Q Street, LLC System and method for interactive user-directed interfacing between handheld devices and RFID media
JP2012193873A (ja) * 2011-03-15 2012-10-11 Nikon Corp 収納装置
WO2013012093A1 (ja) * 2011-07-19 2013-01-24 株式会社Ｎｅｃ情報システムズ 情報処理システム、認識辞書学習方法および情報処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092308A (ja) * 2000-09-14 2002-03-29 Sanyo Electric Co Ltd 情報処理方法、情報処理装置及びサーバ
JP2004013871A (ja) * 2002-06-12 2004-01-15 Creer:Kk 防犯システム
WO2006006576A1 (ja) * 2004-07-13 2006-01-19 Mitsubishi Denki Kabushiki Kaisha 情報処理装置、情報処理方法
US20130015753A1 (en) * 2010-12-29 2013-01-17 Mina Son Refrigerator

Also Published As

Publication number Publication date
JP2018185819A (ja) 2018-11-22
JPWO2014196130A1 (ja) 2017-02-23
JP6345656B2 (ja) 2018-06-20
TW201510752A (zh) 2015-03-16
CN104718553A (zh) 2015-06-17
US20150248612A1 (en) 2015-09-03
US10026038B2 (en) 2018-07-17
CN104718553B (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
US10930128B2 (en) System configured for spoofing avoidance
US10339589B2 (en) Connected consumables preparation area
AU2017378617A1 (en) An automatic in-store registration system
CN208737535U (zh) 一种智能电子追溯秤系统
US20190066181A1 (en) Food and retail product packaging information exchange mobile application system
JP2018185819A (ja) 防犯システム
US20130144759A1 (en) Product purchase device and product purchase method
US10796518B2 (en) Feedback and authentication system and method for vending machines
CN106022841A (zh) 信息传送方法及装置
CN110675098A (zh) 控制方法以及信息处理装置
CN111523348A (zh) 信息生成方法和装置、用于人机交互的设备
Schneider A smart shopping assistant utilizing adaptive plan recognition
JP2021047660A (ja) 商品情報通知システム、商品情報通知方法、プログラム
CN106846118A (zh) 一种根据存储物情况进行购物引导的视频智能购物冰箱
TWI601083B (zh) 基於離線商務模式的購物系統
JP2007286888A (ja) 商品販売データ処理装置及び情報報知プログラム
JP2004133552A (ja) 販売価格収集システム、販売価格収集方法、及び販売価格収集プログラム、並びにそのプログラムを記録した電磁媒体
US10909603B2 (en) Computer implemented item recommendation
CN110163635A (zh) 主动追溯食品安全信息的智能冰箱及其食品安全监控方法
CN110348943A (zh) 商品推荐信息的处理方法、装置、存储介质及计算机设备
KR20200063397A (ko) 인터넷 식재료 주문정보를 이용한 추천 요리와 그 레시피 제공 장치
JP2023071512A (ja) 情報処理装置およびプログラム
CN109313779A (zh) 使用识别号的商品搜索方法
KR20140104598A (ko) 단일 요청 기반 가계부 관리 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14807081

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015521274

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14428668

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14807081

Country of ref document: EP

Kind code of ref document: A1