WO2019146894A1 - 제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법 - Google Patents

제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법 Download PDF

Info

Publication number
WO2019146894A1
WO2019146894A1 PCT/KR2018/014369 KR2018014369W WO2019146894A1 WO 2019146894 A1 WO2019146894 A1 WO 2019146894A1 KR 2018014369 W KR2018014369 W KR 2018014369W WO 2019146894 A1 WO2019146894 A1 WO 2019146894A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
image
information
storage space
unit
Prior art date
Application number
PCT/KR2018/014369
Other languages
English (en)
French (fr)
Inventor
박윤식
김락용
김상윤
황성목
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2019146894A1 publication Critical patent/WO2019146894A1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/02—Sensors detecting door opening
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/16—Sensors measuring the temperature of products

Definitions

  • the present invention relates to a refrigerator and a method for identifying a product and outputting a divided image.
  • a refrigerator that maintains or cools the temperature of various kinds of storage at a low temperature includes a storage compartment made up of one or more separate spaces.
  • the refrigerator includes at least two storage spaces in which at least a plurality of products can be stacked vertically and horizontally to accommodate and store products of various sizes.
  • FIG. 1 is a view showing a process of controlling a camera by a refrigerator having a camera for photographing a conventional refrigerator.
  • FIG. 1 is a view showing a photographing operation of a refrigerator to which a camera is attached on a side of a conventional door.
  • the camera is turned on (S3), the camera is turned on (S4), the light is turned on after a predetermined time is passed (S6), the camera is operated (S7) .
  • the camera shooting is started from one side of the refrigerator, which has a problem that the product placed on the back side of the refrigerator can not be confirmed.
  • the user has to check various products stacked in the ceiling.
  • the present invention has been made to solve the above-mentioned problems and it is an object of the present invention to provide a method and an apparatus capable of checking the state of a high-end product from the outside even when a product stored in a refrigerator is cumulatively captured and an image is stored, ≪ / RTI >
  • the control unit of the refrigerator includes a refrigerator that separates and stores an image for each product from a captured image captured by a camera unit that captures a product stored in a storage space, and a method of implementing the refrigerator.
  • the control unit of the refrigerator includes a refrigerator that stores an image of a product separated by product and meta information corresponding to the image in a database unit, and a method of implementing the same.
  • a display unit of a refrigerator includes a refrigerator that receives at least one of an input of a product, an input of a product to output the meta information, .
  • the refrigerator includes at least one of a storage space or a weight sensing unit that senses the weight of the shelf in the storage space, or a door sensing unit that senses opening and closing of a door of the storage space.
  • the camera unit includes a refrigerator for generating a captured image in shelf units in a storage space or a storage space,
  • the refrigerator further includes a temperature sensing unit for sensing temperature information of the product in the storage space or a depth camera unit for generating depth information of the product, and the control unit performs image segmentation in the captured image, And extracting the depth information or the temperature information for each object to set an object-specific boundary to calculate an image for each product, and a method for implementing the refrigerator.
  • products housed in a refrigerator can be cumulatively photographed and an image can be stored so that the state of the in-home product can be confirmed even when some products are covered by other products.
  • meta information about each product can be stored, so that information about the product can be more easily confirmed from the outside of the refrigerator.
  • the freshness of the in-store product can be managed by notifying the user of the information of the goods to be put in or out of the refrigerator.
  • FIG. 1 is a view showing a process of controlling a camera by a refrigerator having a camera for photographing a conventional refrigerator.
  • FIG. 2 is a view showing a refrigerator for identifying a storage product to which an embodiment of the present invention is applied.
  • FIG. 3 is a view illustrating components of a refrigerator according to an exemplary embodiment of the present invention to provide information on an internal product. Referring to FIG. 3
  • FIG. 4 is a diagram illustrating a process of acquiring and storing an image of a high-end product according to an exemplary embodiment of the present invention.
  • FIG. 5 is a detailed diagram illustrating the process of FIG. 4 according to an embodiment of the present invention.
  • FIG. 6 is a view showing types of information stored in the database unit 190 according to an embodiment of the present invention.
  • FIG. 7 is a view illustrating an embodiment in which a change in storage of a product is taken by taking an in-built image according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a configuration of a communication device such as a terminal according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a smartphone according to an exemplary embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an image extraction process in a case where foodstuffs are overlapped according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating an embodiment of outputting meta information according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a configuration of a captured image table and a product image table according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a process of capturing an image with respect to a storage space or a shelf in which a camera attachment product is brought in, taken out, or moved according to an exemplary embodiment of the present invention.
  • the terms first, second, A, B, (a), (b), and the like can be used. These terms are intended to distinguish the components from other components, and the terms do not limit the nature, order, order, or number of the components.
  • the refrigerator will be mainly described as an example of a device for refrigerating or freezing the stored product.
  • the refrigerator includes a refrigerator for storing ordinary food, a Kimchi refrigerator, a beverage refrigerator, a household refrigerator, a commercial refrigerator, It includes all the devices mainly for various refrigeration and refrigeration functions.
  • the present invention is also applied to a device for refrigerating a stored product such as a cosmetic refrigerator.
  • a refrigeration unit that is installed in a non-stationary, removable, for example, large refrigerated trailer.
  • FIG. 2 is a view showing a refrigerator for identifying a storage product to which an embodiment of the present invention is applied.
  • 10 is an appearance of the refrigerator 100 in a closed state
  • 20 is an appearance of the refrigerator 100 in an open state.
  • the space in which one door 21 of the refrigerator 100 is opened and closed can be divided into a plurality of divided storage spaces 23 and 24, have.
  • Each of the storage spaces 23 and 24 can be independently temperature-controlled. Of course, the temperature may be controlled equally for the spaces opened and closed by one door. And each storage space can be divided into shelves inside again.
  • the refrigerator 100 may further include a display unit 110 for displaying information or displaying the inside of the refrigerator 100.
  • the display unit 110 may be disposed on a front surface of a specific door 31. Also, the display unit 110 may be disposed on the side surface of the refrigerator 100.
  • the display unit 110 may include a transparent display panel for identifying the inside of the refrigerator.
  • the display unit 110 may include a display panel for displaying an image inside the refrigerator.
  • the display unit 110 may receive at least one of an input for inputting or adding an input or a search for outputting an image and meta information of a product stored in the refrigerator, and correcting the meta information.
  • the camera may be disposed on the wall surface or the rear surface of each of the storage spaces 23 and 24. This is to confirm stacked products stacked.
  • FIG. 3 is a view illustrating components of a refrigerator according to an exemplary embodiment of the present invention to provide information on an internal product. Referring to FIG. 3
  • the display unit 110 provides a function of displaying products in the storage space as an image or displaying a description of each product.
  • the camera unit 120 photographs the product stored in the storage space.
  • the storage space is photographed to identify the type and size of the product to be stored or received.
  • the control unit 150 can confirm in the database unit 190 whether the received product is a product that was previously received.
  • the database unit 190 accumulates and stores images photographed by the camera unit 120 on the received product. In this process, the database unit 190 may accumulate and store images taken by the camera unit 120 at various angles. When there are a plurality of camera units 120, the database unit 190 stores information as to which position the camera unit has been photographed, information on which shelf of the shelf in which the storage space or storage space is subdivided Can be stored together.
  • the database unit 190 stores a captured image captured by the camera unit 120. [ In addition, the database unit 190 stores an image of the product separated by the product in the captured image. The database unit 190 also stores meta information corresponding to each captured image or product image.
  • the meta information may include at least one of the name of the product, the category of the product, the time at which the product was received, the usable time limit of the product, the alarm time applied to the product, and the location information of the product in the storage space. If the user has a text to be labeled, the name can be used.
  • the time of arrival means the time of arrival of the product.
  • the time of arrival can be at least one of the time the product was first placed in the refrigerator or the time most recently received. If the product is often taken out and placed in the refrigerator, and the control unit 150 identifies the product as the same product, the take-out and take-in times of the product can be cumulatively stored.
  • meta information can also be an expiration date of the product or an alarm time applied to the product. This can be manually entered or selected by the user. For example, the user can input usable time information on the output image of the product as shown in FIG. 9 which will be described later.
  • the controller 150 may store location information on the location of the product. In this process, the controller 150 stores the accumulated position information of the product in the database unit 190 and outputs the stored information.
  • the control unit 150 tracks the change in weight for each shelf, The accuracy of the identification can be increased.
  • the apparatus may further include a depth camera unit 141 and a temperature sensing unit 143 to enhance accuracy in separating images according to products.
  • the temperature sensing unit 143 senses the temperature information of the product in the storage space, and the depth camera unit 141 generates the depth information of the product.
  • One product may have the same or similar temperature. And one product may have the same depth information or may have depth information that is constantly increased or decreased. Accordingly, in extracting a specific product image from the captured image, the controller 150 can increase the accuracy by using temperature or depth information of the product.
  • the control unit 150 controls the above-described components and can display or output information of products using information provided by the respective components. Alternatively, the control unit 150 may control the communication unit 160 and the like so that information can be output through communication from an external device.
  • the control unit 150 also generates meta information for each product based on the image captured by the camera unit 120 or information stored in the database unit 190.
  • the meta information may include the name of the product, the time of arrival, the estimated weight, and the like.
  • the control unit 150 can generate the expiration date for each product received by the communication unit 160, and the like.
  • the communication unit 160 may receive the information necessary for generating the meta information of the product from an external server, or may transmit a product information when an external smart phone requests confirmation of the in-store information. For example, it is possible to transmit an image and meta information of the product to the communication device 300 and receive information indicating the search information or the output mode of the product stored in the storage space from the communication device 300.
  • the door detection unit 170 senses the opening and closing of the door so that the inflow of the product can be confirmed. In this process, the door detection unit 170 may detect whether the user's body has entered the storage space at the boundary of the storage space so that the user can confirm whether the door is simply opened or closed.
  • the compressor 180 provides refrigeration to the refrigerator and the freezer.
  • the compressor 180 can provide cooling power to the refrigerator based on the setting of the controller 150.
  • the control unit 150 outputs predetermined product information to the outside and then instructs the operation of the refrigerator 100 externally, the compressor 180 may operate based on the instruction.
  • the database unit 190 stores an image of the received product. Since the images photographed at various angles are stored, the control unit 150 can search for candidate images stored in the database unit 190 in identifying the new products.
  • High-end products may be new or may be repositioned in the interior.
  • Step S201 The image of the storage space or the image of the shelf stored in the database unit 190 or the image of the shelf by the corresponding camera unit 120, (Step S202).
  • the control unit 150 performs an image matching process to compare the image with an image within a range of a predetermined space.
  • the controller 150 extracts images of individual products (S203).
  • an individual image for the product stored in the database unit 190 may be referred to.
  • the extracted image is stored in the database unit 190 by adding meta information such as labeling, storage history, This information can then be used as reference information when the product moves within the warehouse, is exported, or is brought in.
  • control unit 150 when the control unit 150 can not acquire a complete image of the product such as a part of the result of extracting the individual image, the controller 150 displays the incomplete image of the separated product and the past image of the corresponding product stored in the database unit 190 Compare images. When it is determined that the separated incomplete image corresponds to a part of the stored image, the control unit 150 combines the images stored in the past database unit 150 with the separated incomplete images to generate an adjusted image (more complete image) .
  • control unit 150 compares the images acquired through the camera unit 120 and extracts each product (foodstuff) from the first captured image through image extraction of the changed portion. Can be separated. The separated images are cumulatively stored and displayed on the outside to enable the user to check on the food items that are stacked in multiple layers.
  • an image of a high-priced food product can be stored and provided through a camera mounted on the refrigerator without opening and closing the refrigerator.
  • a camera mounted on the refrigerator without opening and closing the refrigerator.
  • the foodstuff is stacked from the inside to the multi-layered foodstuff in the storage room, it is not possible to provide an image for the inner product because it is covered by the outer foodstuff May occur.
  • the photographed images are cumulatively stored and compared, the changed images are extracted, and the extracted images are cumulatively provided.
  • the photographed images are cumulatively stored and compared, the changed images are extracted, and the extracted images are cumulatively provided.
  • the user can output the selected image to the display unit 110 so that the image can be selected / selected, and the meta information such as the labeling and the loading time is stored in the image of the extracted product, Make management possible.
  • FIG. 5 is a detailed diagram illustrating the process of FIG. 4 according to an embodiment of the present invention.
  • Image sensing unit 130 or indirectly (door sensing unit 170), it acquires an image from the built-in camera unit 120 (S211)
  • the acquired images can be sorted by storage space, shelf unit, or camera.
  • one camera can capture one or more storage spaces. Or one camera may shoot only one shelf. When the camera can be rotated or moved, a plurality of images photographed for each position or in various directions can be obtained.
  • step S212 the control unit 150 photographs the images stored in the database unit 190 and the images acquired in step S211 by photographing the cameras in the same storage space or the same shelf, the same position, or the same direction.
  • Matching means comparing two images to see if they are the same as or different from the previous image. If the in-stay image is completely the same, the existing image is the same as the newly acquired image, so that the existing image is held in the database unit 190 (S214).
  • the newly acquired image can be stored and terminated have.
  • the control unit 150 determines that the image is different from the allowable value of the predetermined pixel difference, the changed image (partial image) is extracted (S215).
  • the control unit 150 adds labeling to the extracted image or stores meta information such as history information on the extracted image in the database unit 190.
  • control unit 150 can read the characters written on the wrapping paper or the surface of the product and use it as a labeling. Also, the control unit 150 may estimate the product using the reference image stored in the database unit 190. For example, labeling for a newly arrived product can be selected using various fruit images stored in the database unit 190.
  • the history information includes information on the movement of the product within the warehouse.
  • the information on the first arrival time when the warehouse is moved to the first shelf for one hour and then put on the second shelf, And can be stored as history information.
  • the weight information when the weight of the corresponding product can be distinguished by using the weight sensing unit 130, the weight information can be stored together with the meta information.
  • the controller 150 can check the freshness of the milk by calculating the time.
  • the controller 150 may compare the weight information of the previous product with the weight information of the new product to confirm whether the same product or only the appearance of the product is the same.
  • Weight information can be used to estimate the weight of individual products during the import and export of high-end products.
  • the products A, B, and C are placed on the first shelf and the weight information is 1.9 kg in total, and the weight information can be stored in the database unit 190. If the weight of the first lathe is 1.3 kg, the weight of the product B and C is 1.3 kg, and the weight of the product A is 600 g, which is stored in the database unit 190. If the weight is 600 g or less, the controller 150 identifies the same product.
  • the control unit 150 determines that a new product is imported, ). ≪ / RTI >
  • control unit 150 further stores the extracted image, i.e., the individual image for the product, in the database unit 190 (S217).
  • the image acquired in step S211 in the storing process may also be stored in the database unit 190, and the comparison may be made in the case where the next time a product is received or received.
  • the process of FIG. 5 is summarized as follows.
  • the control unit 150 compares the image obtained by the camera unit 120 with the existing image.
  • a comparison method a process of checking differences in images such as pixel position and RGB color information can be applied.
  • the control unit 150 automatically labels the extracted image or saves the history of the labeling and loading and the loading time desired by the user, and further stores the extracted image.
  • the control unit 150 can check the difference in the image including artificial intelligence, e.g., deep running or artificial neural network.
  • the display unit 110 of the refrigerator 100 displays that a new product has been received and can receive predetermined information (name, storage period, alarm, etc.) from the user .
  • a smartphone for outputting information transmitted by the communication unit 160 of the refrigerator 100. The user can perform labeling on the in-store product.
  • control unit 150 compares the captured image captured by the camera unit 120 with the captured image stored in the database unit 190 (S212). If the captured image is different from the captured image stored in the database unit 190, So that images can be identified on a product-by-product basis.
  • the image for comparison and change parts (foodstuffs) for the photographed images is extracted, and the accumulated extracted image is provided.
  • the images of the foodstuffs which are stacked in multiple layers using the accumulated extracted images are also displayed on the outside of the refrigerator or on the communication device.
  • labeling and loading time histories for the extracted images are stored so that the corresponding grocery management is possible.
  • FIG. 6 is a view showing types of information stored in the database unit 190 according to an embodiment of the present invention.
  • the database unit 190 stores the images acquired by the camera unit 120 (for each storage space, each shelf, or the entire image acquired for each specific position or direction), the time at which the images were captured, And a captured image table 191 for storing information on the shelf, information on the position or direction, and the like.
  • meta information about each storage space or meta information about the shelf can be stored together.
  • the weight information may be stored, and the controller 150 may refer to the image in future comparison.
  • the database unit 190 includes a product image table 193 for storing product-specific images classified by products in the images acquired by the camera unit 120.
  • a product image table 193 for storing product-specific images classified by products in the images acquired by the camera unit 120.
  • the volume information of the product can also be stored in the product image table 193, and a depth camera for generating the depth information of the in-store products can be included therein.
  • the database unit 190 may further include a product history table 195.
  • a product history table 195 when it is confirmed that the product has been reloaded after exporting, it is possible to accumulate and store the history information about the position of the product, the weight information thereof has changed, or the temperature information has changed.
  • An infrared camera may be further included to confirm the change in temperature.
  • FIG. 7 is a view illustrating an embodiment in which a change in storage of a product is taken by taking an in-built image according to an embodiment of the present invention.
  • 221 shows that the product image and meta information of the in-house products at a certain point in time are displayed.
  • a square is displayed for each product, which can be a unit for storing an image of the product.
  • the rectangles displayed for each product can indicate the range in which the user can select the product.
  • a rectangle labeled “water (0.72) " represents an example of a range in which bottles can be selected from the entire image.
  • such a quadrangle is another embodiment of the product image identified by the control unit 150 as bottled water in the captured image.
  • 221 shows the placement of various products in the warehouse and the placement of each product label.
  • the number in the vicinity of the label indicates that various meta information about the product such as the time when the product was shipped, the temperature for the product, and the weight for the product can be displayed.
  • 222 is a case where an image of a new product is confirmed in a captured image after a new product is placed in a state of being arranged as 221.
  • the controller 150 compares the two captured images 221 and 222, and then confirms that the product indicated by the reference numeral 223 is newly loaded and the image change occurs.
  • the control unit 150 extracts the image of the newly loaded product 223 from the captured image and stores it in the product image table 193. [ The entire captured image including the moron 223 is also stored in the captured image table 191. [
  • the image of the newly added product is output to a communication device such as a smart phone / tablet (terminal) that transmits / receives information to / from the display unit 110 of the refrigerator or the communication unit 160 of the refrigerator. Or input the meta information such as alarm information indicating how long the product should be used, and the input information can also be stored in the product image table 193.
  • a communication device such as a smart phone / tablet (terminal) that transmits / receives information to / from the display unit 110 of the refrigerator or the communication unit 160 of the refrigerator.
  • the meta information such as alarm information indicating how long the product should be used, and the input information can also be stored in the product image table 193.
  • the user can move the extracted product images individually through the touch screen of the communication unit such as the display unit 110 or the terminal of the refrigerator to locate the goods.
  • the refrigerator 7 is summarized as follows. And displays a captured image in the refrigerator using the camera unit 120 installed in the refrigerator.
  • the refrigerator also identifies and displays product-specific images from the photographed images, and may store labeling and meta information based on information automatically identified by the user's input or control unit 150.
  • the control unit 150 compares the existing image stored in the captured image table 191 with the image obtained by the new camera unit 120, extracts the image of the changed part, and separately stores the image as a product image. Then add the extracted image to the integrated image in the entire refrigerator. As a result, it is possible to select and sort the product images individually by touching and dragging, etc., and then moving through the images even for the invisible articles stacked in layers.
  • An image displayed in the capture image such that the product image is identified as shown in 221 or 222 of FIG. 7 is output to the display unit 110 of the refrigerator 100 or the screen of the communication device such as the terminal. Then, the user can select a specific image through the touch and store the labeling with the contents to be displayed thereon. In this process, information such as the loading time and the storage elapsed time can be stored together.
  • FIG. 8 is a diagram illustrating a configuration of a communication device such as a terminal according to an embodiment of the present invention.
  • the communication device 300 refers to a device that transmits and receives information to and from the communication unit 160 of the refrigerator 100 such as a smartphone and a tablet computer.
  • the components of Fig. 8 present the components necessary for the communication device 300 to display the product placed in the refrigerator 100 and to provide the function for inputting product-specific information therein. Accordingly, the communication device 300 may further include additional components to provide other functions.
  • the control unit 350 executes a predetermined application and controls the application so that the application can output the product in the refrigerator 100.
  • the display unit 310 outputs an image of the in-built products received by the communication unit 360. Also, if the meta information for the in-store products is included, the meta information can also be output. As shown in FIG. 7, the output method may be an embodiment in which a rectangle is displayed on the periphery of the product image on the entire captured image to be labeled.
  • the user can touch or drag the displayed product image. For example, if an in-built camera is arranged on four sides, a full image (or a part of images) of a single product can be displayed by combining images photographed from front, rear, and left sides. Then, the user can check the back side of the product by dragging the displayed image.
  • the image storage unit 330 may store a product image or a captured image. Also, the meta information for each product can be stored in the image storage unit 330 as well.
  • the communication unit 160 of the refrigerator 100 transmits the image and meta information of the product to the communication device 300 and receives information indicating the search information or the output mode of the product stored in the storage space from the communication device 300 .
  • the image of the products and the corresponding meta information can be outputted for the user's convenience in the images shown in FIG.
  • the three products placed on the first shelf (221) in FIG. 7 were output to the display unit 310 of FIG.
  • the user can see the rear side or the side of the product when the user tries to input the drag by using the arrows arranged below each product image. This is because, when a plurality of cameras are disposed in the refrigerator, the products can be identified by camera positions.
  • a shelf can be selected at the lower end of the display unit 310 so that product images can be checked by each shelf (2nd Shelf or 3rd Shelf). This is because the image of the product may be small in order to confirm the product for each shelf, so that it can be enlarged and displayed.
  • the character can be entered by touching a square (or contour of another shape) indicated by the product image.
  • the figure of FIG. 9 can retrieve an image of a related food through a text search and a voice command for labeling contents through a communication refrigerator display or a terminal, or search and sort according to loading information.
  • the display unit 110 disposed in the refrigerator 100 may display the entire captured image as it is, or may output a product image around any one of the shelves.
  • the images of the individual products extracted by the controller 150 and the camera unit 120 are stored in the database unit 190 and are separated into images of individual products, (310) or the display unit (110) of the refrigerator.
  • the display units 310 and 110 by selecting a displayed product image through a touch or a drag gesture on the display units 310 and 110, it is possible to select a product image, display a product displayed on each shelf, or move an image, So that they can be classified for management.
  • the labeling and loading information of the image extracted by the in-camera can be output, and the user can confirm the in-store products and manage the foodstuffs as a result.
  • the information stored as the meta information of the image of each individual extracted product can be outputted in the form of searching (sorting) or sorting (storage time) by a search method such as text and voice command, so that the foodstuff having an expiration date can be managed .
  • FIG. 10 is a diagram illustrating an image extraction process in a case where foodstuffs are overlapped according to an embodiment of the present invention. The process of extracting individual images in an image when no separate individual image is present in the database unit 190 or when a new image is generated due to a positional change or the like will be described.
  • FIG. 10 shows a process of extracting an image for each product through an image segmentation method when there is an image (object) of a product nested in the original image.
  • the control unit 150 identifies the object by performing image segmentation in the captured image, extracts depth information or temperature information for each object, sets boundaries for each object, calculates an image for each product, and increases accuracy in calculating an image for each product . Take a look at the detailed process.
  • the control unit 150 performs image segmentation on the captured image (S221).
  • Image segmentation means to divide a background and an object to judge a similar or similar area as a single object within the divided area. Particularly, a high-placed product can acquire additional information necessary for image segmentation. In this process, image segmentation can be performed by applying artificial intelligence.
  • control unit 150 extracts depth information or temperature information corresponding to the image segmentation (S222).
  • the controller 150 can determine whether the object classified by the depth information or the temperature information is a single product by increasing the accuracy. As a result, the control unit 150 sets an object-specific boundary (S223), and calculates a first product image for the object (S224). Then, a second product image which is the same as the first product image or modified according to the information input from the outside is generated (S225).
  • the second product image is generated by removing unnecessary pixels from the first product image according to the labeling information input by the user.
  • the control unit 150 confirms labeling inputted as tomatoes, and unnecessary pixels can be removed by comparing various images of the tomatoes stored in the database unit 190 with the first product image.
  • images of previously stored products can be referenced during the image segmentation process. If the partial image of the product extracted during the image segmentation process partially matches the image of the product stored in the past, the entire image thereof can be changed to the image of the product that has been stored in the past. Of course, in this process, you can see when the image of the last saved product was last seen. In the case where there is no movement within the captured image, information on the latest update point of the captured image, a point in time when the captured image identical to the captured image is captured, and the like can be referred to.
  • the display unit may output an interface for receiving search information of a product stored in the storage space or information indicating an output method.
  • the display unit 110a can receive information from the outside while receiving information from the outside.
  • An interface for inputting information indicating search information or an output method of the product stored in the storage space can be output.
  • the control unit 150 can output the image of the product corresponding to the search information from the display unit 110b according to the information indicating the output method. 110b, an image of a product corresponding to a tomato is output for each shelf. At this time, the position (shelf) where each product is placed may also be displayed as “1st Shelf” or “2nd Shelf” on the left side.
  • tomatoes on the first shelf are displayed as "6:30 Dinner", which means that alarm information set by the user is displayed separately.
  • the meta information may include an expiration date or the alarm time. Accordingly, when the difference between the available time limit or the alarm time and the current time is less than or equal to a preset reference value, the control unit outputs the image of the product and the meta information of the product on the display unit 110b, So that the problem of discarding the high-end products without using them can be solved.
  • Fig. 11 The retrieval and the output of Fig. 11 are also possible through the communication device 300.
  • Fig. The communication unit 160 of the refrigerator 100 and the communication device 300 transmit and receive information so that the user can check the in-home product using the communication device 300 from outside as shown in FIG.
  • the display unit may store and display meta information (labeling and time history) of the product on the image (foodstuff) extracted separately for each product, so that the foodstuffs management can be possible.
  • the labeling may be set for each product on the display unit 110 or 310 through an operation such as text input and stored in the database unit 190.
  • the in-house products especially the groceries
  • information such as the loading history (time, date) and storage elapsed time for the extracted and separated images and sorting and classifying the information .
  • FIG. 12 is a diagram illustrating a configuration of a captured image table and a product image table according to an embodiment of the present invention.
  • the CaptureId is identification information of the image to be referred to, and shows an embodiment in which an image file is stored separately for each shelf.
  • ImageFile refers to a captured image file.
  • Position indicates which storage space the captured image is in (LeftTop, LeftBottom, RightTop, RightBottom, etc.) and Shelf is information indicating the position of the shelf in the storage space.
  • CaptureTime shows the time the image was captured.
  • the capture times for the second shelf were different, showing that there was a change in the second shelf due to product import or export.
  • Cap01.jpg represents the image file of the first shelf 221 of Fig. 7
  • Cap02.jpg represents the image file of the second shelf 221 of Fig. 7
  • Cap03.jpg represents the image file of the third shelf 221 of Fig. Indicate.
  • an image file such as 221, may be stored throughout the storage space rather than the shelf.
  • 193a shows information about product-specific images.
  • id is unique identification information for each product.
  • a label is the name of the product and is user-labeled information.
  • the ImageFile is an image file of the product, and an image file in which an image of the product is separated from the captured image is stored as an example.
  • category is the category of product (source, vegetable, dairy product, etc.), and enteringtime is the time of arrival in the house. Or may be stored as the first time of arrival. Or may be stored as the most recently received time. Position and shelf mean shelf space and storage space, respectively.
  • An alarm is information about a time when an alarm is required for a user for the product.
  • linked shows other products associated with the product. It is confirmed that "tabasco” is set as the identification information "001", and the linked product is "tomato” having "002". This provides the ability for the user to output and display the associated product when the user searches for or exports the product.
  • the CaptureId is identification information of the captured image in which the image of the product is included.
  • the product history table 195 can be configured by accumulating id, enteringtime, position, and shelf information. Therefore, even if an image of a specific product is obscured by another product in the captured image, the previously stored image of the product can be extracted and restored and displayed.
  • the database unit 190 identifies identification information (for example, id 001) identifying the first product stored in the first storage space and a second product stored in the first storage space or the second storage space And stores identification information (id 002). Also, the database unit 190 may store the link information of the identification information of the first product and the identification information of the second product.
  • the linked item 193a in FIG. 12 is an embodiment of this.
  • the same food product can be provided more completely to the same product through the matching of existing cumulative images when the same food product is repeatedly input and output in the refrigerator.
  • a history of the time when the food product is left out of the refrigerator is also provided so that the user can track the state of the product.
  • the user when the product recognized as butter is delivered for more than three hours in FIG. 7, the user can output from the display unit 110 of the refrigerator 100 that the butter has been left on the outside.
  • FIG. 13 is a diagram illustrating a process of capturing an image with respect to a storage space or a shelf in which a camera attachment product is brought in, taken out, or moved according to an exemplary embodiment of the present invention.
  • the refrigerator 100 includes at least one of a weight sensing unit 130 for sensing the weight of the shelf in the storage space or the storage space, or a door sensing unit 170 for sensing the opening and closing of the door of the storage space do.
  • the weight sensing unit 130 or the door sensing unit 170 senses the goods receipt or the export of the products in the storage space (S231). More specifically, the door sensing unit 170 senses the opening and closing of the door, and after the door is opened and closed, information sensed by the weight sensing unit 130 can be confirmed. For example, after the door is opened, the weight sensing unit 130 cumulatively stores the internal storage space or the weight of the shelf, and senses whether a change in weight occurs.
  • the weight sensing unit 130 senses an increase or decrease in weight in the shelf or storage space. As a result, if the weight differs from the weight information previously sensed and stored, it can be confirmed that the product is put in or out of the storage space.
  • the controller 150 determines the accuracy of the sensed information and confirms whether the product is carried or carried in a specific storage space or a specific shelf (S232). When the carry-in / carry-out of the product is confirmed, the camera unit 120 generates a captured image in shelf units in the storage space or the storage space (S233)
  • Accuracy means that when the weight change is very small, it is judged that there is no influx of the product in the space.
  • the product image can be separated based on the possibility that 300g of the product moved when the weight of the shelf is reduced by 300g and the weight of the second shelf is increased by 300g .
  • the refrigerator according to the embodiment of the present invention can display the images of the high-quality food product directly through the refrigerator display and the terminal by cumulatively displaying the extracted images according to the positions in the refrigerator. Also, the refrigerator according to the embodiment of the present invention can provide (touch) UX to enable selection / selection of each food image.
  • the refrigerator according to the embodiment of the present invention combines past accumulated images of an article obscured by groceries having a large area in a case where the products are stacked in a multi-layered structure, and thus the refrigerator can be confirmed from the outside.
  • the present invention is not limited to such embodiments and that all the elements within the scope of the present invention are not limited to these embodiments, As shown in FIG.
  • all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware.
  • the codes and code segments constituting the computer program may be easily deduced by those skilled in the art.
  • Such a computer program can be stored in a computer-readable storage medium, readable and executed by a computer, thereby realizing an embodiment of the present invention.
  • the storage medium of the computer program includes a magnetic recording medium, an optical recording medium, and a storage medium including a semiconductor recording element.
  • a computer program embodying the present invention includes a program module that is transmitted in real time through an external device.
  • refrigerator 110 display unit
  • control unit 170 door detection unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

본 발명은 제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법에 관한 것으로, 본 발명의 일 실시예에 의하면 냉장고의 제어부가 보관공간에 수납된 제품을 촬영하는 카메라부가 촬영한 캡쳐 이미지로부터 제품별로 이미지를 분리하여 저장하는 냉장고 및 이를 구현하는 방법을 포함한다.

Description

제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법
본 발명은 제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법에 관한 기술이다.
다양한 종류의 저장물의 온도를 낮은 온도로 유지하거나 혹은 냉각시키는 냉장고는 하나 이상의 분리된 공간으로 구성된 저장실을 포함한다. 냉장고는 다양한 크기의 제품들을 수납 및 보관하기 위해 적어도 다수의 제품들이 상하좌우로 중첩되어 수납될 수 있는 보관공간을 둘 이상 포함한다.
한편, 중첩된 제품들이 수납됨으로 인해 사용자가 냉장고의 보관공간의 내부에 어떤 제품이 수납되었는지를 확인하기 어려운 부분이 문제였다. 종래에는 냉장고의 도어에 카메라를 배치하여 내부를 촬영하는 기술이 한국 특허출원 공개번호 10-2017- 0027246 로 제시된 바 있다. 도 1에서 보다 상세히 살펴본다.
도 1은 종래 냉장고 내를 촬영하는 카메라가 부착된 냉장고가 카메라를 제어하는 과정을 보여주는 도면이다.
도 1은 종래 도어의 측면에 카메라가 부착된 냉장고의 촬영 동작을 보여주는 도면이다. 도어가 오픈된 후(S1) 닫히면(S3) 카메라를 온 시키고(S4), 일정 시간 경과 후 고내등을 온 시켜(S6) 카메라를 조작하여(S7), 카메라 촬영을 수행하는(S8) 일련의 과정을 진행한다. 그런데, 카메라 촬영을 수행하는 것은 냉장고의 일측면에서 시작하는 것인데, 이는 냉장고의 뒷면에 배치되는 제품을 확인할 수 없다는 문제가 있다.
특히, 사용자는 고내에 다양하게 적층된 제품들을 확인해야 하는데, 종래 기술과 같이 도어에 배치된 카메라로는 전면에 배치된 제품만을 확인할 수 밖에 없는 문제가 있다. 이는 다중 적층으로 인한 문제를 단순히 카메라만으로 해결할 수 없음을 의미한다.
다만, 고내 배치하는 카메라의 수를 늘릴 경우, 제조 원가가 상승한다는 문제도 있으므로, 카메라의 수를 늘리지 않거나 최소한으로 증가시키면서도 고내 수납 제품들을 식별하여 쉽게 확인할 수 있는 방안이 필요하다.
본 명세서에서는 전술한 문제점을 해결하기 위한 것으로, 냉장고에 수납되는 제품을 누적하여 촬영하여 이미지를 저장하여 일부 제품이 다른 제품으로 인해 가려지는 경우라도 고내 제품의 상태를 외부에서 확인할 수 있는 방법 및 장치를 제공하고자 한다.
또한, 본 명세서에서는 각 제품에 대한 정보를 저장하여 제품에 대한 정보를 보다 쉽게 확인하는 방법 및 장치를 제공하고자 한다.
또한, 본 명세서에서는 냉장고에 입고되거나 반출되는 제품의 정보를 추적하는 방법 및 장치를 제공하고자 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시예에 의하면 냉장고의 제어부가 보관공간에 수납된 제품을 촬영하는 카메라부가 촬영한 캡쳐 이미지로부터 제품별로 이미지를 분리하여 저장하는 냉장고 및 이를 구현하는 방법을 포함한다.
본 발명의 일 실시예에 의하면 냉장고의 제어부는 제품별로 분리한 제품의 이미지 및 상기 이미지에 대응하는 메타 정보를 데이터베이스부에 저장하는 냉장고 및 이를 구현하는 방법을 포함한다.
본 발명의 일 실시예에 의하면 냉장고의 디스플레이부는 제품의 이미지와 상기 메타 정보를 출력하고 상기 메타 정보를 수정하는 입력 또는 추가하는 입력 또는 검색하는 입력 중 어느 하나 이상을 수신하는 냉장고 및 이를 구현하는 방법을 포함한다.
본 발명의 일 실시예에 의하면 냉장고는 보관공간 또는 상기 보관공간 내의 선반의 무게를 센싱하는 무게 센싱부 또는 보관공간의 도어의 개폐를 감지하는 도어 감지부 중 어느 하나 이상을 포함하며, 이들 무게 센싱부 또는 도어 감지부가 보관공간 내 제품의 입고 또는 반출을 센싱하면 카메라부는 보관공간 또는 보관공간 내의 선반 단위로 캡쳐 이미지를 생성하는 냉장고 및
본 발명의 일 실시예에 의하면 냉장고는 보관공간 내의 제품의 온도 정보를 센싱하는 온도 센싱부 또는 제품의 뎁스 정보를 생성하는 뎁스 카메라부를 더 포함하며 제어부는 캡쳐 이미지에서 이미지 세그먼테이션을 수행하여 객체를 식별하고, 객체별 뎁스 정보 또는 온도 정보를 추출하여 객체별 경계를 설정하여 제품별 이미지를 산출하는 냉장고 및 이를 구현하는 방법을 포함한다.
본 발명을 적용할 경우 냉장고에 수납되는 제품을 누적하여 촬영하여 이미지를 저장하여 일부 제품이 다른 제품으로 인해 가려지는 경우라도 고내 제품의 상태를 외부에서 확인할 수 있다.
또한, 본 발명을 적용할 경우 각 제품에 대한 메타 정보를 저장하여 제품에 대한 정보를 보다 쉽게 냉장고의 외부에서 확인할 수 있다.
또한, 본 명세서에서는 냉장고에 입고되거나 반출되는 제품의 정보를 추적하여 사용자에게 이를 알림으로써 고내 제품의 신선도를 관리할 수 있다.
본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.
도 1은 종래 냉장고 내를 촬영하는 카메라가 부착된 냉장고가 카메라를 제어하는 과정을 보여주는 도면이다.
도 2는 본 발명의 일 실시예가 적용되는 수납 제품을 식별하는 냉장고를 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 냉장고가 내부의 제품에 대한 정보를 제공하기 위한 구성요소를 보여주는 도면이다.
도 4는 본 발명의 일 실시예로, 고내 제품에 대한 이미지를 획득하여 저장하는 과정을 보여주는 과정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 도 4의 과정을 보다 상세히 도시한 도면이다.
도 6은 본 발명의 일 실시예에 의한 데이터베이스부(190)에 저장되는 정보의 종류를 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 의한 고내 이미지를 촬영하여 제품 수납에 변화가 발생한 경우 이를 반영하는 실시예를 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 의한 단말기와 같은 통신 장치의 구성을 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 의한 스마트폰이 고내 제품을 표시한 도면이다.
도 10은 본 발명의 일 실시예에 의한 식료품이 중첩된 경우에 대한 이미지 추출 과정을 보여주는 도면이다.
도 11은 본 발명의 일 실시예에 의한 메타 정보를 출력하는 실시예를 보여주는 도면이다.
도 12는 본 발명의 일 실시예에 의한 캡쳐 이미지 테이블 및 제품 이미지 테이블의 구성을 보여주는 도면이다.
도 13은 본 발명의 일 실시예에 의한 카메라부가 제품의 반입 또는 반출 혹은 이동이 발생한 보관공간이나 선반에 대해 이미지를 캡쳐하는 과정을 보여주는 도면이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
본 명세서에서 저장물의 냉장 혹은 냉동을 위한 장치의 실시예로 냉장고를 중심으로 설명하며, 이는 통상의 음식을 저장하는 냉장고와 김치 냉장고, 음료 냉장고, 가정용 냉장고, 업소용 냉장고, 그리고 냉동고 만으로 구성된 냉동장치 등 다양한 냉장 및 냉동 기능을 주로 하는 장치들을 모두 포함한다. 뿐만 아니라, 화장품 냉장고와 같이 음식이 아닌 저장물을 냉장하는 장치에도 적용된다. 또한, 고정식이 아닌 이동식, 예를 들어 대형 냉장 트레일러에 설치된 냉장장치 역시 본 명세서에서 언급하는 실시예에 포함된다.
도 2는 본 발명의 일 실시예가 적용되는 수납 제품을 식별하는 냉장고를 보여주는 도면이다. 10은 냉장고(100)가 닫힌 상태의 외관이며, 20은 냉장고(100)가 열린 상태의 외관이다. 냉장고(100)를 구성하는 다수의 도어(21, 31, 41, 51) 중 어느 하나의 도어(21)가 개폐를 관리하는 공간은 다수의 구분된 보관공간들(23, 24)로 나뉘어질 수 있다. 각 보관공간들(23, 24)은 독립적으로 온도가 제어될 수 있다. 물론, 하나의 도어에 의해 개폐되는 공간들에 대해 동일하게 온도가 제어될 수도 있다. 그리고 각 보관공간들은 다시 내부에 선반으로 구분될 수 있다.
냉장고(100)에는 정보를 표시하거나, 혹은 냉장고(100)의 내부를 보여주는 디스플레이부(110)를 더 포함할 수 있다. 디스플레이부(110)는 특정한 도어(31)의 전면에 배치될 수도 있다. 또한, 디스플레이부(110)는 냉장고(100)의 측면에 배치될 수도 있다. 디스플레이부(110)는 냉장고 내부를 확인할 수 있는 투명 디스플레이 패널을 포함할 수 있다. 또한, 디스플레이부(110)는 냉장고 내부의 이미지를 표시하는 디스플레이 패널을 포함할 수 있다. 또한, 디스플레이부(110)는 냉장고에 수납되는 제품의 이미지와 메타 정보를 출력하고 메타 정보를 수정하는 입력 또는 추가하는 입력 또는 검색하는 입력 중 어느 하나 이상을 수신할 수 있다.
또한, 도 2에는 미도시되었으나 각각의 보관공간들(23, 24)의 벽면 또는 후면에도 카메라가 배치될 수 있다. 이는 중첩하여 적층된 제품들을 확인하기 위한 것이다.
한편, 여러 면에 카메라가 부착되는 경우라 하여도, 중첩하여 수납된 제품들을 모두 확인할 수 없다. 따라서, 고내 촬영된 이미지 정보들을 이용하여 비교 및 분석 후 변경된 부분에 대한 이미지를 추출하는 기술이 필요하다. 이에 도 2의 냉장고의 세부적인 구성을 살펴보면 다음과 같다.
도 3은 본 발명의 일 실시예에 의한 냉장고가 내부의 제품에 대한 정보를 제공하기 위한 구성요소를 보여주는 도면이다.
디스플레이부(110)는 보관공간 내의 제품들을 이미지로 표시하거나 각 제품의 설명을 표시하는 기능을 제공한다.
카메라부(120)는 보관공간에 수납된 제품을 촬영한다. 보관공간을 촬영하여 수납 또는 입고되는 제품의 종류와 크기를 식별한다. 이때, 제어부(150)는 입고된 제품이 앞서 이전에 입고되었던 제품인지를 데이터베이스부(190)에서 확인할 수 있다.
데이터베이스부(190)는 입고된 제품에 대해 카메라부(120)가 촬영한 이미지를 누적하여 저장한다. 이 과정에서 데이터베이스부(190)는 카메라부(120)가 다양한 각도에서 촬영한 이미지를 누적하여 저장할 수 있다. 또한, 카메라부(120)가 다수일 경우, 데이터베이스부(190)는 어느 위치에 배치된 카메라부가 촬영했는지에 대한 정보, 해당 제품이 어느 보관공간 혹은 보관공간을 세분화시킨 선반 중 어느 선반에 배치되었는지에 대한 정보를 함께 저장할 수 있다.
데이터베이스부(190)는 카메라부(120)가 촬영한 캡쳐 이미지를 저장한다. 또한 데이터베이스부(190)는 제어부(150)가 캡쳐 이미지에서 제품별로 분리한 제품의 이미지를 저장한다. 또한 데이터베이스부(190)는 각각의 캡쳐 이미지 또는 제품의 이미지에 대응하는 메타 정보를 함께 저장한다.
메타 정보란, 제품의 명칭, 제품의 카테고리, 제품이 입고된 시간, 제품의 사용 가능 기한, 제품에 적용되는 알람 시간, 제품이 보관공간 내에 배치된 위치 정보 중 어느 하나 이상을 포함할 수 있다. 사용자가 라벨링을 하는 텍스트가 있을 경우 이를 명칭으로 할 수 있다.
입고된 시간은 제품이 입고된 시간을 의미한다. 입고된 시간은 제품이 최초로 냉장고에 입고된 시간 혹은 가장 최근에 입고된 시간 중 어느 하나 이상이 될 수 있다. 제품이 냉장고에서 자주 반출되고 입고되고 제어부(150)에 의해 해당 제품이 동일한 제품인 것으로 식별된 경우, 해당 제품의 반출 및 입고 시간이 누적하여 저장될 수 있다.
또한, 해당 제품의 사용 가능 기한 혹은 제품에 적용되는 알람 시간 등도 메타 정보가 될 수 있다. 이는 사용자가 직접 입력하거나 선택할 수 있다. 예를 들어, 사용자는 후술할 도 9와 같이 출력된 제품별 이미지에 대해 사용 가능 기한 정보를 입력할 수 있다.
그리고 해당 제품을 사용하기 위해 알람 시간도 설정할 수 있다. 뿐만 아니라 제어부(150)는 해당 제품이 배치된 위치 정보도 저장할 수 있다. 이 과정에서 제어부(150)는 제품의 누적된 위치 정보들을 데이터베이스부(190)에 저장하고 이를 출력할 수 있다.
뿐만 아니라, 무게 센싱부(130)가 각 선반 혹은 각 보관공간에서 센싱한 정보 역시 데이터베이스부(190)에 저장된다. 전술한 무게 센싱부(130)의 센싱 정보를 이용하여 고내에서 제1선반에서 제2선반으로 이동하는 등 제품의 위치 이동이 발생하는 경우 제어부(150)는 각 선반 별로 무게의 변화를 추적하여 제품 식별의 정확도를 높일 수 있다.
이외에도 제품별 이미지를 분리함에 있어 정확도를 높이기 위해 뎁스 카메라부(141) 및 온도 센싱부(143)를 더 포함할 수 있다. 온도 센싱부(143)는 보관공간 내의 제품의 온도 정보를 센싱하며 뎁스 카메라부(141)는 제품의 뎁스 정보를 생성한다.
하나의 제품은 온도가 동일하거나 유사할 수 있다. 그리고 하나의 제품은 동일한 뎁스 정보를 가지거나 혹은 일정하게 증가하거나 줄어드는 뎁스 정보를 가질 수 있다. 따라서, 제어부(150)가 캡쳐된 이미지에서 특정한 제품의 이미지를 추출함에 있어서 해당 제품의 온도나 뎁스 정보를 이용하여 정확도를 높일 수 있다.
제어부(150)는 전술한 구성요소들을 제어하며 각 구성요소들이 제공한 정보들을 이용하여 제품의 정보를 표시하거나 출력할 수 있다. 혹은 제어부(150)는 외부의 기기에서 통신을 통해 정보가 출력될 수 있도록 통신부(160) 등을 제어할 수 있다.
또한 제어부(150)는 카메라부(120)가 촬영한 이미지 또는 데이터베이스부(190)에 저장된 정보에 기반하여 각 제품에 대한 메타 정보를 생성한다. 메타 정보란 해당 제품의 명칭, 입고 시간, 추정된 무게 등을 포함할 수 있다. 뿐만 아니라 통신부(160)가 수신한 각 제품별 유통기한 등도 제어부(150)가 생성할 수 있다.
통신부(160)는 제품의 메타 정보를 생성하는데 필요한 정보를 외부 서버에서 수신하거나, 혹은 외부의 스마트폰 등에서 고내 정보를 확인 요청할 경우 제품의 정보들을 전송하는 기능 등을 할 수 있다. 예를 들어, 제품의 이미지와 메타 정보를 통신 장치(300)에게 전송하고 통신 장치(300)로부터 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 수신할 수 있다.
도어 감지부(170)는 도어의 개폐를 감지하여 제품의 유입을 확인할 수 있도록 한다. 이 과정에서 사용자가 도어를 단순히 열고 닫은 경우를 확인할 수 있도록 도어 감지부(170)는 보관공간의 경계 지점에서 사용자의 신체가 보관공간 내에 진입하였는지를 감지할 수도 있다.
압축기(180)는 냉장고 및 냉동고에 냉력을 제공한다., 새로운 제품이 냉장고에 수납될 경우 제어부(150)의 설정에 기반하여 압축기(180)는 냉장고에 냉력을 제공할 수 있다. 또한 제어부(150)가 외부에 소정의 제품 정보를 출력한 후 외부에서 냉장고(100)의 동작을 지시한 경우, 이에 기반하여 압축기(180)가 동작할 수 있다.
데이터베이스부(190)는 입고된 제품의 이미지를 저장한다. 다양한 각도에서 촬영된 이미지를 저장하므로 추후 제어부(150)가 새로 입고된 제품을 식별함에 있어서 데이터베이스부(190)에 저장된 후보 이미지를 검색할 수 있다.
각각의 구성요소에 기반한 동작을 살펴본다.
도 4는 본 발명의 일 실시예로, 고내 제품에 대한 이미지를 획득하여 저장하는 과정을 보여주는 과정을 보여주는 도면이다. 고내 제품은 새로 입고될 수도 있고, 고내에서 위치가 변경될 수 있다.
고내 제품이 입고 또는 반출되거나 위치가 변경되었음이 직접(무게 센싱부(130)) 또는 간접(도어 감지부(170)적으로 확인되면 고내 장착된 카메라부(120)로부터 이미지를 획득한다(S201). 획득한 이미지는 보관공간 혹은 선반 단위 혹은 카메라별로 구별지을 수 있다. 그 결과, 데이터베이스부(190)에 저장된 기존의 이미지(보관공간의 이미지, 혹은 선반의 이미지 혹은 해당 카메라부(120)가 촬영하는 공간의 범위 내의 이미지)와 비교하는 이미지 매칭과정을 제어부(150)가 수행한다(S202).
이후, 매칭 과정에서 제어부(150)는 개별 제품에 대한 이미지를 추출한다(S203). 이 과정에서 기존에 데이터베이스부(190)에 저장된 제품에 대한 개별 이미지 역시 참조할 수 있다. 하나의 제품에 대해 구별되도록 추출된 이미지는 라벨링, 저장 이력, 혹은 고내 이동 경로 등의 메타 정보를 추가하여 데이터베이스부(190)에 저장한다. 이 정보는 이후 해당 제품이 고내에서 위치가 이동할 경우, 혹은 반출되거나, 혹은 반입될 경우에 참조하는 정보로 이용될 수 있다.
특히, 개별 이미지를 추출한 결과 일부가 가려지는 등 제품의 완전한 이미지를 제어부(150)가 획득하지 못할 경우, 제어부(150)는 분리된 제품의 불완전한 이미지와 데이터베이스부(190)에 저장된 해당 제품의 과거 이미지를 비교한다. 제어부(150)는 분리된 불완전한 이미지가 저장된 이미지의 일부에 해당하는 것으로 확인한 경우, 분리된 불완전한 이미지에 과거 데이터베이스부(150)에 저장한 이미지를 결합하여 조정된 이미지(보다 완전한 이미지)를 생성할 수 있다.
도 4의 실시예를 적용할 경우, 제어부(150)는 카메라부(120)를 통해 습득되는 이미지들에 대해 비교하고, 변경된 부분에 대한 이미지 추출을 통하여 최초의 캡쳐된 이미지에서 각 제품(식료품)의 이미지를 분리할 수 있다. 그리고 분리된 이미지를 누적하여 저장하고 이를 외부에 표시함으로써 다층으로 적재되어 가려진 식료품에 대해서도 사용자가 확인이 가능하도록 한다.
도 3 내지 도 4에서 살펴본 실시예 또는 후술할 실시예를 적용할 경우, 냉장고에 장착된 카메라를 통하여 냉장고 개폐 없이 고내 식료품에 대한 이미지를 저장 및 제공할 수 있다. 특히 냉장고 도어에 카메라가 장착되어 촬영된 이미지를 보여주는 기존 방식으로는 저장실에 식료품이 안쪽부터 다층으로 적재될 경우 바깥쪽 식료품(식자재, 반찬통)에 의해 가려져 안쪽 제품에 대한 이미지 제공이 불가한 경우가 발생 할 수 있다.
반면, 본 발명의 실시예에서는 촬영된 이미지를 누적적으로 저장하고 비교하여, 변경된 이미지를 추출하고, 추출된 이미지를 누적하여 제공한다. 그 결과, 제품이 이동하거나 혹은 가려진 경우에도 이전에 저장된 이미지를 이용하여 사용자에게 하나의 완성된 제품의 이미지를 보여줄 수 있다.
뿐만 아니라, 사용자가 이미지를 선택/선별 가능하도록 디스플레이부(110)에 출력하여 추출된 제품의 이미지에 대해 라벨링 및 적재 시간과 같은 메타 정보를 저장하여 추후 검색 혹은 고내 제품을 모니터링할 수 있도록 하여 식품 관리가 가능하도록 한다.
도 5는 본 발명의 일 실시예에 의한 도 4의 과정을 보다 상세히 도시한 도면이다.
고내 제품이 입고 또는 반출되거나 위치가 변경되었음이 직접(무게 센싱부(130)) 또는 간접(도어 감지부(170)적으로 확인되면 고내 장착된 카메라부(120)로부터 이미지를 획득한다(S211). 획득한 이미지는 보관공간 혹은 선반 단위 혹은 카메라별로 구별지을 수 있다.
예를 들어, 하나의 카메라가 하나 이상의 보관공간을 촬영할 수 있다. 또는 하나의 카메라가 하나의 선반 만을 촬영할 수도 있다. 카메라가 회전 혹은 이동이 가능한 경우, 각각의 위치나 여러 방향에 대해 촬영한 이미지가 다수 획득될 수 있다.
그리고 제어부(150)는 앞서 카메라가 동일한 보관공간 또는 동일한 선반, 또는 동일한 위치나 동일한 방향에서 촬영하여 데이터베이스부(190)에 저장된 이미지들과 S211에서 획득한 이미지들을 매칭한다(S212). 매칭이란 두 개의 이미지를 비교하여 이전 이미지와 같은지 다른지를 확인하는 것을 의미한다. 고내 이미지가 완전히 동일할 경우에는 기존 이미지와 새로이 획득한 이미지가 동일하므로 데이터베이스부(190) 내에 기존 이미지를 유지한다(S214).
도면에 미도시되었으나, 이전의 이미지와 현재 이미지가 거의 동일한 경우(예를 들어 약간의 위치 변경으로 미리 설정된 작은 개수의 픽셀들에 있어서 차이가 발생한 경우)에는 새로 획득한 이미지를 저장하고 종료할 수 있다.
반면, 비교 결과 미리 설정된 픽셀의 차이의 허용값을 넘어서 상이한 이미지로 제어부(150)가 판단한 경우, 변화된 이미지(부분 이미지)를 추출한다(S215). 그리고 제어부(150)는 추출된 이미지에 라벨링을 추가하거나, 혹은 추출된 이미지에 대한 이력 정보와 같은 메타 정보를 데이터베이스부(190)에 저장한다.
이 과정에서 제어부(150)는 해당 제품이 이전에 데이터베이스부(190)에 저장되었던 제품에 대한 개별 이미지와 비교하여 동일한 제품으로 판단된 경우(제품의 이동 혹은 동일 제품이 새로 입고된 경우 등) 해당 개벌 이미지에 대응하여 설정되었던 라벨링 정보를 저장할 수 있다.
또한, 제어부(150)는 해당 제품의 포장지 혹은 표면에 쓰여진 문자를 판독하여 이를 라벨링으로 사용할 수 있다. 또한, 제어부(150)는 데이터베이스부(190)에 저장된 참조 이미지를 이용하여 해당 제품을 추정할 수도 있다. 예를 들어 데이터베이스부(190)에 저장된 다양한 과일 이미지를 이용하여 새로 입고된 제품에 대한 라벨링을 선택할 수 있다.
또한 이력 정보는 제품이 고내에서 이동한 정보를 포함하는데, 최초로 입고된 시점에 대한 정보뿐만 아니라, 제1선반에 배치된 후 1시간 동안 반출되었다가 제2선반으로 입고된 경우, 이러한 이동 정보가 이력 정보로 저장될 수 있다. 또한, 무게센싱부(130)를 이용하여 해당 제품의 무게를 구별할 수 있을 경우 무게 정보도 함께 메타 정보로 저장할 수 있다.
즉, 제품별로 추출된 이미지들에 대한 매칭을 통하여 해당 제품이 반출된 후 입고되는데 걸린 시간을 이용하여 해당 제품이 외부에 방치되었던 시간에 대한 정보도 제공할 수 있다. 특히 신선도가 중요한 제품의 경우, 예를 들어 우유가 냉장고에서 외부로 반출된 후, 동일한 제품이 다시 입고된 경우, 그 시간을 계산하여 우유의 신선도를 제어부(150)가 확인할 수 있다.
이때, 동일한 제품인지 아니면 외관만 같고 전혀 다른 제품이 입고되었는지를 확인하기 위해 제어부(150)는 이전 제품의 무게 정보와 새로 입고된 무게 정보를 비교할 수도 있다. 무게 정보는 고내 제품들의 반입 및 반출 과정에서 개별 제품의 무게를 추정할 수 있다.
예를 들어 제1선반에 A, B, C라는 제품이 배치되었고 총 1.9 kg인 것으로 무게 정보가 데이터베이스부(190)에 저장될 수 있다. 이후 A 라는 제품이 반출되면서 제1선반의 무게가 1.3kg 이면 B, C 제품의 무게는 1.3 kg이고 A라는 제품의 무게는 600g 인 것으로 데이터베이스부(190)에 저장할 수 있다. 이후 A와 유사한 이미지의 제품이 입고되었는데, 만약 무게가 600g 이거나 이보다 줄어들면 제어부(150)는 동일한 제품으로 식별한다.
반면, 무게가 증가하며 해당 제품의 메타 정보가 무게가 증가하기 어려운 제품(우유, 치즈 등)인 경우에는 새로운 제품이 반입된 것으로 제어부(150)가 메타 정보를 변경하거나 새로운 제품으로 데이터베이스부(190)에 저장할 수 있다.
이후 제어부(150)는 추출된 이미지, 즉 제품에 대한 개별 이미지를 데이터베이스부(190)에 추가로 저장한다(S217). 물론, 저장과정에서 S211 과정에서 획득한 이미지 역시 데이터베이스부(190)에 저장하여 다음 번에 제품의 입고 또는 반출이 발생하는 경우에 비교할 수 있다.
도 5의 과정을 정리하면 다음과 같다. 카메라부(120)가 새로 획득한 이미지와 기존 이미지를 제어부(150)가 비교한다. 비교 방식으로는 픽셀 위치 및 RGB 색상 정보 등 이미지 내의 차이점을 확인하는 프로세스를 적용할 수 있다. 비교 결과 변경된 사항이 발생 시 변경된 이미지 부분을 추출하고 해당 추출 이미지에 제어부(150)가 자동으로 라벨링하거나 혹은 사용자가 원하는 라벨링 기입 및 적재 시간 등의 이력을 저장하고, 추출 이미지를 추가 저장할 수 있다.. 이 과정에서 제어부(150)는 인공지능 예를 들어 딥러닝 혹은 인공 신경망을 포함하여 이미지 내의 차이점을 확인할 수 있다.
촬영된 이미지에서 제품별로 이미지 부분을 추출한 경우, 냉장고(100)의 디스플레이부(110)에 새로운 제품이 입고되었음을 표시하며 사용자로부터 소정의 정보(명칭, 고내 저장 기간, 알람 등)를 입력받을 수 있다. 또는 냉장고(100)의 통신부(160)가 전송한 정보를 출력하는 스마트폰을 통해 사용자가 고내 제품에 대한 라벨링을 수행할 수 있다.
기존에 카메라를 이용해서 고내 이미지를 촬영할 경우, 냉장고 내 제품의 다층 적재로 인해 카메라로부터 멀리 배치된 제품들이 가려진 경우는 표시할 수 없는 문제가 있었다. 그러나 본 발명의 실시예를 적용할 경우, 제품의 이미지가 지속적으로 누적될 경우, 어느 한 시점에서 제품이 다른 제품에 의해 가려지는 경우라 하여도 해당 제품의 일부 이미지만으로도 식별할 수 있다. 이에 대해 보다 상세히 살펴본다.
도 5의 과정에서 제어부(150)는 카메라부(120)가 촬영한 캡쳐 이미지와 데이터베이스부(190)에 저장된 캡쳐 이미지를 비교하여 상이한 경우(S212), 캡쳐 이미지에서 보관공간에 배치된 제품별로 이미지를 분리하여 제품별로 이미지를 식별할 수 있도록 한다.
도 5의 과정을 구현할 경우, 촬영된 이미지들에 대한 비교 및 변경 부분(식료품)에 대한 이미지를 추출하고, 누적된 추출 이미지를 제공한다. 그리고 누적된 추출 이미지를 이용하여 다층으로 적재되어 가려진 식료품에 대한 이미지도 냉장고 외부 또는 통신장치 등에서 표시 가능하도록 한다. 또한, 추출 이미지에 대한 라벨링 및 적재 시간 이력을 저장함으로써 해당 식료품 관리가 가능하도록 한다.
도 6은 본 발명의 일 실시예에 의한 데이터베이스부(190)에 저장되는 정보의 종류를 보여주는 도면이다.
데이터베이스부(190)는 카메라부(120)가 획득하는 이미지(보관공간별, 선반별, 혹은 특수한 위치나 방향 별로 획득된 전체 이미지)와 해당 이미지가 촬영된 시간, 혹은 이미지에 매칭되는 보관공간의 정보, 선반의 정보 혹은 위치나 방향에 대한 정보를 저장하는 캡쳐이미지 테이블(191)을 포함한다.
이 과정에서 각 보관공간에 대한 메타 정보 또는 선반에 대한 메타정보 등이 함께 저장될 수 있다. 예를 들어, 해당 공간의 무게가 측정된 경우 무게 정보를 저장하여 제어부(150)가 추후 이미지 비교 시 참조할 수 있다.
또한, 데이터베이스부(190)는 카메라부(120)가 획득한 이미지에서 제품별로 구분한 제품별 이미지를 저장하는 제품이미지 테이블(193)을 포함한다. 제품에 대해서는 시리얼 번호와 제품에 대한 카테고리(과일, 캔 등), 해당 제품이 입고된 시간, 혹은 입고 후 진행된 시간, 해당 제품의 유통 기한, 혹은 제품에 대한 라벨링 등이 함께 저장될 수 있다.
이 과정에서 제품의 부피 정보 역시 제품 이미지 테이블(193)에 저장될 수 있으며, 이를 위해 고내 제품들의 뎁스 정보를 생성하는 뎁스 카메라가 고내 포함될 수 있다.
또한, 데이터베이스부(190)는 제품이력테이블(195)을 더 포함할 수 있다. 일 실시예로, 해당 제품이 반출 후 재입고되었음이 확인된 경우, 해당 제품이 어느 위치에 배치되었고 그의 무게 정보가 변화하였거나 혹은 온도 정보가 변화한 것에 대한 이력 정보를 누적하여 저장할 수 있다. 온도의 변화를 확인하기 적외선 카메라가 더 포함될 수 있다.
도 7은 본 발명의 일 실시예에 의한 고내 이미지를 촬영하여 제품 수납에 변화가 발생한 경우 이를 반영하는 실시예를 보여주는 도면이다.
221는 어느 한 시점에서의 고내 제품들의 제품 이미지 및 메타 정보들이 표시됨을 보여준다. 221에서 제품 별로 사각형이 표시되는 것은 제품의 이미지를 저장하는 단위가 될 수 있다. 또한, 제품 별로 표시된 사각형은 사용자가 해당 제품을 선택할 수 있는 범위를 표시할 수 있다.
예를 들어, "water(0.72)"라 표시된 사각형은 전체 이미지에서 생수병을 선택할 수 있는 범위를 표시하는 것을 일 실시예로 한다. 또한, 이러한 사각형은 제어부(150)가 캡쳐 이미지에서 생수병으로 식별한 제품 이미지를 다른 실시예로 한다.
221은 고내 다양한 제품들이 배치되었으며, 각 제품의 라벨이 배치되었음을 보여준다. 라벨 부근의 숫자는 해당 제품이 입고된 시간 혹은 제품에 대한 온도, 제품에 대한 무게 등 제품에 대한 다양한 메타 정보가 표시될 수 있음을 보여준다.
222는 221과 같이 배치된 상태에서 새로운 제품이 입고된 후 캡쳐 이미지에서 새로운 제품의 이미지가 확인된 경우이다. 제어부(150)는 221과 222의 두 개의 캡쳐 이미지를 비교한 다음, 223이 지시하는 제품이 새로 적재되어 이미지 변화가 발생한 것을 확인한다. 제어부(150)는 새로 적재된 제품(223)의 이미지를 캡쳐 이미지에서 추출하여 제품 이미지 테이블(193)에 저장한다. 몰론 223이 포함된 전체 캡쳐 이미지 역시 캡쳐 이미지 테이블(191)에 저장한다.
새로 추가된 제품에 대한 이미지는 냉장고의 디스플레이부(110) 또는 냉장고의 통신부(160)와 정보를 송수신하는 스마트폰/테블릿(단말기) 등의 통신 장치에 출력되며, 사용자가 해당 제품에 대해 별도의 라벨링을 입력하거나 이 제품을 언제까지 사용해야 한다는 알람 정보와 같은 메타 정보를 입력할 수 있으며, 입력된 정보 역시 제품 이미지 테이블(193)에 저장될 수 있다.
또한, 사용자는 냉장고의 디스플레이부(110) 또는 단말기와 같은 통신 장치의 터치 화면을 통해 추출된 제품 이미지들을 개별적으로 움직이며 물품을 찾을 수 있다.
도 7을 정리하면 다음과 같다. 냉장고에 설치된 카메라부(120)를 이용하여 냉장고 내 촬영 이미지 보여준다. 냉장고는 또한 촬영된 이미지 중에서 제품별 이미지를 식별하여 표시하며, 사용자의 입력 또는 제어부(150)가 자동으로 식별한 정보들에 기반하여 라벨링 및 메타 정보를 저장할 수 있다.
제어부(150)는 캡쳐 이미지 테이블(191)에 저장된 기존 이미지와 새로 카메라부(120)에 의해 획득된 이미지를 비교하여, 변경된 부분에 대한 이미지를 추출한 후, 별도로 제품 이미지로 저장한다. 그리고 추출된 이미지를 전체 냉장고 내 통합 이미지에 추가한다. 그 결과, 추후에는 터치 및 드래그 등의 행위를 통하여 제품 이미지를 개별적으로 선택 및 선별하여 다층으로 적재되어 보이지 않는 물품에 대해서도 이미지를 통해 움직이며 찾아볼 수 있다.
도 7의 221 또는 222와 같이 캡쳐 이미지에서 제품 이미지가 식별되도록 표시된 이미지는 냉장고(100)의 디스플레이부(110) 혹은 단말기와 같은 통신 장치의 화면에 출력된다. 그리고, 사용자는 터치를 통해 특정 이미지를 선택하여 이에 대해 표시하고자 하는 내용으로 라벨링을 저장할 수 있으며, 이 과정에서 적재시간과 저장 경과 시간 등의 정보도 함께 저장할 수 있다.
도 8은 본 발명의 일 실시예에 의한 단말기와 같은 통신 장치의 구성을 보여주는 도면이다.
통신장치(300)는 스마트폰, 태블릿 컴퓨터 등 냉장고(100)의 통신부(160)과 정보를 송수신하는 기기를 의미한다. 도 8의 구성요소는 통신 장치(300)가 냉장고(100) 내에 배치된 제품을 표시하고 여기에 제품별 정보를 입력하기 위한 기능을 제공하는데 필요한 구성요소들을 제시한다. 따라서, 통신 장치(300)가 다른 기능을 제공하기 위해 추가적인 구성요소를 더 포함할 수 있다.
제어부(350)는 소정의 애플리케이션을 실행시켜 해당 애플리케이션이 냉장고(100) 내의 제품을 출력할 수 있도록 제어한다. 디스플레이부(310)는 통신부(360)가 수신한 고내 제품들의 이미지를 출력한다. 또한 고내 제품들에 대한 메타 정보가 포함된 경우, 메타 정보 역시 출력할 수 있다. 출력 방식은 도 7에서 살펴본 바와 같이 전체 캡쳐 이미지 상에 제품 이미지의 주변으로 사각형이 표시되어 라벨링된 실시예가 될 수 있다.
통신 장치(300)의 디스플레이부(310)는 터치 입력이 가능하므로, 사용자는 표시된 제품 이미지를 터치하거나 드래그할 수 있다. 예를 들어, 고내 카메라가 4면에 배치된 경우 전후좌우면에서 촬영한 이미지를 조합하여 하나의 제품의 전체 이미지(혹은 일부 이미지)를 표시할 수 있다. 그리고, 사용자는 표시된 이미지를 드래그하여 제품의 뒷면을 확인할 수 있다.
이미지 저장부(330)는 제품 이미지 또는 캡쳐 이미지를 저장할 수 있다. 또한 각 제품에 대한 메타 정보들 역시 이미지 저장부(330)에 저장할 수 있다.
도 9는 본 발명의 일 실시예에 의한 스마트폰이 고내 제품을 표시한 도면이다. 냉장고(100)의 통신부(160)는 제품의 이미지와 메타 정보를 통신 장치(300)에게 전송하고 통신 장치(300)로부터 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 수신할 수 있다.
앞서 도 7에 제시된 이미지 중에서 사용자의 편의를 위해 선반 별로 제품들의 이미지 및 이에 대응하는 메타 정보를 출력할 수 있다. 예를 들어, 도 7의 221에서 첫번째 선반(1st Shelf)에 배치된 3개의 제품이 도 9의 디스플레이부(310)에 출력되었다. 여기서 사용자는 각 제품 이미지의 아래에 배치된 화살표를 이용하여 사용자가 드래그 입력을 시도하면, 해당 제품의 후면 혹은 측면을 볼 수 있다. 이는 냉장고 내에 다수의 카메라가 배치된 경우, 카메라 위치별로 제품을 식별할 수 있기 때문이다.
또한, 디스플레이부(310) 하단부에는 각 선반별(2nd Shelf 또는 3rd Shelf)로 제품 이미지를 확인할 수 있도록 선반을 선택할 수 있도록 한다. 이는 선반 별로 제품을 확인하기에 제품의 이미지가 작을 수 있으므로, 이를 확대하여 표시할 수 있다. 그리고 사용자가 해당 제품의 라벨링을 추가하거나 변경할 경우 제품 이미지로 표시된 사각형 (혹은 다른 형상의 윤곽선)을 터치하여 글자를 입력할 수 있다.
도 9의 도면은 통신 냉장고 디스플레이나 단말기를 통하여 라벨링 내용에 대한 텍스트 검색 및 음성 명령을 통해 관련 식품의 이미지를 검색하거나 적재 정보에 따라 검색 및 정렬하여 표시할 수 있다. 도 9의 화면은 스마트폰 외에도 냉장고(100)에 배치된 디스플레이부(110) 역시 전체 캡쳐 이미지를 그대로 표시하거나 혹은 어느 하나의 선반을 중심으로 제품 이미지를 출력할 수 있다.
특히, 도 9의 실시예와 같이 제어부(150) 및 카메라부(120)에 의해 추출된 개별 제품의 이미지는 데이터베이스부(190)에 저장되고 이들이 각각 분리되어 개별 제품의 이미지로 통신장치의 디스플레이부(310) 또는 냉장고의 디스플레이부(110)에서 표시된다. 그리고 표시된 제품 이미지에 대해 디스플레이부(310, 110) 상에서 터치를 통해 선택하거나 드래그 동작(drag gesture)을 취함으로써, 제품 이미지에 대한 선별 및 선반별로 디스플레이되는 제품의 표시 혹은 이미지의 이동이 가능하여 물품 관리를 위해 분류 가능할 수 있도록 한다.
도 7 내지 도 9에서 살펴본 바와 같이, 고내 카메라에 의해 추출된 이미지에 대한 라벨링 및 적재 정보를 출력하여, 사용자는 고내 제품들을 확인할 수 있으며, 그 결과 식료품을 관리할 수 있다. 특히 개별 추출된 제품별 이미지의 메타 정보로 저장한 정보들은 텍스트 및 음성 명령 등의 검색 방법을 통해 찾거나 정렬(저장 시간)된 형태로 출력될 수 있으므로, 유통기한이 임박한 식료품을 관리할 수 있다.
그 결과, 냉장고 개폐를 하지 않고도 내부에 장착된 카메라부(120)를 통하여 촬영 가능 범위의 이미지들에 대해 안쪽에 가려진 식료품을 포함하여 모든 이미지에 대한 표시할 수 있다. 각 이미지를 통한 식료품에 대해 라벨링 및 저장 이력을 통해 물품 관리가 가능해진다.
도 10은 본 발명의 일 실시예에 의한 식료품이 중첩된 경우에 대한 이미지 추출 과정을 보여주는 도면이다. 이는 데이터베이스부(190)에 별도의 개별 이미지가 없거나, 혹은 위치 변동 등으로 인해 새로운 이미지가 생성된 경우, 이미지 내에서 개별 이미지를 추출하는 과정을 살펴본다.
도 10은 최초 이미지에서 중첩된 제품의 이미지(객체)가 있을 시 이미지 세그먼테이션(image segmentation) 방법을 통해 각 제품 별 이미지 추출을 하는 과정을 보여준다. 제어부(150)는 캡쳐 이미지에서 이미지 세그먼테이션을 수행하여 객체를 식별하고, 객체별 뎁스 정보 또는 온도 정보를 추출하여 객체별 경계를 설정하여 제품별 이미지를 산출하여 제품별 이미지를 산출함에 있어서 정확도를 높일 수 있다. 상세한 과정을 살펴본다.
제어부(150)는 캡쳐 이미지에서 이미지 세그먼테이션을 수행한다(S221). 이미지 세그먼테이션은 배경과 물체를 분할하여 나뉘어진 영역 내에서 유사성이 있거나 유사한 영역을 하나의 물체로 판단하는 것을 의미한다. 특히, 고내 배치되는 제품은 이미지 세그먼테이션을 하는데 필요한 부가 정보를 획득할 수 있다. 이 과정에서 인공지능을 적용하여 이미지 세그먼테이션을 할 수 있다.
일 실시예로, 최초에 캡쳐한 이미지에서 중첩된 객체가 있을 시 이미지 세그먼테이션을 통해 각 객체 별 이미지 추출이 가능해진다. 예를 들어, 제어부(150)는 이미지 세그먼테이션에 대응하는 뎁스 정보 또는 온도 정보를 추출한다(S222).
예를 들어 이미지 세그먼테이션한 결과 1차적으로 물체들이 분류된 후, 각 물체에 대한 뎁스 정보 또는 온도 정보 중 어느 하나 이상을 조합하여 1차적으로 분류된 물체들이 하나의 구별되는 제품으로 확인할 수 있는지를 제어부(150)가 판단한다.
그리고 판단 결과 뎁스 정보나 온도 정보에 의해서도 분류된 물체가 단일한 제품인지를 제어부(150)가 정확도를 높여 판단할 수 있다. 그 결과 제어부(150)는 객체별 경계를 설정하고(S223), 해당 객체에 대한 제1제품 이미지를 산출한다(S224). 이후 외부에서 입력된 정보에 기반하여 제1제품 이미지와 동일하거나 혹은 변형된 제2제품이미지를 생성한다(S225).
외부에서 입력된 정보란, 사용자가 입력한 라벨링 정보에 따라 제1제품 이미지에서 불필요한 픽셀 등을 제거하여 제2제품 이미지를 생성하는 것을 일 실시예로 한다. 예를 들어 토마토라고 입력한 라벨링을 제어부(150)가 확인하고, 제1제품 이미지와 데이터베이스부(190)에 저장된 토마토의 다양한 이미지를 비교하여 불필요한 픽셀을 제거할 수 있다.
이외에도 이미지 세그먼테이션 과정에서 이전에 저장되었던 제품의 이미지를 참조할 수 있다. 이미지 세그먼테이션 과정에서 추출된 제품의 일부 이미지가, 과거에 저장했던 제품의 이미지와 부분 일치할 경우, 이의 전체 이미지를 과거 저장했던 제품의 이미지로 변경할 수 있다. 물론, 이 과정에서 과거 저장했던 제품의 이미지가 마지막으로 확인된 시점을 확인할 수 있다. 캡쳐 이미지 내에서 이동이 없었던 경우, 캡쳐 이미지의 최신 업데이트 시점을 참고하거나, 해당 캡쳐 이미지와 동일한 캡쳐 이미지가 촬영되었던 시점 등에 대한 정보를 참고할 수 있다.
도 11은 본 발명의 일 실시예에 의한 메타 정보를 출력하는 실시예를 보여주는 도면이다. 디스플레이부는 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 입력받는 인터페이스를 출력할 수 있다. 예를 들어 도 11에 표시된 바와 같이 디스플레이부(110a)는 정보를 출력하면서 또한 외부로부터 터치 입력을 수신할 수 있다. 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 입력받는 인터페이스를 출력할 수 있다.
"Search Word"에 검색하고자 하는 수납 제품으로 "Tomato apple fruit"와 같이 검색하고자 하는 제품을 나열할 수 있다. 그리고 입고된 날짜 혹은 시간을 "Enter Date or Time"의 하단의 입력단에 입력할 수 있다. 또한, 디스플레이 방식으로 "Display Type" 하단에 "Sort by Shelf"를 선택할 수 있다.
사용자가 정보를 입력한 후, "Display"라는 버튼을 누르면 제어부(150)는 검색정보에 해당하는 제품의 이미지를 출력 방식을 지시하는 정보에 따라 디스플레이부(110b)에서 출력할 수 있다. 110b와 같이 고내 제품들 중에서 토마토에 해당하는 제품의 이미지가 선반 별로 출력된다. 이때, 각 제품이 배치된 위치(선반)도 좌측에 "1st Shelf" 또는 "2nd Shelf"로 표시될 수 있다.
또한, 첫번째 선반의 토마토는 "6:30 Dinner"라 표시되는데, 이는 사용자가 별도로 설정한 알람 정보가 표시된 것을 의미한다.
앞서 살펴본 바와 같이 메타 정보에는 사용 가능 기한 또는 상기 알람 시간이 포함될 수 있다. 따라서, 제어부는 메타 정보 중에서 7용 가능 기한 또는 알람 시간과 현재 시간과의 차이가 미리 설정된 기준 이하인 경우 디스플레이부(110b)에서 제품의 이미지 및 제품의 메타 정보를 출력하여 사용자로 하여금 해당 제품을 사용하도록 유도하여 고내 제품을 사용하지 않고 폐기하는 문제를 해결할 수 있다.
도 11의 검색 및 출력은 통신 장치(300)를 통해서도 가능하다. 냉장고(100)의 통신부(160)와 통신 장치(300)가 정보를 송수신하여 앞서 도 9에서 살펴본 바와 같이 사용자가 외부에서 통신 장치(300)를 이용하여 고내 제품을 확인할 수 있다.
앞서 각 제품별로 분리하여 추출된 이미지(식료품)에 대해 디스플레이부에서 제품에 대한 메타 정보(라벨링 및 시간 이력)를 저장 및 표시하도록 설정하여 식료품 관리가 가능할 수 있다. 특히, 디스플레이부(110, 310)에서 텍스트 입력 등의 조작을 통해 라벨링을 제품별로 설정하여 데이터베이스부(190)에 저장할 수 있다.
그리고 저장된 메타 정보(라벨링)에 대한 텍스트 검색 또는 음성 검색을 통하여 이미지 검색을 가능하게 하며, 식료품의 위치를 표시할 수 있으며, 입고된 시간 또는 적재 시간과, 저장 경과 시간을 표시하고 다양한 방식으로 정렬할 수 있다.
특히, 110a에 표시된 바와 같이, 추출되어 분리된 이미지에 대한 적재 이력(시간, 날짜) 및 저장 경과 시간 등의 정보를 제공하여 해당 정보에 따른 정렬 및 분류 등을 통해 고내 제품 특히 식료품 관리가 가능하다.
도 12는 본 발명의 일 실시예에 의한 캡쳐 이미지 테이블 및 제품 이미지 테이블의 구성을 보여주는 도면이다.
도 7의 221은 하나의 보관 공간 내에 3개의 선반을 가지고 있다. 이러한 구성이 도 12의 191a에 표시된다. CaptureId는 챕쳐한 이미지의 식별 정보이며, 선반 별로 이미지 파일을 별도로 저장한 실시예를 보여준다. ImageFile은 캡쳐 이미지 파일을 의미한다.
Position은 캡쳐한 이미지가 어느 보관공간인지(LeftTop, LeftBottom, RightTop, RightBottom 등)를 표시하며 Shelf는 해당 보관공간 내에서의 선반의 위치를 지시하는 정보이다. CaptureTime은 이미지가 캡쳐된 시간을 보여준다. 191a에서 두번째 선반의 캡쳐 시간이 상이한데, 두번째 선반에 제품의 반입 또는 반출 등으로 인한 변화가 있었음을 보여준다.
도 12에서 Cap01.jpg는 도 7의 221의 첫번째 선반의 이미지 파일을, Cap02.jpg는 도 7의 221의 두번째 선반의 이미지 파일을, Cap03.jpg는 도 7의 221의 세번째 선반의 이미지 파일을 지시한다. 물론 선반이 아닌 보관공간 전체로 221과 같은 이미지 파일이 저장될 수도 있다.
193a는 제품별 이미지에 대한 정보를 보여준다. id는 제품별 고유 식별 정보를 의미한다. Label은 제품의 명칭으로 사용자가 라벨링한 정보이다. ImageFile은 제품의 이미지파일로, 앞서 캡쳐된 이미지에서 해당 제품의 이미지를 분리하여 저장한 이미지 파일을 일 실시예로 한다.
category는 제품의 카테고리를 의미한다(소스, 채소, 유제품 등), enteringtime은 고내 입고된 시간을 의미한다. 최초 입고된 시간으로 저장될 수도 있다. 또는 가장 최근에 입고된 시간으로도 저장될 수 있다. Position과 Shelf는 각각 제품이 배치된 보관공간과 선반을 의미한다. Alarm은 해당 제품에 대해 사용자에게 알람이 필요한 시간에 대한 정보이다.
linked는 해당 제품과 연관된 다른 제품을 보여준다. "001"이라는 식별 정보로 "tabasco"가 설정되었고, 이의 링크된 제품은 "002"인 "tomato"라는 것이 확인된다. 이는 사용자가 어떤 제품에 대해 검색하거나 반출할 때 사용자에게 연관된 제품을 출력하여 표시하는 기능을 제공한다. 아울러 CaptureId는 제품의 이미지가 포함되었던 캡쳐 이미지에 대한 식별정보를 의미한다.
193a에서 category, label, Alarm 등을 제외하고 제품의 위치나 무게 등이 변경될 경우 id와 enteringtime, position, shelf 정보를 누적하면 제품 이력 테이블(195)을 구성할 수 있다. 따라서, 매번 캡쳐한 이미지에서 특정 제품의 이미지가 다른 제품에 의해 가려진 경우에도 해당 제품의 이전에 저장되었던 이미지를 추출하여 복원할 수 있으며, 이를 표시할 수 있다.
도 12에서 데이터베이스부(190)는 제1보관공간에 수납된 제1제품을 식별하는 식별정보(예를 들어 id 001)와 제1보관공간 또는 제2보관공간에 수납된 제2제품을 식별하는 식별정보(id 002)를 저장한다. 또한, 데이터베이스부(190)는 제1제품의 식별정보와 제2제품의 식별정보의 링크 정보를 저장할 수 있다. 도 12의 193a의 linked 항목이 이의 실시예이다.
특히, 본 발명의 실시예에 의하면, 동일 식료품이 냉장고 내에 반복적으로 입출고 시 기존 누적 이미지들에 대한 매칭을 통하여 동일 제품에 대한 이미지를 보다 완벽하게 제공할 수 있다. 또한, 본 발명의 실시예에 의하면, 해당 식료품이 냉장고를 벗어나 외부에 방치된 시간에 대한 이력도 함께 제공하여 사용자가 제품의 상태를 추적할 수 있도록 한다.
일 실시예로, 도 7에서 버터로 인식된 제품이 반출된 후 3시간 이상 지날 경우, 사용자에게 버터가 외부에 방치되었음을 냉장고(100)의 디스플레이부(110)에서 출력할 수 있다.
도 13은 본 발명의 일 실시예에 의한 카메라부가 제품의 반입 또는 반출 혹은 이동이 발생한 보관공간이나 선반에 대해 이미지를 캡쳐하는 과정을 보여주는 도면이다.
앞서 살펴본 바와 같이, 냉장고(100)는 보관공간 또는 보관공간 내의 선반의 무게를 센싱하는 무게 센싱부(130) 또는 보관공간의 도어의 개폐를 감지하는 도어 감지부(170) 중 어느 하나 이상을 포함한다.
제어부(150)의 제어에 의해, 무게 센싱부(130) 또는 도어 감지부(170)가 보관공간 내 제품의 입고 또는 반출을 센싱한다(S231). 보다 상세히, 도어 감지부(170)는 도어의 개폐를 감지하여 도어가 오픈되고 닫힌 후 무게 센싱부(130)에서 센싱한 정보를 확인할 수 있다. 예를 들어, 무게 센싱부(130)는 도어가 오픈된 후, 고내 보관공간이나 선반의 무게를 누적하여 저장하고, 무게의 변화가 발생했는지를 센싱한다.
이 과정에서 동일한 선반 내에서도 제품이 이동할 경우, 일시적으로 무게가 줄어들거나(사용자가 들었을 경우) 무게가 증가(사용자가 밀거나 옮기는 과정에서 하방으로 힘이 발생함)할 수 있다. 따라서, 무게 센싱부(130)는 선반이나 보관공간 내에서 무게가 증가하거나 감소하는 것을 센싱한다. 그 결과 무게가 이전에 센싱하여 저장했던 무게 정보와 상이하게 된 경우 보관공간 내에 제품이 입고되거나 반출된 것으로 확인할 수 있다. 제어부(150)는 센싱한 정보의 정확도를 판단하여 특정한 보관공간 또는 특정 선반에서 제품의 반출 또는 반입을 확인한다(S232). 제품의 반출/반입이 확인되면, 카메라부(120)는 해당 기 보관공간 또는 보관공간 내의 선반 단위로 캡쳐 이미지를 생성한다(S233)
정확도란, 무게의 변화가 매우 작은 경우에는 해당 공간에서 제품의 유입이 없는 것으로 판단하는 것을 의미한다. 또한, 선반 별로 무게를 센싱하는 경우, 제1선반에서 무게가 300g 감소하고, 제2선반에서 무게가 300g 증가한 경우, 사진 캡쳐시 300g의 제품이 이동하였을 가능성에 기반하여 제품 이미지를 분리할 수 있다.
본 발명을 적용할 경우, 고 내 촬영 이미지들에 대한 이미지 정보(RGB 픽셀 값) 및 특징점을 기반으로 이미지 비교 및 변경 이미지를 추출할 수 있다. 본 발명의 실시예에 의한 냉장고는 추출된 이미지들을 냉장고 내 위치에 따라 누적 표시 함으로써, 고 내 식료품 영상 이미지를 냉장고 디스플레이 및 단말기를 통해 그대로 보여줄 수 있다. 또한, 본 발명의 실시예에 의한 냉장고는각 식료품 이미지에 대해 선택/선별이 가능하도록 UX를 제공(터치)할 수 있다. 특히 본 발명의 실시예에 의한 냉장고는 고 내에 다층으로 제품들이 적재된 경우에 면적이 큰 식료품에 의해 가려진 물품에 대해서도 과거 누적된 이미지를 결합하여 표시하므로 외부에서 사용자가 확인할 수 있다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.
부호의 설명
100: 냉장고 110: 디스플레이부
120: 카메라부 130: 무게센싱부
141: 뎁스 카메라부 143: 온도 센싱부
150: 제어부 170: 도어 감지부
180: 압축기 190: 데이터베이스부

Claims (18)

  1. 하나 이상의 구분된 보관공간;
    상기 보관공간에 수납된 제품을 촬영하는 카메라부;
    상기 카메라가 촬영한 캡쳐 이미지에서 상기 보관공간에 배치된 제품별로 이미지를 분리하는 제어부;
    상기 제어부가 분리한 제품의 이미지 및 상기 이미지에 대응하는 메타 정보를 저장하는 데이터베이스부; 및
    상기 제품의 이미지와 상기 메타 정보를 출력하고 상기 메타 정보를 수정하는 입력 또는 추가하는 입력 또는 검색하는 입력 중 어느 하나 이상을 수신하는 디스플레이부를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
  2. 제1항에 있어서
    상기 제어부는 상기 분리된 이미지와 상기 데이터베이스부에 저장된 이미지를 비교하여, 상기 분리된 이미지가 상기 저장된 이미지의 일부에 해당하는 경우 상기 제어부는 상기 분리된 이미지에 상기 저장된 이미지를 결합하여 조정된 이미지를 생성하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
  3. 제1항에 있어서
    상기 메타 정보는 상기 제품의 명칭, 상기 제품의 카테고리, 상기 제품이 입고된 시간, 상기 제품의 사용 가능 기한, 상기 제품에 적용되는 알람 시간, 상기 제품이 상기 보관공간 내에 배치된 위치 정보 중 어느 하나 이상을 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
  4. 제3항에 있어서,
    상기 디스플레이부는 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 입력받는 인터페이스를 출력하며,
    상기 제어부는 상기 검색정보에 해당하는 제품의 이미지를 상기 출력 방식을 지시하는 정보에 따라 상기 디스플레이부에서 출력하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
  5. 제3항에 있어서,
    상기 메타 정보 중에서 상기 사용 가능 기한 또는 상기 알람 시간과 현재 시간과의 차이가 미리 설정된 기준 이하인 경우 상기 제어부는 상기 디스플레이부에서 상기 제품의 이미지 및 상기 제품의 메타 정보를 출력하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
  6. 제1항에 있어서,
    상기 데이터베이스부는
    제1보관공간에 수납된 제1제품을 식별하는 식별정보;
    상기 제1보관공간 또는 제2보관공간에 수납된 제2제품을 식별하는 식별정보; 및
    상기 제1제품의 식별정보와 상기 제2제품의 식별정보의 링크 정보를 저장하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
  7. 제1항에 있어서,
    상기 제품의 이미지와 상기 메타 정보를 통신 장치에게 전송하고 상기 통신 장치로부터 상기 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 수신하는 통신부를 더 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
  8. 제1항에 있어서,
    상기 냉장고는 상기 보관공간 또는 상기 보관공간 내의 선반의 무게를 센싱하는 무게 센싱부 또는 상기 보관공간의 도어의 개폐를 감지하는 도어 감지부 중 어느 하나 이상을 포함하며,
    상기 무게 센싱부 또는 상기 도어 감지부가 상기 보관공간 내 제품의 입고 또는 반출을 센싱하면 상기 카메라부는 상기 보관공간 또는 상기 보관공간 내의 선반 단위로 캡쳐 이미지를 생성하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
  9. 제1항에 있어서,
    상기 냉장고는 상기 보관공간 내의 제품의 온도 정보를 센싱하는 온도 센싱부 또는 상기 제품의 뎁스 정보를 생성하는 뎁스 카메라부를 더 포함하며,
    상기 제어부는 상기 캡쳐 이미지에서 이미지 세그먼테이션을 수행하여 객체를 식별하고, 상기 객체별 뎁스 정보 또는 온도 정보를 추출하여 상기 객체별 경계를 설정하여 제품별 이미지를 산출하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
  10. 제1항에 있어서
    상기 제어부는 상기 카메라부가 촬영한 캡쳐 이미지와 상기 데이터베이스부에 저장된 캡쳐 이미지를 비교하여 상이한 경우, 상기 캡쳐 이미지에서 상기 보관공간에 배치된 제품별로 이미지를 분리하는, 제품을 식별하여 구분된 이미지를 출력하는 냉장고.
  11. 냉장고의 카메라부가 하나 이상의 구분된 보관공간에 수납된 제품을 촬영하는 단계;
    냉장고의 제어부가 상기 카메라가 촬영한 캡쳐 이미지에서 상기 보관공간에 배치된 제품별로 이미지를 분리하는 단계;
    상기 제어부가 상기 분리한 제품의 이미지 및 상기 이미지에 대응하는 메타 정보를 냉장고의 데이터베이스부에 저장하는 단계; 및
    상기 냉장고의 디스플레이부가 상기 제품의 이미지와 상기 메타 정보를 출력하고 상기 메타 정보를 수정하는 입력 또는 추가하는 입력 또는 검색하는 입력 중 어느 하나 이상을 수신하는 단계를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
  12. 제11항에 있어서
    상기 분리하는 단계는
    상기 제어부가 상기 분리된 이미지와 상기 데이터베이스부에 저장된 이미지를 비교하는 단계; 및
    상기 분리된 이미지가 상기 저장된 이미지의 일부에 해당하는 경우 상기 제어부가 상기 분리된 이미지에 상기 저장된 이미지를 결합하여 조정된 이미지를 생성하는 단계를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
  13. 제11항에 있어서
    상기 메타 정보는 상기 제품의 명칭, 상기 제품의 카테고리, 상기 제품이 입고된 시간, 상기 제품의 사용 가능 기한, 상기 제품에 적용되는 알람 시간, 상기 제품이 상기 보관공간 내에 배치된 위치 정보 중 어느 하나 이상을 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
  14. 제13항에 있어서,
    상기 디스플레이부가 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 입력받는 인터페이스를 출력하는 단계; 및
    상기 제어부가 상기 검색정보에 해당하는 제품의 이미지를 상기 출력 방식을 지시하는 정보에 따라 상기 디스플레이부를 제어하여 출력하는 단계를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
  15. 제13항에 있어서,
    상기 메타 정보 중에서 상기 사용 가능 기한 또는 상기 알람 시간과 현재 시간과의 차이가 미리 설정된 기준 이하인 경우 상기 제어부가 상기 디스플레이부에서 상기 제품의 이미지 및 상기 제품의 메타 정보를 출력하는 단계를 더 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
  16. 제11항에 있어서,
    통신부가 상기 제품의 이미지와 상기 메타 정보를 통신 장치에게 전송하는 단계; 및
    상기 통신부가 상기 통신 장치로부터 상기 보관공간 내에 수납된 제품의 검색정보 또는 출력방식을 지시하는 정보를 수신하는 단계를 더 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
  17. 제11항에 있어서,
    상기 냉장고는 상기 보관공간 또는 상기 보관공간 내의 선반의 무게를 센싱하는 무게 센싱부 또는 상기 보관공간의 도어의 개폐를 감지하는 도어 감지부 중 어느 하나 이상을 포함하며,
    상기 무게 센싱부 또는 상기 도어 감지부가 상기 보관공간 내 제품의 입고 또는 반출을 센싱하는 단계;
    상기 카메라부가 상기 보관공간 또는 상기 보관공간 내의 선반 단위로 캡쳐 이미지를 생성하는 단계를 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
  18. 제11항에 있어서,
    상기 냉장고는 상기 보관공간 내의 제품의 온도 정보를 센싱하는 온도 센싱부 또는 상기 제품의 뎁스 정보를 생성하는 뎁스 카메라부를 더 포함하며,
    상기 이미지를 분리하는 단계는
    상기 제어부가 상기 캡쳐 이미지에서 이미지 세그먼테이션을 수행하여 객체를 식별하는 단계; 및
    상기 제어부가 상기 객체별 뎁스 정보 또는 상기 온도 정보를 추출하여 상기 객체별 경계를 설정하여 제품별 이미지를 산출하는 단계를 더 포함하는, 제품을 식별하여 구분된 이미지를 출력하는 방법.
PCT/KR2018/014369 2018-01-24 2018-11-21 제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법 WO2019146894A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0008992 2018-01-24
KR1020180008992A KR102017980B1 (ko) 2018-01-24 2018-01-24 인공지능을 이용하여 제품을 식별하고 구분된 이미지를 출력하는 냉장고 및 방법

Publications (1)

Publication Number Publication Date
WO2019146894A1 true WO2019146894A1 (ko) 2019-08-01

Family

ID=67395685

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/014369 WO2019146894A1 (ko) 2018-01-24 2018-11-21 제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법

Country Status (2)

Country Link
KR (1) KR102017980B1 (ko)
WO (1) WO2019146894A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220343098A1 (en) * 2021-04-27 2022-10-27 Lg Electronics Inc. Refrigerator

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102111002B1 (ko) * 2019-10-21 2020-05-14 옴니스랩스 주식회사 컨텐츠 처리 방법
KR102338337B1 (ko) * 2020-08-10 2021-12-09 엘지전자 주식회사 냉장고 저장 물품 관리 방법 및 장치
WO2022215771A1 (ko) 2021-04-07 2022-10-13 엘지전자 주식회사 냉장고

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120117464A (ko) * 2011-04-15 2012-10-24 엘지전자 주식회사 냉장고 및 냉장고의 제어방법
KR20150127560A (ko) * 2015-10-28 2015-11-17 엘지전자 주식회사 냉장고 및 그 제어 방법
KR20160029980A (ko) * 2014-09-05 2016-03-16 주식회사 디맨드 맞춤형 건강 식단 정보를 참조로 하여 자동으로 식재료를 주문하는 방법, 단말 및 컴퓨터 판단 가능한 기록 매체
KR20170038378A (ko) * 2015-09-30 2017-04-07 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
KR20170133004A (ko) * 2016-05-25 2017-12-05 나정환 스마트 저장고

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120117464A (ko) * 2011-04-15 2012-10-24 엘지전자 주식회사 냉장고 및 냉장고의 제어방법
KR20160029980A (ko) * 2014-09-05 2016-03-16 주식회사 디맨드 맞춤형 건강 식단 정보를 참조로 하여 자동으로 식재료를 주문하는 방법, 단말 및 컴퓨터 판단 가능한 기록 매체
KR20170038378A (ko) * 2015-09-30 2017-04-07 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
KR20150127560A (ko) * 2015-10-28 2015-11-17 엘지전자 주식회사 냉장고 및 그 제어 방법
KR20170133004A (ko) * 2016-05-25 2017-12-05 나정환 스마트 저장고

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220343098A1 (en) * 2021-04-27 2022-10-27 Lg Electronics Inc. Refrigerator

Also Published As

Publication number Publication date
KR102017980B1 (ko) 2019-09-03
KR20190090290A (ko) 2019-08-01

Similar Documents

Publication Publication Date Title
WO2019146894A1 (ko) 제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법
WO2014168265A1 (ko) 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고
WO2019135670A2 (ko) 냉장고 및 냉장고의 물품 관리 방법
WO2017126804A1 (en) Storage apparatus and control method thereof
WO2020101061A1 (en) Method and device for managing food in refrigerator
EP3577401A1 (en) Refrigerator and method of food management thereof
WO2021167185A1 (ko) 전자 장치 및 그의 동작 방법
JP6877734B2 (ja) 物品貯蔵庫の在庫管理装置
JP2017215067A (ja) 在庫管理装置および在庫管理方法
US20110035045A1 (en) Storage rack with automatic storage location acquisition
SE522000C2 (sv) Förfarande och anordning för att hålla reda på lagringstiden för i ett utrymme förvarade varor
WO2021172672A1 (ko) 로케이션 추천을 위한 동작 방법 및 이를 위한 장치
WO2021071121A1 (ko) 영상 기반 구매 행동 인식 시스템 및 방법
WO2019172680A1 (ko) 냉장고 및 그 제어방법
CN114270124B (zh) 查看和跟踪储存物品的方法
CN109767557A (zh) 货柜系统
WO2019045481A1 (ko) 냉장고 및 그 제어 방법
WO2019160251A1 (ko) 입력 패턴에 따라 인공지능을 이용하여 정보를 처리하는 냉장고 및 방법
CN101083757A (zh) 危机事件信息综合分析处理装置
WO2015108239A1 (ko) 릴 관리 시스템
JPWO2018174080A1 (ja) 物品管理システム及び物品管理方法
WO2023234604A1 (ko) 쇼케이스 층별 전면 양측에 배치된 카메라 기반 인식 방법 및 장치
WO2019146950A1 (ko) 제품의 열용량을 추정하여 동작을 제어하는 냉장고 및 방법
WO2017010804A1 (en) Object recognition for a storage structure
WO2022030717A1 (ko) 상품 스캔 연동 자동 개폐 덮개가 있는 스마트 쇼핑 카트 및 이를 이용한 스마트 쇼핑 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18902296

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18902296

Country of ref document: EP

Kind code of ref document: A1