WO2020071692A1 - 냉장고, 서버 및 냉장고의 객체 인식 방법 - Google Patents

냉장고, 서버 및 냉장고의 객체 인식 방법

Info

Publication number
WO2020071692A1
WO2020071692A1 PCT/KR2019/012645 KR2019012645W WO2020071692A1 WO 2020071692 A1 WO2020071692 A1 WO 2020071692A1 KR 2019012645 W KR2019012645 W KR 2019012645W WO 2020071692 A1 WO2020071692 A1 WO 2020071692A1
Authority
WO
WIPO (PCT)
Prior art keywords
change
refrigerator
imaging direction
image
object recognition
Prior art date
Application number
PCT/KR2019/012645
Other languages
English (en)
French (fr)
Inventor
한성주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP19869916.7A priority Critical patent/EP3806033B1/en
Priority to US17/268,009 priority patent/US11594019B2/en
Priority to CN201980064087.XA priority patent/CN112789652A/zh
Publication of WO2020071692A1 publication Critical patent/WO2020071692A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Definitions

  • the present disclosure relates to a refrigerator, a server, and an object recognition method thereof, and more particularly, to an object recognition method of a refrigerator, a server, and a refrigerator, which compares an existing image of a refrigerator with a currently photographed image to determine whether the imaging direction is changed. will be.
  • the refrigerator is an electronic device (or a household appliance) capable of refrigerating or freezing food (or food, food) that can be eaten and consumed through a refrigeration cycle using a refrigerant.
  • Refrigerators can store not only food, but also medicine, alcoholic liquor, or cosmetics.
  • the refrigerator can photograph the storage room using a camera attached to the front of the door.
  • a shock may be applied to the door, which may cause a change in the imaging direction of the camera attached to the front of the door.
  • additional object recognition can be performed by recognizing that a large change has occurred between the existing image and the currently captured image even though there is no change in the food stored in the actual storage room. have.
  • unnecessary cost increases in performing the additional object recognition described above in that a cost due to resource use occurs.
  • An object of the present disclosure is to provide an object recognition method of a refrigerator, a server, and a refrigerator that compares an existing image of a refrigerator with a currently photographed image to check whether the imaging direction is changed.
  • the object recognition method of the refrigerator includes: acquiring a photographed image photographing a storage room of the refrigerator, when a change in the photographed image is confirmed compared to a previously stored image, photographing the storage room
  • the method may include checking a change in an imaging direction of the device and performing an object recognition operation on the captured image if the imaging direction is maintained.
  • the refrigerator according to an embodiment of the present disclosure, the storage room for storing food, an imaging device for imaging the storage room, a memory for storing an existing image previously captured by the imaging device, and the imaging device to control the Acquiring a photographed image by imaging a storage room, and if a change in the photographed image is confirmed compared to the existing image, check whether a photographing direction of the photographing device is changed, and if the photographing direction is maintained, an object for the photographed image It may include a processor for performing the recognition operation,
  • the server is a memory for storing an existing image previously received from the refrigerator, a communication device for receiving a photographed image of the refrigerator's storage room from the refrigerator, and the photographing compared to the existing image
  • it may include a processor that checks whether the imaging direction of the captured image is changed, and performs an object recognition operation on the captured image when the imaging direction is maintained.
  • FIG. 1 is a block diagram illustrating a simple configuration of a refrigerator according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram showing a specific configuration of a refrigerator according to an embodiment of the present disclosure
  • FIG. 3 is a block diagram illustrating a simple configuration of a server according to an embodiment of the present disclosure
  • FIG. 4 is a block diagram showing a specific configuration of a server according to an embodiment of the present disclosure.
  • FIG. 5 is a view showing an example of a change in the imaging direction according to an embodiment of the present disclosure
  • FIG. 6 to 9 are views showing an example of a method for confirming a change in an imaging direction using a plurality of feature points in an image according to an embodiment of the present disclosure
  • FIG. 10 is a diagram showing an example of a method for confirming a change in imaging direction using an artificial intelligence model according to an embodiment of the present disclosure
  • FIG. 11 is a flowchart illustrating an object recognition method according to an embodiment of the present disclosure.
  • FIG. 13 is a sequence diagram illustrating an object recognition method using a refrigerator and a server according to a first embodiment
  • FIG. 14 is a sequence diagram illustrating an object recognition method using a refrigerator and a server according to a second embodiment.
  • first and second may be used to describe various components, but the components should not be limited by terms. The terms are used only to distinguish one component from other components.
  • FIG. 1 is a block diagram illustrating a simple configuration of a refrigerator according to an embodiment of the present disclosure.
  • the refrigerator 100 includes a storage room 110, an imaging device 120, a memory 130, and a processor 140.
  • the storage room 110 is disposed inside the refrigerator 100 to store food.
  • the storage chamber 110 may be maintained at approximately 0 to 5 degrees Celsius, and may be used as a refrigerating chamber for refrigerating food or maintained at approximately 30 to 0 degrees Celsius and refrigerating the food.
  • the storage chamber 110 is provided with an open front surface for putting food in and out, and the open front surface can be opened and closed by a door (not shown).
  • a shelf or the like on which food can be placed may be disposed.
  • the imaging device 120 acquires a captured image for a predetermined area corresponding to the imaging direction.
  • the imaging device 120 may be disposed on one side of the door facing the storage chamber 110 to have an imaging direction toward the storage chamber 110.
  • the imaging device 120 may acquire a captured image of a predetermined area in the storage chamber 110 corresponding to the imaging direction.
  • the imaging direction is a direction that the lens of the imaging device 120 faces. As the imaging direction changes, the image formed through the lens may change. Therefore, when the imaging direction is changed, a preset region corresponding to this may also change.
  • the predetermined area means a unique sensing area that the imaging device 120 can detect through the lens.
  • a plurality of imaging devices 120 may be provided to acquire captured images of each of a plurality of preset regions corresponding to each of the plurality of imaging directions.
  • the imaging device 120 is disposed at a predetermined interval on one side of the door facing the storage chamber 110 to capture a photographed image of a plurality of preset regions corresponding to each of a plurality of imaging directions in the storage chamber 110. Can be acquired.
  • the imaging device 120 may acquire a captured image in the preset area.
  • the preset event may correspond to a turn-on event of the refrigerator 100, a preset period arrival event, or a closing event of the door of the refrigerator 100, and is not limited to the above-described example.
  • the memory 130 stores various data for the overall operation of the refrigerator 100 such as a program for processing or controlling the processor 140. Specifically, the memory 130 may store a number of application programs running in the refrigerator 100 and data and instructions for the operation of the refrigerator 100.
  • the memory 130 is accessed by the processor 140, and data read / write / modify / delete / update by the processor 140 may be performed.
  • the memory 130 may be implemented as a storage medium in the refrigerator 100, an external storage medium, a removable disk including a USB memory, a web server through a network, and the like.
  • the memory 130 may store an image captured by the imaging device 120. Specifically, the memory 130 may store an image captured by the imaging device 120 inside the storage chamber 110.
  • the processor 140 performs control for each component in the refrigerator 100. Specifically, when receiving a command for a specific function, the processor 140 may control an operation of a configuration related to performance of the corresponding function.
  • the processor 140 may perform object recognition for food accommodated in the storage compartment 110 of the refrigerator. Specifically, the processor 140 may perform object recognition using a captured image of the storage room 110 photographed by the imaging device 120. For example, the processor 140 may analyze the photographed image to check the type of food accommodated in the storage room 110, the number of food, the time of acceptance, and expiration date information.
  • the processor 140 may determine whether object recognition is required for each captured image before performing object recognition on the currently captured image.
  • the processor 140 compares sequentially photographed images and confirms that a change area has occurred in the photographed image, it is determined that a change in the object has occurred and it is determined to perform object recognition. In addition, when it is confirmed that the change area has not occurred, the processor 140 determines that there is no change in the object and determines that object recognition is not performed.
  • the imaging direction of the imaging device 120 may be changed minutely.
  • a change area may occur in the captured image.
  • the processor 140 has a problem in determining that there is a need to perform object recognition, even when the result of object recognition for each sequentially photographed image is calculated the same.
  • FIG. 5 an example in which a change in imaging direction occurs can be confirmed. Specifically, referring to the images of FIGS. 5A and 5B, it can be confirmed that pineapples, canned goods, grapes, and apples are accommodated in the storage room 110, and the number or location of each object does not actually change. Accordingly, the object recognition result of FIG. 5A and the object recognition result of FIG. 5B may be the same.
  • the imaging direction in FIG. 5B is slightly different from the imaging direction in FIG. 5A.
  • the right end of the bowl containing the apple is not photographed in FIG. 5B.
  • the processor 140 may additionally check whether the imaging direction is changed and determine whether to perform object recognition. Specifically, the processor 140 may determine whether to perform object recognition by checking whether the captured image is moving or not and whether the imaging direction is changed.
  • the processor 140 when an object motion occurs and a change in the imaging direction also occurs (1), an object motion occurs but the imaging direction does not change (2), an object motion does not occur but the imaging direction changes In one case (3) and in the case where neither the object movement nor the change in the imaging direction occurs (4), the case where each photographed image is applicable can be analyzed.
  • the processor 140 performs object recognition because object movement occurs when the captured image corresponds to 1 and 2 among the above-described plurality of cases, and if it corresponds to 4, the object does not perform object recognition because no change has occurred in the captured image. You can decide not to. In addition, the processor 140 may determine that object recognition is not performed since the movement of the object has not actually occurred when it corresponds to 3.
  • the processor 140 performs object recognition, but in the present disclosure, it can be determined not to perform object recognition when the case of 3 is due to additional object recognition. It has the effect of reducing the amount of computation. The detailed operation of determining whether the processor 140 needs to perform object recognition will be described below.
  • the processor 140 may control the imaging device 120 to obtain a captured image. Specifically, the processor 140 may acquire a captured image by controlling the imaging device 120 to photograph the inside of the storage room 110. The processor 140 may store the acquired image in the memory 130.
  • the processor 140 may compare the acquired image with an existing image to check whether a change region of the captured image is generated.
  • the existing image means a captured image obtained by the imaging device 120 photographing the interior of the storage room 110 in the past.
  • the existing image may be the most recently acquired among a plurality of captured images acquired in the past.
  • the processor 140 compares each pixel value of the existing image with each pixel value of the corresponding captured image to detect a pixel value change area to determine whether a change area of the captured image is generated.
  • the processor 140 may determine not to perform object recognition for the captured image .
  • the processor 140 checks the size of the detected area, determines whether object recognition is performed according to whether the size exceeds a predetermined size, or additionally changes the imaging direction. You can check
  • the size of the change area does not exceed a predetermined size, it means that the change area is generated only in the local area of the captured image. In the case where the change in the imaging direction occurs, the size of the change area of the captured image occurs in the entire area, not the local area. If the size of the change area does not exceed the preset size, the processor 140 It can be judged that there is no change, and the generated change area can be judged to be based on the movement of the object.
  • the processor 140 may determine to perform object recognition for the captured image.
  • the processor 140 checks whether the change in the imaging direction has occurred. Can be additionally performed.
  • the processor 140 may determine to perform object recognition for the photographed image.
  • the processor 140 may determine whether object recognition is performed according to whether an object movement occurs. Specifically, the processor 140 may determine to perform object recognition when an object movement occurs and a change in imaging direction occurs (1).
  • the pixel value change area of the captured image is not caused by a change to the food received in the actual storage room 110, but a change in the imaging direction It means that it does not perform object recognition.
  • the processor 140 may replace the existing image stored in the memory 130 and store it in the memory 130, and then use it as a comparison target when determining whether to perform object recognition for the captured image.
  • the processor 140 may perform object recognition using the captured image.
  • the processor 140 may display the object recognition result to the user through a display.
  • the processor 140 may reuse the previously performed object recognition result using the existing image. That is, when it is determined that there is no change between the captured image and the existing image, or when it is determined that a change in the imaging direction has occurred, the processor 140 may use the object recognition result for the existing image.
  • the imaging device may be provided as a separate device from the refrigerator in implementation.
  • the imaging device is attached to the refrigerator to photograph the storage room of the refrigerator, transmit the captured image to the refrigerator through wired or wireless communication, and perform object recognition using the captured image received by the refrigerator.
  • the imaging device may store both the existing image and the captured image of the refrigerator's storage room, and check whether the imaging direction of the captured image is changed.
  • the imaging device may perform an object recognition operation according to a change in imaging direction. Further, the above-described operation may be performed in other external devices in addition to the imaging device.
  • FIG. 2 is a block diagram showing a specific configuration of a refrigerator according to an embodiment of the present disclosure.
  • the refrigerator 100 includes a storage room 110, an imaging device 120, a memory 130, a processor 140, a communication device 150, and an input device 160 ) And the display 170.
  • the storage room 110, the imaging device 120, the memory 130, and the processor 140 perform the same functions as the configuration of FIG. 1, so duplicate description is omitted.
  • the communication device 150 is connected to an external device (not shown), and can transmit and receive various data from the external device.
  • the communication device 150 is a form of being connected to an external device through a local area network (LAN) and an internet network, as well as a universal serial bus (USB) port or wireless communication (eg, WiFi 802.11a / b / g / n, NFC, and Bluetooth) ports are also available.
  • the external device may be a PC, a laptop, a smartphone, a server, or the like.
  • the communication device 150 may transmit a captured image taken by the imaging device 120 to an external device. Specifically, the communication device 150 may transmit a photographed image of a preset area in the storage room 110 to an external device. The external device may perform object recognition using the received photographed image, and transmit the object recognition result back to the communication device 150.
  • the processor 140 may display the object recognition result received from the external device to the user through the display 170 without directly performing object recognition for the captured image. Meanwhile, a detailed description of an operation of obtaining an object recognition performance result through communication with an external device will be described later with reference to FIGS. 13 and 14.
  • the input device 160 may include a plurality of function keys that the user can set or select various functions supported by the refrigerator 100. Through this, the user can input various driving commands for the refrigerator 100. For example, the user may input a command for the cooling strength of the refrigerator through the input device 160.
  • the input device 160 may receive information on food received in the storage room 110 as feedback of the user regarding the object recognition result. For example, when the user puts newly purchased grapes into the storage room 110, grapes may be newly recognized as a result of object recognition, and the user may input food-related information such as expiration date information on the newly recognized grapes. You can.
  • the display 170 may display various information provided by the refrigerator 100. Specifically, the display 170 may display an operation state of the refrigerator 100 or a user interface window for selecting a function and option selected by the user. In addition, the display 170 may be implemented in the form of a touch screen capable of simultaneously performing the functions of the input device 160.
  • the display 170 may display the object recognition result performed by the processor 140 or the object recognition result of the external device received through the communication device 150. For example, information on the food name of the grapes accommodated in the storage room 110, the category of food, the initial reception time, and the reception location may be displayed.
  • the refrigerator performs object recognition for the captured image.
  • the refrigerator performs additional object recognition and requires a large amount of computation because the change in the photographed image occurs even though no change to the food accommodated in the actual storage room has occurred.
  • the refrigerator according to the present embodiment compares a captured image with an existing image to check whether there is a change in the imaging direction, or simply does not perform additional object recognition when it is determined that a change in the imaging direction has occurred. Decision has the effect of reducing the amount of computation.
  • FIG. 3 is a block diagram illustrating a simple configuration of a server according to an embodiment of the present disclosure.
  • the server 200 includes a memory 210, a communication device 220, and a processor 230.
  • the memory 210 stores various data for the overall operation of the server 200 such as a program for processing or controlling the processor 230. Specifically, the memory 210 may store a number of application programs running on the server 200 and data and commands for the operation of the server 200.
  • the memory 210 is accessed by the processor 230, and data read / write / modify / delete / update by the processor 230 may be performed.
  • the memory 210 may be implemented as a storage medium in the server 200, an external storage medium, a removable disk including a USB memory, a web server through a network, and the like.
  • the memory 210 may store the captured image received through the communication device 220. Specifically, the memory 210 may store a photographed image of a preset area in the storage room received from the refrigerator 100 through the communication device 220.
  • the communication device 220 is connected to an external device (not shown), and can transmit and receive various data from the external device.
  • the communication device 220 is a form of being connected to an external device through a local area network (LAN) and an internet network, as well as a universal serial bus (USB) port or wireless communication (for example, WiFi 802.11a / b / g / n, NFC, and Bluetooth) ports are also available.
  • the external device may be a refrigerator, a PC, a laptop, a smartphone, a server, and the like.
  • the communication device 220 may receive a photographed image of a predetermined area in the storage room from the refrigerator 100.
  • the processor 230 performs control for each component in the server 200. Specifically, when receiving an instruction for a specific function, the processor 230 may control an operation of a configuration related to performance of the corresponding function.
  • the processor 230 may perform object recognition for food accommodated in the refrigerator 100 using the received photographed image. However, when object recognition is performed on all of the captured images received by the processor 230, a considerable amount of computation is required. Therefore, the processor 230 may determine whether object recognition is necessary before performing object recognition on the currently received captured image.
  • the processor 230 may determine whether to perform object recognition by checking whether the captured image is moving or not and whether the imaging direction is changed.
  • the processor 230 when an object motion occurs and a change in the imaging direction also occurs (1), when an object motion occurs but the imaging direction does not change (2), an object motion does not occur but the imaging direction changes In one case (3) and in the case where neither the object movement nor the change in the imaging direction occurs (4), the case where each photographed image is applicable can be analyzed.
  • the processor 230 performs object recognition because object movement occurs when the captured image corresponds to 1 and 2 among the above-described plurality of cases, and when it corresponds to 4, the object does not perform object recognition because no change has occurred in the captured image. You can decide not to.
  • the processor 230 may determine that object recognition is not performed since the movement of the object does not occur in the case of 3. The detailed operation of determining whether the processor 140 needs to perform object recognition will be described below.
  • the processor 230 may acquire a captured image of the refrigerator 100 through the communication device 220.
  • the processor 230 may store the acquired image in the memory 210.
  • the processor 230 may compare the acquired photographed image with an existing image to check whether the photographed image is changed.
  • the existing image means a captured image inside the refrigerator 100 that the communication device 220 has received in the past.
  • the existing image may be the most recently received among a plurality of captured images received in the past.
  • the processor 230 compares each pixel value of the existing image with each pixel of the corresponding captured image, and detects a pixel value change area to check whether the captured image is changed.
  • the processor 230 captures the image It can be judged that object recognition for is not performed.
  • the processor 230 checks the size of the detected area, determines whether object recognition is performed according to whether the size exceeds a predetermined size, or additionally changes the imaging direction. You can check
  • the size of the change area does not exceed a predetermined size, it means that the change area is generated only in the local area of the captured image. In the case where the change in the imaging direction occurs, the size of the change area of the captured image occurs in the entire area, not the local area. If the size of the change area does not exceed the preset size, the processor 230 It can be judged that there is no change, and the generated change area can be judged to be based on the movement of the object.
  • the processor 230 may determine to perform object recognition for the captured image.
  • the processor 230 may determine to perform object recognition on the captured image.
  • the processor 230 may determine whether object recognition is performed according to whether an object movement occurs. Specifically, the processor 230 may determine to perform object recognition when an object movement occurs and a change in imaging direction occurs (1).
  • the pixel value change area of the captured image is not caused by a change in the food accommodated in the refrigerator 100, but a change in the imaging direction. It means that it does not perform object recognition.
  • the processor 230 may replace the existing image stored in the memory 210 and store the captured image in the memory 210, and then use it as a comparison target when determining whether to perform object recognition on the received captured image. .
  • the processor 230 may determine to perform object recognition, the object recognition may be performed using the captured image.
  • the processor 230 may transmit the object recognition result to the refrigerator 100 through the communication device 220.
  • the processor 230 may use the previously performed object recognition result again using the existing image. That is, when it is determined that there is no change between the captured image and the existing image or it is determined that a change in the imaging direction has occurred, the processor 230 displays the object recognition result for the existing image through the communication device 220 through the refrigerator 100 ).
  • FIG. 3 although it has been illustrated and described as receiving a photographed image from a refrigerator, it may be implemented in a manner of receiving a photographed image from a separate imaging device photographing the refrigerator in implementation.
  • FIG. 4 is a block diagram showing a specific configuration of a server according to an embodiment of the present disclosure.
  • the server 200 may include a memory 210, a communication device 220, a processor 230, an input device 240, and a display 250.
  • the memory 210, the communication device 220, and the processor 230 perform the same function as the configuration of FIG. 3, and duplicate description is omitted.
  • the input device 240 may include a plurality of function keys that the user can set or select various functions supported by the server 200. Through this, the user can input various driving commands to the server 200.
  • the input device 240 may be input through a menu displayed on the display 250.
  • the input device 240 may be implemented with a plurality of buttons, keyboard, mouse, or the like, and may also be implemented with a touch screen capable of simultaneously performing the functions of the display 250 to be described later.
  • the display 250 may display various messages provided by the server 200.
  • the display 250 may display a user interface window for selecting various functions provided by the server 200.
  • the display 250 may be a monitor such as an LCD, a CRT, or an OLED, or may be implemented as a touch screen capable of simultaneously performing the functions of the input device 240 described above.
  • the server performs object recognition for the captured image.
  • the server performs additional object recognition and requires a large amount of computation because the change in the photographed image occurs even though the change in the food accommodated in the actual refrigerator has not occurred.
  • the server compares a captured image with an existing image to check whether a change in the imaging direction is present, and if it is determined that a change in the imaging direction has occurred, does not perform additional object recognition. Decision has the effect of reducing the amount of computation.
  • FIGS. 6 to 9 are views illustrating an example of a method for confirming a change in an imaging direction using a plurality of feature points according to an embodiment of the present disclosure.
  • the processor 140 or 230 of the refrigerator or the server may check the presence or absence of a change in an imaging direction based on a change in the position of a plurality of feature points in an existing image and a captured image according to an optical flow method. A detailed operation for this will be described below.
  • FIG. 6 is a diagram illustrating an example of a position change of a plurality of feature points in an image according to an embodiment of the present disclosure.
  • 6A corresponds to an existing image
  • FIG. 6B corresponds to a captured image.
  • the processors 140 and 230 may identify a plurality of feature points in the existing image, and detect a plurality of feature points corresponding to the feature points from the captured image.
  • FIG. 6A it can be seen that an image of a slice of a pizza in a fan shape is located in an existing image, and three black dots are displayed on a corner portion of the fan shape.
  • the black dot displayed here is a feature point of an object in an image, and it means a point having a characteristic that can be distinguished from other objects or backgrounds such as a corner or an end point of a line segment.
  • the feature point may be composed of two-dimensional coordinates, and when the photographed image is a three-dimensional image, the feature point may be composed of three-dimensional coordinates.
  • the processors 140 and 230 may identify a plurality of feature points from the existing image in FIG. 6A and detect a plurality of feature points corresponding to the plurality of feature points from the existing image from the captured image in FIG. 6B.
  • the processors 140 and 230 have identified a plurality of feature points from the existing image, but may not find a plurality of feature points corresponding to the plurality of feature points of the existing image from the captured image. In this case, it is a case where it is difficult to find a plurality of feature points corresponding to a plurality of feature points of the existing image in the captured image as the object that can be confirmed in the existing image moves.
  • the processor 140 or 230 does not identify a plurality of feature points corresponding to a plurality of feature points of the existing image from the captured image, it is determined that the object has changed, and the imaging direction may be determined to be unchanged.
  • the processor 140 or 230 checks the number of the plurality of feature points of the existing image and the number of the plurality of feature points of the captured image, and if the rate of change of the number of feature points exceeds a preset threshold ratio, the imaging direction is not changed. You can decide.
  • the processors 140 and 230 determine a moving distance and a moving direction of each of the plurality of feature points of the existing image and the plurality of feature points of the captured image. By comparison, it is possible to distinguish whether the object in the image has moved or the imaging direction has changed. This will be described below with reference to FIGS. 7 to 9.
  • FIG. 7 to 9 are views illustrating an example of a moving distance and a moving direction of a plurality of feature points in a captured image according to an embodiment of the present disclosure.
  • the direction of the arrow corresponds to the moving direction of each feature point
  • the length of the arrow may correspond to the moving distance of each feature point.
  • the arrows of the plurality of feature points of the captured image have the same direction and the same length. That is, it can be confirmed that a plurality of feature points of the captured image are moved according to the same moving direction and the same moving distance.
  • the processor 140 or 230 may determine that the captured image corresponds to a case in which the object movement has not occurred but the imaging direction has changed (3). Accordingly, the processors 140 and 230 may determine that object recognition is not performed.
  • the processor 140 or 230 may determine that the object corresponding to the feature point of the area indicated by the dotted rectangle is moved, and the imaging direction is maintained.
  • the processor 140 or 230 may determine that the photographed image corresponds to a case in which object movement occurs and a change in imaging direction (1). Accordingly, the processors 140 and 230 may determine to perform object recognition.
  • the processor 140 or 230 may determine that the object has moved and the imaging direction is maintained.
  • the processor 140 or 230 may determine that the captured image corresponds to a case in which an object movement occurs but the imaging direction does not change (2). Accordingly, the processors 140 and 230 may determine to perform object recognition.
  • the processors 140 and 230 may compare the moving distance and the moving direction of each of the feature points to determine whether an object is moving and whether the imaging direction is changed. Meanwhile, in order to compare the moving distance and the moving direction, the processors 140 and 230 compare pixel coordinate values of a plurality of feature points of the existing image and a plurality of feature points of the captured image, and coordinates of each of the plurality of feature points of the captured image The amount of change can be calculated.
  • the processors 140 and 230 may calculate a moving distance and a moving direction of each of the plurality of feature points of the captured image using the calculated amount of coordinate change, and check whether the imaging direction changes based on the calculated moving distance and the moving direction. have.
  • the moving distance And the direction of movement is calculated in the form of slope Can be calculated as Or the direction of movement is calculated in the form of an angle Can be calculated as
  • the processor 140 or 230 may determine that the imaging direction is changed when the moving distance and the moving direction of each of the plurality of feature points of the calculated captured image coincide within a predetermined error range.
  • the processor 140 or 230 may determine that the imaging direction is maintained when the moving distance or the moving direction of at least one of the plurality of feature points of the captured image has a difference over a predetermined error range.
  • the preset error range refers to a range that may be included in the error range when imaging an image of the imaging device even if there is a certain difference in the moving distance and the moving direction of each of the plurality of feature points.
  • the processors 140 and 230 may check whether the imaging direction is changed based on the positional changes of the plurality of feature points in the existing image and the captured image.
  • FIG. 10 is a diagram illustrating an example of a method for confirming a change in an imaging direction using an artificial intelligence model according to an embodiment of the present disclosure.
  • the processors 140 and 230 of the refrigerator or the server may check whether there is a change in the imaging direction using an artificial intelligence model. A detailed operation for this will be described below.
  • the processor 1000 may include at least one of a learning unit 1010 and an acquisition unit 1020.
  • the processor 1000 of FIG. 10 may correspond to the processor 140 of the refrigerator 100, the processor 230 of the server 200, or a processor of a data learning server (not shown).
  • the learning unit 1010 may generate or learn a model for identifying whether the imaging direction is changed. Specifically, the learning unit 1010 may generate an artificial intelligence model for identifying whether the imaging direction is changed using the collected learning data.
  • the artificial intelligence model may be composed of machine learning and element technologies utilizing machine learning.
  • Machine learning is an algorithm technology that classifies or learns the characteristics of input data by itself
  • element technology is a technology that simulates functions such as cognition and judgment of the human brain by using machine learning algorithms such as deep learning. It can be composed of technical fields such as understanding, reasoning / prediction, knowledge expression, and motion control.
  • the artificial intelligence model may correspond to a convolutional neural network (CNN), a recurrent neural network (RNN), or a convolutional recurrent neural network (CRNN), and is not limited to the above-described examples.
  • CNN convolutional neural network
  • RNN recurrent neural network
  • CRNN convolutional recurrent neural network
  • the learning data may correspond to a group of images photographed by moving a little in the direction of up, down, left, or right with respect to the same object, or a group of images sliced in a direction of up, down, left or right with respect to the same object. Meanwhile, the learning data is not limited to the above-described example.
  • the learning unit 1010 may generate or learn a model for identifying whether the imaging direction is changed by using a group of images having an imaging direction change as input data.
  • the acquisition unit 1020 may use the existing image and the captured image as input data of the learned model to identify whether the imaging device is changed.
  • the processor 1000 generates an artificial intelligence model that identifies a change in the imaging direction through the learning unit 1010, and uses the artificial intelligence model through the acquisition unit 1020 to determine the imaging direction of the captured image. Changes can be identified.
  • the learning unit 1010 and the acquisition unit 1020 may be mounted on one electronic device such as a server, or may be mounted on separate electronic devices.
  • the learning unit 1010 may be mounted on the data learning server, and the acquisition unit 1020 may be mounted on the server 200 or the refrigerator 100.
  • model information constructed by the learning unit 1010 using wired or wireless communication may be provided to the acquisition unit 1020.
  • FIG. 11 is a flowchart illustrating an object recognition method according to an embodiment of the present disclosure.
  • an object recognition method may be performed through the processor 140 of the refrigerator 100 or the processor 230 of the server 200.
  • a captured image taken inside the storage room is obtained (S1110).
  • the processor of the refrigerator may acquire the captured image using the imaging device, and the processor of the server may acquire the captured image by receiving the captured image from the refrigerator through the communication device.
  • the existing image is a captured image obtained by the refrigerator taking a storage room using an imaging device in the past or a captured image obtained by the server receiving from the refrigerator in the past.
  • the existing image may be the most recently acquired image among a plurality of captured images acquired in the past.
  • Whether or not the imaging direction is changed can be confirmed by using a plurality of feature points in an existing image and a plurality of feature points of a corresponding captured image.
  • a plurality of feature points can be confirmed from an existing image, and a plurality of feature points corresponding thereto can be confirmed from a captured image.
  • a part of the plurality of feature points is not found in the captured image as the object identified in the existing image moves, it may be determined that the imaging direction is maintained.
  • the rate of change between the number of the plurality of feature points in the existing image and the number of the plurality of feature points in the captured image exceeds a preset threshold ratio, it may be determined that the imaging direction is maintained.
  • the moving distance and the moving direction of each of the plurality of feature points of the photographed image are calculated using the calculated amount of coordinate change, and it is possible to check whether the imaging direction is changed based on the calculated moving distance and the moving direction.
  • the imaging direction is changed.
  • a moving distance or a moving direction of at least one feature point among a plurality of feature points of a captured image has a difference over a predetermined error range, it may be determined that the imaging direction is maintained.
  • a change in imaging direction can be confirmed using an artificial intelligence model. Specifically, it is possible to identify whether the imaging device is changed by inputting an existing image and a captured image into the artificial intelligence model.
  • the artificial intelligence model learns a group of images taken by moving in the direction of up, down, left, or right with respect to the same object, or a group of images with a slight cut in the direction of up, down, left, or right about the same object. This model is trained to identify whether the imaging direction changes.
  • the type of artificial intelligence model may correspond to a convolutional neural network (CNN), a recurrent neural network (RNN), or a convolutional recurrent neural network (CRNN), but is not limited thereto.
  • CNN convolutional neural network
  • RNN recurrent neural network
  • CRNN convolutional recurrent neural network
  • the imaging direction when the imaging direction is maintained, object recognition is performed on the captured image (S1130).
  • the captured image when the imaging direction is changed, without performing object recognition on the captured image, the captured image may be stored by replacing the existing image. Also, an object recognition result performed on an existing image may be used again.
  • the object recognition method of the present disclosure compares the photographed image and the existing image to check whether there is a change in the imaging direction, and if it is determined that a change in the imaging direction has occurred, simply determines that no additional object recognition is performed, thereby calculating a computation amount. It has a reducing effect.
  • the object recognition method as shown in FIG. 11 may be executed on a refrigerator having the configuration of FIG. 1 or 2 and a server having the configuration of FIG. 3 or 4, or on a refrigerator or server having other configurations.
  • control method as described above may be implemented as at least one execution program for executing the control method as described above, and the execution program may be stored in a non-transitory readable medium.
  • a non-transitory readable medium means a medium that stores data semi-permanently and that can be read by a device, rather than a medium that stores data for a short time, such as registers, caches, and memory.
  • the various applications or programs described above may be stored and provided on a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
  • FIG. 12 is a flowchart for specifically describing an object recognition method according to an embodiment of the present disclosure.
  • an image captured in a storage room of a refrigerator may be obtained (S1210).
  • a captured image of a storage room may be acquired through an imaging device, and in the case of a server, a captured image of the storage room may be received from a refrigerator through a communication device.
  • a change in the captured image is generated compared to the existing image (S1220). Specifically, by comparing each pixel value of the existing image with each pixel value of the corresponding captured image, it is possible to check whether the photographed image is changed by detecting a pixel value change area.
  • object recognition for the captured image may be performed (S1250).
  • the size of the region where the change occurs exceeds a predetermined size (S1230-Y)
  • S1240-Y If a change in the imaging direction occurs (S1240-Y), it may be determined that object recognition is not performed on the captured image. On the other hand, when a change in the imaging direction has not occurred (S1240-N), object recognition for the captured image may be performed (S1250).
  • the object recognition method of the present disclosure whether or not an operation for confirming a change in an imaging direction is performed is determined according to a size of a change region of a captured image, so that an imaging direction change is confirmed even though the imaging direction is clearly maintained. It has the effect of preventing the operation from being performed.
  • the object recognition method as shown in FIG. 12 may be executed on a refrigerator having the configuration of FIG. 1 or 2 and a server having the configuration of FIG. 3 or 4, or on a refrigerator or server having other configurations.
  • control method as described above may be implemented as at least one execution program for executing the control method as described above, and the execution program may be stored in a non-transitory readable medium.
  • FIG. 13 is a sequence diagram illustrating an object recognition method using a refrigerator and a server according to a first embodiment.
  • the server 200 may store an existing image photographing the storage room of the refrigerator 100 (S1310). Specifically, the server 200 may receive and store the captured image in the storage room previously photographed in the refrigerator 100 through communication with the refrigerator 100.
  • the refrigerator 100 may photograph a storage room using an imaging device and acquire a photographed image (S1320). In addition, the refrigerator 100 may transmit the captured storage room image to the server 200 (S1330).
  • the server 200 may check whether a change has occurred in the received image compared to the existing image (S1340).
  • the server 200 may transmit the object recognition result performed on the existing image to the refrigerator 100 without performing additional object recognition.
  • the server 200 may check whether the size of the change generation area exceeds a preset size (S1350). If the size of the region where the change occurs does not exceed a preset size, object recognition for the captured image may be performed. On the other hand, when the size of the change generation region exceeds a preset size, it may be confirmed whether the imaging direction is changed (S1360).
  • object recognition may be performed on the captured image (S1370).
  • the object recognition result performed on the existing image may be transmitted to the refrigerator 100.
  • the server 200 transmits an object recognition result for the captured image to the refrigerator 100, and when object recognition is not performed on the captured image, an object for an existing image The recognition result may be transmitted to the refrigerator 100 (S1380).
  • the refrigerator 100 may display object information to the user using the received object recognition result (S1390). Specifically, the refrigerator 100 may display object information to a user through a display.
  • the object recognition method of the present disclosure has an effect that the refrigerator can obtain object recognition information and provide it to the user without directly performing object recognition.
  • the object recognition method as shown in FIG. 13 may be executed on a refrigerator having the configuration of FIG. 1 or 2 and a server having the configuration of FIG. 3 or 4, and may also be executed on a refrigerator or server having other configurations.
  • control method as described above may be implemented as at least one execution program for executing the control method as described above, and the execution program may be stored in a non-transitory readable medium.
  • FIG. 14 is a sequence diagram illustrating an object recognition method using a refrigerator and a server according to a second embodiment.
  • the refrigerator 100 may store an existing image taken in the storage room (S1410).
  • the refrigerator 100 may photograph a storage room using an imaging device and acquire a photographed image (S1420).
  • the refrigerator 100 may check whether a change occurs in the captured image compared to the existing image (S1430).
  • the refrigerator 100 may transmit the existing image as the object recognition object information to the server 200 without checking whether the imaging direction of the captured image is changed.
  • the refrigerator 100 may check whether the size of the change generation area exceeds a predetermined size (S1440). If the size of the change generation area does not exceed a preset size, the captured image may be transmitted to the server 200 as object recognition target information. On the other hand, when the size of the change generation region exceeds a preset size, it may be confirmed whether the imaging direction is changed (S1450).
  • the captured image may be transmitted to the server 200 as object recognition object information.
  • the existing image may be transmitted to the server 200 as object recognition object information (S1460).
  • the server 200 may perform object recognition according to the received object recognition object (S1470). For example, when the received object recognition target is a captured image, object recognition may be performed on the captured image, and when the received object recognition target is an existing image, an existing image previously performed without performing additional object recognition You can check the result of object recognition for.
  • the server 200 may transmit the object recognition result corresponding to the object recognition object to the refrigerator 100 (S1480).
  • the refrigerator 100 may display object information to the user using the received object recognition result (S1490). Specifically, the refrigerator 100 may display object information to a user through a display.
  • the refrigerator determines the object recognition object by checking whether the imaging direction is changed, and transmits the determined object recognition object to the server, so that the server does not need to check whether the imaging direction is changed. It has the effect of reducing the amount of computation.
  • the object recognition method as shown in FIG. 14 may be executed on a refrigerator having the configuration of FIG. 1 or 2 and a server having the configuration of FIG. 3 or 4, or on a refrigerator or server having other configurations.
  • control method as described above may be implemented as at least one execution program for executing the control method as described above, and the execution program may be stored in a non-transitory readable medium.

Abstract

냉장고의 객체 인식 방법이 개시된다. 개시된 냉장고의 객체 인식 방법은, 냉장고의 저장실을 촬영한 촬영 이미지를 획득하는 단계, 기 저장된 기존 이미지에 비해 상기 촬영 이미지의 변화가 확인되면, 상기 저장실을 촬영한 촬상 장치의 촬상 방향의 변화를 확인하는 단계 및 상기 촬상 방향이 유지된 상태이면 상기 촬영 이미지에 대한 객체 인식 동작을 수행하는 단계를 포함한다.

Description

냉장고, 서버 및 냉장고의 객체 인식 방법
본 개시는 냉장고, 서버 및 이의 객체 인식 방법에 관한 것으로, 보다 상세하게는 냉장고의 기존 이미지와 현재 촬영된 이미지를 비교하여 촬상 방향의 변화 여부를 확인하는 냉장고, 서버 및 냉장고의 객체 인식 방법에 관한 것이다.
냉장고는 냉매를 이용하는 냉동 사이클(refrigeration cycle)을 통해 먹고 마실 수 있는 음식(또는, 식품, food)을 냉장 보관 또는 냉동 보관 가능한 전자 장치(또는, 가전 장치)이다. 냉장고는 음식뿐만 아니라 약품(medicine), 주류(alcoholic liquor) 또는 화장품(cosmetics)을 보관할 수도 있다.
최근에는 냉장고에 보관된 음식을 관리하기 위해 냉장고의 저장실을 촬영하고 촬영된 이미지를 이용하여 보관된 음식에 대한 객체 인식을 수행하는 방법이 적용되고 있다. 이를 위해 냉장고는 도어의 전면에 부착된 카메라를 이용하여 저장실을 촬영할 수 있다.
그러나 사용자가 냉장고의 도어를 복수 회 여닫음에 따라 도어에 충격이 가해질 수 있고, 이로 인해 도어의 전면에 부착된 카메라의 촬상 방향에 변화가 발생할 수 있다. 촬상 방향이 변화된 상태에서 카메라가 저장실을 촬영하는 경우, 실제 저장실 내 보관된 음식에 변동이 없음에도 불구하고, 기존 이미지와 현재 촬영된 이미지 간에 큰 변화가 발생한 것으로 인식하여 추가적인 객체 인식을 수행할 수 있다. 이 경우, 객체 인식을 수행 시 리소스 사용으로 인한 비용이 발생한다는 점에서, 상술한 추가적인 객체 인식을 수행하는 것은 불필요한 비용이 증가하는 문제점이 있었다.
본 개시의 목적은 냉장고의 기존 이미지와 현재 촬영된 이미지를 비교하여 촬상 방향의 변화 여부를 확인하는 냉장고, 서버 및 냉장고의 객체 인식 방법을 제공하는데 있다.
본 개시의 일 실시 예에 따른 냉장고의 객체 인식 방법은, 상기 냉장고의 저장실을 촬영한 촬영 이미지를 획득하는 단계, 기 저장된 기존 이미지에 비해 상기 촬영 이미지의 변화가 확인되면, 상기 저장실을 촬영한 촬상 장치의 촬상 방향의 변화를 확인하는 단계 및 상기 촬상 방향이 유지된 상태이면 상기 촬영 이미지에 대한 객체 인식 동작을 수행하는 단계를 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따른 냉장고는, 식품을 저장하기 위한 저장실, 상기 저장실을 촬상하기 위한 촬상 장치, 상기 촬상 장치에서 기 촬상한 기존 이미지를 저장하는 메모리 및 상기 촬상 장치를 제어하여 상기 저장실을 촬상하여 촬영 이미지를 획득하고, 상기 기존 이미지에 비해 상기 촬영 이미지의 변화가 확인되면 상기 촬상 장치의 촬상 방향의 변화 여부를 확인하고, 상기 촬상 방향이 유지된 상태이면 상기 촬영 이미지에 대한 객체 인식 동작을 수행하는 프로세서를 포함할 수 있다,
한편, 본 개시의 일 실시 예에 따른 서버는 상기 냉장고로부터 기 수신한 기존 이미지를 저장하는 메모리, 상기 냉장고로부터 상기 냉장고의 저장실을 촬상한 촬영 이미지를 수신하는 통신 장치 및 상기 기존 이미지에 비해 상기 촬영 이미지의 변화가 확인되면 상기 촬영 이미지의 촬상 방향의 변화 여부를 확인하고, 상기 촬상 방향이 유지된 상태이면 상기 촬영 이미지에 대한 객체 인식 동작을 수행하는 프로세서를 포함할 수 있다.
-
도 1은 본 개시의 일 실시 예에 따른 냉장고의 간단한 구성을 설명하기 위한 블록도,
도 2는 본 개시의 일 실시 예에 따른 냉장고의 구체적인 구성을 도시한 블록도,
도 3은 본 개시의 일 실시 예에 따른 서버의 간단한 구성을 설명하기 위한 블록도,
도 4는 본 개시의 일 실시 예에 따른 서버의 구체적인 구성을 도시한 블록도,
도 5는 본 개시의 일 실시 예에 따른 촬상 방향의 변화가 발생한 예를 도시한 도면,
도 6 내지 도 9는 본 개시의 일 실시 예에 따른 이미지 내 복수의 특징점을 이용한 촬상 방향의 변화 확인 방법의 예를 도시한 도면,
도 10은 본 개시의 일 실시 예에 따른 인공 지능 모델을 이용한 촬상 방향의 변화 확인 방법의 예를 도시한 도면,
도 11은 본 개시의 일 실시 예에 따른 객체 인식 방법을 설명하기 위한 흐름도,
도 12는 본 개시의 일 실시 예에 따른 객체 인식 방법을 구체적으로 설명하기 위한 흐름도,
도 13은 제1 실시 예에 따른 냉장고 및 서버를 이용한 객체 인식 방법을 설명하기 위한 시퀀스도, 그리고,
도 14는 제2 실시 예에 따른 냉장고 및 서버를 이용한 객체 인식 방법을 설명하기 위한 시퀀스도이다.
-
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 냉장고의 간단한 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 냉장고(100)는 저장실(110), 촬상 장치(120), 메모리(130) 및 프로세서(140)를 포함한다.
저장실(110)은 냉장고(100) 내부에 배치되어 식품을 보관하는 장소이다. 저장실(110)은 대략 섭씨 0 ~ 5도로 유지되어 식품을 냉장 보관하는 냉장실 또는 대략 섭씨 영하 30 ~ 0도로 유지되어 식품을 냉동 보관하는 냉동실로 사용될 수 있다.
저장실(110)은 식품을 출납하도록 전면이 개방되게 마련되고, 개방된 전면은 도어(미도시)에 의해 개폐될 수 있다. 저장실(110)에는 식품을 올려놓을 수 있는 선반 등이 배치될 수 있다.
촬상 장치(120)는 촬상 방향에 대응되는 기설정된 영역에 대한 촬영 이미지를 취득한다. 구체적으로, 촬상 장치(120)는 저장실(110)을 마주보는 도어의 일 측면에 배치되어 저장실(110)을 향하는 촬상 방향을 가질 수 있다. 그리고 촬상 장치(120)는 촬상 방향에 대응되는 저장실(110) 내 기설정된 영역에 대한 촬영 이미지를 취득할 수 있다.
여기서 촬상 방향은 촬상 장치(120)의 렌즈가 향하는 방향이다. 촬상 방향이 변화함에 따라 렌즈를 통해 맺히는 상이 변화할 수 있다. 따라서, 촬상 방향이 변화하면 이에 대응되는 기설정된 영역 또한 변화할 수 있다. 여기서 기설정된 영역이란 촬상 장치(120)가 렌즈를 통해 감지할 수 있는 고유의 감지 영역을 의미한다.
그리고 촬상 장치(120)는 복수 개 구비되어 복수의 촬상 방향 각각에 대응되는 복수의 기설정된 영역 각각의 촬영 이미지를 취득할 수 있다. 구체적으로, 촬상 장치(120)는 저장실(110)을 마주보는 도어의 일측면에 기설정된 간격으로 배치되어 저장실(110) 내 복수의 촬상 방향 각각에 대응되는 복수의 기설정된 영역에 대한 촬영 이미지를 취득할 수 있다.
그리고 촬상 장치(120)는 기설정된 이벤트가 발생 시 기설정된 영역 내의 촬영 이미지를 취득할 수 있다. 여기서 기설정된 이벤트란, 냉장고(100)의 턴-온 이벤트, 기설정된 주기 도달 이벤트 또는 냉장고(100)의 도어의 닫힘 이벤트 등에 해당될 수 있으며, 상술한 예에 한하지 않는다.
메모리(130)는 프로세서(140)의 처리 또는 제어를 위한 프로그램 등 냉장고(100) 전반의 동작을 위한 다양한 데이터를 저장한다. 구체적으로, 메모리(130)는 냉장고(100)에서 구동되는 다수의 응용 프로그램, 냉장고(100)의 동작을 위한 데이터 및 명령어들을 저장할 수 있다.
그리고 메모리(130)는 프로세서(140)에 의해 액세스 되며, 프로세서(140)에 의한 데이터 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 이러한 메모리(130)는 냉장고(100) 내의 저장매체뿐만 아니라, 외부 저장 매체, USB 메모리를 포함한 Removable Disk, 네트워크를 통한 웹서버(Web server) 등으로 구현될 수 있다.
그리고 메모리(130)는 촬상 장치(120)가 촬영한 이미지를 저장할 수 있다. 구체적으로, 메모리(130)는 촬상 장치(120)가 저장실(110)의 내부를 촬영한 이미지를 저장할 수 있다.
프로세서(140)는 냉장고(100) 내의 각 구성에 대해서 제어를 수행한다. 구체적으로, 프로세서(140)는 특정 기능에 대한 명령을 수신하면 해당 기능의 수행과 관련된 구성의 동작을 제어할 수 있다.
그리고 프로세서(140)는 냉장고의 저장실(110) 내에 수용된 식품에 대한 객체 인식을 수행할 수 있다. 구체적으로, 프로세서(140)는 촬상 장치(120)가 촬영한 저장실(110)의 촬영 이미지를 이용하여 객체 인식을 수행할 수 있다. 예를 들어, 프로세서(140)는 촬영 이미지를 분석하여 저장실(110) 내에 수용된 음식의 종류, 음식의 개수, 수용 시점, 유통 기한 정보 등의 확인을 수행할 수 있다.
그러나 프로세서(140)가 촬상 장치(120)에서 촬영된 촬영 이미지 모두에 대하여 객체 인식을 수행하는 경우 상당히 많은 연산량이 요구된다. 따라서 프로세서(140)는 현재 촬영된 촬영 이미지에 대하여 객체 인식을 수행하기에 앞서 각 촬영 이미지에 대하여 객체 인식의 수행의 필요 여부를 결정할 수 있다.
종래에는, 프로세서(140)가 순차적으로 촬영된 촬영 이미지를 비교하고, 촬영 이미지에 변화 영역이 발생한 것을 확인하면 객체의 변화가 발생한 것으로 판단하고 객체 인식을 수행하는 것으로 결정하였다. 또한, 프로세서(140)는 변화 영역이 발생하지 않은 것을 확인하면 객체의 변화가 없는 것으로 판단하여 객체 인식을 수행하지 않는 것으로 결정하였다.
그러나 사용자가 냉장고의 도어를 복수 회 여닫음에 따라 촬상 장치(120)에 충격을 가할 수 있고, 그에 따라 촬상 장치(120)의 촬상 방향이 미세하게 변할 수 있다. 이 경우, 촬상 방향의 변화로 인해 실제 저장실(110) 내 수용된 식품의 변화가 없음에도 불구하고, 촬영된 이미지에 변화 영역이 발생할 수 있다.
즉, 순차적으로 촬영된 이미지 각각에 대한 객체 인식의 결과가 동일하게 산출될 경우에도 불구하고 프로세서(140)는 객체 인식을 수행할 필요성이 있는 것으로 결정하는 문제점이 있었다.
예를 들어, 도 5를 참조하면, 촬상 방향의 변화가 발생한 예를 확인할 수 있다. 구체적으로, 도 5a 및 도 5b의 이미지를 참조하면, 저장실(110) 내에 파인애플, 통조림, 포도 및 사과가 수용되어 있으며, 실제 각 객체의 개수 또는 위치 등이 변화하지 않음을 확인할 수 있다. 따라서, 도 5a에 대한 객체 인식 결과와 도 5b의 객체 인식 결과는 동일할 수 있다.
그러나 도 5b의 촬상 방향은 도 5a의 촬상 방향과 미세하게 상이함을 확인할 수 있다. 예를 들어, 사과를 담는 그릇의 오른쪽 끝부분이 도 5b에서는 촬영되지 않음을 확인할 수 있다. 이와 같이 촬상 방향이 변화한 경우, 도 5a의 각 픽셀과 이에 대응되는 도 5b의 이미지의 각 픽셀을 비교하면 그 값에 차이가 발생하므로, 도 5a 및 도 5b는 서로 상이한 이미지로 판단하여 불필요한 객체 인식을 수행할 수 있다.
이와 같은 문제점을 해결하기 위해, 프로세서(140)는 촬상 방향의 변화 여부를 추가적으로 확인하여 객체 인식의 수행 여부를 결정할 수 있다. 구체적으로, 프로세서(140)는 촬영된 이미지의 객체 움직임 여부 및 촬상 방향의 변화 여부를 모두 확인하여 객체 인식 수행 여부를 결정할 수 있다.
보다 구체적으로, 프로세서(140)는 객체 움직임이 발생하고 촬상 방향 변화도 발생한 경우(①), 객체 움직임은 발생했으나 촬상 방향은 변화하지 않은 경우(②), 객체 움직임은 발생하지 않았으나 촬상 방향은 변화한 경우(③), 그리고 객체 움직임 및 촬상 방향의 변화 모두 발생하지 않은 경우(④) 중에서 각 촬영 이미지가 해당하는 경우를 분석할 수 있다.
그리고 프로세서(140)는 촬영 이미지가 상술한 복수의 경우 중에서 ①, ②에 해당하면 객체 움직임이 발생했으므로 객체 인식을 수행하고, ④에 해당하면 촬영 이미지에 변화가 발생하지 않은 것이므로 객체 인식을 수행하지 않는 것으로 결정할 수 있다. 또한, 프로세서(140)는 ③에 해당하면 실질적으로 객체의 움직임은 발생하지 않은 경우이므로 객체 인식을 수행하지 않는 것으로 결정할 수 있다.
종래에는, 촬영 이미지가 ③의 경우에 해당되더라도 프로세서(140)가 객체 인식을 수행하였으나, 본 개시에서는 ③의 경우에 해당되는 경우 객체 인식을 수행하지 않도록 결정할 수 있는바, 추가적인 객체 인식 수행으로 인한 연산량을 줄일 수 있는 효과를 갖는다. 프로세서(140)의 객체 인식 수행의 필요 여부 결정의 구체적인 동작은 이하에서 설명한다.
먼저, 프로세서(140)는 촬상 장치(120)를 제어하여 촬영 이미지를 획득할 수 있다. 구체적으로, 프로세서(140)는 저장실(110) 내부를 촬영하도록 촬상 장치(120)를 제어하여 촬영 이미지를 획득할 수 있다. 프로세서(140)는 획득한 촬영 이미지를 메모리(130)에 저장할 수 있다.
그리고 프로세서(140)는 획득한 촬영 이미지와 기존 이미지를 비교하여 촬영 이미지의 변화 영역의 발생 유무를 확인할 수 있다. 여기서 기존 이미지란, 촬상 장치(120)가 과거에 저장실(110) 내부를 촬영하여 획득한 촬영 이미지를 의미한다. 또한, 기존 이미지는 과거에 획득된 복수의 촬영 이미지 중 가장 최근에 획득된 것일 수 있다.
구체적으로, 프로세서(140)는 기존 이미지의 각 픽셀 값과 이에 대응되는 촬영 이미지의 각 픽셀 값을 비교하여 픽셀 값 변화 영역을 검출함으로써 촬영 이미지의 변화 영역의 발생 유무를 확인할 수 있다.
만약, 픽셀 값 변화 영역이 검출되지 않은 경우, 기존 이미지 및 촬영 이미지가 동일한 이미지임을 의미한다. 즉, 상술한 4종류의 경우 중 객체 움직임 및 촬상 방향의 변화 모두 발생하지 않은 경우(④)에 해당하는 것을 의미하므로, 프로세서(140)는 촬영 이미지에 대한 객체 인식을 수행하지 않는 것으로 결정할 수 있다.
반면, 픽셀 값 변화 영역이 검출된 경우, 프로세서(140)는 검출된 영역의 크기를 확인하고, 그 크기가 기설정된 크기를 초과하는지 여부에 따라 객체 인식 수행 여부를 결정하거나 추가적으로 촬상 방향의 변화 여부를 확인할 수 있다.
구체적으로, 만약 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우, 촬영 이미지 중 국소적인 영역에 한해 변화 영역이 발생한 것을 의미한다. 촬상 방향의 변화가 발생한 경우에는 촬영 이미지의 변화 영역의 크기가 국소적인 영역이 아닌 전체적인 영역에서 발생한다는 점에서, 프로세서(140)는 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우에는 촬상 방향의 변화가 없는 것으로 판단할 수 있고, 발생한 변화 영역은 객체의 움직임에 기한 것으로 판단할 수 있다.
즉, 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우, 촬영 이미지의 픽셀 값 변화 영역이 실제 객체의 움직임으로부터 기인한 것인바, 촬영 이미지는 상술한 4종류의 경우 중 객체 움직임은 발생했으나 촬상 방향은 변화하지 않은 경우(②)에 해당할 수 있다. 따라서, 프로세서(140)는 촬영 이미지에 대한 객체 인식을 수행하는 것으로 결정할 수 있다.
이와 같이 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우에는 촬상 방향의 변화 여부의 확인 없이도 객체 인식을 수행하는 것으로 결정할 수 있는바, 연산량을 줄일 수 있는 효과를 갖는다.
반면, 변화 영역의 크기가 기설정된 크기를 초과하는 경우, 실제 객체의 변화가 발생했을 가능성뿐만 아니라, 촬상 방향의 변화가 발생했을 가능성이 존재하는바, 프로세서(140)는 촬상 방향의 변화 여부 확인을 추가적으로 수행할 수 있다.
만약, 촬상 방향이 변화하지 않은 것으로 확인된 경우, 촬영 이미지의 픽셀 값 변화 영역이 실제 객체의 움직임으로부터 기인한 것인바, 실제로 저장실(110) 내 수용된 식품에 대한 변화가 발생한 경우에 해당할 수 있다. 즉, 프로세서(140)는 촬영 이미지가 상술한 4종류의 경우 중 객체 움직임은 발생했으나 촬상 방향은 변화하지 않은 경우(②)에 해당하므로, 촬영 이미지에 대한 객체 인식을 수행하는 것으로 결정할 수 있다.
반면, 촬상 방향이 변화된 것으로 확인된 경우, 프로세서(140)는 객체의 움직임의 발생 여부에 따라 객체 인식의 수행 여부를 결정할 수 있다. 구체적으로, 프로세서(140)는 객체 움직임이 발생하고 촬상 방향 변화도 발생한 경우(①)에는 객체 인식을 수행하는 것으로 결정할 수 있다.
반면, 프로세서(140)는 객체 움직임은 발생하지 않았으나 촬상 방향은 변화한 경우(③)에는 촬영 이미지의 픽셀 값 변화 영역이 실제 저장실(110) 내 수용된 식품에 대한 변화로 인한 것이 아닌 촬상 방향의 변화로 인한 것을 의미하므로 객체 인식을 수행하지 않는 것으로 결정할 수 있다.
한편, 촬상 방향의 변화 및 객체 움직임의 발생 여부를 확인하는 구체적인 설명은 도 6 내지 도 10과 관련하여 후술한다.
이때, 프로세서(140)는 촬영 이미지를 메모리(130)에 저장된 기존 이미지를 대체하여 메모리(130)에 저장하고, 이후 촬영된 촬영 이미지에 대한 객체 인식 수행 여부의 판단 시 비교 대상으로서 활용할 수 있다.
그리고 프로세서(140)는 객체 인식을 수행하기로 결정한 경우, 촬영 이미지를 이용하여 객체 인식을 수행할 수 있다. 프로세서(140)는 객체 인식 결과를 디스플레이를 통해 사용자에게 표시할 수 있다.
반면, 객체 인식을 수행하지 않기로 결정한 경우, 프로세서(140)는 기존 이미지를 이용하여 기 수행된 객체 인식 결과를 다시 사용할 수 있다. 즉, 촬영 이미지와 기존 이미지 간의 변화가 발생하지 않은 것으로 판단하거나 촬상 방향의 변화가 발생한 것으로 판단한 경우에는, 프로세서(140)는 기존 이미지에 대한 객체 인식 결과를 사용할 수 있다.
한편, 도 1을 도시하고 설명함에 있어서, 촬상 장치가 냉장고 내에 구비되는 것으로 도시하고 설명하였지만, 구현시에는 냉장고와 별개의 장치로서 촬상 장치가 구비될 수 있다. 이 경우 촬상 장치가 냉장고에 부착되는 방식 등을 통해 냉장고의 저장실을 촬영하고, 촬영 이미지를 유선 또는 무선 통신을 통해 냉장고로 전송하고, 냉장고가 수신한 촬영 이미지를 이용하여 객체 인식을 수행하는 방식으로 구현할 수 있다. 또는, 촬상 장치가 냉장고의 저장실을 촬영한 기존 이미지와 촬영 이미지를 모두 저장하고, 직접 촬영 이미지에 대한 촬상 방향 변화 여부를 확인할 수 있다. 또는, 촬상 장치가 촬상 방향 변화 결과에 따른 객체 인식 동작을 수행할 수 있다. 또한, 상술한 동작은 촬상 장치 외에도 기타 외부 장치에서 수행될 수 있다.
또한, 이상에서는 냉장고를 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 2를 참조하여 이하에서 설명한다.
도 2는 본 개시의 일 실시 예에 따른 냉장고의 구체적인 구성을 도시한 블록도이다.
도 2를 참조하면, 본 개시의 일 실시 예에 따른 냉장고(100)는 저장실(110), 촬상 장치(120), 메모리(130), 프로세서(140), 통신 장치(150), 입력 장치(160) 및 디스플레이(170)로 구성될 수 있다.
저장실(110), 촬상 장치(120), 메모리(130) 및 프로세서(140)는 도 1의 구성과 동일한 기능을 수행하는바 중복 설명은 생략한다.
통신 장치(150)는 외부 장치(미도시)와 연결되며, 외부 장치로부터 각종 데이터를 송수신할 수 있다. 구체적으로 통신 장치(150)는 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 외부 장치에 접속되는 형태뿐만 아니라, USB(Universal Serial Bus) 포트 또는 무선 통신(예를 들어, WiFi 802.11a/b/g/n, NFC, Bluetooth) 포트를 통하여 접속되는 형태도 가능하다. 여기서 외부 장치는 PC, 노트북, 스마트폰, 서버 등일 수 있다.
그리고 통신 장치(150)는 외부 장치로 촬상 장치(120)가 촬영한 촬영 이미지를 전송할 수 있다. 구체적으로, 통신 장치(150)는 외부 장치로 저장실(110) 내 기설정된 영역에 대한 촬영 이미지를 전송할 수 있다. 외부 장치는 수신한 촬영 이미지를 이용하여 객체 인식을 수행하고, 객체 인식 결과를 다시 통신 장치(150)로 전송할 수 있다.
이 경우, 프로세서(140)는 직접 촬영 이미지에 대한 객체 인식을 수행하지 않고도 외부 장치로부터 수신한 객체 인식 결과를 디스플레이(170)를 통해 사용자에게 표시할 수 있다. 한편, 외부 장치와의 통신을 통해 객체 인식 수행 결과를 획득하는 동작에 대한 구체적인 설명은 도 13 및 도 14와 관련하여 후술한다.
입력 장치(160)는 냉장고(100)에서 지원하는 각종 기능을 사용자가 설정 또는 선택할 수 있는 다수의 기능키를 구비할 수 있다. 이를 통하여 사용자는 냉장고(100)에 대한 각종 구동 명령을 입력할 수 있다. 예를 들어, 사용자는 입력 장치(160)를 통해 냉장고의 냉방 세기에 대한 명령을 입력할 수 있다.
그리고 입력 장치(160)는 객체 인식 결과에 대한 사용자의 피드백으로서, 저장실(110) 내 수용된 식품에 대한 정보를 입력받을 수 있다. 예를 들어, 사용자가 저장실(110)에 새로 구입한 포도를 넣은 경우, 객체 인식 결과로서 포도가 새롭게 인식될 수 있고, 사용자는 새로 인식된 포도에 대하여 유통기한 정보 등 식품과 관련된 정보를 입력할 수 있다.
디스플레이(170)는 냉장고(100)에서 제공되는 각종 정보를 표시할 수 있다. 구체적으로, 디스플레이(170)는 냉장고(100)의 동작 상태를 표시하거나, 사용자가 선택한 기능 및 옵션 선택을 위한 사용자 인터페이스 창을 표시할 수 있다. 그리고 디스플레이(170)는 입력 장치(160)의 기능을 동시에 수행할 수 있는 터치 스크린의 형태로 구현될 수 있다.
그리고 디스플레이(170)는 프로세서(140)가 수행한 객체 인식 결과 또는 통신 장치(150)를 통해 수신한 외부 장치의 객체 인식 결과를 표시할 수 있다. 예를 들어, 저장실(110) 내 수용된 포도의 식품 이름, 식품의 카테고리, 최초 수용 시점, 수용 위치 등에 대한 정보를 표시할 수 있다.
종래에는 촬상 장치의 촬상 방향이 변화된 경우에도 냉장고가 촬영 이미지에 대한 객체 인식을 수행하였다. 이 경우, 실제 저장실에 수용된 식품에 대한 변화가 발생하지 않았음에도 불구하고 촬영 이미지에 변화가 발생했음을 이유로 냉장고가 추가적인 객체 인식을 수행하여 많은 연산량을 요하게 되는 문제점이 있었다.
반면, 상술한 바와 같이 본 실시 예에 따른 냉장고는 촬영 이미지와 기존 이미지를 비교하여 촬상 방향의 변화 유무를 확인하고, 단순히 촬상 방향의 변화가 발생한 것으로 확인된 경우에는 추가적인 객체 인식을 수행하지 않는 것으로 결정함으로써 연산량을 줄이는 효과를 갖는다.
도 3은 본 개시의 일 실시 예에 따른 서버의 간단한 구성을 설명하기 위한 블록도이다.
도 3을 참조하면, 서버(200)는 메모리(210), 통신 장치(220) 및 프로세서(230)를 포함한다.
메모리(210)는 프로세서(230)의 처리 또는 제어를 위한 프로그램 등 서버(200) 전반의 동작을 위한 다양한 데이터를 저장한다. 구체적으로, 메모리(210)는 서버(200)에서 구동되는 다수의 응용 프로그램, 서버(200)의 동작을 위한 데이터 및 명령어들을 저장할 수 있다.
그리고 메모리(210)는 프로세서(230)에 의해 액세스 되며, 프로세서(230)에 의한 데이터 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 이러한 메모리(210)는 서버(200) 내의 저장매체뿐만 아니라, 외부 저장 매체, USB 메모리를 포함한 Removable Disk, 네트워크를 통한 웹서버(Web server) 등으로 구현될 수 있다.
그리고 메모리(210)는 통신 장치(220)를 통해 수신한 촬영 이미지를 저장할 수 있다. 구체적으로, 메모리(210)는 통신 장치(220)를 통해 냉장고(100)로부터 수신한 저장실 내 기설정된 영역에 대한 촬영 이미지를 저장할 수 있다.
통신 장치(220)는 외부 장치(미도시)와 연결되며, 외부 장치로부터 각종 데이터를 송수신할 수 있다. 구체적으로 통신 장치(220)는 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 외부 장치에 접속되는 형태뿐만 아니라, USB(Universal Serial Bus) 포트 또는 무선 통신(예를 들어, WiFi 802.11a/b/g/n, NFC, Bluetooth) 포트를 통하여 접속되는 형태도 가능하다. 여기서 외부 장치는 냉장고, PC, 노트북, 스마트폰, 서버 등일 수 있다.
그리고 통신 장치(220)는 냉장고(100)로부터 저장실 내 기설정된 영역에 대한 촬영 이미지를 수신할 수 있다.
프로세서(230)는 서버(200) 내의 각 구성에 대해서 제어를 수행한다. 구체적으로, 프로세서(230)는 특정 기능에 대한 명령을 수신하면 해당 기능의 수행과 관련된 구성의 동작을 제어할 수 있다.
그리고 프로세서(230)는 수신한 촬영 이미지를 이용하여 냉장고(100)에 수용된 식품에 대한 객체 인식을 수행할 수 있다. 그러나 프로세서(230)가 수신한 촬영 이미지 모두에 대하여 객체 인식을 수행하는 경우 상당히 많은 연산량이 요구된다. 따라서 프로세서(230)는 현재 수신한 촬영 이미지에 대하여 객체 인식을 수행하기에 앞서 객체 인식 수행의 필요 여부를 결정할 수 있다.
구체적으로, 프로세서(230)는 촬영된 이미지의 객체 움직임 여부 및 촬상 방향의 변화 여부를 모두 확인하여 객체 인식 수행 여부를 결정할 수 있다.
보다 구체적으로, 프로세서(230)는 객체 움직임이 발생하고 촬상 방향 변화도 발생한 경우(①), 객체 움직임은 발생했으나 촬상 방향은 변화하지 않은 경우(②), 객체 움직임은 발생하지 않았으나 촬상 방향은 변화한 경우(③), 그리고 객체 움직임 및 촬상 방향의 변화 모두 발생하지 않은 경우(④) 중에서 각 촬영 이미지가 해당하는 경우를 분석할 수 있다.
그리고 프로세서(230)는 촬영 이미지가 상술한 복수의 경우 중에서 ①, ②에 해당하면 객체 움직임이 발생했으므로 객체 인식을 수행하고, ④에 해당하면 촬영 이미지에 변화가 발생하지 않은 것이므로 객체 인식을 수행하지 않는 것으로 결정할 수 있다. 또한, 프로세서(230)는 ③에 해당하면 실질적으로 객체의 움직임은 발생하지 않은 경우이므로 객체 인식을 수행하지 않는 것으로 결정할 수 있다. 프로세서(140)의 객체 인식 수행의 필요 여부 결정의 구체적인 동작은 이하에서 설명한다.
먼저, 프로세서(230)는 통신 장치(220)를 통해 냉장고(100)의 촬영 이미지를 획득할 수 있다. 프로세서(230)는 획득한 촬영 이미지를 메모리(210)에 저장할 수 있다.
그리고 프로세서(230)는 획득한 촬영 이미지와 기존 이미지를 비교하여 촬영 이미지의 변화 유무를 확인할 수 있다. 여기서 기존 이미지란, 통신 장치(220)가 과거에 수신한 냉장고(100) 내부의 촬영 이미지를 의미한다. 또한, 기존 이미지는 과거에 수신한 복수의 촬영 이미지 중 가장 최근에 수신한 것일 수 있다.
구체적으로, 프로세서(230)는 기존 이미지의 각 픽셀 값과 이에 대응되는 촬영 이미지의 각 픽셀을 비교하여 픽셀 값 변화 영역을 검출함으로써 촬영 이미지의 변화 유무를 확인할 수 있다.
만약, 픽셀 값 변화 영역이 검출되지 않은 경우, 즉, 상술한 4종류의 경우 중 객체 움직임 및 촬상 방향의 변화 모두 발생하지 않은 경우(④)에 해당하는 것을 의미하므로, 프로세서(230)는 촬영 이미지에 대한 객체 인식을 수행하지 않는 것으로 판단할 수 있다.
반면, 픽셀 값 변화 영역이 검출된 경우, 프로세서(230)는 검출된 영역의 크기를 확인하고, 그 크기가 기설정된 크기를 초과하는지 여부에 따라 객체 인식 수행 여부를 결정하거나 추가적으로 촬상 방향의 변화 여부를 확인할 수 있다.
구체적으로, 만약 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우, 촬영 이미지 중 국소적인 영역에 한해 변화 영역이 발생한 것을 의미한다. 촬상 방향의 변화가 발생한 경우에는 촬영 이미지의 변화 영역의 크기가 국소적인 영역이 아닌 전체적인 영역에서 발생한다는 점에서, 프로세서(230)는 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우에는 촬상 방향의 변화가 없는 것으로 판단할 수 있고, 발생한 변화 영역은 객체의 움직임에 기한 것으로 판단할 수 있다.
즉, 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우, 촬영 이미지의 픽셀 값 변화 영역이 실제 객체의 움직임으로부터 기인한 것인바, 촬영 이미지는 상술한 4종류의 경우 중 객체 움직임은 발생했으나 촬상 방향은 변화하지 않은 경우(②)에 해당할 수 있다. 따라서, 프로세서(230)는 촬영 이미지에 대한 객체 인식을 수행하는 것으로 결정할 수 있다.
이와 같이 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우에는 촬상 방향의 변화 여부의 확인 없이도 객체 인식을 수행하는 것으로 결정할 수 있는바, 연산량을 줄일 수 있는 효과를 갖는다.
반면, 변화 영역의 크기가 기설정된 크기를 초과하는 경우, 실제 객체의 변화가 발생했을 가능성뿐만 아니라, 촬상 방향의 변화가 발생했을 가능성이 존재하는바, 프로세서(230)는 촬상 방향의 변화 여부 확인을 추가적으로 수행할 수 있다.
만약, 촬상 방향이 변화하지 않은 것으로 확인된 경우, 촬영 이미지의 픽셀 값 변화 영역이 실제 객체의 움직임으로부터 기인한 것인바, 실제로 냉장고(100) 내 수용된 식품에 대한 변화가 발생한 경우에 해당할 수 있다. 즉, 프로세서(230)는 촬영 이미지가 상술한 4종류의 경우 중 객체 움직임은 발생했으나 촬상 방향은 변화하지 않은 경우(②)에 해당하므로, 촬영 이미지에 대한 객체 인식을 수행하는 것으로 결정할 수 있다.
반면, 촬상 방향이 변화된 것으로 확인된 경우, 프로세서(230)는 객체의 움직임의 발생 여부에 따라 객체 인식의 수행 여부를 결정할 수 있다. 구체적으로, 프로세서(230)는 객체 움직임이 발생하고 촬상 방향 변화도 발생한 경우(①)에는 객체 인식을 수행하는 것으로 결정할 수 있다.
반면, 프로세서(230)는 객체 움직임은 발생하지 않았으나 촬상 방향은 변화한 경우(③)에는 촬영 이미지의 픽셀 값 변화 영역이 실제 냉장고(100) 내 수용된 식품에 대한 변화로 인한 것이 아닌 촬상 방향의 변화로 인한 것을 의미하므로 객체 인식을 수행하지 않는 것으로 결정할 수 있다.
한편, 촬상 방향의 변화 및 객체 움직임의 발생 여부를 확인하는 구체적인 설명은 도 6 내지 도 10과 관련하여 후술한다.
이 경우, 프로세서(230)는 촬영 이미지를 메모리(210)에 저장된 기존 이미지를 대체하여 메모리(210)에 저장하고, 이후 수신한 촬영 이미지에 대한 객체 인식 수행 여부의 판단 시 비교 대상으로서 활용할 수 있다.
그리고 프로세서(230)는 객체 인식을 수행하기로 결정한 경우, 촬영 이미지를 이용하여 객체 인식을 수행할 수 있다. 프로세서(230)는 객체 인식 결과를 통신 장치(220)를 통해 냉장고(100)로 전송할 수 있다.
반면, 객체 인식을 수행하지 않기로 결정한 경우, 프로세서(230)는 기존 이미지를 이용하여 기 수행된 객체 인식 결과를 다시 사용할 수 있다. 즉, 촬영 이미지와 기존 이미지 간의 변화가 발생하지 않은 것으로 판단하거나 촬상 방향의 변화가 발생한 것으로 판단한 경우에는, 프로세서(230)는 기존 이미지에 대한 객체 인식 결과를 통신 장치(220)를 통해 냉장고(100)로 전송할 수 있다.
한편, 도 3을 도시하고 설명함에 있어서, 냉장고로부터 촬영 이미지를 수신하는 것으로 도시하고 설명하였지만, 구현시에는 냉장고를 촬영한 별도의 촬상 장치로부터 촬영 이미지를 수신하는 방식으로 구현할 수 있다.
또한, 이상에서는 서버를 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 4를 참조하여 이하에서 설명한다.
도 4는 본 개시의 일 실시 예에 따른 서버의 구체적인 구성을 도시한 블록도이다.
도 4를 참조하면, 서버(200)는 메모리(210), 통신 장치(220), 프로세서(230), 입력 장치(240) 및 디스플레이(250)로 구성될 수 있다.
메모리(210), 통신 장치(220) 및 프로세서(230)는 도 3의 구성과 동일한 기능을 수행하는바 중복 설명은 생략한다.
입력 장치(240)는 서버(200)에서 지원하는 각종 기능을 사용자가 설정 또는 선택할 수 있는 다수의 기능키를 구비할 수 있다. 이를 통하여 사용자는 서버(200)에 대한 각종 구동 명령을 입력할 수 있다.
그리고 입력 장치(240)는 디스플레이(250)에 표시되는 메뉴를 통해 입력 받을 수 있다. 또한, 입력 장치(240)는 복수의 버튼, 키보드, 마우스 등으로 구현될 수 있으며, 후술할 디스플레이(250)의 기능을 동시에 수행할 수 있는 터치 스크린으로도 구현될 수도 있다.
디스플레이(250)는 서버(200)에서 제공하는 각종 메시지를 표시할 수 있다. 예를 들어, 디스플레이(250)는 서버(200)가 제공하는 각종 기능을 선택 받기 위한 사용자 인터페이스 창을 표시할 수 있다. 이러한 디스플레이(250)는 LCD, CRT, OLED 등과 같은 모니터일 수 있으며, 상술한 입력 장치(240)의 기능을 동시에 수행할 수 있는 터치 스크린으로 구현될 수도 있다.
종래에는 수신한 촬영 이미지의 촬상 방향이 변화된 경우에도 서버가 촬영 이미지에 대한 객체 인식을 수행하였다. 이 경우, 실제 냉장고에 수용된 식품에 대한 변화가 발생하지 않았음에도 불구하고 촬영 이미지에 변화가 발생했음을 이유로 서버가 추가적인 객체 인식을 수행하여 많은 연산량을 요하게 되는 문제점이 있었다.
반면, 상술한 바와 같이 본 실시 예에 따른 서버는 촬영 이미지와 기존 이미지를 비교하여 촬상 방향의 변화 유무를 확인하고, 단순히 촬상 방향의 변화가 발생한 것으로 확인된 경우에는 추가적인 객체 인식을 수행하지 않는 것으로 결정함으로써 연산량을 줄이는 효과를 갖는다.
도 6 내지 도 9는 본 개시의 일 실시 예에 따른 복수의 특징점을 이용한 촬상 방향의 변화 확인 방법의 예를 도시한 도면이다.
냉장고 또는 서버의 프로세서(140, 230)는 옵티컬 플로우(Optical Flow) 방식에 따라 기존 이미지 및 촬영 이미지 내 복수의 특징점의 위치 변화를 기초로 촬상 방향의 변화 유무를 확인할 수 있다. 이에 대한 구체적인 동작은 이하에서 설명한다.
도 6은 본 개시의 일 실시 예에 따른 이미지 내 복수의 특징점의 위치 변화의 예를 도시한 도면이다. 도 6a는 기존 이미지에 대응되고, 도 6b는 촬영 이미지에 대응된다.
먼저 프로세서(140, 230)는 기존 이미지 내 복수의 특징점을 확인하고, 이에 대응되는 복수의 특징점을 촬영 이미지로부터 검출할 수 있다.
구체적으로, 도 6a를 참조하면, 기존 이미지 내에 부채꼴 형태의 피자 한 조각의 이미지가 위치하고, 부채꼴 형태의 모서리 부분에 3개의 검은 점이 표시된 것을 확인할 수 있다.
그리고 도 6b를 참조하면, 촬영 이미지 내에 부채꼴 형태의 피자 한 조각의 위치가 우측 상단으로 이동하였고, 부채꼴 형태의 모서리 부분의 3개의 검은 점 또한 우측 상단으로 함께 이동한 것을 확인할 수 있다.
여기서 표시된 검은 점은 이미지 내 객체의 특징점으로, 코너(Corner) 또는 선분의 끝점 등 배경 또는 다른 객체와 구분할 수 있는 특징을 갖는 점을 의미한다. 특징점은 2차원의 좌표로 구성될 수 있으며, 촬영 이미지가 3차원 이미지인 경우 특징점은 3차원의 좌표로 구성될 수 있다.
즉, 프로세서(140, 230)는 도 6a의 기존 이미지로부터 복수의 특징점을 확인할 수 있고, 도 6b의 촬영 이미지로부터 기존 이미지의 복수의 특징점에 대응되는 복수의 특징점을 검출할 수 있다.
한편, 프로세서(140, 230)는 기존 이미지로부터 복수의 특징점을 확인하였으나, 촬영 이미지로부터 기존 이미지의 복수의 특징점에 대응되는 복수의 특징점을 발견하지 못할 수 있다. 이 경우, 기존 이미지에서 확인할 수 있는 객체가 이동함에 따라 촬영 이미지에서 기존 이미지의 복수의 특징점에 대응되는 복수의 특징점을 발견이 어려운 경우에 해당된다.
따라서 프로세서(140, 230)는 촬영 이미지로부터 기존의 이미지의 복수의 특징점에 대응되는 복수의 특징점을 확인하지 못하는 경우, 객체에 변화가 발생한 것으로 보아, 촬상 방향은 변화하지 않은 것으로 결정할 수 있다.
구체적으로, 프로세서(140, 230)는 기존 이미지의 복수의 특징점의 개수 및 촬영 이미지의 복수의 특징점의 개수를 확인하고, 특징점들의 개수 변화 비율이 기설정된 임계 비율을 초과하면 촬상 방향이 변화하지 않은 것으로 결정할 수 있다.
예를 들어, 기존 이미지에서는 10개의 특징점이 확인되었으나, 촬영 이미지에서는 5개의 특징점만이 확인되는 경우, 확인되지 않는 5개의 특징점에 대응되는 객체가 이동한 것으로 보아, 촬상 방향은 변화하지 않은 것으로 결정할 수 있다.
만약, 촬영 이미지로부터 기존 이미지의 복수의 특징점에 대응되는 복수의 특징점이 검출된 경우, 프로세서(140, 230)는 기존 이미지의 복수의 특징점 및 촬영 이미지의 복수의 특징점 각각의 이동 거리 및 이동 방향을 비교하여 이미지 내 객체가 이동한 것인지 아니면 촬상 방향이 변화된 것인지를 구분할 수 있다. 이에 대해서는 도 7 내지 도 9를 참조하여 이하에서 설명한다.
도 7 내지 도 9는 본 개시의 일 실시 예에 따른 촬영 이미지 내 복수의 특징점의 이동 거리 및 이동 방향의 예를 도시한 도면이다. 여기서, 화살표의 방향은 각 특징점의 이동 방향에 대응되고, 화살표의 길이는 각 특징점의 이동 거리에 대응될 수 있다.
도 7을 참조하면, 촬영 이미지의 복수의 특징점의 화살표가 모두 동일한 방향 및 동일한 길이를 갖는 것을 확인할 수 있다. 즉, 촬영 이미지의 복수의 특징점이 동일한 이동 방향 및 동일한 이동 거리에 따라 이동한 것을 확인할 수 있다.
이 경우, 프로세서(140, 230)는 촬영 이미지가 객체 움직임은 발생하지 않았으나 촬상 방향은 변화한 경우(③)에 해당하는 것으로 판단할 수 있다. 따라서, 프로세서(140, 230)는 객체 인식을 수행하지 않은 것으로 결정할 수 있다.
도 8을 참조하면, 촬영 이미지 중 점선의 사각형으로 표시된 영역의 화살표는 우하향하는 방향을 갖는 반면, 나머지 영역의 화살표는 우상향하는 방향을 갖는 것을 확인할 수 있다. 이 경우, 프로세서(140, 230)는 점선의 사각형으로 표시된 영역의 특징점에 대응되는 객체가 이동하였고, 촬상 방향은 유지된 것으로 판단할 수 있다.
즉, 프로세서(140, 230)는 촬영 이미지가 객체 움직임이 발생하고 촬상 방향 변화도 발생한 경우(①)에 해당하는 것으로 판단할 수 있다. 따라서, 프로세서(140, 230)는 객체 인식을 수행하는 것으로 결정할 수 있다.
도 9를 참조하면, 촬영 이미지의 복수의 특징점의 이동 방향 및 이동 거리가 각각 상이한 것을 확인할 수 있다. 이 경우에 프로세서(140, 230)는 객체가 이동하였고, 촬상 방향은 유지된 것으로 판단할 수 있다.
즉, 프로세서(140, 230)는 촬영 이미지가 객체 움직임은 발생했으나 촬상 방향은 변화하지 않은 경우(②)에 해당하는 것으로 판단할 수 있다. 따라서, 프로세서(140, 230)는 객체 인식을 수행하는 것으로 결정할 수 있다.
이와 같이 프로세서(140, 230)는 상술한 바와 같이 특징점 각각의 이동 거리 및 이동 방향을 비교하여 객체의 움직임 발생 여부 및 촬상 방향의 변화 여부를 확인할 수 있다. 한편, 이동 거리 및 이동 방향을 비교하기 위해, 프로세서(140, 230)는 기존 이미지의 복수의 특징점 및 촬영 이미지의 복수의 특징점 각각의 픽셀 좌표 값을 비교하여, 촬영 이미지의 복수의 특징점 각각의 좌표 변화량을 산출할 수 있다.
그리고 프로세서(140, 230)는 산출한 좌표 변화량을 이용하여 촬영 이미지의 복수의 특징점 각각의 이동 거리 및 이동 방향을 산출하여, 산출한 이동 거리 및 이동 방향을 기초로 촬상 방향의 변화 여부를 확인할 수 있다.
여기서 산출한 좌표 변화량이 (x,y)인 경우, 이동 거리는
Figure PCTKR2019012645-appb-img-000001
이고, 이동 방향은 기울기 형태로 계산된
Figure PCTKR2019012645-appb-img-000002
으로 산출할 수 있다. 또는 이동 방향은 각도 형태로 계산된
Figure PCTKR2019012645-appb-img-000003
으로 산출할 수 있다.
구체적으로, 프로세서(140, 230)는 산출한 촬영 이미지의 복수의 특징점 각각의 이동 거리 및 이동 방향이 기설정된 오차 범위에서 일치하면 촬상 방향이 변화된 것으로 판단할 수 있다.
반면, 프로세서(140, 230)는 촬영 이미지의 복수의 특징점 중 적어도 하나의 특징점의 이동 거리 또는 이동 방향이 기설정된 오차 범위 이상의 차이를 갖는 경우 촬상 방향이 유지된 것으로 판단할 수 있다.
또한, 여기서 기설정된 오차 범위는, 복수의 특징점 각각의 이동 거리 및 이동 방향에 일정 차이가 존재하더라도 촬상 장치의 이미지 촬영 시 오차 범위에 포함될 수 있는 범위를 의미한다.
이와 같이 프로세서(140, 230)는 기존 이미지 및 촬영 이미지 내 복수의 특징점의 위치 변화를 기초로 촬상 방향의 변화 유무를 확인할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 인공 지능 모델을 이용한 촬상 방향의 변화 확인 방법의 예를 도시한 도면이다.
냉장고 또는 서버의 프로세서(140, 230)는 복수의 특징점을 이용하는 방법 외에도 인공 지능 모델을 이용하여 촬상 방향의 변화 유무를 확인할 수 있다. 이에 대한 구체적인 동작은 이하에서 설명한다.
도 10을 참조하면, 프로세서(1000)는 학습부(1010) 및 획득부(1020) 중 적어도 하나를 포함할 수 있다. 도 10의 프로세서(1000)는 냉장고(100)의 프로세서(140), 서버(200)의 프로세서(230) 또는 데이터 학습 서버(미도시)의 프로세서에 대응될 수 있다.
학습부(1010)는 촬상 방향의 변화 여부를 식별하기 위한 모델을 생성 또는 학습할 수 있다. 구체적으로, 학습부(1010)는 수집된 학습 데이터를 이용하여 촬상 방향의 변화 여부를 식별하기 위한 인공 지능 모델을 생성할 수 있다.
여기서 인공 지능 모델은 기계 학습 및 기계 학습을 활용한 요소 기술들로 구성될 수 있다. 기계 학습은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이며, 요소 기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성될 수 있다.
또한, 인공 지능 모델에는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), CRNN(Convolutional Recurrent Neural Network) 등에 해당될 있으며, 상술한 예에 한하지 않는다.
여기서 학습 데이터는 동일한 객체에 대하여 위, 아래, 왼쪽 또는 오른쪽 방향으로 조금씩 이동하여 촬영된 이미지들의 그룹 또는 동일한 이미지에 대하여 위, 아래, 왼쪽 또는 오른쪽 방향으로 조금씩 잘라낸 이미지들의 그룹 등에 해당할 수 있다. 한편, 학습 데이터는 상술한 예에 한하지 않는다.
즉, 학습부(1010)는 학습 데이터로서 촬상 방향이 변화된 이미지들의 그룹을 입력 데이터로 사용하여 촬상 방향의 변화 여부를 식별하는 모델을 생성 또는 학습할 수 있다.
그리고 획득부(1020)는 기존 이미지와 촬영 이미지를 학습된 모델의 입력 데이터로 사용하여 촬상 장치의 변화 여부를 식별할 수 있다.
이와 같이, 프로세서(1000)는 학습부(1010)를 통해 촬상 방향 변화를 식별하는 인공 지능 모델을 생성하고, 획득부(1020)를 통해 인공 지능 모델을 이용하여 현재 촬영된 촬영 이미지의 촬상 방향의 변화 여부를 식별할 수 있다.
한편, 학습부(1010) 및 획득부(1020)는 서버와 같은 하나의 전자 장치에 탑재될 수 있으며, 또는 별개의 전자 장치에 각각 탑재될 수 있다. 예를 들어, 학습부(1010)는 데이터 학습 서버에 탑재되고, 획득부(1020)는 서버(200) 또는 냉장고(100)에 탑재될 수 있다. 이 경우, 유선 또는 무선 통신을 이용하여 학습부(1010)가 구축한 모델 정보가 획득부(1020)로 제공될 수 있다.
도 11은 본 개시의 일 실시 예에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.
도 11을 참조하면, 본 개시의 일 실시 예에 따른 객체 인식 방법은 냉장고(100)의 프로세서(140) 또는 서버(200)의 프로세서(230)를 통해 수행될 수 있다.
먼저, 저장실 내부를 촬영한 촬영 이미지를 획득한다(S1110). 구체적으로, 냉장고의 프로세서는 촬상 장치를 이용하여 촬영 이미지를 획득할 수 있고, 서버의 프로세서는 통신 장치를 통해 냉장고로부터 촬영 이미지를 수신하여 촬영 이미지를 획득할 수 있다.
그리고 기존 이미지 대비 촬영 이미지의 변화가 확인되면 촬상 방향의 변화를 확인한다(S1120). 여기서 기존 이미지란, 냉장고가 과거에 촬상 장치를 이용하여 저장실을 촬영함으로써 획득한 촬영 이미지 또는 서버가 냉장고로부터 과거에 수신함으로써 획득한 촬영 이미지이다. 또한, 기존 이미지는 과거에 획득한 복수의 촬영 이미지 중 가장 최근에 획득한 이미지일 수 있다.
구체적으로, 기존 이미지의 각 픽셀 값과 이에 대응되는 촬영 이미지의 각 픽셀을 비교하여 픽셀 값 변화 영역을 검출함으로써 촬영 이미지의 변화 유무를 확인할 수 있다.
촬상 방향의 변화 여부는 기존 이미지 내의 복수의 특징점과 이에 대응되는 촬영 이미지의 복수의 특징점을 이용하여 확인할 수 있다.
구체적으로, 기존 이미지로부터 복수의 특징점을 확인하고, 이에 대응되는 복수의 특징점을 촬영 이미지로부터 확인할 수 있다. 이때, 기존 이미지에서 확인되는 객체가 이동함에 따라 촬영 이미지에서 복수의 특징점의 일부가 발견되지 않는 경우, 촬상 방향이 유지된 것으로 판단할 수 있다.
보다 구체적으로, 기존 이미지의 복수의 특징점의 개수 및 촬영 이미지의 복수의 특징점의 개수 간의 변화 비율이 기 설정된 임계 비율을 초과하면 촬상 방향이 유지된 것으로 판단할 수 있다.
또는, 복수의 특징점 각각의 이동 거리 및 이동 방향을 비교하여 촬상 방향의 변화 여부를 확인할 수 있다. 구체적으로, 기존 이미지 내의 복수의 특징점과 이에 대응되는 촬영 이미지 내의 복수의 특징점을 검출하고, 각각의 특징점들의 픽셀 좌표 값을 비교하여, 촬영 이미지의 복수의 특징점 각각의 좌표 변화량을 산출할 수 있다.
그리고 산출한 좌표 변화량을 이용하여 촬영 이미지의 복수의 특징점 각각의 이동 거리 및 이동 방향을 산출하여, 산출한 이동 거리 및 이동 방향을 기초로 촬상 방향의 변화 여부를 확인할 수 있다.
보다 구체적으로, 산출한 촬영 이미지의 복수의 특징점 각각의 이동 거리 및 이동 방향이 기설정된 오차 범위에서 일치하면 촬상 방향이 변화된 것으로 판단할 수 있다. 반면, 촬영 이미지의 복수의 특징점 중 적어도 하나의 특징점의 이동 거리 또는 이동 방향이 기설정된 오차 범위 이상의 차이를 갖는 경우 촬상 방향이 유지된 것으로 판단할 수 있다.
그리고 인공 지능 모델을 이용하여 촬상 방향의 변화를 확인할 수 있다. 구체적으로, 인공 지능 모델에 기존 이미지와 촬영 이미지를 입력하여 촬상 장치의 변화 여부를 식별할 수 있다.
여기서 인공 지능 모델은, 동일한 객체에 대하여 위, 아래, 왼쪽 또는 오른쪽 방향으로 조금씩 이동하여 촬영된 이미지들의 그룹 또는 동일한 이미지에 대하여 위, 아래, 왼쪽 또는 오른쪽 방향으로 조금씩 잘라낸 이미지들의 그룹 등을 학습 데이터로 삼아 촬상 방향 변화 여부를 식별하도록 학습된 모델이다.
또한, 인공 지능 모델의 종류는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), CRNN(Convolutional Recurrent Neural Network) 등에 해당할 수 있으며, 이에 한하지 않는다.
그리고 촬상 방향이 유지된 경우 촬영 이미지에 대한 객체 인식을 수행한다(S1130). 반면, 촬상 방향이 변화된 상태인 경우, 촬영 이미지에 대한 객체 인식을 수행하지 않고, 기존 이미지를 대체하여 촬영 이미지를 저장할 수 있다. 또한, 기존 이미지에 대해 수행된 객체 인식 결과를 다시 사용할 수 있다.
따라서, 본 개시의 객체 인식 방법은 촬영 이미지와 기존 이미지를 비교하여 촬상 방향의 변화 유무를 확인하고, 단순히 촬상 방향의 변화가 발생한 것으로 확인된 경우에는 추가적인 객체 인식을 수행하지 않는 것으로 결정함으로써 연산량을 줄이는 효과를 갖는다. 도 11과 같은 객체 인식 방법은, 도 1 또는 도 2의 구성을 가지는 냉장고 및 도 3 또는 도 4의 구성을 가지는 서버 상에서도 실행될 수 있으며, 그 밖의 다른 구성을 가지는 냉장고 또는 서버 상에서도 실행될 수 있다.
또한, 상술한 바와 같은 제어 방법은, 상술한 바와 같은 제어 방법을 실행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적인 판독 가능 매체에 저장될 수 있다.
비 일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 애플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
도 12는 본 개시의 일 실시 예에 따른 객체 인식 방법을 구체적으로 설명하기 위한 흐름도이다.
도 12를 참조하면, 먼저 냉장고의 저장실 촬영 이미지를 획득할 수 있다(S1210). 구체적으로, 냉장고의 경우 촬상 장치를 통해 저장실을 촬영한 촬영 이미지를 획득할 수 있고, 서버의 경우 통신 장치를 통해 냉장고로부터 저장실의 촬영 이미지를 수신할 수 있다.
그리고 기존 이미지 대비 촬영 이미지의 변화 발생 여부를 확인할 수 있다(S1220). 구체적으로, 기존 이미지의 각 픽셀 값과 이에 대응되는 촬영 이미지의 각 픽셀 값을 비교하여 픽셀 값 변화 영역을 검출함으로써 촬영 이미지의 변화 유무를 확인할 수 있다.
만약, 촬영 이미지의 변화 발생 영역이 검출되지 않는 경우(S1220-N), 촬영 이미지에 대한 객체 인식을 수행하지 않는 것으로 결정할 수 있다. 반면, 촬영 이미지의 변화 발생 영역이 검출되는 경우(S1220-Y), 변화 발생 영역의 크기가 기 설정된 크기를 초과하는지 여부를 확인할 수 있다(S1230).
만약 변화 발생 영역의 크기가 기 설정된 크기를 초과하지 않는 경우(S1230-N), 촬영 이미지에 대한 객체 인식을 수행할 수 있다(S1250).
반면, 변화 발생 영역의 크기가 기 설정된 크기를 초과하는 경우(S1230-Y), 촬영 이미지의 촬상 방향의 변화 여부를 확인할 수 있다(S1240). 촬상 방향의 변화 여부를 확인하는 동작은 냉장고 또는 서버의 프로세서의 동작과 관련하여 상술한 부분에서 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
만약, 촬상 방향의 변화가 발생한 경우(S1240-Y), 촬영 이미지에 대한 객체 인식을 수행하지 않는 것으로 결정할 수 있다. 반면, 촬상 방향의 변화가 발생하지 않은 경우(S1240-N), 촬영 이미지에 대한 객체 인식을 수행할 수 있다(S1250).
따라서, 본 개시의 객체 인식 방법은 촬영 이미지의 변화 영역의 크기에 따라 촬상 방향의 변화를 확인하는 동작의 수행 여부가 결정되는바, 명확히 촬상 방향이 유지된 상태임에도 불구하고 촬상 방향 변화를 확인하는 동작을 수행하는 것을 방지하는 효과를 갖는다. 도 12와 같은 객체 인식 방법은, 도 1 또는 도 2의 구성을 가지는 냉장고 및 도 3 또는 도 4의 구성을 가지는 서버 상에서도 실행될 수 있으며, 그 밖의 다른 구성을 가지는 냉장고 또는 서버 상에서도 실행될 수 있다.
또한, 상술한 바와 같은 제어 방법은, 상술한 바와 같은 제어 방법을 실행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적인 판독 가능 매체에 저장될 수 있다.
도 13은 제1 실시 예에 따른 냉장고 및 서버를 이용한 객체 인식 방법을 설명하기 위한 시퀀스도이다.
먼저, 서버(200)는 냉장고(100)의 저장실을 촬영한 기존 이미지를 저장할 수 있다(S1310). 구체적으로, 서버(200)는 냉장고(100)와의 통신을 통해 냉장고(100)에서 기 촬영한 저장실 내 촬영 이미지를 수신하여 저장할 수 있다.
그리고 냉장고(100)는 촬상 장치를 이용하여 저장실을 촬영하고, 촬영 이미지를 획득할 수 있다(S1320). 그리고 냉장고(100)는 촬영한 저장실 이미지를 서버(200)에 전송할 수 있다(S1330).
그리고 서버(200)는 기존 이미지에 비해 수신한 촬영 이미지에 변화 발생 여부를 확인할 수 있다(S1340).
만약 변화 발생 영역이 검출되지 않는 경우, 서버(200)는 추가적인 객체 인식을 수행하지 않고 기존 이미지에 대해 수행된 객체 인식 결과를 냉장고(100)에 전송할 수 있다.
반면, 변화 발생 영역이 검출된 경우, 서버(200)는 변화 발생 영역의 크기가 기 설정된 크기를 초과하는지 여부를 확인할 수 있다(S1350). 만약, 변화 발생 영역의 크기가 기 설정된 크기를 초과하지 않는 경우, 촬영 이미지에 대한 객체 인식을 수행할 수 있다. 반면, 변화 발생 영역의 크기가 기 설정된 크기를 초과하는 경우, 촬상 방향의 변화 여부를 확인할 수 있다(S1360).
만약 촬상 방향이 유지된 경우, 촬영 이미지에 대하여 객체 인식을 수행할 수 있다(S1370). 반면, 촬상 방향이 유지되지 않은 경우, 기존 이미지에 대해 수행된 객체 인식 결과를 냉장고(100)에 전송할 수 있다.
그리고 서버(200)는 촬영 이미지에 대해 객체 인식을 수행한 경우, 촬영 이미지에 대한 객체 인식 결과를 냉장고(100)에 전송하고, 촬영 이미지에 대해 객체 인식을 수행하지 않은 경우, 기존 이미지에 대한 객체 인식 결과를 냉장고(100)에 전송할 수 있다(S1380).
그리고 냉장고(100)는 수신한 객체 인식 결과를 이용하여 사용자에게 객체 정보를 표시할 수 있다(S1390). 구체적으로, 냉장고(100)는 디스플레이를 통해 사용자에게 객체 정보를 표시할 수 있다.
따라서, 본 개시의 객체 인식 방법은 냉장고가 직접 객체 인식을 수행하지 않고도 객체 인식 정보를 획득하여 사용자에게 제공할 수 있는 효과를 갖는다. 도 13과 같은 객체 인식 방법은, 도 1 또는 도 2의 구성을 가지는 냉장고 및 도 3 또는 도 4의 구성을 가지는 서버 상에서도 실행될 수 있으며, 그 밖의 다른 구성을 가지는 냉장고 또는 서버 상에서도 실행될 수 있다.
또한, 상술한 바와 같은 제어 방법은, 상술한 바와 같은 제어 방법을 실행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적인 판독 가능 매체에 저장될 수 있다.
도 14는 제2 실시 예에 따른 냉장고 및 서버를 이용한 객체 인식 방법을 설명하기 위한 시퀀스도이다.
먼저, 냉장고(100)는 저장실을 촬영한 기존 이미지를 저장할 수 있다(S1410). 그리고 냉장고(100)는 촬상 장치를 이용하여 저장실을 촬영하고, 촬영 이미지를 획득할 수 있다(S1420).
그리고 냉장고(100)는 기존 이미지에 비해 촬영 이미지에 변화의 발생 여부를 확인할 수 있다(S1430).
만약 변화 발생 영역이 검출되지 않는 경우, 냉장고(100)는 촬영 이미지에 대한 촬상 방향 변화 여부를 확인하지 않고 기존 이미지를 객체 인식 대상 정보로서 서버(200)에 전송할 수 있다.
반면, 변화 발생 영역이 검출된 경우, 냉장고(100)는 변화 발생 영역의 크기가 기 설정된 크기를 초과하는지 여부를 확인할 수 있다(S1440). 만약, 변화 발생 영역의 크기가 기 설정된 크기를 초과하지 않는 경우, 촬영 이미지를 객체 인식 대상정보로서 서버(200)에 전송할 수 있다. 반면, 변화 발생 영역의 크기가 기 설정된 크기를 초과하는 경우, 촬상 방향의 변화 여부를 확인할 수 있다(S1450).
만약 촬상 방향이 유지된 경우, 촬영 이미지를 객체 인식 대상 정보로서 서버(200)에 전송할 수 있다. 반면, 촬상 방향이 유지되지 않은 경우, 기존 이미지를 객체 인식 대상 정보로서 서버(200)에 전송할 수 있다(S1460).
그리고 서버(200)는 수신한 객체 인식 대상에 따라 객체 인식을 수행할 수 있다(S1470). 예를 들어, 수신한 객체 인식 대상이 촬영 이미지인 경우, 촬영 이미지에 대해 객체 인식을 수행할 수 있고, 수신한 객체 인식 대상이 기존 이미지인 경우, 추가적인 객체 인식을 수행하지 않고 기 수행된 기존 이미지에 대한 객체 인식 결과를 확인할 수 있다.
그리고 서버(200)는 객체 인식 대상에 대응되는 객체 인식 결과를 냉장고(100)에 전송할 수 있다(S1480).
그리고 냉장고(100)는 수신한 객체 인식 결과를 이용하여 사용자에게 객체 정보를 표시할 수 있다(S1490). 구체적으로, 냉장고(100)는 디스플레이를 통해 사용자에게 객체 정보를 표시할 수 있다.
따라서, 본 개시의 객체 인식 방법은 냉장고가 촬상 방향의 변화 여부를 확인하여 객체 인식 대상을 결정하고, 결정된 객체 인식 대상을 서버에 전송하는바, 서버가 촬상 방향의 변화 여부를 확인할 필요 없어 서버의 연산량을 줄여주는 효과를 갖는다. 도 14와 같은 객체 인식 방법은, 도 1 또는 도 2의 구성을 가지는 냉장고 및 도 3 또는 도 4의 구성을 가지는 서버 상에서도 실행될 수 있으며, 그 밖의 다른 구성을 가지는 냉장고 또는 서버 상에서도 실행될 수 있다.
또한, 상술한 바와 같은 제어 방법은, 상술한 바와 같은 제어 방법을 실행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적인 판독 가능 매체에 저장될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대해서 도시하고, 설명하였으나, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
-
-

Claims (15)

  1. 냉장고의 객체 인식 방법에 있어서,
    상기 냉장고의 저장실을 촬영한 촬영 이미지를 획득하는 단계;
    기 저장된 기존 이미지에 비해 상기 촬영 이미지의 변화가 확인되면, 상기 저장실을 촬영한 촬상 장치의 촬상 방향의 변화를 확인하는 단계; 및
    상기 촬상 방향이 유지된 상태이면 상기 촬영 이미지에 대한 객체 인식 동작을 수행하는 단계;를 포함하는 냉장고의 객체 인식 방법.
  2. 제1항에 있어서,
    상기 촬상 방향이 변화된 상태이면 상기 기존 이미지를 대체하여 상기 촬영 이미지를 저장하는 단계;를 더 포함하는 냉장고의 객체 인식 방법.
  3. 제1항에 있어서,
    상기 촬상 방향의 변화를 확인하는 단계는,
    상기 기존 이미지와 상기 촬영 이미지 내의 각 픽셀들을 비교하여, 픽셀 값 변화 영역을 검출하는 단계; 및
    상기 픽셀 값 변화 영역의 면적이 기 설정된 크기보다 크면, 상기 촬상 방향의 변화를 확인하는 단계;를 포함하는 냉장고의 객체 인식 방법.
  4. 제3항에 있어서,
    상기 촬상 방향의 변화를 확인하는 단계는,
    상기 기존 이미지 내의 복수의 제1 특징점에 대응되는 복수의 제2 특징점을 상기 촬영 이미지로부터 검출하는 단계; 및
    상기 복수의 제1 특징점 및 상기 복수의 제2 특징점 각각의 픽셀 좌표 값을 비교하여, 상기 복수의 제2 특징점의 이동 거리 및 이동 방향을 산출하고, 상기 산출한 이동 거리 및 이동 방향을 기초로 상기 촬상 방향의 변화를 확인하는 단계;를 포함하는 냉장고의 객체 인식 방법.
  5. 제4항에 있어서,
    상기 이동 거리 및 이동 방향을 기초로 상기 촬상 방향의 변화를 확인하는 단계는,
    상기 복수의 제2 특징점의 이동 거리 및 이동 방향이 기 설정된 오차 범위 내에서 일치하면 상기 촬상 방향이 변화된 것으로 판단하고, 상기 복수의 제2 특징점 중 적어도 하나의 제2 특징점의 이동 거리 또는 이동 방향이 나머지 제2 특징점의 이동 거리 또는 이동 방향과 상기 기 설정된 오차 범위보다 상이하면 상기 촬상 방향이 유지된 것으로 판단하는, 냉장고의 객체 인식 방법.
  6. 제4항에 있어서,
    상기 촬상 방향의 변화를 확인하는 단계는,
    상기 복수의 제2 특징점의 개수 및 상기 복수의 제1 특징점의 개수 간의 변화 비율이 기 설정된 임계 비율을 초과하면, 상기 촬상 방향이 유지된 것으로 판단하는, 냉장고의 객체 인식 방법.
  7. 제1항에 있어서,
    상기 촬상 방향의 변화를 확인하는 단계는,
    상기 촬상 방향의 변화를 식별하도록 설정된 인공 지능 모델을 이용하여, 상기 촬상 방향의 변화를 확인하고,
    상기 인공 지능 모델은,
    CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), CRNN(Convolutional Recurrent Neural Network) 중 적어도 하나인, 냉장고의 객체 인식 방법.
  8. 냉장고에 있어서,
    식품을 저장하기 위한 저장실;
    상기 저장실을 촬상하기 위한 촬상 장치;
    상기 촬상 장치에서 기 촬상한 기존 이미지를 저장하는 메모리; 및
    상기 촬상 장치를 제어하여 상기 저장실을 촬상하여 촬영 이미지를 획득하고, 상기 기존 이미지에 비해 상기 촬영 이미지의 변화가 확인되면 상기 촬상 장치의 촬상 방향의 변화 여부를 확인하고, 상기 촬상 방향이 유지된 상태이면 상기 촬영 이미지에 대한 객체 인식 동작을 수행하는 프로세서;를 포함하는 냉장고.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 촬상 방향이 변화된 상태이면 상기 기존 이미지를 대체하여 상기 촬영 이미지를 상기 메모리에 저장하는 냉장고.
  10. 제8항에 있어서,
    상기 프로세서는,
    상기 기존 이미지와 상기 촬영 이미지 내의 각 픽셀들을 비교하여 픽셀 값 변화 영역을 검출하고, 상기 픽셀 값 변화 영역의 면적이 기 설정된 크기보다 크면 상기 촬상 방향의 변화를 확인하는 냉장고.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 기존 이미지 내의 복수의 제1 특징점에 대응되는 복수의 제2 특징점을 상기 촬영 이미지로부터 검출하고, 상기 복수의 제1 특징점 및 상기 복수의 제2 특징점 각각의 픽셀의 좌표 값을 비교하여, 상기 복수의 제2 특징점의 이동 거리 및 이동 방향을 산출하고, 상기 산출한 이동 거리 및 이동 방향을 기초로 상기 촬상 방향의 변화를 확인하는 냉장고.
  12. 제11항에 있어서,
    상기 복수의 제2 특징점의 이동 거리 및 이동 방향이 기 설정된 오차 범위 내에서 일치하면 상기 촬상 방향이 변화된 것으로 판단하고, 상기 복수의 제2 특징점 중 적어도 하나의 제2 특징점의 이동 거리 또는 이동 방향이 나머지 제2 특징점의 이동 거리 또는 이동 방향과 상기 기설정된 오차 범위보다 상이하면 상기 촬상 방향이 유지된 것으로 판단하는 냉장고.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 복수의 제2 특징점의 개수 및 상기 복수의 제1 특징점의 개수 간의 변화 비율이 기 설정된 임계 비율을 초과하면, 상기 촬상 방향이 유지된 것으로 판단하는 냉장고.
  14. 제8항에 있어서,
    상기 프로세서는,
    상기 촬상 방향의 변화를 식별하도록 설정된 인공 지능 모델을 이용하여 촬상 방향의 변화를 확인하고,
    상기 인공 지능 모델은,
    CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), CRNN(Convolutional Recurrent Neural Network) 중 적어도 하나인 냉장고.
  15. 서버에 있어서,
    냉장고의 저장실을 촬상한 기존 이미지를 저장하는 메모리;
    상기 냉장고로부터 상기 냉장고의 저장실을 촬상한 촬영 이미지를 수신하는 통신 장치; 및
    상기 기존 이미지에 비해 상기 촬영 이미지의 변화가 확인되면 상기 촬영 이미지의 촬상 방향의 변화 여부를 확인하고, 상기 촬상 방향이 유지된 상태이면 상기 촬영 이미지에 대한 객체 인식 동작을 수행하는 프로세서;를 포함하는 서버.
PCT/KR2019/012645 2018-10-01 2019-09-27 냉장고, 서버 및 냉장고의 객체 인식 방법 WO2020071692A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19869916.7A EP3806033B1 (en) 2018-10-01 2019-09-27 Refrigerator, server, and object recognition method of refrigerator
US17/268,009 US11594019B2 (en) 2018-10-01 2019-09-27 Refrigerator, server, and object recognition method of refrigerator
CN201980064087.XA CN112789652A (zh) 2018-10-01 2019-09-27 冰箱、服务器和冰箱的对象识别方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0117133 2018-10-01
KR1020180117133A KR20200037657A (ko) 2018-10-01 2018-10-01 냉장고, 서버 및 냉장고의 객체 인식 방법

Publications (1)

Publication Number Publication Date
WO2020071692A1 true WO2020071692A1 (ko) 2020-04-09

Family

ID=70055570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/012645 WO2020071692A1 (ko) 2018-10-01 2019-09-27 냉장고, 서버 및 냉장고의 객체 인식 방법

Country Status (5)

Country Link
US (1) US11594019B2 (ko)
EP (1) EP3806033B1 (ko)
KR (1) KR20200037657A (ko)
CN (1) CN112789652A (ko)
WO (1) WO2020071692A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6884258B1 (ja) 2020-08-31 2021-06-09 日東電工株式会社 粘着シート

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117611A1 (en) * 2001-12-24 2003-06-26 Jae Choon Chon Apparatus for calculating optical flow and camera motion using correlation matching and system model in moving image
KR20060070969A (ko) * 2004-12-21 2006-06-26 삼성전자주식회사 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체추출 장치 및 그 방법
KR20130067395A (ko) * 2011-12-14 2013-06-24 현대자동차주식회사 차량의 움직임 감지방법
KR101697520B1 (ko) * 2015-11-05 2017-02-02 경북대학교 산학협력단 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
KR101756620B1 (ko) * 2017-02-03 2017-07-12 구영모 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법
KR20170086165A (ko) * 2016-01-15 2017-07-26 에스케이텔레콤 주식회사 영상 내 특징점의 움직임 검출 장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100479616B1 (ko) 2002-03-09 2005-03-30 엘지전자 주식회사 냉장고내 정보 취득 장치 및 방법
EP2985553B1 (en) 2013-04-10 2020-08-26 LG Electronics Inc. Method for managing storage product in refrigerator using image recognition, and refrigerator for same
JP6296908B2 (ja) 2014-06-09 2018-03-20 三菱電機株式会社 冷蔵庫及びネットワークシステム
DE102015210899A1 (de) * 2015-06-15 2016-12-15 BSH Hausgeräte GmbH Verfahren zum Betreiben eines Haushaltsgeräts sowie entsprechendes Haushaltsgerät und System mit Haushaltsgerät
KR20170027246A (ko) * 2015-09-01 2017-03-09 삼성전자주식회사 냉장고
JP6575325B2 (ja) * 2015-11-27 2019-09-18 富士通株式会社 カメラ位置姿勢推定装置、カメラ位置姿勢推定方法およびカメラ位置姿勢推定プログラム
US9784497B2 (en) 2016-02-03 2017-10-10 Multimedia Image Solution Limited Smart refrigerator
KR102217024B1 (ko) 2018-03-13 2021-02-19 삼성전자주식회사 냉장고, 그 제어 방법 및 시스템
US11009941B2 (en) * 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117611A1 (en) * 2001-12-24 2003-06-26 Jae Choon Chon Apparatus for calculating optical flow and camera motion using correlation matching and system model in moving image
KR20060070969A (ko) * 2004-12-21 2006-06-26 삼성전자주식회사 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체추출 장치 및 그 방법
KR20130067395A (ko) * 2011-12-14 2013-06-24 현대자동차주식회사 차량의 움직임 감지방법
KR101697520B1 (ko) * 2015-11-05 2017-02-02 경북대학교 산학협력단 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
KR20170086165A (ko) * 2016-01-15 2017-07-26 에스케이텔레콤 주식회사 영상 내 특징점의 움직임 검출 장치 및 방법
KR101756620B1 (ko) * 2017-02-03 2017-07-12 구영모 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3806033A4 *

Also Published As

Publication number Publication date
EP3806033A1 (en) 2021-04-14
US20210209363A1 (en) 2021-07-08
EP3806033A4 (en) 2021-08-11
KR20200037657A (ko) 2020-04-09
US11594019B2 (en) 2023-02-28
CN112789652A (zh) 2021-05-11
EP3806033B1 (en) 2024-05-01

Similar Documents

Publication Publication Date Title
WO2019027258A1 (en) ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE ELECTRONIC DEVICE
WO2019000462A1 (zh) 人脸图像处理方法、装置、存储介质及电子设备
WO2018128403A1 (en) Apparatus and method for processing content
WO2019151735A1 (en) Vision inspection management method and vision inspection system
WO2021112446A1 (en) Pollution source determination robot cleaner and operating method thereof
WO2016022008A1 (en) Method and apparatus for environmental profile generation
WO2017099314A1 (ko) 사용자 정보를 제공하는 전자 장치 및 방법
EP3529774A1 (en) Apparatus and method for processing content
WO2015137666A1 (ko) 오브젝트 인식 장치 및 그 제어 방법
WO2020105871A1 (ko) 전자 장치 및 그 제어 방법
WO2023158152A1 (en) Method of processing multimodal tasks, and an apparatus for the same
WO2019172642A1 (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
EP3596667A1 (en) Electronic device and method for controlling the electronic device
WO2021049751A1 (ko) 인공 지능을 이용한 조리 기기 제어 방법 및 그 시스템
WO2021006482A1 (en) Apparatus and method for generating image
WO2020071692A1 (ko) 냉장고, 서버 및 냉장고의 객체 인식 방법
WO2020017814A1 (ko) 이상 개체 검출 시스템 및 방법
WO2019190142A1 (en) Method and device for processing image
WO2019190171A1 (ko) 전자 장치 및 그 제어 방법
EP3707678A1 (en) Method and device for processing image
WO2021145713A1 (ko) 가상 모델 생성 장치 및 방법
WO2021150033A1 (en) Electronic device and controlling method of electronic device
WO2018124464A1 (ko) 전자 장치 및 전자 장치의 검색 서비스 제공 방법
WO2020149493A1 (ko) 전자 장치 및 이의 제어 방법
WO2019231068A1 (en) Electronic device and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19869916

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019869916

Country of ref document: EP

Effective date: 20210107

NENP Non-entry into the national phase

Ref country code: DE