KR102145607B1 - Electric product - Google Patents

Electric product Download PDF

Info

Publication number
KR102145607B1
KR102145607B1 KR1020130075007A KR20130075007A KR102145607B1 KR 102145607 B1 KR102145607 B1 KR 102145607B1 KR 1020130075007 A KR1020130075007 A KR 1020130075007A KR 20130075007 A KR20130075007 A KR 20130075007A KR 102145607 B1 KR102145607 B1 KR 102145607B1
Authority
KR
South Korea
Prior art keywords
food
storage unit
camera
image
food storage
Prior art date
Application number
KR1020130075007A
Other languages
Korean (ko)
Other versions
KR20150001921A (en
Inventor
이중근
최원철
조순행
김재홍
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130075007A priority Critical patent/KR102145607B1/en
Priority to US14/317,942 priority patent/US20150002660A1/en
Publication of KR20150001921A publication Critical patent/KR20150001921A/en
Application granted granted Critical
Publication of KR102145607B1 publication Critical patent/KR102145607B1/en

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2825—Reporting to a device located outside the home and the home network
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Abstract

본 실시 예는 전기제품에 관한 것이다. 일 측면에 따른 전기제품은, 하나 이상의 식품 보관부를 가지는 본체; 상기 하나 이상의 식품 보관부에 설치되어, 입고되거나 출고되는 식품을 촬영하기 위한 하나 이상의 카메라; 및 상기 하나 이상의 카메라에서 촬영된 이미지에서 식품의 위치를 기준으로 입고 또는 출고 여부를 판단하고, 상기 촬영된 이미지에서 식품의 이미지를 추출하여 식품명을 판단하는 제어부를 포함한다. This embodiment relates to an electrical appliance. An electrical appliance according to an aspect includes: a main body having one or more food storage units; One or more cameras installed in the one or more food storage units for photographing food items that are stored or released; And a control unit that determines whether to store or release food from the image captured by the at least one camera, and determines a food name by extracting the image of the food from the captured image.

Description

전기제품{Electric product }Electric product}

본 발명은 전기제품에 관한 것이다. The present invention relates to electrical appliances.

일반적으로 전기 제품은 전기를 동력원으로 하여 특정 대상물을 관리 또는 처리하기 위한 장치로서 이해될 수 있다. In general, an electric product can be understood as a device for managing or processing a specific object using electricity as a power source.

종래의 전기 제품이 냉장고일 경우, 상기 냉장고는 저장실을 형성하는 본체와, 상기 본체를 선택적으로 차폐하는 도어를 포함한다. 상기 도어에는 냉장고의 작동상태를 디스플레이 하는 디스플레이 장치가 구비된다. When a conventional electric product is a refrigerator, the refrigerator includes a main body forming a storage compartment and a door selectively shielding the main body. The door is provided with a display device that displays an operating state of the refrigerator.

종래의 냉장고는, 한국공개특허 제2012-0117464호에 개시된 바와 같이, 고내에 수용된 식품을 포함하는 영상을 촬영하고, 현재 촬영된 영상과 이전에 촬영된 영상의 차영상을 기초로 식품의 입고 및 출고 여부를 확인한다. A conventional refrigerator, as disclosed in Korean Patent Application Publication No. 2012-0117464, photographs an image including food stored in the storage, and receives food based on the difference image between the currently photographed image and the previously photographed image. Check the delivery status.

그런데, 종래의 냉장고에 의하면, 입고되거나 출고되는 식품 외의 주변 식품이 함께 촬영되기 때문에, 해당 식품 자체의 고유 형상을 정확하게 파악하지 못하여, 해당 식품의 종류의 확인이 원활히 이루어지지 못하는 문제가 있으며, 저장된 식품의 위치가 의도치 않게 변경되는 경우에는 식품이 입고되거나 출고되지 않았음에도 불구하고 식품이 입고 또는 출고되었다고 판단되는 문제가 발생하게 한다. However, according to the conventional refrigerator, since neighboring foods other than the foods that are in or out of stock are photographed together, there is a problem in that the unique shape of the food itself cannot be accurately identified, so that the type of the food cannot be checked smoothly. If the location of the food is unintentionally changed, a problem in which food is judged to have been received or released despite the fact that the food is in stock or has not been released occurs.

본 발명의 목적은, 관리 대상인 식품에 관한 정보를 정확하게 인식할 수 있는 전기제품을 제공하는 것에 있다. An object of the present invention is to provide an electrical appliance capable of accurately recognizing information on foods to be managed.

일 측면에 따른 전기제품은, 하나 이상의 식품 보관부를 가지는 본체; 상기 하나 이상의 식품 보관부에 설치되어, 입고되거나 출고되는 식품을 촬영하기 위한 하나 이상의 카메라; 및 상기 하나 이상의 카메라에서 촬영된 이미지에서 식품의 위치를 기준으로 입고 또는 출고 여부를 판단하고, 상기 촬영된 이미지에서 식품의 이미지를 추출하여 식품명을 판단하는 제어부를 포함한다. An electrical appliance according to an aspect includes: a main body having one or more food storage units; One or more cameras installed in the one or more food storage units for photographing food items that are stored or released; And a control unit that determines whether to store or release food from the image captured by the one or more cameras based on the location of the food, and determines the food name by extracting the image of the food from the captured image.

다른 측면에 따른 전기제품은, 하나 이상의 식품 보관부를 가지는 본체; 상기 하나 이상의 식품 보관부에 설치되어, 입고되거나 출고되는 식품을 촬영하기 위한 하나 이상의 카메라; 및 상기 하나 이상의 카메라에서 촬영된 영상에서 식품의 이동 방향을 판단하고, 판단된 이동 방향을 기초로 입고 또는 출고 여부를 판단하는 제어부를 포함한다. An electrical appliance according to another aspect includes: a main body having one or more food storage units; One or more cameras installed in the one or more food storage units for photographing food items that are stored or released; And a control unit determining a moving direction of food from the images captured by the one or more cameras, and determining whether to store or release the food based on the determined moving direction.

제안되는 실시 예에 의하면, 입고 또는 출고 여부 뿐만 아니라, 인식 대상인 식품의 식품명을 정확하게 판단할 수 있는 장점이 있다. According to the proposed embodiment, there is an advantage in that it is possible to accurately determine the food name of the food to be recognized as well as whether to be stocked or released.

도 1은 제1실시 예에 따른 네트워크 장치의 구성을 보여주는 도면.
도 2는 상기 네트워크 장치를 구성하는 냉장고의 블럭도.
도 3은 제1실시 예에 따른 인식 장치의 일 예로 카메라가 냉장고에 설치된 모습을 보여주는 도면.
도 4는 제1실시 예에 따른 카메라에서 촬영된 이미지를 보여주는 도면.
도 5는 제1실시 예에 따른 냉장고의 식품인식방법을 설명하기 위한 흐름도.
도 6은 제2실시 예에 따른 카메라에서 촬영되는 이미지를 보여주는 도면.
도 7은 제3실시 예에 따른 인식 장치의 일 예로 다수의 카메라가 냉장고에 설치된 모습을 보여주는 도면.
도 8은 제3실시 예에 따른 제1 및 제2카메라에서 촬영된 이미지를 보여주는 도면
도 9는 제4실시 예에 따른 인식 장치의 일 예로 다수의 카메라가 냉장고에 설치된 모습을 보여주는 도면.
도 10은 제4실시 예에 따른 제1 및 제2카메라에서 촬영된 이미지를 보여주는 도면.
도 11은 제5실시 예에 따른 인식 장치의 일 예로 다수의 카메라가 냉장고에 설치된 모습을 보여주는 도면. 1 is a diagram showing a configuration of a network device according to a first embodiment.
2 is a block diagram of a refrigerator constituting the network device.
3 is a view showing a camera installed in a refrigerator as an example of a recognition device according to the first embodiment.
4 is a view showing an image captured by a camera according to the first embodiment.
5 is a flow chart illustrating a food recognition method of a refrigerator according to the first embodiment.
6 is a view showing an image captured by a camera according to a second embodiment.
7 is a view showing a state in which a plurality of cameras are installed in a refrigerator as an example of a recognition device according to a third embodiment.
8 is a diagram showing images captured by first and second cameras according to a third embodiment
9 is a view showing a state in which a plurality of cameras are installed in a refrigerator as an example of a recognition device according to a fourth embodiment.
10 is a view showing images captured by first and second cameras according to a fourth embodiment.
11 is a view showing a state in which a plurality of cameras are installed in a refrigerator as an example of a recognition device according to a fifth embodiment.

이하에서는 도면을 참조하여 본 발명의 실시 예 들에 대해서 구체적으로 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 제1실시 예에 따른 네트워크 장치의 구성을 보여주는 도면이고, 도 2는 상기 네트워크 장치를 구성하는 냉장고의 블럭도이다. 1 is a diagram showing a configuration of a network device according to a first embodiment, and FIG. 2 is a block diagram of a refrigerator configuring the network device.

도 1 및 도 2를 참조하면, 제1실시예에 따른 네트워크 장치는, 전기제품의 일 예로서 냉기가 발생되며 대상물(식품)을 저온의 상태에서 저장하는 냉장고(10)와, 상기 냉장고(10)에 통신 가능하게 연결되는 단말기(80) 및 상기 냉장고(10) 및 단말기(80)와 통신 가능하게 연결되며 소정 데이터를 저장하는 서버(70)를 포함할 수 있다. 1 and 2, the network device according to the first embodiment includes a refrigerator 10 for generating cold air and storing an object (food) at a low temperature as an example of an electrical appliance, and the refrigerator 10 ), and a server 70 that is communicatively connected to the refrigerator 10 and the terminal 80 and stores predetermined data.

상기 단말기(80)는, 소정의 정보가 표시되는 디스플레이부(82)를 포함한다. 상기 단말기 디스플레이부(82)에서는 상기 냉장고(10)에 저장된 식품 정보 또는 상기 냉장고(10)의 작동 상태 정보 등이 표시될 수 있다. 즉, 상기 단말기(80)는 상기 냉장고(10)의 상태를 모니터링할 수 있다. 또한, 상기 단말기(80)를 이용하여 상기 냉장고(10)의 작동을 제어할 수 있다. 또한, 상기 단말기(80)에서 인식한 정보를 상기 냉장고(10)로 전송할 수 있다. The terminal 80 includes a display unit 82 on which predetermined information is displayed. The terminal display unit 82 may display food information stored in the refrigerator 10 or operation state information of the refrigerator 10. That is, the terminal 80 may monitor the state of the refrigerator 10. In addition, the terminal 80 may be used to control the operation of the refrigerator 10. In addition, information recognized by the terminal 80 may be transmitted to the refrigerator 10.

상기 단말기(80)는 일 예로 휴대 가능한 휴대폰 또는 스마트 폰일 수 있으나, 이에 제한되지는 않는다. The terminal 80 may be, for example, a portable mobile phone or a smart phone, but is not limited thereto.

상기 네트워크 장치는, 상기 단말기(80)와 서버(70)의 통신을 위한 제 1 인터페이스(910)와, 상기 서버(70)와 냉장고(10)의 통신을 위한 제 2 인터페이스(920) 및 상기 단말기(80)와 냉장고(10) 사이의 통신을 위한 제 3 인터페이스(930)를 포함할 수 있다. The network device includes a first interface 910 for communication between the terminal 80 and the server 70, a second interface 920 for communication between the server 70 and the refrigerator 10, and the terminal A third interface 930 for communication between the 80 and the refrigerator 10 may be included.

상기 제 1 내지 제 3 인터페이스(910, 920, 930)는, 정보를 전달하기 위한 통신 방식으로서 와이파이(wifi), 지그비(Zig-bee), 블루투스(Bluetooth) 및 인터넷(internet) 중 적어도 하나의 통신 방식 또는 기타 통신 방식이 적용될 수 있으며, 통신 방식에는 제한이 없음을 밝혀둔다. The first to third interfaces 910, 920, and 930 are communication methods for transmitting information, including at least one communication among Wi-Fi, Zig-bee, Bluetooth, and Internet. It should be noted that a method or other communication method may be applied, and there is no limitation on the communication method.

상기 냉장고(10)는, 정보를 디스플레이할 수 있는 디스플레이부(20)와, 정보를 인식하기 위한 인식 장치(30)와, 식품과 관련한 정보가 저장되는 메모리부(40)와, 상기 서버(70) 또는 상기 단말기(80)와 통신을 위한 통신부를 포함할 수 있다. The refrigerator 10 includes a display unit 20 for displaying information, a recognition device 30 for recognizing information, a memory unit 40 for storing food-related information, and the server 70. ) Or may include a communication unit for communication with the terminal 80.

상기 인식 장치(30)는, 카메라, RFID 리더, QR 코드 리더, 바코드 리더 중 하나 이상을 포함할 수 있다. 이하에서는 상기 인식 장치(30)가 일 예로 카메라인 것에 대해서 설명하기로 한다. The recognition device 30 may include one or more of a camera, an RFID reader, a QR code reader, and a barcode reader. Hereinafter, it will be described that the recognition device 30 is an example of a camera.

상기 인식 장치(30)는, 인식 대상(400)의 이미지를 획득할 수 있다. 상기 인식 대상(400)은 일 예로 상기 냉장고(10)에서 보관될 식품일 수 있다. The recognition device 30 may acquire an image of the recognition object 400. The recognition object 400 may be, for example, food to be stored in the refrigerator 10.

상기 식품과 관련한 정보는, 식품 자체정보 또는 식품 관리정보가 포함될 수 있다. 상기 식품 자체정보에는 식품명, 식품명에 대응하는 이미지, 식품량 또는 식품개수 등이 포함되며, 식품 관리정보에는 냉장고 내에 저장되는 식품명, 식품의 이미지, 식품의 보관위치, 보관기간, 보관량 또는 보관방법, 입고일, 출고일 등이 포함될 수 있다. 이 때, 보관기간은, 입고일로부터 계산되는 보관잔여기간, 보관마감일, 입고 시부터 출고 시까지의 보관경과기간을 포함할 수 있다. The food-related information may include food itself information or food management information. The food itself information includes the food name, the image corresponding to the food name, the amount of food or the number of foods, and the food management information includes the name of the food stored in the refrigerator, the image of the food, the storage location, storage period, storage amount or storage method, May include the date of receipt and delivery. In this case, the storage period may include the storage remaining period calculated from the storage date, the storage deadline, and the storage elapsed period from the time of storage to the time of delivery.

그리고, 상기 식품과 관련한 정보 중 일부는 상기 인식 장치(30)에서 획득한 이미지로부터 획득될 수 있다. In addition, some of the food-related information may be obtained from an image acquired by the recognition device 30.

상기 메모리부(40)에는 상기 식품과 관련한 정보가 저장될 수 있다. 상기 메모리부(40)에 저장된 정보 중 일부 또는 전부는 상기 서버(70) 또는 상기 단말기(80)에 저장되거나 상기 서버(70) 또는 상기 단말기(80)에서 로딩할 수 있다. Information related to the food may be stored in the memory unit 40. Some or all of the information stored in the memory unit 40 may be stored in the server 70 or the terminal 80 or loaded from the server 70 or the terminal 80.

도 3은 제1실시 예에 따른 인식 장치의 일 예로 카메라가 냉장고에 설치된 모습을 보여주는 도면으로서, 도 3의 (a)는 식품 보관부의 정면도이고, 도 3의 (b)는 식품 보관부의 측면도이다. FIG. 3 is a view showing a camera installed in a refrigerator as an example of the recognition device according to the first embodiment. FIG. 3A is a front view of a food storage unit, and FIG. 3B is a side view of the food storage unit. .

도 2 및 도 3을 참조하면, 제1실시 예에 따른 냉장고(10)는, 식품을 저장하기 위한 냉동실 및 냉장실 중 하나 이상을 포함하는 본체를 구비할 수 있다. 상기 냉동실 또는 냉장실은 하나 이상의 식품 보관부(101)를 포함할 수 있다. Referring to FIGS. 2 and 3, the refrigerator 10 according to the first embodiment may include a body including at least one of a freezing chamber and a refrigerating chamber for storing food. The freezing chamber or the refrigerating chamber may include one or more food storage units 101.

상기 식품 보관부(101)에는 보관되는 인식 대상(400)의 이미지를 획득하기 위한 카메라(310)가 구비될 수 있다. 일 예로 상기 카메라(310)는 상기 식품 보관부(101)의 상면에 위치될 수 있다. 따라서, 상기 카메라(310)는 상기 카메라의 하방에 위치된 인식 대상(400)을 촬영할 수 있다. The food storage unit 101 may be provided with a camera 310 for obtaining an image of the stored recognition object 400. For example, the camera 310 may be located on the upper surface of the food storage unit 101. Accordingly, the camera 310 may photograph the recognition object 400 positioned below the camera.

또한, 상기 카메라(310)는 상기 식품 보관부(101)에서 앞쪽 부분에 위치될 수 있다. 즉, 상기 카메라(310)는 상기 식품 보관부(101)의 개구(110)와 인접하게 위치될 수 있다. In addition, the camera 310 may be located at a front portion of the food storage unit 101. That is, the camera 310 may be positioned adjacent to the opening 110 of the food storage unit 101.

일반적으로, 인식 대상(400)인 식품은 상기 개구(110)를 통하여 상기 식품 보관부(101)에 수용되며, 식품은 상기 식품 보관부(101) 전체 영역 중에서 안쪽부터 보관될 수 있다. 따라서, 상기 식품 보관부(101)의 전후를 기준으로 앞쪽 부분에는 인식 대상(400)인 식품이 수용되지 않기 때문에, 상기 카메라(310)를 상기 식품 보관부(101)에서 앞쪽 부분에 설치함으로서, 상기 카메라(310)가 입고되거나 출고되는 인식 대상(400)을 전체적으로 촬영하는 것이 가능하게 된다.In general, the food to be recognized 400 is accommodated in the food storage unit 101 through the opening 110, and the food may be stored from the inside of the entire area of the food storage unit 101. Therefore, since the food that is the recognition target 400 is not accommodated in the front portion of the food storage unit 101 as a reference, by installing the camera 310 in the front portion of the food storage unit 101, It is possible to take a whole picture of the recognition object 400 to which the camera 310 is received or released.

상기 제어부(50)는, 상기 카메라(310)에서 촬영된 이미지를 기초로 인식 대상(400)인 식품의 식품명을 판단할 수 있다. 또한, 상기 제어부(50)는, 상기 카메라(310)에서 촬영된 이미지를 기초로 입고되는 식품인지 출고되는 식품인지를 판단할 수 있다. The controller 50 may determine the food name of the food to be recognized 400 based on the image captured by the camera 310. In addition, the control unit 50 may determine whether the food is in stock or out of stock based on the image photographed by the camera 310.

본 실시 예에서 식품 보관부(101)는 다수 개가 구비될 수 있으며, 각 식품 보관부(101) 마다 카메라(310)가 구비될 수 있다. 이 경우에는, 상기 제어부(50)는, 식품 보관부(101) 별로 설치된 카메라(310)의 번호를 인식할 수 있고, 이를 토대로 입고되거나 출고되는 식품의 보관위치 까지도 인식할 수 있게 된다. In this embodiment, a plurality of food storage units 101 may be provided, and a camera 310 may be provided for each food storage unit 101. In this case, the control unit 50 may recognize the number of the camera 310 installed for each food storage unit 101, and based on this, it is possible to recognize the storage location of the food received or released.

도 4는 제1실시 예에 따른 카메라에서 촬영된 이미지를 보여주는 도면으로서, 도 4의 (a)은 입고되는 식품을 촬영한 이미지를 보여주고, 도 4의 (b)는 출고되는 식품을 촬영한 이미지를 보여준다. FIG. 4 is a view showing an image taken by a camera according to the first embodiment, in which (a) of FIG. 4 shows an image of an incoming food, and (b) of FIG. 4 is a photograph of an outgoing food. Show the image.

도 5는 제1실시 예에 따른 냉장고의 식품인식방법을 설명하기 위한 흐름도이다. 5 is a flowchart illustrating a food recognition method of a refrigerator according to the first embodiment.

도 4 및 도 5를 참조하면, 식품 보관부(101)에 구비된 카메라(310)가 인식 대상(400)을 촬영하게 된다(S1). 이 때, 사용자는 상기 식품 보관부(101)에서 개구와 인접한 위치의 상기 식품 보관부(101)의 바닥벽에 인식 대상(400)을 놓고, 상기 카메라(310)는 상기 바닥벽에 놓인 인식 대상을 촬영하게 된다. 4 and 5, the camera 310 provided in the food storage unit 101 photographs the recognition object 400 (S1). At this time, the user places the recognition object 400 on the bottom wall of the food storage unit 101 at a position adjacent to the opening in the food storage unit 101, and the camera 310 is a recognition object placed on the floor wall. Will be photographed.

상기 카메라(310)는 상기 식품 보관부(101)를 개폐하는 도어가 개방되고 일정 시간 경과 후에 촬영 동작을 수행할 수 있다. 또는, 상기 카메라(310)는 사용자의 촬영 명령 입력에 의해서 촬영 동작을 수행할 수 있다. 이 경우에는 촬영 명령은 상기 식품 보관부(101)에 구비되는 촬영 버튼에 의해서 수행될 수 있다. 또는, 상기 카메라(310)는 상기 식품 보관부(101)를 개폐하는 도어가 개방되면, 온되고, 상기 카메라(310)에서 인식 대상(400)이 감지되면(또는 인식 대상(400)이 일정 시간 동안 감지되면), 상기 카메라(310)는 촬영 동작을 수행하게 된다. 본 실시 예에서, 카메라(310)의 촬영 시작방법에는 제한이 없음을 밝혀둔다. The camera 310 may perform a photographing operation after a predetermined time elapses after the door for opening and closing the food storage unit 101 is opened. Alternatively, the camera 310 may perform a photographing operation by inputting a photographing command from the user. In this case, the photographing command may be performed by a photographing button provided in the food storage unit 101. Alternatively, the camera 310 is turned on when the door for opening and closing the food storage unit 101 is opened, and when the recognition target 400 is detected by the camera 310 (or the recognition target 400 is During detection), the camera 310 performs a photographing operation. In this embodiment, it should be noted that there is no limitation on the method of starting the recording of the camera 310.

그리고, 상기 제어부(50)는 촬영된 이미지 내의 인식 대상(400)의 입고 또는 출고 여부를 판단한다(S2). Then, the control unit 50 determines whether the recognition object 400 in the captured image is in stock or is released (S2).

일 예로, 도 4를 참조하면, 상기 제어부(50)는, 상기 카메라(310)에서 촬영한 이미지(320)를 다수의 영역으로 구획한다. 촬영된 이미지(320)는 좌우 및 전후로 구획되며, 도 4의 (a)에서 하측이 앞쪽(식품 보관부의 개구부 측임)이고 상측이 뒷쪽이다. For example, referring to FIG. 4, the controller 50 divides the image 320 captured by the camera 310 into a plurality of regions. The photographed image 320 is divided into left and right and front and rear, and in Fig. 4A, the lower side is the front side (the side of the opening of the food storage unit) and the upper side is the rear side.

먼저, 도 4의 (a)를 기준으로, 인식 대상(400)이 좌우 기준선을 기준으로 좌측에 위치한 경우에는, 상기 제어부(50)는 인식 대상(400)이 입고된 식품인 것으로 판단한다. 반면, 상기 제어부(50)는 도 4의 (b)와 같이 인식 대상(400)이 좌우 기준선을 기준으로 우측에 위치한 경우에는, 상기 제어부(50)는 인식 대상(400)이 출고된 식품인 것으로 판단한다. First, based on (a) of FIG. 4, when the recognition target 400 is located on the left side of the left and right reference lines, the control unit 50 determines that the recognition target 400 is a stocked food. On the other hand, when the recognition target 400 is located on the right side with respect to the left and right reference lines as shown in FIG. 4B, the control unit 50 is determined to be food from which the recognition target 400 is shipped. Judge.

위의 같은 판단 기준으로 제품 자체에서 결정되는 것으로서, 식품을 입고하는 경우에는 제품의 사용설명서 또는 수납 보관부를 형성하는 선반 또는 바닥벽에 입고되는 식품을 식품 보관부의 좌우를 기준으로 좌측에 놓을 수 있도록 가이드 문구가 기재될 수 있다. 또한, 이미 보관된 식품을 출고하는 경우에는 제품의 사용설명서 또는 수납 보관부를 형성하는 선반 또는 바닥벽에 출고되는 식품을 식품 보관부의 좌우를 기준으로 우측에 놓을 수 있도록 가이드 문구가 기재될 수 있다. It is determined by the product itself based on the above judgment criteria, so that when food is received, the food that is put on the shelf or floor wall forming the instruction manual or the storage and storage unit of the product can be placed on the left side based on the left and right of the food storage unit. Guide text may be written. In addition, in the case of shipping food that has already been stored, a guide phrase may be written so that the food shipped on the shelf or the floor wall forming the instruction manual or the storage and storage unit of the product can be placed on the right side based on the left and right sides of the food storage unit.

단계 S2에서, 상기 제어부(50)가 인식 대상이 입고되는 식품인 것으로 판단한 경우, 상기 제어부(50)는 촬영된 이미지에서 인식 대상(400)을 추출하고 추출된 인식 대상(400)의 이미지와 상기 메모리부(40)에 저장된 이미지를 비교하여 추출된 인식 대상(400)의 이미지에 대응하는 식품명을 판단한다(S3). In step S2, when the control unit 50 determines that the recognition target is the food to be received, the control unit 50 extracts the recognition target 400 from the captured image, and the extracted image of the recognition target 400 and the The food name corresponding to the extracted image of the recognition target 400 is determined by comparing the images stored in the memory unit 40 (S3).

다른 예로서, 상기 제어부(50)는, 추출된 인식 대상의 이미지를 서버로 전송하고, 추출된 인식 대상(400)의 이미지와 서버의 메모리부에 저장된 이미지를 서버가 비교한 후에 식품명을 서버가 제어부(50)로 전송하는 것도 가능하다. As another example, the controller 50 transmits the extracted image of the object to be recognized to the server, and the server compares the image of the extracted image of the object to be recognized 400 with the image stored in the memory unit of the server, and then the server It is also possible to transmit to the control unit 50.

그 다음, 상기 제어부(50)는, 추출된 식품명과 관련한 정보를 상기 메모리부(40)에 저장하고, 상기 디스플레이부(20)에 추출된 식품명과 관련한 정보가 표시되도록 한다(S4). Then, the control unit 50 stores information related to the extracted food name in the memory unit 40, and causes the information related to the extracted food name to be displayed on the display unit 20 (S4).

일 예로, 상기 제어부(50)는, 추출된 식품명과 이에 대응하는 이미지, 입고된 식품의 보관 위치, 식품의 입고일자, 입고된 식품의 보관잔여기간, 보관방법 등을 메모리부(40)에 저장할 수 있고, 상기 디스플레이부(20)에 표시할 수 있다. For example, the control unit 50 stores the extracted food name and the corresponding image, the storage location of the stored food, the date of storage of the food, the storage remaining period of the stored food, and the storage method in the memory unit 40. And display on the display unit 20.

이 때, 상기 메모리부(40)에는, 상기 식품과 관련한 정보가 보관되는 제1메모리와, 상기 추출된 식품명(입고된 식품명)과 관련한 정보가 저장되는 제2메모리를 포함할 수 있다. In this case, the memory unit 40 may include a first memory for storing information related to the food, and a second memory for storing information related to the extracted food name (incoming food name).

한편, 단계 S2에서, 상기 제어부(50)가 인식 대상이 출고되는 식품인 것으로 판단한 경우, 상기 제어부(50)는 촬영된 이미지에서 인식 대상(400)을 추출하고 추출된 인식 대상(400)의 이미지와 상기 메모리부(40)(또는 서버(70)에 저장된 메모리)에 저장된 이미지를 비교하여 추출된 인식 대상(400)의 이미지에 대응하는 식품명을 판단한다(S5). On the other hand, in step S2, when the control unit 50 determines that the recognition target is the food that is shipped, the control unit 50 extracts the recognition target 400 from the photographed image, and the extracted image of the recognition target 400 The food name corresponding to the extracted image of the recognition object 400 is determined by comparing the image stored in the memory unit 40 (or the memory stored in the server 70) (S5).

그 다음, 상기 제어부(50)는, 추출된 식품명(출고된 식품명)과 관련한 정보를 상기 메모리부(40)에서 삭제하고, 상기 디스플레이부(20)에 출고되는 식품명과 관련한 정보가 표시되도록 한다(S6). Then, the control unit 50 deletes the information related to the extracted food name (shipped food name) from the memory unit 40, and causes the display unit 20 to display information related to the food name shipped ( S6).

일 예로 출고된 식품명과 관련한 정보를 제2메모리에서 삭제하고, 상기 디스플레이부(20)에, 출고된 식품명과 이에 대응하는 이미지, 출고된 식품의 보관 위치, 식품의 입고일자, 입고된 식품의 보관경과기간 등을 표시할 수 있다. For example, the information related to the food name that has been shipped out is deleted from the second memory, and on the display unit 20, the name of the food that has been shipped out and an image corresponding thereto, the storage location of the food that has been shipped out, the date of receipt of the food, and the storage of the food that has been in stock The elapsed period can be displayed.

한편, 상기 디스플레이부(20)에서 표시되는 입고된 식품과 관련한 정보 또는 출고된 식품과 관련한 정보의 수정이 필요한 경우에는 사용자는 디스플레이부(20)의 화면 상에서 수정이 필요한 정보를 선택한 후에 수정할 수 있다. On the other hand, if it is necessary to modify the information related to the received food displayed on the display unit 20 or the information related to the outgoing food, the user can modify the information after selecting the information to be modified on the screen of the display unit 20. .

본 실시 예에 의하면, 인식 대상인 식품의 입고 또는 출고 여부를 명확하게 인식할 수 있고, 인식 대상인 식품의 식품명을 정확하게 인식할 수 있는 장점이 있다. According to the present embodiment, it is possible to clearly recognize whether or not the food to be recognized is in stock or to be released, and to accurately recognize the food name of the food to be recognized.

도 6은 제2실시 예에 따른 카메라에서 촬영되는 이미지를 보여주는 도면으로서, 도 6의 (a)는 입고되는 인식 대상을 촬영한 이미지를 보여주고, 도 6의 (b)는 출고되는 인식 대상을 촬영한 이미지를 보여준다. 6 is a view showing an image photographed by a camera according to a second embodiment, in which (a) of FIG. 6 shows an image of a recognition object being received, and (b) of FIG. Show the captured image.

제2실시 예는 다른 부분에 있어서는 제1실시 예와 동일하고, 다만, 입고 또는 출고되는 인식 대상의 판단 방법에 있어서 차이가 있다. 따라서, 이하에서는 제2실시 예의 특징적인 부분에 대해서만 설명하기로 한다. The second embodiment is the same as the first embodiment in other parts, except that there is a difference in a method of determining a recognition object to be received or released. Therefore, in the following, only characteristic parts of the second embodiment will be described.

도 6을 참조하면, 식품 보관부(101)에 구비된 카메라(310)가 인식 대상(400)을 촬영하게 된다. 이 때, 상기 카메라(310)는 동영상을 촬영하거나, 정지 영상을 다수 회 촬영하게 된다. 이하에서는 일 예로 상기 카메라(310)가 정지 영상을 다수회 촬영하는 것에 대해서 설명하기로 한다. Referring to FIG. 6, the camera 310 provided in the food storage unit 101 photographs the recognition object 400. In this case, the camera 310 captures a video or a still image multiple times. Hereinafter, as an example, a description will be given of the camera 310 capturing a still image multiple times.

그리고, 상기 제어부(50)는 촬영된 이미지 내의 인식 대상(400)의 입고 또는 출고 여부를 판단한다. In addition, the control unit 50 determines whether the recognition object 400 in the captured image is in stock or shipped.

일 예로, 도 6의 (a)를 참조하면, 상기 제어부(50)는, 상기 카메라(310)에서 촬영한 다수의 이미지를 합쳐서 하나의 혼합 이미지(320)를 획득한다. For example, referring to FIG. 6A, the control unit 50 acquires a single mixed image 320 by combining a plurality of images captured by the camera 310.

그 다음, 상기 제어부(50)는, 획득한 혼합 이미지(320)에서 인식 대상(400)의 이동 방향을 판단한다. 일 예로 식품이 입고되는 경우, 식품 보관부(101)의 개구 측인 하측에서 상측으로 인식 대상(400)이 이동하게 되고, 상기 제어부(50)는, 인식 대상(400)의 상방 이동을 기초로 인식 대상(400)이 입고되었음을 판단하게 된다.Then, the controller 50 determines the moving direction of the recognition object 400 from the obtained mixed image 320. For example, when food is received, the recognition object 400 is moved from the lower side, which is the opening side of the food storage unit 101, to the upper side, and the control unit 50 recognizes it based on the upward movement of the recognition object 400. It is determined that the target 400 is in stock.

반면, 식품이 출고되는 경우, 상측에서 식품 보관부(101)의 개구 측인 하측으로 인식 대상(400)이 이동하게 되고, 상기 제어부(50)는, 인식 대상(400)의 하방 이동을 기초로 인식 대상이 출고되었음을 판단하게 된다. On the other hand, when food is shipped, the recognition object 400 moves from the upper side to the lower side, which is the opening side of the food storage unit 101, and the control unit 50 recognizes it based on the downward movement of the recognition object 400. It is judged that the subject has been released.

상기 제어부(50)에서 인식 대상의 입고 또는 출고 여부가 판단된 후에는 도 5의 단계 S3 및 S4를 수행하거나, 단계 S5 및 S6을 수행할 수 있다. After the control unit 50 determines whether the recognition object is in stock or release, steps S3 and S4 of FIG. 5 may be performed, or steps S5 and S6 may be performed.

도 7은 제3실시 예에 따른 인식 장치의 일 예로 다수의 카메라가 냉장고에 설치된 모습을 보여주는 도면으로서, 도 7에는 식품 보관부의 정면도가 개시된다. 7 is a view showing a state in which a plurality of cameras are installed in a refrigerator as an example of the recognition device according to the third embodiment, and FIG. 7 is a front view of a food storage unit.

제3실시 예는 다른 부분에 있어서는 제1실시 예와 동일하고, 다만, 입고 또는 출고되는 인식 대상의 판단 방법에 있어서 차이가 있다. 따라서, 이하에서는 제3실시 예의 특징적인 부분에 대해서만 설명하기로 한다. The third embodiment is the same as the first embodiment in other parts, except that there is a difference in the method of determining the recognition object to be received or released. Therefore, hereinafter, only the characteristic parts of the third embodiment will be described.

도 7을 참조하면, 상기 식품 보관부(101)의 좌우 양측벽에 각각 하나의 카메라(330, 340)가 설치될 수 있다. 즉, 상기 식품 보관부(101)의 좌측벽에 제1카메라(330)가 설치되고, 상기 식품 보관부(101)의 우측벽에 제2카메라(340)가 설치된다. 상기 각 카메라(330, 340)는 상기 식품 보관부(101)의 각 벽에서, 식품 보관부의 바닥벽을 향하도록 경사지게 배치된다. 따라서, 상기 각 카메라(330, 340)는, 상기 식품 보관부(101)의 바닥벽에 놓인 인식 대상을 촬영할 수 있다. Referring to FIG. 7, one camera 330 and 340 may be installed on both left and right side walls of the food storage unit 101, respectively. That is, the first camera 330 is installed on the left wall of the food storage unit 101, and the second camera 340 is installed on the right wall of the food storage unit 101. Each of the cameras 330 and 340 is disposed to be inclined from each wall of the food storage unit 101 to face the bottom wall of the food storage unit. Accordingly, each of the cameras 330 and 340 may photograph a recognition object placed on the bottom wall of the food storage unit 101.

또한, 상기 각 카메라(330, 340)는, 도 3의 (b)에 도시된 바와 같이 상기 식품 보관부(101)의 개구와 인접한 위치에 배치될 수 있다. In addition, each of the cameras 330 and 340 may be disposed at a position adjacent to the opening of the food storage unit 101 as shown in FIG. 3B.

도 8은 제3실시 예에 따른 제1 및 제2카메라에서 촬영된 이미지를 보여주는 도면으로서, 도 8의 (a)는 입고되는 식품을 제1 및 제2카메라에서 촬영한 이미지를 보여주고, 도 8의 (b)는 출고되는 식품을 제1 및 제2카메라에서 촬영한 이미지를 보여준다. 도 8에서, 좌측 이미지는 제1카메라에서 촬영된 이미지이고, 우측 이미지는 제2카메라에서 촬영된 이미지이다. FIG. 8 is a diagram showing images captured by first and second cameras according to a third embodiment, and FIG. 8A shows images captured by the first and second cameras of food to be received. (B) of 8 shows images taken by the first and second cameras of the food being shipped. In FIG. 8, the left image is an image captured by the first camera, and the right image is an image captured by the second camera.

도 7 및 도 8을 참조하면, 식품 보관부(101)에 구비된 제1카메라(330) 및 제3카메라(340)가 식품 보관부(101)의 앞쪽 부분을 촬영하여 이미지를 획득한다. 본 실시 예에서는 제1 및 제2카메라(330, 340)가 동시에 촬영을 수행하거나 순차적으로 촬영을 수행할 수 있다. 7 and 8, a first camera 330 and a third camera 340 provided in the food storage unit 101 capture an image of the front portion of the food storage unit 101 to obtain an image. In this embodiment, the first and second cameras 330 and 340 may simultaneously perform photographing or sequentially perform photographing.

그리고, 상기 제어부(50)는 각 카메라(330, 340)에서 촬영된 이미지 내의 인식 대상(400)의 입고 또는 출고 여부를 판단한다. In addition, the control unit 50 determines whether or not the recognition object 400 in the image captured by each of the cameras 330 and 340 is stocked or released.

일 예로, 도 8의 (a)를 참조하면, 제1카메라(330)에서 획득한 이미지(331)에서 인식 대상(400)이 좌우 기준선을 기준으로 좌측으로 치우치게 위치되고, 제2카메라(340)에서 획득한 이미지(341)에는 인식 대상(400)이 존재하지 않는다. As an example, referring to (a) of FIG. 8, in the image 331 obtained by the first camera 330, the recognition object 400 is positioned to be skewed to the left with respect to the left and right reference lines, and the second camera 340 The recognition object 400 does not exist in the image 341 obtained from.

이 경우, 상기 제어부(50)는 상기 인식 대상(400)이 상기 식품 보관부(101) 내에서 좌우를 기준으로 좌측으로 치우친 위치에 놓여져 있음을 인식하고, 인식 대상이 입고되는 것임을 판단하게 된다. In this case, the control unit 50 recognizes that the recognition target 400 is placed in a position skewed to the left with respect to the left and right in the food storage unit 101, and determines that the recognition target is being worn.

반면, 도 8의 (b)를 참조하면, 제1카메라(330)에서 획득한 이미지(332)에는 인식 대상(400)이 존재하지 않고, 제2카메라(340)에서 획득한 이미지(342)에는 좌우 기준선을 기준으로 인식 대상(400)이 우측으로 치우치게 위치되어 있다. On the other hand, referring to (b) of FIG. 8, the recognition object 400 does not exist in the image 332 acquired by the first camera 330, and the image 342 acquired by the second camera 340 is Based on the left and right reference lines, the recognition object 400 is positioned skewed to the right.

이 경우, 상기 제어부(50)는 상기 인식 대상(400)이 상기 식품 보관부(101) 내에서 좌우를 기준으로 우측으로 치우친 위치에 놓여져 있음을 인식하고, 인식 대상이 출고되는 것임을 판단하게 된다. In this case, the control unit 50 recognizes that the recognition object 400 is placed in a position skewed to the right with respect to the left and right in the food storage unit 101, and determines that the recognition object is shipped.

상기 제어부(50)에서 인식 대상의 입고 또는 출고 여부가 판단된 후에는 도 5의 단계 S3 및 S4를 수행하거나, 단계 S5 및 S6을 수행할 수 있다. After the control unit 50 determines whether the recognition object is in stock or release, steps S3 and S4 of FIG. 5 may be performed, or steps S5 and S6 may be performed.

다만, 상기 제어부(50)는, 인식 대상(400)이 입고된 것으로 판단한 경우에는 상기 제1카메라(330)에서 촬영한 이미지에서 인식 대상을 추출하게 된다. 반면, 제어부(50)는 인식 대상(400)이 출고된 것으로 판단한 경우에는 상기 제2카메라(340)에서 촬영한 이미지에서 인식 대상을 추출하게 된다. However, when it is determined that the recognition object 400 is worn, the control unit 50 extracts the recognition object from the image captured by the first camera 330. On the other hand, when it is determined that the recognition object 400 has been shipped, the controller 50 extracts the recognition object from the image captured by the second camera 340.

또는, 보다 정확하게 인식 대상을 추출하기 위하여, 상기 제어부(50)는, 상기 제1카메라(330)에서 촬영한 이미지와 상기 제2카메라(340)에서 촬영한 이미지를 기초로 인식 대상의 이미지를 생성하고, 생성된 이미지를 메모리에 저장된 정보와 비교하여 인식 대상의 식품명을 판단할 수 있다. Alternatively, in order to more accurately extract the recognition target, the controller 50 generates an image of the recognition target based on the image captured by the first camera 330 and the image captured by the second camera 340 And, it is possible to determine the food name to be recognized by comparing the generated image with information stored in the memory.

도 9는 제4실시 예에 따른 인식 장치의 일 예로 다수의 카메라가 냉장고에 설치된 모습을 보여주는 도면으로서, 도 9에는 식품 보관부의 정면도가 개시된다. 9 is a view showing a state in which a plurality of cameras are installed in a refrigerator as an example of the recognition device according to the fourth embodiment, and FIG. 9 is a front view of a food storage unit.

제4실시 예는 다른 부분에 있어서는 제3실시 예와 동일하고, 다만, 입고 또는 출고되는 인식 대상의 판단 방법에 있어서 차이가 있다. 따라서, 이하에서는 제4실시 예의 특징적인 부분에 대해서만 설명하기로 한다. The fourth embodiment is the same as the third embodiment in other parts, except that there is a difference in the method of determining the recognition object to be received or released. Therefore, in the following, only the characteristic parts of the fourth embodiment will be described.

도 9를 참조하면, 상기 식품 보관부(101)의 상측벽에 다수의 카메라(350, 360)가 설치될 수 있다. 즉, 상기 식품 보관부(101)의 상측벽을 이등분하는 선을 기준으로 좌측에 제1카메라(350)가 설치되고, 우측에 제2카메라(360)가 설치될 수 있다. 따라서, 상기 각 카메라(350, 360)는, 상기 식품 보관부(101)의 바닥벽에 놓인 인식 대상을 촬영할 수 있다. Referring to FIG. 9, a plurality of cameras 350 and 360 may be installed on an upper wall of the food storage unit 101. That is, the first camera 350 may be installed on the left side, and the second camera 360 may be installed on the right side based on a line dividing the upper wall of the food storage unit 101 in half. Accordingly, each of the cameras 350 and 360 can photograph a recognition object placed on the bottom wall of the food storage unit 101.

또한, 상기 각 카메라(350, 360)는, 도 3의 (b)에 도시된 바와 같이 상기 식품 보관부(101)의 개구와 인접한 위치에 배치될 수 있다. In addition, each of the cameras 350 and 360 may be disposed at a position adjacent to the opening of the food storage unit 101 as shown in (b) of FIG. 3.

도 10은 제4실시 예에 따른 제1 및 제2카메라에서 촬영된 이미지를 보여주는 도면으로서, 도 10의 (a)는 입고되는 식품을 제1 및 제2카메라에서 촬영한 이미지를 보여주고, 도 10의 (b)는 출고되는 식품을 제1 및 제2카메라에서 촬영한 이미지를 보여준다. 도 10에서, 좌측 이미지는 제1카메라에서 촬영된 이미지이고, 우측 이미지는 제2카메라에서 촬영된 이미지이다. FIG. 10 is a view showing images taken by first and second cameras according to a fourth embodiment, and FIG. 10(a) shows images taken by the first and second cameras of the food being received, and FIG. (B) of 10 shows images taken by the first and second cameras of the food being shipped. In FIG. 10, the left image is an image captured by the first camera, and the right image is an image captured by the second camera.

도 9 및 도 10을 참조하면, 식품 보관부(101)에 구비된 제1카메라(350) 및 제3카메라(360)가 식품 보관부(101)의 앞쪽 부분을 촬영하여 이미지를 획득한다. 9 and 10, a first camera 350 and a third camera 360 provided in the food storage unit 101 capture an image of a front portion of the food storage unit 101 to obtain an image.

그리고, 상기 제어부(50)는 각 카메라(350, 360)에서 촬영된 이미지 내의 인식 대상(400)의 입고 또는 출고 여부를 판단한다. In addition, the control unit 50 determines whether the recognition object 400 in the image captured by each of the cameras 350 and 360 is received or released.

일 예로, 도 10의 (a)를 참조하면, 제1카메라(350)에서 획득한 이미지(351)에서 인식 대상(400)은 이미지에서 중앙에 위치하게 되고, 제2카메라(340)에서 획득한 이미지(341)에는 인식 대상(400)이 좌우 기준선을 기준으로 좌측으로 치우치게 위치한다. For example, referring to (a) of FIG. 10, the recognition object 400 in the image 351 acquired by the first camera 350 is located at the center of the image, and the recognition object 400 is acquired by the second camera 340. In the image 341, the object to be recognized 400 is positioned skewed to the left based on the left and right reference lines.

이 경우, 상기 제어부(50)는 상기 인식 대상(400)이 상기 식품 보관부(101) 내에서 좌우를 기준으로 좌측으로 치우친 위치에 놓여져 있음을 인식하고, 인식 대상이 입고되는 것임을 판단하게 된다. In this case, the control unit 50 recognizes that the recognition target 400 is placed in a position skewed to the left with respect to the left and right in the food storage unit 101, and determines that the recognition target is being worn.

반면, 도 10의 (b)를 참조하면, 제1카메라(350)에서 획득한 이미지(352)에는 인식 대상(400)이 좌우 기준선을 기준으로 우측으로 치우치게 위치하고, 제2카메라(360)에서 획득한 이미지(352)에는 인식 대상(400)이 중앙에 위치한다. On the other hand, referring to (b) of FIG. 10, in the image 352 acquired by the first camera 350, the recognition object 400 is positioned skewed to the right based on the left and right reference lines, and is acquired by the second camera 360. In one image 352, the recognition object 400 is located at the center.

이 경우, 상기 제어부(50)는 상기 인식 대상(400)이 상기 식품 보관부(101) 내에서 좌우를 기준으로 우측으로 치우친 위치에 놓여져 있음을 인식하고, 인식 대상이 출고되는 것임을 판단하게 된다. In this case, the control unit 50 recognizes that the recognition object 400 is placed in a position skewed to the right with respect to the left and right in the food storage unit 101, and determines that the recognition object is shipped.

상기 제어부(50)에서 인식 대상의 입고 또는 출고 여부가 판단된 후에는 도 5의 단계 S3 및 S4를 수행하거나, 단계 S5 및 S6을 수행할 수 있다. After the control unit 50 determines whether the recognition object is in stock or release, steps S3 and S4 of FIG. 5 may be performed, or steps S5 and S6 may be performed.

상기 제어부(50)는, 인식 대상을 정확하게 추출하기 위하여, 상기 제1카메라(350)에서 촬영한 이미지와 상기 제2카메라(360)에서 촬영한 이미지를 기초로 인식 대상의 이미지를 생성하고, 생성된 이미지를 메모리에 저장된 정보와 비교하여 인식 대상의 식품명을 판단할 수 있다. The control unit 50 generates an image of the object to be recognized based on the image captured by the first camera 350 and the image captured by the second camera 360 in order to accurately extract the recognition object, and generates It is possible to determine the food name to be recognized by comparing the resulting image with information stored in the memory.

도 11은 제5실시 예에 따른 인식 장치의 일 예로 다수의 카메라가 냉장고에 설치된 모습을 보여주는 도면으로서, 도 11에는 식품 보관부의 정면도가 개시된다. FIG. 11 is a view showing a state in which a plurality of cameras are installed in a refrigerator as an example of a recognition device according to a fifth embodiment, and FIG. 11 is a front view of a food storage unit.

제5실시 예는 다른 부분에 있어서는 제4실시 예와 동일하고, 다만, 입고 또는 출고되는 인식 대상의 위치 판단이 가능한 것에서 있다. 따라서, 이하에서는 제5실시 예의 특징적인 부분에 대해서만 설명하기로 한다. The fifth embodiment is the same as the fourth embodiment in other parts, except that it is possible to determine the location of the recognition object to be received or released. Therefore, hereinafter, only the characteristic parts of the fifth embodiment will be described.

도 11을 참조하면, 상기 냉장고(10)는, 다수의 식품 보관부(101, 102, 103)를 포함할 수 있다. 일 예로 본 실시 예에서 3개의 식품 보관부(101, 102, 103)가 구비되는 것을 설명하기로 하며, 다수의 식품 보관부가 구비되는 한 개수에는 제한이 없음을 밝혀둔다. Referring to FIG. 11, the refrigerator 10 may include a plurality of food storage units 101, 102, and 103. As an example, it will be described that the three food storage units 101, 102, and 103 are provided in this embodiment, and it will be noted that there is no limit to the number as long as a plurality of food storage units are provided.

그리고, 다수의 식품 보관부(101, 102, 103) 중에서 최상측에 위치하는 제1식품 보관부(101)의 상측벽에 제1카메라(350) 및 제2카메라(360)가 구비될 수 있다. In addition, a first camera 350 and a second camera 360 may be provided on an upper wall of the first food storage unit 101 located at the top of the plurality of food storage units 101, 102, 103. .

상기 다수의 식품 보관부(101, 102, 103)는 일 예로 식품을 놓을 수 있는 선반(101A, 102A)에 의해서 서로 구획될 수 있다. 상기 선반(101A, 102A) 전체 영역 중에서 적어도 앞쪽 부분은 투명하게 형성될 수 있다. 즉, 제2식품 보관부(102)의 제2선반(102A) 또는, 제3식품 보관부(103)의 바닥벽에 놓인 인식 대상을 상기 제1식품 보관부(101)에 위치된 카메라(350, 360)가 촬영할 수 있도록, 상기 선반(101A, 102A)의 일부 또는 전부가 투명하게 형성될 수 있다. The plurality of food storage units 101, 102 and 103 may be partitioned from each other by shelves 101A and 102A on which food can be placed. At least a front portion of the entire area of the shelves 101A and 102A may be formed to be transparent. That is, the second shelf 102A of the second food storage unit 102 or the recognition object placed on the bottom wall of the third food storage unit 103 is a camera 350 positioned in the first food storage unit 101. , 360) may be formed to be transparent, part or all of the shelves 101A and 102A.

상기 제1식품 보관부(101)에는 식품과의 거리를 감지하기 위한 하나 이상의 거리센서(3)가 구비될 수 있다. 상기 거리센서(3)는, 입고되거나 출고되는 식품의 거리를 측정할 수 있고, 제어부(50)는 거리센서(3)에서 측정되는 거리에 기초하여 입고 또는 출고되는 식품의 해당 식품 보관부의 위치를 판단할 수 있다. The first food storage unit 101 may be provided with one or more distance sensors 3 for sensing a distance to food. The distance sensor 3 may measure the distance of the food received or released, and the controller 50 determines the location of the food storage unit of the food received or released based on the distance measured by the distance sensor 3 I can judge.

상기 거리센서(3)는 일 예로 초음파 센서 일 수 있으며, 본 실시 예에서 거리센서(3)의 종류에는 제한이 없음을 밝혀둔다. The distance sensor 3 may be, for example, an ultrasonic sensor, and it is noted that there is no limit to the type of the distance sensor 3 in this embodiment.

따라서, 본 실시 예에 의하면, 다수의 식품 보관부 각각에서 입고되거나 출고되는 식품을 판단할 수 있을 뿐만 아니라, 입고되거나 출고되는 식품의 위치를 정확하게 파악할 수 있는 장점이 있다. Accordingly, according to the present embodiment, there is an advantage in that it is possible to determine not only foods that are received or released from each of the plurality of food storage units, but also accurately identify the location of the foods that are received or released.

위의 실시 예에서는 별도의 거리 센서를 이용하여 입고되거나 출고되는 식품의 위치를 판단하는 것으로 설명하였으나, 이와 달리 다수의 카메라의 영상을 비교하여, 거리를 추정하는 스테레오 매칭을 이용하여 다수의 카메라 중 어느 한 카메라와 식품의 거리를 추정하고, 추정된 거리를 기초로 식품의 입고 또는 출고 위치를 판단하는 것도 가능하다. In the above embodiment, it has been described that the location of the food being received or released is determined using a separate distance sensor. However, by comparing images from multiple cameras, using stereo matching to estimate the distance, It is also possible to estimate the distance between any camera and the food, and to determine the location of the food in or out of the food based on the estimated distance.

그리고, 상기 냉장고(10)의 디스플레이부(20)에서 표시되는 정보는 상기 단말기(80)의 표시부(82)로 전송되어 단말기(80)에서 확인할 수 있다. In addition, information displayed on the display unit 20 of the refrigerator 10 is transmitted to the display unit 82 of the terminal 80 and can be checked by the terminal 80.

10: 냉장고 30: 인식 장치
20: 디스플레이부 40: 메모리부
50: 제어부10: refrigerator 30: recognition device
20: display unit 40: memory unit
50: control unit

Claims (13)

식품 보관부를 가지는 본체;
상기 식품 보관부에 설치되어, 입고되거나 출고되는 식품을 촬영하기 위한 카메라; 및
상기 카메라에서 촬영된 이미지에서 식품의 위치를 기준으로 입고 또는 출고 여부를 판단하고, 상기 촬영된 이미지에서 식품의 이미지를 추출하여 식품명을 판단하는 제어부를 포함하고,
상기 식품 보관부는,
상기 본체의 최상측에 위치하는 제 1 식품 보관부;
상기 제 1 식품 보관부의 하측에 위치하는 제 2 식품 보관부; 및
상기 제 2 식품 보관부의 하측에 위치하는 제 3 식품 보관부를 포함하고,
상기 카메라는, 상기 제 1 식품 보관부의 상측벽에 구비되며,
상기 본체는,
상기 제 1 식품 보관부와 상기 제 2 식품 보관부를 상하방향으로 구획하도록 배치되는 제 1 선반; 및
상기 제 2 식품 보관부와 상기 제 3 식품 보관부를 상하방향으로 구획하도록 배치되는 제 2 선반을 포함하고,
상기 제 2 선반 또는 상기 제 3 식품 보관부의 바닥벽에 놓인 인식 대상을 상기 카메라가 촬영할 수 있도록, 상기 제 1 선반 및 상기 제 2 선반의 적어도 일부가 투명하게 형성되고,
상기 카메라는, 상기 제 1 식품 보관부의 상측벽에 구비되는 제 1 카메라와, 상기 제 1 카메라와 이격되는 제 2 카메라를 포함하고,
상기 제 1 식품 보관부의 상측벽에는, 식품과의 거리를 측정할 수 있는 초음파 센서가 구비되고,
상기 제어부는, 상기 제 1 및 제 2 카메라에서 촬영된 이미지를 기초로 식품의 입고 또는 출고 여부를 판단하고, 상기 초음파 센서에서 감지된 거리를 기초로 식품의 입고 또는 출고 위치를 판단하는 전기제품.A main body having a food storage unit;
A camera installed in the food storage unit for photographing foods that are in stock or are released; And
Including a control unit for determining whether to store or release food based on the location of the food from the image photographed by the camera, and to determine the food name by extracting the image of the food from the photographed image,
The food storage unit,
A first food storage unit located on the uppermost side of the main body;
A second food storage unit located below the first food storage unit; And
Including a third food storage unit located below the second food storage unit,
The camera is provided on the upper wall of the first food storage unit,
The main body,
A first shelf disposed to partition the first food storage unit and the second food storage unit in a vertical direction; And
And a second shelf disposed to partition the second food storage unit and the third food storage unit in a vertical direction,
At least a portion of the first shelf and the second shelf is formed to be transparent so that the camera can photograph the recognition object placed on the second shelf or the bottom wall of the third food storage unit,
The camera includes a first camera provided on an upper wall of the first food storage unit and a second camera spaced apart from the first camera,
An ultrasonic sensor capable of measuring a distance to the food is provided on the upper wall of the first food storage unit,
The control unit determines whether food is in stock or is released based on images captured by the first and second cameras, and determines a location of food in or out of the food based on a distance detected by the ultrasonic sensor. 제 1 항에 있어서,
상기 카메라는, 상기 식품 보관부의 상측벽 또는 측벽에 위치되며, 상기 식품 보관부의 개구와 인접한 위치에 배치되는 전기제품. The method of claim 1,
The camera is located on an upper wall or a side wall of the food storage unit, and is disposed at a position adjacent to the opening of the food storage unit. 제 1 항에 있어서,
상기 제어부는, 상기 촬영된 이미지를 다수의 영역으로 분할하고,
분할된 영역에서의 식품의 위치를 기초로 식품의 입고 또는 출고 여부를 판단하는 전기제품. The method of claim 1,
The control unit divides the photographed image into a plurality of areas,
An electrical appliance that determines whether food is received or released based on the location of the food in the divided area. 제 1 항에 있어서,
추출된 식품의 이미지와 비교를 위한 이미지가 저장되는 메모리부를 더 포함하는 전기제품. The method of claim 1,
An electrical appliance further comprising a memory unit for storing the extracted food image and an image for comparison. 제 4 항에 있어서,
상기 메모리부에는, 현재 보관중인 식품과 관련한 정보가 저장되며,
상기 제어부는, 식품이 입고된 것으로 판단한 경우, 입고된 식품과 관련한 정보를 상기 메모리부에 추가로 저장시키고, 디스플레이부에 표시하는 전기제품. The method of claim 4,
In the memory unit, information related to the food currently being stored is stored,
When it is determined that the food is in stock, the control unit additionally stores information related to the received food in the memory unit and displays it on the display unit. 제 4 항에 있어서,
상기 메모리부에는 현재 보관중인 식품과 관련한 정보가 저장되며,
상기 제어부는, 식품이 출고된 것으로 판단한 경우, 출고된 식품과 관련한 정보를 상기 메모리부에서 삭제하고, 디스플레이부에 표시하는 전기제품. The method of claim 4,
Information related to the food currently being stored is stored in the memory unit,
When it is determined that the food has been shipped, the control unit deletes information related to the shipped food from the memory unit and displays the information on the display unit. 제 1 항에 있어서,
추출된 식품의 이미지는 전기제품과 통신할 수 있는 서버로 전송되고,
서버에서 추출된 식품의 이미지에 대응하는 식품명 정보를 전송받는 전기제품. The method of claim 1,
The extracted food image is transmitted to a server that can communicate with electrical products,
An electrical appliance that receives food name information corresponding to the food image extracted from the server. 삭제delete 제 1 항에 있어서,
상기 제어부는, 상기 다수의 카메라에서 촬영된 이미지를 기초로 식품과 다수의 카메라 중 어느 하나와의 거리를 추정하고, 추정된 거리를 기초로 상기 식품의 입고 또는 출고 위치를 판단하는 전기제품. The method of claim 1,
The control unit estimates a distance between a food and any one of a plurality of cameras based on images captured by the plurality of cameras, and determines a location of the food in or out of the food based on the estimated distance. 삭제delete 삭제delete 삭제delete 삭제delete
KR1020130075007A 2013-06-28 2013-06-28 Electric product KR102145607B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130075007A KR102145607B1 (en) 2013-06-28 2013-06-28 Electric product
US14/317,942 US20150002660A1 (en) 2013-06-28 2014-06-27 Electric product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130075007A KR102145607B1 (en) 2013-06-28 2013-06-28 Electric product

Publications (2)

Publication Number Publication Date
KR20150001921A KR20150001921A (en) 2015-01-07
KR102145607B1 true KR102145607B1 (en) 2020-08-18

Family

ID=52475470

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130075007A KR102145607B1 (en) 2013-06-28 2013-06-28 Electric product

Country Status (1)

Country Link
KR (1) KR102145607B1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102605622B1 (en) * 2016-11-01 2023-11-23 엘지전자 주식회사 Refrigerator
KR102327848B1 (en) * 2017-05-18 2021-11-18 삼성전자주식회사 Refrigerator and method of food management thereof
KR20190140509A (en) * 2018-05-25 2019-12-20 삼성전자주식회사 Electronic device and method for tracking inventory
KR20200051283A (en) * 2018-11-05 2020-05-13 삼성전자주식회사 Food management system, server, and refrigerator
KR102234691B1 (en) * 2019-08-09 2021-04-02 엘지전자 주식회사 Refrigerator for managing item using artificial intelligence and operating method thereof
CN113566486A (en) * 2021-07-31 2021-10-29 浙江工业大学 Intelligent refrigerator storage control system based on Internet of things equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084132A (en) 2004-09-16 2006-03-30 Mitsubishi Electric Corp Sensor device, door device and refrigerator
JP2009181222A (en) * 2008-01-29 2009-08-13 Toshiba Corp Object search apparatus and method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080057474A (en) * 2006-12-20 2008-06-25 엘지전자 주식회사 A refrigerator
KR20120117344A (en) * 2011-04-15 2012-10-24 엘지전자 주식회사 Information recognizing method for an electric appliance
KR20120117464A (en) * 2011-04-15 2012-10-24 엘지전자 주식회사 A refrigerator and a control method the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084132A (en) 2004-09-16 2006-03-30 Mitsubishi Electric Corp Sensor device, door device and refrigerator
JP2009181222A (en) * 2008-01-29 2009-08-13 Toshiba Corp Object search apparatus and method

Also Published As

Publication number Publication date
KR20150001921A (en) 2015-01-07

Similar Documents

Publication Publication Date Title
US20150002660A1 (en) Electric product
KR102145607B1 (en) Electric product
CN112984913B (en) Article display system
KR102023013B1 (en) Refrigerator and operating method thereof
US10330377B2 (en) Refrigeration appliance comprising a camera module
US20140313331A1 (en) Refrigerator and operating method thereof
JP6570898B2 (en) Ingredient position presentation method and refrigerator
US20160021342A1 (en) Device and method for determination
US20160153701A1 (en) Refrigerator And Control Method For The Same
US20160138860A1 (en) Refrigerator and control method for the same
US20200041200A1 (en) Artificial intelligence refrigerator
KR20170087705A (en) Storage apparatus and control method thereof
EP3933327A1 (en) Refrigerator for entrance gate
JP2016196981A (en) Storage shed management system and storage shed management method
JP6242537B2 (en) refrigerator
CN105806038A (en) Control method for refrigerator door lock and refrigerator
KR20120117464A (en) A refrigerator and a control method the same
KR20210134092A (en) How to manage refrigerators and items in refrigerators
KR20150026412A (en) Electric product
JP2016148503A (en) Refrigerator, refrigerator management method and program
CN109767557A (en) Container system
JP2019100633A (en) refrigerator
CN109073317A (en) Refrigerating appliance, panel and the method for monitoring chilled goods
JP7113281B2 (en) refrigerator
JP2009043176A (en) Vending machine

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant