KR20150001921A - Electric product - Google Patents

Electric product Download PDF

Info

Publication number
KR20150001921A
KR20150001921A KR20130075007A KR20130075007A KR20150001921A KR 20150001921 A KR20150001921 A KR 20150001921A KR 20130075007 A KR20130075007 A KR 20130075007A KR 20130075007 A KR20130075007 A KR 20130075007A KR 20150001921 A KR20150001921 A KR 20150001921A
Authority
KR
South Korea
Prior art keywords
food
image
cameras
control unit
camera
Prior art date
Application number
KR20130075007A
Other languages
Korean (ko)
Other versions
KR102145607B1 (en
Inventor
이중근
최원철
조순행
김재홍
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130075007A priority Critical patent/KR102145607B1/en
Priority to US14/317,942 priority patent/US20150002660A1/en
Publication of KR20150001921A publication Critical patent/KR20150001921A/en
Application granted granted Critical
Publication of KR102145607B1 publication Critical patent/KR102145607B1/en

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2825—Reporting to a device located outside the home and the home network
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

The present invention relates to an electrical device for recognizing information on food correctly. According to an aspect of the present invention, the electric product comprises: a main body having one or more food storage parts; one or more cameras installed in the food storage parts and photographing the food to be stocked or released; and a control unit determining whether the food is stocked or released on the basis of the location of the food from the images captured by the cameras and determining the name of the food by extracting the image of the food from the captured images.

Description

전기제품{Electric product }Electric product

본 발명은 전기제품에 관한 것이다. The present invention relates to an electrical product.

일반적으로 전기 제품은 전기를 동력원으로 하여 특정 대상물을 관리 또는 처리하기 위한 장치로서 이해될 수 있다. Generally, an electric appliance can be understood as an apparatus for managing or treating a specific object by using electricity as a power source.

종래의 전기 제품이 냉장고일 경우, 상기 냉장고는 저장실을 형성하는 본체와, 상기 본체를 선택적으로 차폐하는 도어를 포함한다. 상기 도어에는 냉장고의 작동상태를 디스플레이 하는 디스플레이 장치가 구비된다. When the conventional electric appliance is a refrigerator, the refrigerator includes a main body forming a storage room and a door selectively shielding the main body. The door is provided with a display device for displaying the operating state of the refrigerator.

종래의 냉장고는, 한국공개특허 제2012-0117464호에 개시된 바와 같이, 고내에 수용된 식품을 포함하는 영상을 촬영하고, 현재 촬영된 영상과 이전에 촬영된 영상의 차영상을 기초로 식품의 입고 및 출고 여부를 확인한다. The conventional refrigerator has been disclosed in Korean Patent Laid-Open Publication No. 2012-0117464, in which an image including foods housed in a living room is photographed, and a food and beverage of the food is prepared based on the difference between the currently photographed image and the previously photographed image. Check whether the product is shipped.

그런데, 종래의 냉장고에 의하면, 입고되거나 출고되는 식품 외의 주변 식품이 함께 촬영되기 때문에, 해당 식품 자체의 고유 형상을 정확하게 파악하지 못하여, 해당 식품의 종류의 확인이 원활히 이루어지지 못하는 문제가 있으며, 저장된 식품의 위치가 의도치 않게 변경되는 경우에는 식품이 입고되거나 출고되지 않았음에도 불구하고 식품이 입고 또는 출고되었다고 판단되는 문제가 발생하게 한다. However, according to the conventional refrigerator, the surrounding food other than the food to be received or shipped is taken together, so that the inherent shape of the food itself can not be accurately grasped and the type of the food can not be confirmed smoothly. If the position of a food is changed unintentionally, it will cause a problem that the food is considered to be in stock or shipped even though the food has not been shipped or shipped.

본 발명의 목적은, 관리 대상인 식품에 관한 정보를 정확하게 인식할 수 있는 전기제품을 제공하는 것에 있다. An object of the present invention is to provide an electric product which can accurately recognize information on a food to be managed.

일 측면에 따른 전기제품은, 하나 이상의 식품 보관부를 가지는 본체; 상기 하나 이상의 식품 보관부에 설치되어, 입고되거나 출고되는 식품을 촬영하기 위한 하나 이상의 카메라; 및 상기 하나 이상의 카메라에서 촬영된 이미지에서 식품의 위치를 기준으로 입고 또는 출고 여부를 판단하고, 상기 촬영된 이미지에서 식품의 이미지를 추출하여 식품명을 판단하는 제어부를 포함한다. An electrical product according to one aspect includes: a main body having at least one food storage; One or more cameras installed in the one or more food storage units for shooting foods to be stocked or shipped; And a control unit for judging whether or not the image is taken in or out of the image based on the position of the food in the image photographed by the one or more cameras, and extracting the image of the food from the photographed image to determine the name of the food.

다른 측면에 따른 전기제품은, 하나 이상의 식품 보관부를 가지는 본체; 상기 하나 이상의 식품 보관부에 설치되어, 입고되거나 출고되는 식품을 촬영하기 위한 하나 이상의 카메라; 및 상기 하나 이상의 카메라에서 촬영된 영상에서 식품의 이동 방향을 판단하고, 판단된 이동 방향을 기초로 입고 또는 출고 여부를 판단하는 제어부를 포함한다. An electrical product according to another aspect includes: a body having at least one food storage; One or more cameras installed in the one or more food storage units for shooting foods to be stocked or shipped; And a control unit for judging the moving direction of the food in the image photographed by the one or more cameras and judging whether the goods are to be put on or off based on the determined moving direction.

제안되는 실시 예에 의하면, 입고 또는 출고 여부 뿐만 아니라, 인식 대상인 식품의 식품명을 정확하게 판단할 수 있는 장점이 있다. According to the proposed embodiment, there is an advantage that it is possible to accurately determine not only whether the goods are received or shipped, but also the food name of the food to be recognized.

도 1은 제1실시 예에 따른 네트워크 장치의 구성을 보여주는 도면.
도 2는 상기 네트워크 장치를 구성하는 냉장고의 블럭도.
도 3은 제1실시 예에 따른 인식 장치의 일 예로 카메라가 냉장고에 설치된 모습을 보여주는 도면.
도 4는 제1실시 예에 따른 카메라에서 촬영된 이미지를 보여주는 도면.
도 5는 제1실시 예에 따른 냉장고의 식품인식방법을 설명하기 위한 흐름도.
도 6은 제2실시 예에 따른 카메라에서 촬영되는 이미지를 보여주는 도면.
도 7은 제3실시 예에 따른 인식 장치의 일 예로 다수의 카메라가 냉장고에 설치된 모습을 보여주는 도면.
도 8은 제3실시 예에 따른 제1 및 제2카메라에서 촬영된 이미지를 보여주는 도면
도 9는 제4실시 예에 따른 인식 장치의 일 예로 다수의 카메라가 냉장고에 설치된 모습을 보여주는 도면.
도 10은 제4실시 예에 따른 제1 및 제2카메라에서 촬영된 이미지를 보여주는 도면.
도 11은 제5실시 예에 따른 인식 장치의 일 예로 다수의 카메라가 냉장고에 설치된 모습을 보여주는 도면. BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram showing a configuration of a network apparatus according to a first embodiment; Fig.
2 is a block diagram of a refrigerator that constitutes the network device.
FIG. 3 is a view showing a state where a camera is installed in a refrigerator as an example of a recognition device according to the first embodiment; FIG.
4 is a view showing an image photographed by a camera according to the first embodiment;
FIG. 5 is a flowchart for explaining a method of recognizing a food of a refrigerator according to the first embodiment. FIG.
6 is a view showing an image taken by a camera according to the second embodiment;
7 is a view showing a state where a plurality of cameras are installed in a refrigerator as an example of a recognition device according to the third embodiment;
8 is a view showing an image photographed by the first and second cameras according to the third embodiment;
9 is a view showing a state in which a plurality of cameras are installed in a refrigerator as an example of a recognition device according to the fourth embodiment.
10 is a view showing images photographed by the first and second cameras according to the fourth embodiment;
11 is a view showing a state in which a plurality of cameras are installed in a refrigerator as an example of the recognition device according to the fifth embodiment.

이하에서는 도면을 참조하여 본 발명의 실시 예 들에 대해서 구체적으로 설명하기로 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 제1실시 예에 따른 네트워크 장치의 구성을 보여주는 도면이고, 도 2는 상기 네트워크 장치를 구성하는 냉장고의 블럭도이다. FIG. 1 is a block diagram of a network device according to a first embodiment of the present invention, and FIG. 2 is a block diagram of a refrigerator of the network device.

도 1 및 도 2를 참조하면, 제1실시예에 따른 네트워크 장치는, 전기제품의 일 예로서 냉기가 발생되며 대상물(식품)을 저온의 상태에서 저장하는 냉장고(10)와, 상기 냉장고(10)에 통신 가능하게 연결되는 단말기(80) 및 상기 냉장고(10) 및 단말기(80)와 통신 가능하게 연결되며 소정 데이터를 저장하는 서버(70)를 포함할 수 있다. Referring to FIGS. 1 and 2, the network device according to the first embodiment includes a refrigerator 10 that generates cold air and stores objects (food) in a low temperature state as an example of the electric appliances, And a server 70 communicably connected to the refrigerator 10 and the terminal 80 and storing predetermined data.

상기 단말기(80)는, 소정의 정보가 표시되는 디스플레이부(82)를 포함한다. 상기 단말기 디스플레이부(82)에서는 상기 냉장고(10)에 저장된 식품 정보 또는 상기 냉장고(10)의 작동 상태 정보 등이 표시될 수 있다. 즉, 상기 단말기(80)는 상기 냉장고(10)의 상태를 모니터링할 수 있다. 또한, 상기 단말기(80)를 이용하여 상기 냉장고(10)의 작동을 제어할 수 있다. 또한, 상기 단말기(80)에서 인식한 정보를 상기 냉장고(10)로 전송할 수 있다. The terminal 80 includes a display unit 82 for displaying predetermined information. In the terminal display unit 82, food information stored in the refrigerator 10 or operating state information of the refrigerator 10 may be displayed. That is, the terminal 80 can monitor the state of the refrigerator 10. Further, the operation of the refrigerator 10 can be controlled using the terminal 80. [ Further, the information recognized by the terminal 80 can be transmitted to the refrigerator 10.

상기 단말기(80)는 일 예로 휴대 가능한 휴대폰 또는 스마트 폰일 수 있으나, 이에 제한되지는 않는다. The terminal 80 may be, for example, a portable phone or a smart phone, but is not limited thereto.

상기 네트워크 장치는, 상기 단말기(80)와 서버(70)의 통신을 위한 제 1 인터페이스(910)와, 상기 서버(70)와 냉장고(10)의 통신을 위한 제 2 인터페이스(920) 및 상기 단말기(80)와 냉장고(10) 사이의 통신을 위한 제 3 인터페이스(930)를 포함할 수 있다. The network device includes a first interface 910 for communication between the terminal 80 and the server 70, a second interface 920 for communication between the server 70 and the refrigerator 10, And a third interface 930 for communication between the refrigerator 80 and the refrigerator 10.

상기 제 1 내지 제 3 인터페이스(910, 920, 930)는, 정보를 전달하기 위한 통신 방식으로서 와이파이(wifi), 지그비(Zig-bee), 블루투스(Bluetooth) 및 인터넷(internet) 중 적어도 하나의 통신 방식 또는 기타 통신 방식이 적용될 수 있으며, 통신 방식에는 제한이 없음을 밝혀둔다. The first to third interfaces 910, 920 and 930 are communication methods for transmitting information and include at least one of wifi, Zig-bee, Bluetooth and internet Method or other communication method can be applied, and the communication method is not limited.

상기 냉장고(10)는, 정보를 디스플레이할 수 있는 디스플레이부(20)와, 정보를 인식하기 위한 인식 장치(30)와, 식품과 관련한 정보가 저장되는 메모리부(40)와, 상기 서버(70) 또는 상기 단말기(80)와 통신을 위한 통신부를 포함할 수 있다. The refrigerator 10 includes a display unit 20 capable of displaying information, a recognition unit 30 for recognizing information, a memory unit 40 for storing information related to food, Or a communication unit for communicating with the terminal 80.

상기 인식 장치(30)는, 카메라, RFID 리더, QR 코드 리더, 바코드 리더 중 하나 이상을 포함할 수 있다. 이하에서는 상기 인식 장치(30)가 일 예로 카메라인 것에 대해서 설명하기로 한다. The recognition device 30 may include at least one of a camera, an RFID reader, a QR code reader, and a barcode reader. Hereinafter, the recognition device 30 will be described as an example of a camera.

상기 인식 장치(30)는, 인식 대상(400)의 이미지를 획득할 수 있다. 상기 인식 대상(400)은 일 예로 상기 냉장고(10)에서 보관될 식품일 수 있다. The recognition device 30 can acquire an image of the recognition object 400. [ The recognition object 400 may be a food to be stored in the refrigerator 10, for example.

상기 식품과 관련한 정보는, 식품 자체정보 또는 식품 관리정보가 포함될 수 있다. 상기 식품 자체정보에는 식품명, 식품명에 대응하는 이미지, 식품량 또는 식품개수 등이 포함되며, 식품 관리정보에는 냉장고 내에 저장되는 식품명, 식품의 이미지, 식품의 보관위치, 보관기간, 보관량 또는 보관방법, 입고일, 출고일 등이 포함될 수 있다. 이 때, 보관기간은, 입고일로부터 계산되는 보관잔여기간, 보관마감일, 입고 시부터 출고 시까지의 보관경과기간을 포함할 수 있다. The information relating to the food may include food self-information or food management information. The food self-information includes the name of the food, the image corresponding to the name of the food, the amount of food or the number of food, etc. The food management information includes the name of the food stored in the refrigerator, the image of the food, Date of arrival, date of shipment, etc. At this time, the storage period may include a storage remaining period calculated from the date of wearing, a storage deadline, and a storage elapsed period from the time of receipt to the time of receipt.

그리고, 상기 식품과 관련한 정보 중 일부는 상기 인식 장치(30)에서 획득한 이미지로부터 획득될 수 있다. And, some of the information related to the food may be obtained from the image acquired by the recognition device 30.

상기 메모리부(40)에는 상기 식품과 관련한 정보가 저장될 수 있다. 상기 메모리부(40)에 저장된 정보 중 일부 또는 전부는 상기 서버(70) 또는 상기 단말기(80)에 저장되거나 상기 서버(70) 또는 상기 단말기(80)에서 로딩할 수 있다. The memory unit 40 may store information related to the food. Some or all of the information stored in the memory unit 40 may be stored in the server 70 or the terminal 80 or loaded from the server 70 or the terminal 80.

도 3은 제1실시 예에 따른 인식 장치의 일 예로 카메라가 냉장고에 설치된 모습을 보여주는 도면으로서, 도 3의 (a)는 식품 보관부의 정면도이고, 도 3의 (b)는 식품 보관부의 측면도이다. FIG. 3 is a front view of the food storage unit, and FIG. 3 (b) is a side view of the food storage unit. FIG. 3 is a view showing a state where the camera is installed in the refrigerator as an example of the recognition apparatus according to the first embodiment. .

도 2 및 도 3을 참조하면, 제1실시 예에 따른 냉장고(10)는, 식품을 저장하기 위한 냉동실 및 냉장실 중 하나 이상을 포함하는 본체를 구비할 수 있다. 상기 냉동실 또는 냉장실은 하나 이상의 식품 보관부(101)를 포함할 수 있다. 2 and 3, the refrigerator 10 according to the first embodiment may include a main body including at least one of a freezer compartment and a refrigerating compartment for storing food. The freezer compartment or the refrigerating compartment may include one or more food storage units (101).

상기 식품 보관부(101)에는 보관되는 인식 대상(400)의 이미지를 획득하기 위한 카메라(310)가 구비될 수 있다. 일 예로 상기 카메라(310)는 상기 식품 보관부(101)의 상면에 위치될 수 있다. 따라서, 상기 카메라(310)는 상기 카메라의 하방에 위치된 인식 대상(400)을 촬영할 수 있다. The food storage unit 101 may include a camera 310 for acquiring an image of a recognition object 400 to be stored. For example, the camera 310 may be positioned on the upper surface of the food storage unit 101. Therefore, the camera 310 can photograph the recognition object 400 positioned below the camera.

또한, 상기 카메라(310)는 상기 식품 보관부(101)에서 앞쪽 부분에 위치될 수 있다. 즉, 상기 카메라(310)는 상기 식품 보관부(101)의 개구(110)와 인접하게 위치될 수 있다. In addition, the camera 310 may be located at a front portion of the food storage unit 101. That is, the camera 310 may be positioned adjacent to the opening 110 of the food storage unit 101.

일반적으로, 인식 대상(400)인 식품은 상기 개구(110)를 통하여 상기 식품 보관부(101)에 수용되며, 식품은 상기 식품 보관부(101) 전체 영역 중에서 안쪽부터 보관될 수 있다. 따라서, 상기 식품 보관부(101)의 전후를 기준으로 앞쪽 부분에는 인식 대상(400)인 식품이 수용되지 않기 때문에, 상기 카메라(310)를 상기 식품 보관부(101)에서 앞쪽 부분에 설치함으로서, 상기 카메라(310)가 입고되거나 출고되는 인식 대상(400)을 전체적으로 촬영하는 것이 가능하게 된다.Generally, the food to be recognized 400 is accommodated in the food storage part 101 through the opening 110, and the food can be stored from the inside of the whole area of the food storage part 101. Therefore, since the food to be recognized 400 is not received in the front part of the food storage part 101, the camera 310 is installed at the front part of the food storage part 101, It becomes possible to take a picture of the recognition object 400 to which the camera 310 is to be put in or out.

상기 제어부(50)는, 상기 카메라(310)에서 촬영된 이미지를 기초로 인식 대상(400)인 식품의 식품명을 판단할 수 있다. 또한, 상기 제어부(50)는, 상기 카메라(310)에서 촬영된 이미지를 기초로 입고되는 식품인지 출고되는 식품인지를 판단할 수 있다. The control unit 50 can determine the food name of the food to be recognized 400 based on the image captured by the camera 310. [ In addition, the controller 50 can determine whether the food is a food to be shipped based on the image photographed by the camera 310.

본 실시 예에서 식품 보관부(101)는 다수 개가 구비될 수 있으며, 각 식품 보관부(101) 마다 카메라(310)가 구비될 수 있다. 이 경우에는, 상기 제어부(50)는, 식품 보관부(101) 별로 설치된 카메라(310)의 번호를 인식할 수 있고, 이를 토대로 입고되거나 출고되는 식품의 보관위치 까지도 인식할 수 있게 된다. In this embodiment, a plurality of food storage units 101 may be provided, and a camera 310 may be provided for each food storage unit 101. In this case, the control unit 50 can recognize the number of the camera 310 installed for each food storage unit 101, and can recognize the storage position of the foodstuffs to be put on or taken out based on the number.

도 4는 제1실시 예에 따른 카메라에서 촬영된 이미지를 보여주는 도면으로서, 도 4의 (a)은 입고되는 식품을 촬영한 이미지를 보여주고, 도 4의 (b)는 출고되는 식품을 촬영한 이미지를 보여준다. Fig. 4 is a view showing an image photographed by a camera according to the first embodiment. Fig. 4 (a) shows an image of food taken in, and Fig. 4 (b) Show images.

도 5는 제1실시 예에 따른 냉장고의 식품인식방법을 설명하기 위한 흐름도이다. 5 is a flowchart for explaining a method of recognizing a food of a refrigerator according to the first embodiment.

도 4 및 도 5를 참조하면, 식품 보관부(101)에 구비된 카메라(310)가 인식 대상(400)을 촬영하게 된다(S1). 이 때, 사용자는 상기 식품 보관부(101)에서 개구와 인접한 위치의 상기 식품 보관부(101)의 바닥벽에 인식 대상(400)을 놓고, 상기 카메라(310)는 상기 바닥벽에 놓인 인식 대상을 촬영하게 된다. 4 and 5, the camera 310 provided in the food storage unit 101 photographs the recognition object 400 (S1). At this time, the user places the recognition object 400 on the bottom wall of the food storage part 101 at a position adjacent to the opening in the food storage part 101, and the camera 310 displays the recognition object 400 placed on the bottom wall .

상기 카메라(310)는 상기 식품 보관부(101)를 개폐하는 도어가 개방되고 일정 시간 경과 후에 촬영 동작을 수행할 수 있다. 또는, 상기 카메라(310)는 사용자의 촬영 명령 입력에 의해서 촬영 동작을 수행할 수 있다. 이 경우에는 촬영 명령은 상기 식품 보관부(101)에 구비되는 촬영 버튼에 의해서 수행될 수 있다. 또는, 상기 카메라(310)는 상기 식품 보관부(101)를 개폐하는 도어가 개방되면, 온되고, 상기 카메라(310)에서 인식 대상(400)이 감지되면(또는 인식 대상(400)이 일정 시간 동안 감지되면), 상기 카메라(310)는 촬영 동작을 수행하게 된다. 본 실시 예에서, 카메라(310)의 촬영 시작방법에는 제한이 없음을 밝혀둔다. The camera 310 can perform a photographing operation after a predetermined time elapses after the door for opening and closing the food storage unit 101 is opened. Alternatively, the camera 310 may perform a photographing operation by inputting a photographing command of a user. In this case, the photographing command may be performed by the photographing button provided in the food storage unit 101. Alternatively, when the door for opening and closing the food storage unit 101 is opened, the camera 310 is turned on. If the camera 310 detects the recognition object 400 , The camera 310 performs an imaging operation. In the present embodiment, it is to be noted that there is no limitation on the shooting start method of the camera 310. [

그리고, 상기 제어부(50)는 촬영된 이미지 내의 인식 대상(400)의 입고 또는 출고 여부를 판단한다(S2). Then, the control unit 50 determines whether the recognition target 400 in the photographed image is received or not (S2).

일 예로, 도 4를 참조하면, 상기 제어부(50)는, 상기 카메라(310)에서 촬영한 이미지(320)를 다수의 영역으로 구획한다. 촬영된 이미지(320)는 좌우 및 전후로 구획되며, 도 4의 (a)에서 하측이 앞쪽(식품 보관부의 개구부 측임)이고 상측이 뒷쪽이다. For example, referring to FIG. 4, the controller 50 divides an image 320 captured by the camera 310 into a plurality of regions. The photographed image 320 is divided into left and right and back and forth, and the lower side in FIG. 4 (a) is the front side (the opening side of the food storage portion) and the upper side is the rear side.

먼저, 도 4의 (a)를 기준으로, 인식 대상(400)이 좌우 기준선을 기준으로 좌측에 위치한 경우에는, 상기 제어부(50)는 인식 대상(400)이 입고된 식품인 것으로 판단한다. 반면, 상기 제어부(50)는 도 4의 (b)와 같이 인식 대상(400)이 좌우 기준선을 기준으로 우측에 위치한 경우에는, 상기 제어부(50)는 인식 대상(400)이 출고된 식품인 것으로 판단한다. First, when the recognition object 400 is located on the left side with respect to the left and the right reference lines on the basis of FIG. 4A, the controller 50 determines that the recognition object 400 is the received food. 4 (b), when the recognition object 400 is located on the right side with respect to the left and right reference lines, the control unit 50 determines that the recognition target 400 is a food .

위의 같은 판단 기준으로 제품 자체에서 결정되는 것으로서, 식품을 입고하는 경우에는 제품의 사용설명서 또는 수납 보관부를 형성하는 선반 또는 바닥벽에 입고되는 식품을 식품 보관부의 좌우를 기준으로 좌측에 놓을 수 있도록 가이드 문구가 기재될 수 있다. 또한, 이미 보관된 식품을 출고하는 경우에는 제품의 사용설명서 또는 수납 보관부를 형성하는 선반 또는 바닥벽에 출고되는 식품을 식품 보관부의 좌우를 기준으로 우측에 놓을 수 있도록 가이드 문구가 기재될 수 있다. In the case of food products, the product manual or the food on the shelf or bottom wall forming the storage compartment may be placed on the left side relative to the left side of the food storage unit. Guide phrases may be listed. Further, in the case of delivering the already stored food, a guide phrase may be written so that the user's manual for the product or the food on the shelf or bottom wall forming the storage compartment can be placed on the right side with respect to the left and right of the food storage compartment.

단계 S2에서, 상기 제어부(50)가 인식 대상이 입고되는 식품인 것으로 판단한 경우, 상기 제어부(50)는 촬영된 이미지에서 인식 대상(400)을 추출하고 추출된 인식 대상(400)의 이미지와 상기 메모리부(40)에 저장된 이미지를 비교하여 추출된 인식 대상(400)의 이미지에 대응하는 식품명을 판단한다(S3). If the controller 50 determines in step S2 that the recognition object is the food to be sensed, the controller 50 extracts the recognition object 400 from the sensed image, The images stored in the memory unit 40 are compared with each other to determine the name of the food corresponding to the extracted image of the recognition target 400 (S3).

다른 예로서, 상기 제어부(50)는, 추출된 인식 대상의 이미지를 서버로 전송하고, 추출된 인식 대상(400)의 이미지와 서버의 메모리부에 저장된 이미지를 서버가 비교한 후에 식품명을 서버가 제어부(50)로 전송하는 것도 가능하다. As another example, the control unit 50 transmits the extracted image of the recognition target to the server, and after the server compares the image of the extracted recognition object 400 with the image stored in the memory unit of the server, It is also possible to transmit it to the control section 50.

그 다음, 상기 제어부(50)는, 추출된 식품명과 관련한 정보를 상기 메모리부(40)에 저장하고, 상기 디스플레이부(20)에 추출된 식품명과 관련한 정보가 표시되도록 한다(S4). Next, the control unit 50 stores the extracted information related to the name of the food in the memory unit 40, and displays information related to the extracted food name on the display unit 20 (S4).

일 예로, 상기 제어부(50)는, 추출된 식품명과 이에 대응하는 이미지, 입고된 식품의 보관 위치, 식품의 입고일자, 입고된 식품의 보관잔여기간, 보관방법 등을 메모리부(40)에 저장할 수 있고, 상기 디스플레이부(20)에 표시할 수 있다. For example, the control unit 50 stores the name of the extracted food, the image corresponding to the extracted food, the storage position of the received food, the date of receipt of the food, the storage remaining period of the received food, and the storage method in the memory unit 40 And can be displayed on the display unit 20.

이 때, 상기 메모리부(40)에는, 상기 식품과 관련한 정보가 보관되는 제1메모리와, 상기 추출된 식품명(입고된 식품명)과 관련한 정보가 저장되는 제2메모리를 포함할 수 있다. At this time, the memory unit 40 may include a first memory for storing information related to the food, and a second memory for storing information related to the extracted name of the food (name of the foodstuff).

한편, 단계 S2에서, 상기 제어부(50)가 인식 대상이 출고되는 식품인 것으로 판단한 경우, 상기 제어부(50)는 촬영된 이미지에서 인식 대상(400)을 추출하고 추출된 인식 대상(400)의 이미지와 상기 메모리부(40)(또는 서버(70)에 저장된 메모리)에 저장된 이미지를 비교하여 추출된 인식 대상(400)의 이미지에 대응하는 식품명을 판단한다(S5). On the other hand, if it is determined in step S2 that the control unit 50 is a food item to be recognized, the control unit 50 extracts the recognition object 400 from the photographed image, And the image stored in the memory unit 40 (or the memory stored in the server 70), and determines the name of the food corresponding to the extracted image of the recognition object 400 (S5).

그 다음, 상기 제어부(50)는, 추출된 식품명(출고된 식품명)과 관련한 정보를 상기 메모리부(40)에서 삭제하고, 상기 디스플레이부(20)에 출고되는 식품명과 관련한 정보가 표시되도록 한다(S6). Next, the control unit 50 deletes the information related to the extracted food name (the name of the shipped food) in the memory unit 40, and displays the information related to the shipped food name on the display unit 20 S6).

일 예로 출고된 식품명과 관련한 정보를 제2메모리에서 삭제하고, 상기 디스플레이부(20)에, 출고된 식품명과 이에 대응하는 이미지, 출고된 식품의 보관 위치, 식품의 입고일자, 입고된 식품의 보관경과기간 등을 표시할 수 있다. For example, the information related to the shipped food name is deleted from the second memory, and the display unit 20 displays the name of the shipped food and the corresponding image, storage location of the shipped food, date of receipt of the food, And the elapsed time period can be displayed.

한편, 상기 디스플레이부(20)에서 표시되는 입고된 식품과 관련한 정보 또는 출고된 식품과 관련한 정보의 수정이 필요한 경우에는 사용자는 디스플레이부(20)의 화면 상에서 수정이 필요한 정보를 선택한 후에 수정할 수 있다. On the other hand, when it is necessary to modify the information related to the received food or the delivered food displayed on the display unit 20, the user may select the information to be corrected on the screen of the display unit 20 and then modify the information .

본 실시 예에 의하면, 인식 대상인 식품의 입고 또는 출고 여부를 명확하게 인식할 수 있고, 인식 대상인 식품의 식품명을 정확하게 인식할 수 있는 장점이 있다. According to the present embodiment, there is an advantage that it is possible to clearly recognize the receipt or release of the food to be recognized, and to accurately recognize the food name of the food to be recognized.

도 6은 제2실시 예에 따른 카메라에서 촬영되는 이미지를 보여주는 도면으로서, 도 6의 (a)는 입고되는 인식 대상을 촬영한 이미지를 보여주고, 도 6의 (b)는 출고되는 인식 대상을 촬영한 이미지를 보여준다. 6 shows an image taken by a camera according to the second embodiment. FIG. 6 (a) shows an image of an object to be captured, and FIG. 6 (b) Shows the recorded image.

제2실시 예는 다른 부분에 있어서는 제1실시 예와 동일하고, 다만, 입고 또는 출고되는 인식 대상의 판단 방법에 있어서 차이가 있다. 따라서, 이하에서는 제2실시 예의 특징적인 부분에 대해서만 설명하기로 한다. The second embodiment is the same as the first embodiment in the other parts, but there is a difference in the determination method of the recognition object to be received or shipped. Therefore, only the characteristic parts of the second embodiment will be described below.

도 6을 참조하면, 식품 보관부(101)에 구비된 카메라(310)가 인식 대상(400)을 촬영하게 된다. 이 때, 상기 카메라(310)는 동영상을 촬영하거나, 정지 영상을 다수 회 촬영하게 된다. 이하에서는 일 예로 상기 카메라(310)가 정지 영상을 다수회 촬영하는 것에 대해서 설명하기로 한다. Referring to FIG. 6, the camera 310 provided in the food storage unit 101 photographs the recognition object 400. At this time, the camera 310 photographs a moving image or photographs a still image a plurality of times. Hereinafter, an example in which the camera 310 photographs a still image a plurality of times will be described.

그리고, 상기 제어부(50)는 촬영된 이미지 내의 인식 대상(400)의 입고 또는 출고 여부를 판단한다. Then, the control unit 50 determines whether the recognition target 400 in the photographed image is received or not.

일 예로, 도 6의 (a)를 참조하면, 상기 제어부(50)는, 상기 카메라(310)에서 촬영한 다수의 이미지를 합쳐서 하나의 혼합 이미지(320)를 획득한다. For example, referring to FIG. 6A, the controller 50 combines a plurality of images captured by the camera 310 to obtain a single mixed image 320.

그 다음, 상기 제어부(50)는, 획득한 혼합 이미지(320)에서 인식 대상(400)의 이동 방향을 판단한다. 일 예로 식품이 입고되는 경우, 식품 보관부(101)의 개구 측인 하측에서 상측으로 인식 대상(400)이 이동하게 되고, 상기 제어부(50)는, 인식 대상(400)의 상방 이동을 기초로 인식 대상(400)이 입고되었음을 판단하게 된다.Then, the control unit 50 determines the moving direction of the recognition object 400 in the obtained mixed image 320. [ For example, when the food is to be received, the recognition object 400 moves from the lower side to the upper side, which is the opening side of the food storage part 101, and the control part 50 recognizes It is determined that the object 400 has been received.

반면, 식품이 출고되는 경우, 상측에서 식품 보관부(101)의 개구 측인 하측으로 인식 대상(400)이 이동하게 되고, 상기 제어부(50)는, 인식 대상(400)의 하방 이동을 기초로 인식 대상이 출고되었음을 판단하게 된다. On the other hand, when the food is delivered, the recognition object 400 moves from the upper side to the lower side, which is the opening side of the food storage unit 101, and the control unit 50 recognizes It is determined that the object has been shipped.

상기 제어부(50)에서 인식 대상의 입고 또는 출고 여부가 판단된 후에는 도 5의 단계 S3 및 S4를 수행하거나, 단계 S5 및 S6을 수행할 수 있다. After the control unit 50 determines whether the recognition is to be performed or not, the steps S3 and S4 of FIG. 5 may be performed or the steps S5 and S6 may be performed.

도 7은 제3실시 예에 따른 인식 장치의 일 예로 다수의 카메라가 냉장고에 설치된 모습을 보여주는 도면으로서, 도 7에는 식품 보관부의 정면도가 개시된다. FIG. 7 is a view showing a state in which a plurality of cameras are installed in a refrigerator as an example of a recognition apparatus according to a third embodiment, and FIG. 7 is a front view of the food storage unit.

제3실시 예는 다른 부분에 있어서는 제1실시 예와 동일하고, 다만, 입고 또는 출고되는 인식 대상의 판단 방법에 있어서 차이가 있다. 따라서, 이하에서는 제3실시 예의 특징적인 부분에 대해서만 설명하기로 한다. The third embodiment is the same as the first embodiment in the other parts, but there is a difference in the determination method of the recognition object to be received or shipped. Therefore, only the characteristic parts of the third embodiment will be described below.

도 7을 참조하면, 상기 식품 보관부(101)의 좌우 양측벽에 각각 하나의 카메라(330, 340)가 설치될 수 있다. 즉, 상기 식품 보관부(101)의 좌측벽에 제1카메라(330)가 설치되고, 상기 식품 보관부(101)의 우측벽에 제2카메라(340)가 설치된다. 상기 각 카메라(330, 340)는 상기 식품 보관부(101)의 각 벽에서, 식품 보관부의 바닥벽을 향하도록 경사지게 배치된다. 따라서, 상기 각 카메라(330, 340)는, 상기 식품 보관부(101)의 바닥벽에 놓인 인식 대상을 촬영할 수 있다. Referring to FIG. 7, one camera (330, 340) may be installed on each side wall of the food storage unit (101). That is, a first camera 330 is installed on the left side wall of the food storage unit 101, and a second camera 340 is installed on the right side wall of the food storage unit 101. Each of the cameras 330 and 340 is disposed obliquely from each wall of the food storage unit 101 toward the bottom wall of the food storage unit. Therefore, each of the cameras 330 and 340 can capture a recognition object placed on the bottom wall of the food storage unit 101. [

또한, 상기 각 카메라(330, 340)는, 도 3의 (b)에 도시된 바와 같이 상기 식품 보관부(101)의 개구와 인접한 위치에 배치될 수 있다. In addition, each of the cameras 330 and 340 may be disposed at a position adjacent to the opening of the food storage unit 101 as shown in FIG. 3 (b).

도 8은 제3실시 예에 따른 제1 및 제2카메라에서 촬영된 이미지를 보여주는 도면으로서, 도 8의 (a)는 입고되는 식품을 제1 및 제2카메라에서 촬영한 이미지를 보여주고, 도 8의 (b)는 출고되는 식품을 제1 및 제2카메라에서 촬영한 이미지를 보여준다. 도 8에서, 좌측 이미지는 제1카메라에서 촬영된 이미지이고, 우측 이미지는 제2카메라에서 촬영된 이미지이다. FIG. 8 is a view showing images taken by the first and second cameras according to the third embodiment. FIG. 8 (a) shows an image taken by the first and second cameras of food to be received, 8 (b) shows images taken from the first and second cameras of the delivered food. In Fig. 8, the left image is an image photographed by the first camera, and the right image is an image photographed by the second camera.

도 7 및 도 8을 참조하면, 식품 보관부(101)에 구비된 제1카메라(330) 및 제3카메라(340)가 식품 보관부(101)의 앞쪽 부분을 촬영하여 이미지를 획득한다. 본 실시 예에서는 제1 및 제2카메라(330, 340)가 동시에 촬영을 수행하거나 순차적으로 촬영을 수행할 수 있다. 7 and 8, the first camera 330 and the third camera 340 provided in the food storage unit 101 take images of the front portion of the food storage unit 101 and acquire images. In the present embodiment, the first and second cameras 330 and 340 can simultaneously perform photographing or sequentially perform photographing.

그리고, 상기 제어부(50)는 각 카메라(330, 340)에서 촬영된 이미지 내의 인식 대상(400)의 입고 또는 출고 여부를 판단한다. Then, the control unit 50 determines whether the recognition target 400 in the image photographed by each of the cameras 330 and 340 is in stock or not.

일 예로, 도 8의 (a)를 참조하면, 제1카메라(330)에서 획득한 이미지(331)에서 인식 대상(400)이 좌우 기준선을 기준으로 좌측으로 치우치게 위치되고, 제2카메라(340)에서 획득한 이미지(341)에는 인식 대상(400)이 존재하지 않는다. 8 (a), in the image 331 acquired by the first camera 330, the recognition object 400 is positioned to the left with reference to the left and right reference lines, and the second camera 340 The recognition object 400 does not exist in the image 341 obtained in the step S401.

이 경우, 상기 제어부(50)는 상기 인식 대상(400)이 상기 식품 보관부(101) 내에서 좌우를 기준으로 좌측으로 치우친 위치에 놓여져 있음을 인식하고, 인식 대상이 입고되는 것임을 판단하게 된다. In this case, the control unit 50 recognizes that the recognition object 400 is located at a position offset to the left with respect to the left and right in the food storage unit 101, and determines that the recognition target is to be received.

반면, 도 8의 (b)를 참조하면, 제1카메라(330)에서 획득한 이미지(332)에는 인식 대상(400)이 존재하지 않고, 제2카메라(340)에서 획득한 이미지(342)에는 좌우 기준선을 기준으로 인식 대상(400)이 우측으로 치우치게 위치되어 있다. 8B, the recognition object 400 does not exist in the image 332 acquired by the first camera 330 and the image 342 acquired by the second camera 340 does not exist in the image 332 acquired by the first camera 330 The recognition object 400 is positioned rightwardly on the basis of the left and right reference lines.

이 경우, 상기 제어부(50)는 상기 인식 대상(400)이 상기 식품 보관부(101) 내에서 좌우를 기준으로 우측으로 치우친 위치에 놓여져 있음을 인식하고, 인식 대상이 출고되는 것임을 판단하게 된다. In this case, the control unit 50 recognizes that the recognition object 400 is positioned at the right side in the food storage unit 101 with respect to the right and left, and determines that the recognition target is to be shipped.

상기 제어부(50)에서 인식 대상의 입고 또는 출고 여부가 판단된 후에는 도 5의 단계 S3 및 S4를 수행하거나, 단계 S5 및 S6을 수행할 수 있다. After the control unit 50 determines whether the recognition is to be performed or not, the steps S3 and S4 of FIG. 5 may be performed or the steps S5 and S6 may be performed.

다만, 상기 제어부(50)는, 인식 대상(400)이 입고된 것으로 판단한 경우에는 상기 제1카메라(330)에서 촬영한 이미지에서 인식 대상을 추출하게 된다. 반면, 제어부(50)는 인식 대상(400)이 출고된 것으로 판단한 경우에는 상기 제2카메라(340)에서 촬영한 이미지에서 인식 대상을 추출하게 된다. However, when the control unit 50 determines that the recognition object 400 has been received, the control unit 50 extracts the recognition object from the image photographed by the first camera 330. On the other hand, when the control unit 50 determines that the recognition object 400 is shipped, the control unit 50 extracts the recognition object from the image photographed by the second camera 340.

또는, 보다 정확하게 인식 대상을 추출하기 위하여, 상기 제어부(50)는, 상기 제1카메라(330)에서 촬영한 이미지와 상기 제2카메라(340)에서 촬영한 이미지를 기초로 인식 대상의 이미지를 생성하고, 생성된 이미지를 메모리에 저장된 정보와 비교하여 인식 대상의 식품명을 판단할 수 있다. Alternatively, in order to more accurately extract the recognition object, the control unit 50 generates an image of the recognition object on the basis of the image photographed by the first camera 330 and the image photographed by the second camera 340 And compares the generated image with the information stored in the memory to determine the name of the food to be recognized.

도 9는 제4실시 예에 따른 인식 장치의 일 예로 다수의 카메라가 냉장고에 설치된 모습을 보여주는 도면으로서, 도 9에는 식품 보관부의 정면도가 개시된다. FIG. 9 is a view showing a state in which a plurality of cameras are installed in a refrigerator as an example of a recognition apparatus according to the fourth embodiment, and FIG. 9 is a front view of the food storage unit.

제4실시 예는 다른 부분에 있어서는 제3실시 예와 동일하고, 다만, 입고 또는 출고되는 인식 대상의 판단 방법에 있어서 차이가 있다. 따라서, 이하에서는 제4실시 예의 특징적인 부분에 대해서만 설명하기로 한다. The fourth embodiment is the same as the third embodiment in the other parts except that there is a difference in the determination method of the recognition object to be received or shipped. Therefore, only the characteristic parts of the fourth embodiment will be described below.

도 9를 참조하면, 상기 식품 보관부(101)의 상측벽에 다수의 카메라(350, 360)가 설치될 수 있다. 즉, 상기 식품 보관부(101)의 상측벽을 이등분하는 선을 기준으로 좌측에 제1카메라(350)가 설치되고, 우측에 제2카메라(360)가 설치될 수 있다. 따라서, 상기 각 카메라(350, 360)는, 상기 식품 보관부(101)의 바닥벽에 놓인 인식 대상을 촬영할 수 있다. Referring to FIG. 9, a plurality of cameras 350 and 360 may be installed on an upper wall of the food storage unit 101. That is, the first camera 350 may be installed on the left side of the line dividing the upper side wall of the food storage unit 101, and the second camera 360 may be installed on the right side. Therefore, each of the cameras 350 and 360 can capture a recognition object placed on the bottom wall of the food storage unit 101. [

또한, 상기 각 카메라(350, 360)는, 도 3의 (b)에 도시된 바와 같이 상기 식품 보관부(101)의 개구와 인접한 위치에 배치될 수 있다. The cameras 350 and 360 may be disposed at a position adjacent to the opening of the food storage unit 101 as shown in FIG. 3 (b).

도 10은 제4실시 예에 따른 제1 및 제2카메라에서 촬영된 이미지를 보여주는 도면으로서, 도 10의 (a)는 입고되는 식품을 제1 및 제2카메라에서 촬영한 이미지를 보여주고, 도 10의 (b)는 출고되는 식품을 제1 및 제2카메라에서 촬영한 이미지를 보여준다. 도 10에서, 좌측 이미지는 제1카메라에서 촬영된 이미지이고, 우측 이미지는 제2카메라에서 촬영된 이미지이다. Fig. 10 is a view showing images taken by the first and second cameras according to the fourth embodiment. Fig. 10 (a) shows an image taken by the first and second cameras of the food to be received, 10 (b) shows images taken from the first and second cameras of the delivered food. In Fig. 10, the left image is an image photographed by the first camera, and the right image is an image photographed by the second camera.

도 9 및 도 10을 참조하면, 식품 보관부(101)에 구비된 제1카메라(350) 및 제3카메라(360)가 식품 보관부(101)의 앞쪽 부분을 촬영하여 이미지를 획득한다. 9 and 10, the first camera 350 and the third camera 360 provided in the food storage unit 101 take images of the front portion of the food storage unit 101 and acquire images.

그리고, 상기 제어부(50)는 각 카메라(350, 360)에서 촬영된 이미지 내의 인식 대상(400)의 입고 또는 출고 여부를 판단한다. Then, the control unit 50 determines whether the recognition target 400 in the image photographed by each of the cameras 350 and 360 is received or not.

일 예로, 도 10의 (a)를 참조하면, 제1카메라(350)에서 획득한 이미지(351)에서 인식 대상(400)은 이미지에서 중앙에 위치하게 되고, 제2카메라(340)에서 획득한 이미지(341)에는 인식 대상(400)이 좌우 기준선을 기준으로 좌측으로 치우치게 위치한다. For example, referring to FIG. 10 (a), in the image 351 acquired by the first camera 350, the recognition object 400 is located at the center of the image, In the image 341, the recognition target 400 is positioned to the left with reference to the left and right reference lines.

이 경우, 상기 제어부(50)는 상기 인식 대상(400)이 상기 식품 보관부(101) 내에서 좌우를 기준으로 좌측으로 치우친 위치에 놓여져 있음을 인식하고, 인식 대상이 입고되는 것임을 판단하게 된다. In this case, the control unit 50 recognizes that the recognition object 400 is located at a position offset to the left with respect to the left and right in the food storage unit 101, and determines that the recognition target is to be received.

반면, 도 10의 (b)를 참조하면, 제1카메라(350)에서 획득한 이미지(352)에는 인식 대상(400)이 좌우 기준선을 기준으로 우측으로 치우치게 위치하고, 제2카메라(360)에서 획득한 이미지(352)에는 인식 대상(400)이 중앙에 위치한다. 10B, the recognition object 400 is positioned rightward with respect to the left and right reference lines in the image 352 acquired by the first camera 350, and acquired by the second camera 360 In the one image 352, the recognition object 400 is located at the center.

이 경우, 상기 제어부(50)는 상기 인식 대상(400)이 상기 식품 보관부(101) 내에서 좌우를 기준으로 우측으로 치우친 위치에 놓여져 있음을 인식하고, 인식 대상이 출고되는 것임을 판단하게 된다. In this case, the control unit 50 recognizes that the recognition object 400 is positioned at the right side in the food storage unit 101 with respect to the right and left, and determines that the recognition target is to be shipped.

상기 제어부(50)에서 인식 대상의 입고 또는 출고 여부가 판단된 후에는 도 5의 단계 S3 및 S4를 수행하거나, 단계 S5 및 S6을 수행할 수 있다. After the control unit 50 determines whether the recognition is to be performed or not, the steps S3 and S4 of FIG. 5 may be performed or the steps S5 and S6 may be performed.

상기 제어부(50)는, 인식 대상을 정확하게 추출하기 위하여, 상기 제1카메라(350)에서 촬영한 이미지와 상기 제2카메라(360)에서 촬영한 이미지를 기초로 인식 대상의 이미지를 생성하고, 생성된 이미지를 메모리에 저장된 정보와 비교하여 인식 대상의 식품명을 판단할 수 있다. The control unit 50 generates an image of a recognition object on the basis of the image photographed by the first camera 350 and the image photographed by the second camera 360 in order to accurately extract the recognition target, It is possible to determine the name of the food to be recognized by comparing the image with the information stored in the memory.

도 11은 제5실시 예에 따른 인식 장치의 일 예로 다수의 카메라가 냉장고에 설치된 모습을 보여주는 도면으로서, 도 11에는 식품 보관부의 정면도가 개시된다. FIG. 11 is a view showing a state in which a plurality of cameras are installed in a refrigerator as an example of a recognition apparatus according to a fifth embodiment, and FIG. 11 is a front view of the food storage unit.

제5실시 예는 다른 부분에 있어서는 제4실시 예와 동일하고, 다만, 입고 또는 출고되는 인식 대상의 위치 판단이 가능한 것에서 있다. 따라서, 이하에서는 제5실시 예의 특징적인 부분에 대해서만 설명하기로 한다. The fifth embodiment is the same as the fourth embodiment in other parts except that it is possible to determine the position of the recognition target to be received or shipped. Therefore, only the characteristic parts of the fifth embodiment will be described below.

도 11을 참조하면, 상기 냉장고(10)는, 다수의 식품 보관부(101, 102, 103)를 포함할 수 있다. 일 예로 본 실시 예에서 3개의 식품 보관부(101, 102, 103)가 구비되는 것을 설명하기로 하며, 다수의 식품 보관부가 구비되는 한 개수에는 제한이 없음을 밝혀둔다. Referring to FIG. 11, the refrigerator 10 may include a plurality of food storage units 101, 102, and 103. For example, in the present embodiment, three food storage units 101, 102, and 103 are provided, and there is no limitation on the number of the food storage units.

그리고, 다수의 식품 보관부(101, 102, 103) 중에서 최상측에 위치하는 제1식품 보관부(101)의 상측벽에 제1카메라(350) 및 제2카메라(360)가 구비될 수 있다. The first camera 350 and the second camera 360 may be provided on the upper side wall of the first food storage part 101 located at the uppermost position among the plurality of food storage parts 101, .

상기 다수의 식품 보관부(101, 102, 103)는 일 예로 식품을 놓을 수 있는 선반(101A, 102A)에 의해서 서로 구획될 수 있다. 상기 선반(101A, 102A) 전체 영역 중에서 적어도 앞쪽 부분은 투명하게 형성될 수 있다. 즉, 제2식품 보관부(102)의 제2선반(102A) 또는, 제3식품 보관부(103)의 바닥벽에 놓인 인식 대상을 상기 제1식품 보관부(101)에 위치된 카메라(350, 360)가 촬영할 수 있도록, 상기 선반(101A, 102A)의 일부 또는 전부가 투명하게 형성될 수 있다. The plurality of food storage units 101, 102, and 103 may be partitioned from each other by shelves 101A and 102A on which food can be placed, for example. At least a front portion of the entire area of the shelves 101A and 102A may be formed to be transparent. That is, the second shelf 102A of the second food storage part 102 or the recognition object placed on the bottom wall of the third food storage part 103 is detected by the camera 350 located in the first food storage part 101 And 360 can be photographed by a user, a part or all of the shelves 101A and 102A can be formed to be transparent.

상기 제1식품 보관부(101)에는 식품과의 거리를 감지하기 위한 하나 이상의 거리센서(3)가 구비될 수 있다. 상기 거리센서(3)는, 입고되거나 출고되는 식품의 거리를 측정할 수 있고, 제어부(50)는 거리센서(3)에서 측정되는 거리에 기초하여 입고 또는 출고되는 식품의 해당 식품 보관부의 위치를 판단할 수 있다. The first food storage unit 101 may be provided with one or more distance sensors 3 for sensing the distance to the food. The distance sensor 3 can measure the distance of food to be received or delivered and the control unit 50 can calculate the position of the food storage unit of the foodstuff to be put in or out based on the distance measured by the distance sensor 3 It can be judged.

상기 거리센서(3)는 일 예로 초음파 센서 일 수 있으며, 본 실시 예에서 거리센서(3)의 종류에는 제한이 없음을 밝혀둔다. The distance sensor 3 may be, for example, an ultrasonic sensor. In this embodiment, the type of the distance sensor 3 is not limited.

따라서, 본 실시 예에 의하면, 다수의 식품 보관부 각각에서 입고되거나 출고되는 식품을 판단할 수 있을 뿐만 아니라, 입고되거나 출고되는 식품의 위치를 정확하게 파악할 수 있는 장점이 있다. Therefore, according to the present embodiment, it is possible not only to judge the foodstuffs to be received or delivered in each of the plurality of food storage units, but also to accurately grasp the position of the foodstuffs to be received or delivered.

위의 실시 예에서는 별도의 거리 센서를 이용하여 입고되거나 출고되는 식품의 위치를 판단하는 것으로 설명하였으나, 이와 달리 다수의 카메라의 영상을 비교하여, 거리를 추정하는 스테레오 매칭을 이용하여 다수의 카메라 중 어느 한 카메라와 식품의 거리를 추정하고, 추정된 거리를 기초로 식품의 입고 또는 출고 위치를 판단하는 것도 가능하다. In the above embodiment, it is explained that the position of the foodstuffs to be put in or out is determined by using a separate distance sensor. However, by comparing stereo images of a plurality of cameras and using stereo matching for estimating distances, It is also possible to estimate the distance between a camera and a food and determine the arrival or departure position of the food based on the estimated distance.

그리고, 상기 냉장고(10)의 디스플레이부(20)에서 표시되는 정보는 상기 단말기(80)의 표시부(82)로 전송되어 단말기(80)에서 확인할 수 있다. The information displayed on the display unit 20 of the refrigerator 10 is transmitted to the display unit 82 of the terminal 80 and can be confirmed by the terminal 80. [

10: 냉장고 30: 인식 장치
20: 디스플레이부 40: 메모리부
50: 제어부10: refrigerator 30: recognition device
20: display unit 40: memory unit
50:

Claims (13)

하나 이상의 식품 보관부를 가지는 본체;
상기 하나 이상의 식품 보관부에 설치되어, 입고되거나 출고되는 식품을 촬영하기 위한 하나 이상의 카메라; 및
상기 하나 이상의 카메라에서 촬영된 이미지에서 식품의 위치를 기준으로 입고 또는 출고 여부를 판단하고, 상기 촬영된 이미지에서 식품의 이미지를 추출하여 식품명을 판단하는 제어부를 포함하는 전기제품. A body having at least one food storage;
One or more cameras installed in the one or more food storage units for shooting foods to be stocked or shipped; And
And a control unit for determining whether a food is to be made or not on the basis of the position of the food in the image photographed by the one or more cameras, and extracting an image of the food from the photographed image to determine the name of the food. 제 1 항에 있어서,
상기 카메라는, 상기 하나 이상의 식품 보관부의 상측벽 또는 측벽에 위치되며, 상기 식품 보관부의 개구와 인접한 위치에 배치되는 전기제품. The method according to claim 1,
Wherein the camera is located at an upper side wall or a side wall of the at least one food storage part and at a position adjacent to the opening of the food storage part. 제 1 항에 있어서,
상기 제어부는, 상기 촬영된 이미지를 다수의 영역으로 분할하고,
분할된 영역에서의 식품의 위치를 기초로 식품의 입고 또는 출고 여부를 판단하는 전기제품. The method according to claim 1,
Wherein the controller divides the photographed image into a plurality of regions,
Electrical appliances that judge the receipt or release of food on the basis of the location of the food in the divided areas. 제 1 항에 있어서,
추출된 식품의 이미지와 비교를 위한 이미지가 저장되는 메모리부를 더 포함하는 전기제품. The method according to claim 1,
And an image for comparison with an image of the extracted food. 제 4 항에 있어서,
상기 메모리부에는, 현재 보관중인 식품과 관련한 정보가 저장되며,
상기 제어부는, 식품이 입고된 것으로 판단한 경우, 입고된 식품과 관련한 정보를 상기 메모리부에 추가로 저장시키고, 디스플레이부에 표시하는 전기제품. 5. The method of claim 4,
The memory unit stores information related to the currently stored food,
Wherein the control unit further stores information related to the received food in the memory unit and displays the information on the display unit when it is determined that the food is received. 제 4 항에 있어서,
상기 메모리부에는 현재 보관중인 식품과 관련한 정보가 저장되며,
상기 제어부는, 식품이 출고된 것으로 판단한 경우, 출고된 식품과 관련한 정보를 상기 메모리부에서 삭제하고, 디스플레이부에 표시하는 전기제품. 5. The method of claim 4,
The memory unit stores information related to the currently stored food,
Wherein the control unit deletes information related to the delivered food from the memory unit and displays the information on the display unit when it is determined that the food is delivered. 제 1 항에 있어서,
추출된 식품의 이미지는 전기제품과 통신할 수 있는 서버로 전송되고,
서버에서 추출된 식품의 이미지에 대응하는 식품명 정보를 전송받는 전기제품. The method according to claim 1,
An image of the extracted food is sent to a server capable of communicating with the appliance,
An electric appliance that receives food name information corresponding to an image of the food extracted from the server. 제 1 항에 있어서,
상기 식품 보관부에는 다수의 카메라가 구비되고,
상기 제어부는, 상기 다수의 카메라에서 촬영된 이미지를 기초로 식품의 입고 또는 출고 여부를 판단하는 전기제품. The method according to claim 1,
The food storage unit is provided with a plurality of cameras,
Wherein the control unit judges whether the goods are in stock or shipped based on images photographed by the plurality of cameras. 제 8 항에 있어서,
상기 제어부는, 상기 다수의 카메라에서 촬영된 이미지를 기초로 식품과 다수의 카메라 중 어느 하나와의 거리를 추정하고, 추정된 거리를 기초로 상기 식품의 입고 또는 출고 위치를 판단하는 전기제품. 9. The method of claim 8,
Wherein the control unit estimates the distance between the food and any one of the plurality of cameras based on the images photographed by the plurality of cameras and determines the arrival or departure position of the food based on the estimated distance. 제 8 항에 있어서,
다수의 식품 보관부 중 일부 식품 보관부에 다수의 카메라와, 식품과의 거리를 측정할 수 있는 거리 센서가 구비되고,
다수의 식품 보관부는 일부 또는 전부가 투명한 선반에 의해서 구획되며,
상기 제어부는, 다수의 카메라에서 촬영된 이미지를 기초로 식품의 입고 또는 출고 여부를 판단하고, 상기 거리센서에서 감지된 거리를 기초로 식품의 입고 또는 출고 위치를 판단하는 전기제품. 9. The method of claim 8,
A plurality of cameras and a distance sensor capable of measuring the distance between the food and the food are provided in some food storage units of the plurality of food storage units,
The plurality of food storage portions are partly or wholly divided by a transparent shelf,
Wherein the control unit determines whether the food is in stock or shipped based on images taken by a plurality of cameras and determines a goods receipt or dispatch position of the food based on the distance sensed by the distance sensor. 하나 이상의 식품 보관부를 가지는 본체;
상기 하나 이상의 식품 보관부에 설치되어, 입고되거나 출고되는 식품을 촬영하기 위한 하나 이상의 카메라; 및
상기 하나 이상의 카메라에서 촬영된 영상에서 식품의 이동 방향을 판단하고, 판단된 이동 방향을 기초로 입고 또는 출고 여부를 판단하는 제어부를 포함하는 전기제품. A body having at least one food storage;
One or more cameras installed in the one or more food storage units for shooting foods to be stocked or shipped; And
And a control unit for determining a moving direction of the food in the image photographed by the one or more cameras and determining whether the goods are to be put on or taken out based on the determined moving direction. 제 11 항에 있어서,
상기 카메라는 동영상을 촬영하고,
상기 제어부는, 촬영된 동영상에서 식품의 이동 방향을 판단하는 전기제품. 12. The method of claim 11,
The camera captures a moving image,
Wherein the control unit determines the moving direction of the food in the photographed moving image. 제 11 항에 있어서,
상기 카메라는 정지 영상을 다수 회 촬영하고,
상기 제어부는, 다수 회 촬영된 정지 영상의 혼합 영상을 획득하고, 획득된 혼합 영상에서 식품의 이동 방향을 판단하는 전기제품. 12. The method of claim 11,
The camera captures a still image a plurality of times,
Wherein the control unit obtains the mixed image of the still images photographed many times and determines the moving direction of the food in the obtained mixed image.
KR1020130075007A 2013-06-28 2013-06-28 Electric product KR102145607B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130075007A KR102145607B1 (en) 2013-06-28 2013-06-28 Electric product
US14/317,942 US20150002660A1 (en) 2013-06-28 2014-06-27 Electric product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130075007A KR102145607B1 (en) 2013-06-28 2013-06-28 Electric product

Publications (2)

Publication Number Publication Date
KR20150001921A true KR20150001921A (en) 2015-01-07
KR102145607B1 KR102145607B1 (en) 2020-08-18

Family

ID=52475470

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130075007A KR102145607B1 (en) 2013-06-28 2013-06-28 Electric product

Country Status (1)

Country Link
KR (1) KR102145607B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180047714A (en) * 2016-11-01 2018-05-10 엘지전자 주식회사 Refrigerator
WO2018212493A1 (en) 2017-05-18 2018-11-22 Samsung Electronics Co., Ltd. Refrigerator and method of food management thereof
KR20190100108A (en) * 2019-08-09 2019-08-28 엘지전자 주식회사 Refrigerator for managing item using artificial intelligence and operating method thereof
WO2019225875A1 (en) * 2018-05-25 2019-11-28 삼성전자 주식회사 Method and apparatus for tracking inventory
WO2020096235A3 (en) * 2018-11-05 2020-10-15 삼성전자주식회사 Food management system, server apparatus, and refrigerator
CN113566486A (en) * 2021-07-31 2021-10-29 浙江工业大学 Intelligent refrigerator storage control system based on Internet of things equipment

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240084654A (en) * 2022-12-06 2024-06-14 삼성전자주식회사 Refrigerator and controlling method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084132A (en) * 2004-09-16 2006-03-30 Mitsubishi Electric Corp Sensor device, door device and refrigerator
KR20080057474A (en) * 2006-12-20 2008-06-25 엘지전자 주식회사 A refrigerator
JP2009181222A (en) * 2008-01-29 2009-08-13 Toshiba Corp Object search apparatus and method
KR20120117464A (en) * 2011-04-15 2012-10-24 엘지전자 주식회사 A refrigerator and a control method the same
KR20120117344A (en) * 2011-04-15 2012-10-24 엘지전자 주식회사 Information recognizing method for an electric appliance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084132A (en) * 2004-09-16 2006-03-30 Mitsubishi Electric Corp Sensor device, door device and refrigerator
KR20080057474A (en) * 2006-12-20 2008-06-25 엘지전자 주식회사 A refrigerator
JP2009181222A (en) * 2008-01-29 2009-08-13 Toshiba Corp Object search apparatus and method
KR20120117464A (en) * 2011-04-15 2012-10-24 엘지전자 주식회사 A refrigerator and a control method the same
KR20120117344A (en) * 2011-04-15 2012-10-24 엘지전자 주식회사 Information recognizing method for an electric appliance

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180047714A (en) * 2016-11-01 2018-05-10 엘지전자 주식회사 Refrigerator
WO2018212493A1 (en) 2017-05-18 2018-11-22 Samsung Electronics Co., Ltd. Refrigerator and method of food management thereof
KR20180126859A (en) * 2017-05-18 2018-11-28 삼성전자주식회사 Refrigerator and method of food management thereof
EP3577401A1 (en) * 2017-05-18 2019-12-11 Samsung Electronics Co., Ltd. Refrigerator and method of food management thereof
CN110637204A (en) * 2017-05-18 2019-12-31 三星电子株式会社 Refrigerator and food management method thereof
EP3577401A4 (en) * 2017-05-18 2020-02-05 Samsung Electronics Co., Ltd. Refrigerator and method of food management thereof
US10724792B2 (en) 2017-05-18 2020-07-28 Samsung Electronics Co., Ltd. Refrigerator and method of food management thereof
WO2019225875A1 (en) * 2018-05-25 2019-11-28 삼성전자 주식회사 Method and apparatus for tracking inventory
WO2020096235A3 (en) * 2018-11-05 2020-10-15 삼성전자주식회사 Food management system, server apparatus, and refrigerator
KR20190100108A (en) * 2019-08-09 2019-08-28 엘지전자 주식회사 Refrigerator for managing item using artificial intelligence and operating method thereof
CN113566486A (en) * 2021-07-31 2021-10-29 浙江工业大学 Intelligent refrigerator storage control system based on Internet of things equipment

Also Published As

Publication number Publication date
KR102145607B1 (en) 2020-08-18

Similar Documents

Publication Publication Date Title
US20150002660A1 (en) Electric product
KR20150001921A (en) Electric product
CN112984913B (en) Article display system
KR102023013B1 (en) Refrigerator and operating method thereof
US11680744B2 (en) Artificial intelligence refrigerator
KR20150026412A (en) Electric product
US20140313331A1 (en) Refrigerator and operating method thereof
JP6570898B2 (en) Ingredient position presentation method and refrigerator
EP3933327A1 (en) Refrigerator for entrance gate
JP6242537B2 (en) refrigerator
WO2018142136A1 (en) Imaging apparatus
US20110214441A1 (en) Select-fill dispensing system
CN105806038A (en) Control method for refrigerator door lock and refrigerator
CN114270124B (en) Method for viewing and tracking stored items
JP7113281B2 (en) refrigerator
WO2021057820A1 (en) Refrigeration appliance and method for tracking stored articles
JP2023093716A (en) Refrigerator, management system, and program
CN107945392B (en) Vending machine, evidence collecting method and storage medium
CN116848362A (en) Refrigerator with weight-detectable shelf assembly
CN109073317A (en) Refrigerating appliance, panel and the method for monitoring chilled goods
JP2009043176A (en) Vending machine
WO2022095995A1 (en) Refrigeration appliance and method for tracking stored articles
KR102706198B1 (en) Cooling device linked to payment system
CN114209188B (en) Method for adjusting angle of display of articles in showcase, and storage medium
US20230316755A1 (en) Refrigerator appliance and methods for tracking stored items in a freezer chamber

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant