WO2014168265A1 - 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고 - Google Patents

영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고 Download PDF

Info

Publication number
WO2014168265A1
WO2014168265A1 PCT/KR2013/002995 KR2013002995W WO2014168265A1 WO 2014168265 A1 WO2014168265 A1 WO 2014168265A1 KR 2013002995 W KR2013002995 W KR 2013002995W WO 2014168265 A1 WO2014168265 A1 WO 2014168265A1
Authority
WO
WIPO (PCT)
Prior art keywords
refrigerator
article
information
stored
item
Prior art date
Application number
PCT/KR2013/002995
Other languages
English (en)
French (fr)
Inventor
이정호
윤정석
백승민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2013/002995 priority Critical patent/WO2014168265A1/ko
Priority to EP13881885.1A priority patent/EP2985553B1/en
Priority to CN201380076316.2A priority patent/CN105164481A/zh
Priority to US14/783,612 priority patent/US20160088262A1/en
Publication of WO2014168265A1 publication Critical patent/WO2014168265A1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Definitions

  • the user can store any food in the refrigerator while using the keypad / touch pad, etc. to create refrigerator items and expiration date, and based on the information provided or simply monitor the inside of the refrigerator. have.
  • the refrigerator may further include a voice input unit that obtains voice information that may be generated when the goods are received and received from the refrigerator and voice information generated by the user for managing the goods.
  • the storage item management method of the refrigerator using the image recognition may further include displaying user usage statistics and location information of items in the refrigerator for each storage item.
  • FIG. 3 is a flowchart illustrating an article management method of a refrigerator using image recognition according to an embodiment of the present invention.
  • the name of the goods received in or out of the refrigerator may be designated by using voice recognition for the voice acquired by the voice input unit 150 or a user input input by the input unit 110.
  • the controller 160 may simulate the direction of the motion vector and the amount of the motion vector relative to the full screen, and set a threshold based on the simulation result. The controller 160 can find out whether the goods are in or out based on the set threshold.
  • the controller 160 should store a feature of the surrounding area, such as an image patch, an edge histogram, a color, a texture pattern, and a maximum area. You can use models such as extreme region shapes.
  • the controller 160 extracts a feature of an article stored in the data storage unit 130 from an object when searching for an article, extracts a candidate group from a database according to how many similar categories have features, and then extracts the geometric positional relationship of each feature. Can be used to determine the result of recognition.
  • the stored goods management unit 164 may update the stored item based on the recognized successful goods information divided into a local DB stored in the refrigerator and a global DB provided from the outside of the refrigerator and the goods information by the user input.
  • the stored goods management unit 164 may receive the user's input for the item that fails to recognize the image, determine the corresponding item information, and update the stored item.
  • the controller 160 extracts the feature of the article from the region separated from the captured image (S8).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

냉장고에 입출고되는 보관 물품을 동영상으로 촬영하여 물품 입출고 동영상을 생성하는 촬영부; 상기 물품 입출고 동영상 및 냉장고에 보관가능한 물품 정보, 및 보관 품목 정보를 저장하는 데이터 저장부; 상기 물품 입출고 동영상으로부터 비전 인식을 통해 검출된 광학 흐름에 기반하여 물품의 입출고를 인식하고, 상기 물품의 입출고에 대한 비전 인식을 통해 생성된 인식 정보와 상기 데이터 저장부에 저장된 상기 물품 정보에 기반하여 상기 냉장고의 보관 품목 정보를 업데이트하는 제어부; 및 상기 업데이트된 보관 품목 정보를 기반으로 보관 품목의 관리 현황을 사용자에게 표시하는 표시부를 포함하는 냉장고가 제공된다.

Description

영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고
본 발명은 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고에 관한 것으로, 상세하게는 냉장고에 카메라를 장착하고 이로부터 획득한 영상에 영상 인식기술을 이용하여 냉장고의 보관 물품에 대한 입출고를 인식하여 관리하는 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고에 관한 것이다.
냉장고는 저온으로 식품을 보관함으로써 식품의 부패를 방지하기 위한 수단이나, 저온에서 세균의 번식활동이 완전히 정지하지는 않으므로 식품을 냉장고에 보관하면 그렇지 않은 경우에 비해 보존 기간이 길어지는 것이며 부패를 완전히 억제할 수는 없다.
종래의 냉장고에 식품 보관시 보관하는 시기가 식품별로 다르고, 보관된 많은 식품의 정확한 위치를 파악하기가 어렵기 때문에 식품의 보관기간이 오래되거나 저장 후 경과일의 파악이 어렵다는 문제점이 있다.
또한, 사용자가 임의의 식품을 냉장고에 수납하면서 키패드/터치패드 등을 이용하여 보유한 냉장고 품목 및 유통기한 등을 작성하고, 이를 바탕으로 한 정보가 제공되거나 단순히 냉장고 밖에서 내부를 모니터링하는 기능이 소개되어 있다.
그러나, 이는 사용자의 편의성적인 측면에서 많은 약점을 가지고 있다. 또한 입력 및 수정을 하지 않고 식품을 입출고했을 경우 실제 냉장고에 수납된 냉장고 보관 품목과 제공받은 정보가 서로 상이한 경우가 빈번하게 발생될 수 있다.
본 발명이 해결하려는 과제는, 사용자가 각종 식품을 포함하는 보관 품목을 냉장고에 입출고할 때 이를 자동으로 인식하여 데이터베이스를 등록/삭제/수정하며, 어떤 품목인지 인식하지 못한 경우에 대해 음성, 터치 패드, 키패드 등을 이용하여 사용자가 등록할 수 있도록 하여 정확한 정보를 제공하면서도 사용자의 편의성을 증대시킬 수 있는 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고를 제공하는데 있다.
본 발명의 일측면에 의하면, 냉장고에 입출고되는 보관 물품을 동영상으로 촬영하여 물품 입출고 동영상을 생성하는 촬영부; 상기 물품 입출고 동영상 및 냉장고에 보관가능한 물품 정보, 및 보관 품목 정보를 저장하는 데이터 저장부; 상기 물품 입출고 동영상으로부터 비전 인식을 통해 검출된 광학 흐름에 기반하여 물품의 입출고를 인식하고, 상기 물품의 입출고에 대한 비전 인식을 통해 생성된 인식 정보와 상기 데이터 저장부에 저장된 상기 물품 정보에 기반하여 상기 냉장고의 보관 품목 정보를 업데이트하는 제어부; 및 상기 업데이트된 보관 품목 정보를 기반으로 보관 품목의 관리 현황을 사용자에게 표시하는 표시부를 포함하는 냉장고가 제공된다.
상기 냉장고는 상기 냉장고의 물품 입출고시에 발생될 수 있는 음성 정보 및 물품 관리를 위해 사용자에 의해 발생되는 음성 정보를 획득하는 음성 입력부를 더 포함할 수있다.
상기 제어부는, 상기 촬영부에 의해 생성된 동영상에 대하여 비전인식을 통해 광학 흐름을 검출하고, 상기 검출된 광학 흐름을 통해 물품의 입출고를 인식하는 입출고 인식부; 상기 물품 입출고 동영상으로부터 물체 영역을 검출하는 물체 영역 검출부; 상기 검출된 물체의 영역으로부터 해당 물체의 특징점을 추출하는 특징 추출부; 및 상기 물품의 입출고에 대한 인식 정보와, 상기 추출된 특징점에 대한 특징점 정보와, 저장된 상기 물품 정보에 기반하여 상기 냉장고의 보관 품목 정보를 업데이트하여 관리하는 보관 품목 관리부를 포함할 수 있다.
상기 입출고 인식부는, 상기 검출된 광학 흐름을 통해 동영상에서 물품에 대한 움직임 벡터를 검출하고, 상기 검출된 움직임 벡터에 기반하여 해당 물품의 입출고를 인식할 수 있다.
상기 물체 영역 검출부는, 상기 물품의 입출고가 인식된 경우, 상기 입출고 동영상을 캡처하여 캡처된 프레임과 기저장된 배경 영상의 차이를 계산하여 사용자의 팔과 물체가 차지하는 영역을 분리하여 검출할 수 있다.
상기 물체 영역 검출부는 상기 촬영부에 의해 획득된 영상의 매 프레임을 가우시안 모델을 이용하여 누적함으로써 평균 배경 영상을 획득하여 상기 기저장된 배경 영상을 생성할 수 있다.
상기 특징 추출부는, 상기 입출고 동영상으로부터 캡처된 영상에서 분리된 영역에서 물품의 특징을 추출하고, 추출된 물품의 특징을 기반으로 상기 냉장고 내부에 저장된 로컬 DB 또는 상기 냉장고 외부로부터 제공되는 글로벌 DB로부터의 검색을 통해 물품 인식을 수행할 수 있다.
상기 보관 물품 관리부는, 상기 냉장고 내부에 저장된 로컬 DB와 상기 냉장고 외부로부터 제공되는 글로벌 DB로 구분되는 인식 성공된 물품 정보와 사용자 입력에 의한 물품 정보에 기반하여 보관 품목을 업데이트할 수 있다.
상기 보관 물품 관리부는, 상기 영상 인식에 실패한 물품에 대하여 사용자의 입력을 받아 해당 물품정보를 결정하여 상기 보관 품목을 업데이트할 수 있다.
상기 보관 물품 관리부는, 기저장된 영상패치의 방향 모델을 기반으로 물품 영상의 특징이 어떤 카테고리에 속하는지 검색하고, 해당 물품이 가지고 있는 특징의 카테고리 및 기하학적 위치관계를 저장할 수 있다.
본 발명의 다른 측면에 의하면, 냉장고에 입출고되는 보관 물품을 동영상으로 촬영하여 물품 입출고 동영상을 생성하는 단계; 상기 물품 입출고 동영상으로부터 비전 인식을 통해 물품의 입출고를 인식하고, 상기 물품의 입출고에 대한 비전 인식을 통해 생성된 인식 정보와 기저장된 상기 물품 정보에 기반하여 기저장된 냉장고의 보관 품목 정보를 업데이트하는 단계; 및 상기 업데이트된 보관 품목 정보를 기반으로 보관 품목의 관리 현황을 사용자에게 표시하는 단계를 포함하는 영상 인식을 이용한 냉장고의 보관 품목 관리 방법이 제공된다.
상기 영상 인식을 이용한 냉장고의 보관 품목 관리 방법은 상기 생성된 동영상을 누적하여 저장하는 단계; 상기 누적하여 저장되어 있는 동영상을 기반으로 하여 동영상의 배경 모델링(background modeling)을 수행하는 단계를 더 포함할 수 있다.
상기 동영상의 배경 모델링을 수행하는 단계는, 상기 저장된 동영상으로부터 상기 냉장고의 보관 물품과 손을 제외한 배경 영역을 결정할 수 있다.
상기 배경 모델링은 상기 데이터 저장부에 누적되어 있는 동영상 정보를 기반으로 하여 영상 프레임별 비교를 통해 배경 영역을 결정할 수 있다.
상기 품목 정보를 업데이트하는 단계는, 상기 물품 입출고 동영상으로부터 비전 인식을 통해 물품의 입출고를 인식하여 인식 정보를 생성하는 단계; 생성된 인식 정보를 기반으로 상기 물품 입출고 동영상으로부터 물체 영역을 분리하는 단계; 상기 저장된 물품 정보에 기반하여 상기 분리된 물체 영역으로부터 해당 물품의 특징점을 추출하는 단계; 및 상기 물품의 입출고에 대한 인식 정보와, 상기 추출된 특징점에 대한 특징점 정보와, 저장된 상기 물품 정보에 기반하여 상기 냉장고의 보관 품목 정보를 업데이트하여 관리하는 단계를 포함할 수 있다.
상기 인식 정보를 생성하는 단계는, 상기 촬영부에 의해 생성된 동영상에 대하여 비전인식을 통해 광학 흐름을 검출하는 단계; 상기 검출된 광학 흐름을 통해 동영상에서 물품에 대한 움직임 벡터를 검출하는 단계; 상기 검출된 움직임 벡터에 기반하여 해당 물품의 입출고를 인식하는 단계를 포함할 수 있다.
상기 물품의 특징점을 추출하는 단계는, 물품의 검색시에 기저장된 물품의 특징을 물체에서 추출하여 유사한 카테고리의 특징을 얼마나 가지고 있는지에 따라 후보군을 추출한 다음, 각 특징의 기하학적 위치관계를 이용하여 인식의 결과를 결정할 수 있다.
상기 영상 인식을 이용한 냉장고의 보관 품목 관리 방법은 상기 냉장고 내에 저장된 보관 품목 및 수량에 대한 정보, 일정기간 이상 저장된 물품에 대해 변질여부를 사용자가 체크할 수 있도록 알림 정보를 냉장고 외부장치, 휴대용 기기, 또는 이메일에 제공하는 단계를 더 포함할 수 있다.
상기 영상 인식을 이용한 냉장고의 보관 품목 관리 방법은 보관 품목별로 사용자의 이용 통계 및 냉장고내 물품의 위치정보를 사용자에게 표시하는 단계를 더 포함할 수 있다.
상기 영상 인식을 이용한 냉장고의 보관 품목 관리 방법은 상기 냉장고내 물품의 재고 정보를 사용자들의 쇼핑을 위한 외부 장치에 제공하는 단계를 더 포함할 수 있다.
본 발명에 의하면, 냉장고에 입출고되는 각종 식품을 포함하는 보관 품목에 대한 동영상 촬영 및 비전 인식을 통해 보관 품목의 입출고가 인식될 수 있다.
이에 따라, 냉장고의 보관 품목의 입출고 관리를 위해 사용자에 의해 수행되어야 할 추가적인 작업이 필요 없다. 즉, 사용자가 바코드 리더기에 물품을 일일히 접촉시키거나 등록해야 하는 종래의 번거로운 절차가 생략되어 사용자의 편의성이 증대될 수 있다.
또한, 냉장고에 임의의 보관 품목에 대한 입고 또는 출고의 판단 여부가 사용자의 등록에 의한 것이 아니라 비전 인식을 통해 자동으로 이루어지기 때문에, 냉장고의 보관 물품들이 정확하게 관리될 수 있다.
본 발명에 의하면, 냉장고에서 관리되는 식품을 포함하는 각종 보관 품목에 관한 정보를 확인할 수 있고, 확인된 내용에 따라 식품 관리가 효율적으로 이루어질 수 있다.
또한, 본 발명에 의하면, 로컬 DB를 이용하여 식품을 포함하는 각종 보관 품목 관리가 수행될 수 있다. 냉장고에 수납할 수 있는 식품의 종류는 상당히 많으나, 실제 1대에 저장 가능한 식품은 100여개 수준이라는 점에서 로컬 DB를 이용함으로 인해 입출고시 식품 인식의 속도 및 정확성이 향상될 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 인식을 이용한 냉장고 보관 품목 관리 방법을 수행하는 냉장고의 블록 구성도이다.
도 2는 본 발명의 일실시예에 따른 냉장고의 제어부를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일실시예에 따른 영상 인식을 이용한 냉장고의 물품 관리 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일실시예에 따른 영상 인식을 이용한 냉장고의 물품 관리 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일실시예에 따른 영상 인식을 이용한 냉장고의 물품 관리 방법을 설명하기 위한 흐름도이다.
이하, 첨부한 도면들을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다. 다음에 소개되는 실시예들을 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 그리고, 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장되어 표현될 수 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 영상 인식을 이용한 냉장고 보관 품목 관리 방법을 수행하는 냉장고의 블록 구성도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 냉장고(100)는 입력부(110), 표시부(120), 데이터 저장부(130), 촬영부(140), 음성 입력부(150), 제어부(160), 음성 출력부(170), 통신부(180)를 포함하여 구성될 수 있다.
입력부(110)는 냉장고의 보관 품목의 관리를 위하여 사용자의 명령을 입력받기 위한 입력 장치이다. 예를 들어, 입력부(130)는 터치패널, 키패드를 포함할 수 있다.
표시부(120)는 보관 품목에 관한 정보를 표시할 수 있다. 표시부(120)는 냉장고에 저장된 각종 물품의 정보, 물품 관리 정보를 표시할 수 있다. 표시부(120)는 물품의 인식내용/인식 확인 질의/사용자 입력내용/보유 물품정보/데이터베이스 내용 등을 사용자에게 표시할 수 있다.
데이터 저장부(130)는 물품 정보를 저장할 수 있다. 물품 정보에는, 물품 자체에 관한 정보(물품 자체 정보) 및 물품관리에 관한 정보(물품관리 정보)가 포함될 수 있다.
물품자체 정보에는, 일례로, 물품 종류, 물품명, 물품 형상 또는 물품 무게 정보가 포함되며, 물품관리 정보에는 물품의 보관위치, 보관량, 보관기간 또는 입출고 히스토리와 같은 정보가 포함될 수 있다.
데이터 저장부(130)는 글로벌 DB 및 로컬 DB로 구성될 수 있다. 글로벌 DB는 시장에서 유통되는 공산품 및 과일/채소 등의 영상 및 영상 특징에 대한 데이터를 저장할 수 있다.
로컬 DB는 냉장고에 입고되어 있는 물품을 촬영한 영상 및 해당 영상의 특징을 포함하는 데이터 또는 냉장고 내부를 촬영한 영상 및 물품의 목록을 저장할 수 있다. 또한, 로컬 BD는 해당 물품에 대한 데이터가 글로벌 DB에 존재하는 경우에도 중복하여 저장할 수 있다.
촬영부(140)는 냉장고(100)에 입출고되는 물품을 동영상으로 촬영하여 물품들에 대한 영상을 획득할 수 있다. 촬영부(140)는 동영상 뿐만 아니라 정지 영상을 획득하기 위해 냉장고 내부 또는 외부에 장착된 1개 이상의 카메라를 구비할 수 있다.
촬영부(140)가 촬영하는 영역은 냉장고 내부의 신선칸(과일/채소), 일반칸, 도어칸, 냉동실 및 냉장고 외부를 포함할 수 있다. 촬영부(140)에 의해 획득된 영상은 냉장고에 임의의 물품이 입고되거나 출고되는 것을 인식하는데 이용될 수 있다.
음성 입력부(150)는 냉장고(100)의 물품 입출고시에 발생될 수 있는 음성 정보 및 물품 관리를 위해 사용자에 의해 발생되는 음성 정보를 획득할 수 있다.
음성 입력부(150)는 품목의 입/출고시에 물품에 대한 정보를 설정하기 위해 사용자로부터 입력되는 음성 명령을 획득할 수 있다. 예를 들어, 음성 입력부(150)는 냉장고에 장착된 지향성 마이크를 구비할 수 있다.
음성 입력부(150)를 통해 획득된 사용자의 음성 정보는 촬영부(140)에 의해 인식된 물품에 대한 사용자의 확인과 수정을 위해 사용될 수 있다.
또한, 음성 입력부(150)에 의해 획득된 사용자의 음성 정보는 서버 DB 및 로컬 DB에 포함되어 있지 않은 물품에 대한 정보를 입력하는데 사용될 수 있다.
제어부(160)는 촬영부(110)에 의해 획득된 영상으로부터 물품의 영역을 추출하고, 추출된 물품의 영역으로부터 물품의 특징을 추출할 수 있다.
제어부(160)는 추출된 영상을 데이터 저장부(130)의 물품 정보와 비교하여 물품에 대한 인식을 수행한다.
또한, 제어부(160)는 냉장고 문이 열리기 전후의 냉장고내에서 획득된 영상을 비교하여, 냉장고의 영상으로부터 변화가 일어난 영역을 검색하여 물품의 입출고 또는 위치 변화를 감지할 수 도 있다. 또한, 제어부(160)는 음성 입력부(120)로 입력받은 사용자 음성 명령을 인식하여 이를 문자로 변환할 수 있다.
통신부(180)는 사용자가 외부기기를 이용하여 데이터를 검색하는 경우 혹은 일정 기간 이상 냉장고(100)내에 저장되어 변질 여부에 대한 확인이 필요한 물품의 품목에 대한 알림 정보를 외부기기로 전송할 때 필요한 데이터의 전송작업을 수행할 수 있다.
이와 같이 구성된 냉장고에서 냉장고의 영상 인식을 이용한 물품 관리 방법을 다음과 같다.
냉장고 문이 열리면 촬영부(120)에 의해 동영상 촬영이 시작된다. 촬영부(120)는 동영상을 계속 누적하여 배경을 구성한다. 이 동영상은 추후 물체 영역을 분리하는데 사용될 수 있다.
제어부(160)는 촬영부(120)에 의해 획득된 동영상으로부터 광학 흐름(optical flow)를 이용하여 움직이는 화소의 방향을 연속적으로 스캔할 수 있다.
제어부(160)는 스캔 결과를 통해 사용자의 팔이 냉장고 안으로 들어갔다 나오는 것을 인식할 수 있다.
제어부(160)는 입출고 이벤트가 발생되는 경우, 해당 장면의 동영상과 앞서 구성한 배경 모델을 이용하여 물품 및 사용자 팔의 영역을 분리할 수 있다. 제어부(160)는 분리된 영역에서 특징을 추출하여 로컬 DB에 저장하거나, 로컬 DB 또는 글로벌 DB로부터 검색할 수 있다.
냉장고에 입고 또는 출고되는 물품의 이름은 음성 입력부(150)에 의해 획득된 음성에 대한 음성 인식이나 입력부(110)에 의해 입력된 사용자 입력을 이용하여 지정될 수 있다.
제어부(160)는 동영상에서 움직임 벡터(motion vector)를 검출하여 물품의 입고 또는 출고를 인식할 수 있다. 제어부(160)는 동영상에서 물품의 움직임 있을 때 광학 흐름(optical flow)을 통해 움직임 벡터를 검출할 수 있다.
제어부(160)는 냉장고(100)에 물품이 입고되거나 냉장고로부터 물품이 출고되기 위해 사용자의 팔이 냉장고 속으로 들어가거나 나올 때의 주된(dominant) 움직임 벡터의 방향이 서로 반대임을 이용할 수 있다.
이를 위해 제어부(160)는 움직임 벡터의 방향과 전체화면 대비 움직임 벡터의 양을 시뮬레이션하고, 그 시뮬레이션 결과에 기반하여 임계치를 설정할 수 있다. 제어부(160)는 설정된 임계치에 기반하여 물품의 입출고 여부를 알아낼 수 있다.
제어부(160)는 영상에서 물체의 영역을 분리하여 검출할 수 있다.
물체의 영역 분리는 동영상의 각 프레임을 계속해서 누적하면 움직임이 적은 부분은 배경으로 구분될 수 있음을 이용한 기술이다.
즉, 제어부(160)는 촬영부(110)에 의해 획득된 영상의 매 프레임을 가우시안 모델을 이용하여 누적함으로써 평균 배경 영상을 획득할 수 있다.
이후, 제어부(160)는 물품의 입출고가 인식되어 캡처된 프레임과 획득된 배경 영상의 차이를 계산하여 사용자의 팔과 물체가 차지하는 영역을 대략적으로 얻어낼 수 있다.
제어부(160)는 여기에, 에지(edge) 영상을 이용하여 팔의 위치를 대략적으로 얻어낼 수 있으므로 물품의 영역을 분리해 낼 수 있다.
제어부(160)는 분리된 물품의 영역으로부터 물품의 특징을 추출할 수 있다.
냉장고(100)에 입출고되는 물품은 변형이 항상 발생하므로, 제어부(160)는 물품 인식에 물품의 강인한 특징을 이용해야 한다.
물품의 변형에 강인한 기준점 추출 방법으로 예를 들어 코너점, SIFT, SURE, MSER 등이 사용될 수 있다. 이들 기준점 추출 방법은 가우시안의 라플라시안이 불변하는 지점을 검출하는 것에서 변형된 방법들이다.
제어부(160)는 영상 인식을 위해 해당 지점이 검출되면 그 주변영역의 특징(descriptor)을 저장해야 하는데 영상 패치, 에지 히스토그램(edge histogram), 컬러(color), 텍스쳐 패턴(texture pattern), 최대 영역 모형(extremal region shape)등을 이용할 수 있다.
여기에서는 제어부(160)는 영상패치의 방향 모델을 특징으로 사용하고, 일상 생활에서 존재 가능한 대부분의 특징들을 K-D tree 형태로 훈련시킬 수 있다.
또한, 제어부(160)는 이러한 훈련 과정에 의해 물품 영상의 특징이 어떤 카테고리에 속하는지 빠르게 검색하고, 해당 물품이 가지고 있는 특징의 카테고리 및 기하학적 위치관계를 저장함으로써 데이터베이스를 구축할 수 있다.
제어부(160)는 물품의 검색시에 데이터 저장부(130)에 저장된 물품의 특징을 물체에서 추출하여 유사한 카테고리의 특징을 얼마나 가지고 있는지에 따라 데이터베이스에서 후보군을 추출한 다음, 각 특징의 기하학적 위치관계를 이용하여 인식의 결과를 결정할 수 있다.
이때, 냉장고(100)에서 물품 관리 기능은 스탠드 얼론(stand alone)형으로 구현될 수 있으며, 서버 기반형으로 구현될 수 있다.
스탠드 얼론 방식은 입력부(110), 표시부(120), 데이터 저장부(130), 촬영부(140), 음성 입력부(150), 제어부(160), 음성 출력부(170), 통신부(180)가 모두 냉장고에 구현된 상태에서, 입출고 인식, 물품 영역 분리, 영역이 분리된 물품의 영상으로부터 복잡한 특징의 추출 및 인식 과정이 모두 냉장고내에서 독립적으로 구현되는 것이다.
서버 기반 방식은 입력부(110), 표시부(120), 데이터 저장부(130), 촬영부(140), 음성 입력부(150), 제어부(160), 음성 출력부(170), 통신부(180)는 냉장고에 구현된 상태에서 입출고 인식 및 물품 영역 분리는 냉장고에서 구현되고, 영역이 분리된 물품의 영상으로부터 복잡한 특징의 추출 및 인식 과정은 서버에서 구현될 수 있도록 하는 것이다.
도 2는 본 발명의 일실시예에 따른 냉장고의 제어부를 설명하기 위한 블록 구성도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 냉장고에서 제어부(160)는 입출고 인식부(161), 물체 영역 검출부(162), 특징 추출부(163), 및 보관 품목 관리부(164)를 포함하여 구성될 수 있다.
입출고 인식부(161)는 촬영부(140)에 의해 생성된 동영상에 대하여 비전인식을 통해 광학 흐름을 검출할 수 있다. 입출고 인식부(161)는 검출된 광학 흐름을 통해 물품의 입출고를 인식한다.
입출고 인식부(161)는 검출된 광학 흐름을 통해 동영상에서 물품에 대한 움직임 벡터를 검출할 수 있다. 입출고 인식부(161)는 검출된 움직임 벡터에 기반하여 해당 물품의 입출고를 인식할 수 있다.
물체 영역 검출부(162)는 물품 입출고 동영상으로부터 물체 영역을 검출한다.
물체 영역 검출부(162)는, 물품의 입출고가 인식된 경우, 입출고 동영상을 캡처할 수 있다. 물체 영역 검출부(162)는 캡처된 프레임과 기저장된 배경 영상의 차이를 계산하여 사용자의 팔과 물체가 차지하는 영역을 분리하여 검출할 수 있다.
물체 영역 검출부(162)는 촬영부(140)에 의해 획득된 영상의 매 프레임을 가우시안 모델을 이용하여 누적함으로써 평균 배경 영상을 획득하여 기저장된 배경 영상을 생성할 수 있다.
특징 추출부(163)는 물체 영역 검출부(162)에 의해 검출된 물체의 영역으로부터 해당 물체의 특징점을 추출한다.
특징 추출부(163)는 입출고 동영상으로부터 캡처된 영상에서 분리된 영역에서 물품의 특징을 추출할 수 있다.
특징 추출부(163)는 추출된 물품의 특징을 기반으로 냉장고 내부에 저장된 로컬 DB 또는 냉장고 외부로부터 제공되는 글로벌 DB로부터의 검색을 통해 물품 인식을 수행할 수 있다.
보관 품목 관리부(164)는 물품의 입출고에 대한 인식 정보와, 추출된 특징점에 대한 특징점 정보와, 저장된 물품 정보에 기반하여 냉장고의 보관 품목 정보를 업데이트하여 관리한다.
보관 물품 관리부(164)는, 냉장고 내부에 저장된 로컬 DB와 냉장고 외부로부터 제공되는 글로벌 DB로 구분되는 인식 성공된 물품 정보와 사용자 입력에 의한 물품 정보에 기반하여 보관 품목을 업데이트할 수 있다.
보관 물품 관리부(164)는, 영상 인식에 실패한 물품에 대하여 사용자의 입력을 받아 해당 물품정보를 결정하여 보관 품목을 업데이트할 수 있다.
보관 물품 관리부(164)는 기저장된 영상패치의 방향 모델을 기반으로 물품 영상의 특징이 어떤 카테고리에 속하는지 검색할 수 있다. 보관 물품 관리부(164)는 해당 물품이 가지고 있는 특징의 카테고리 및 기하학적 위치관계를 저장할 수 있다.
도 3 및 도 4는 본 발명의 일실시예에 따른 영상 인식을 이용한 냉장고의 물품 관리 방법을 설명하기 위한 흐름도이다.
도 3 및 도 4를 참조하면, 촬영부(140)는 냉장고(100)의 문이 열리는 것이 감지되면 동영상 촬영을 시작하여 물품 입출고 동영상을 생성한다(S1).
제어부(160)는 촬영부(140)로부터 생성된 동영상을 데이터 저장부(130)에 누적하여 저장한다(S2).
제어부(160)는 데이터 저장부(130)에 누적하여 저장되어 있는 동영상을 기반으로 하여 동영상의 배경 모델링(background modeling)을 수행한다(S3). 배경 모델링은 데이터 저장부(130)에 저장되어 있는 동영상으로부터 냉장고(100)의 물품과 손을 제외한 배경 영역을 결정하는 과정이다. 배경 모델링은 누적되는 동영상 정보를 기반으로 하여 영상 프레임별 비교를 통해 배경 영역을 결정하게 된다.
제어부(160)는 촬영부(120)에 의해 생성된 동영상에 대하여 비전인식을 통해 광학 흐름(optical flow)을 검출한다(S4). 제어부(160)에 의한 광학 흐름 검출은 동영상내에서 움직이는 화소의 방향에 대한 연속적인 스캔을 통해 이루어질 수 있다. 제어부(160)는 동영상의 스캔 결과를 통해 물품의 입출고를 위해 사용자의 팔이 냉장고 안으로 들어갔다 나오는 것을 인식할 수 있다.
제어부(160)는 동영상에서 움직임 벡터(motion vector)를 검출하여 물품의 입고 또는 출고를 인식할 수 있다. 제어부(160)는 동영상에서 물품의 움직임이 있을 때 광학 흐름(optical flow)을 통해 움직임 벡터를 검출할 수 있다.
제어부(160)는 냉장고(100)에 물품이 입고되거나 냉장고로부터 물품이 출고되기 위해 사용자의 팔이 냉장고 속으로 들어가거나 나올 때의 주된(dominant) 움직임 벡터의 방향이 서로 반대임을 이용할 수 있다.
이를 위해 제어부(160)는 움직임 벡터의 방향과 전체화면 대비 움직임 벡터의 양을 시뮬레이션하고, 그 시뮬레이션 결과에 기반하여 임계치를 설정할 수 있다. 제어부(160)는 설정된 임계치에 기반하여 물품의 입출고 여부를 알아낼 수 있다.
제어부(160)는 광학 흐름 검출 결과에 기반하여 냉장고에 대한 물품의 입고 또는 출고 이벤트가 발생되었는지 판단한다(S5).
입고 또는 출고 이벤트가 발생된 것으로 판정되는 경우, 제어부(160)는 해당 시점의 동영상을 캡처하여 캡처 영상들을 생성하여 데이터 저장부(130)에 저장한다(S6).
제어부(160)는 입고 또는 출고 이벤트의 발생에 의해 생성된 캡처 영상들에서 물품 및 사용자 팔의 영역을 분리한다(S7). 캡처 영상으로부터 물품 및 사용자 팔의 영역을 분리하는 것과 같이 영상에서 물체의 영역을 분리하는 것은 데이터 저장부(130)에 기저장된 배경 정보를 이용하여 이루어질 수 있다.
물체의 영역 분리는 동영상의 각 프레임을 계속해서 누적하면 움직임이 적은 부분은 배경으로 구분될 수 있음을 이용한 기술이다.
즉, 제어부(160)는 촬영부(110)에 의해 획득된 영상의 매 프레임을 가우시안 모델을 이용하여 누적함으로써 평균 배경 영상을 획득할 수 있다.
이후, 제어부(160)는 물품의 입출고가 인식되어 캡처된 프레임과 획득된 배경 영상의 차이를 계산하여 사용자의 팔과 물체가 차지하는 영역을 대략적으로 얻어낼 수 있다.
제어부(160)는 여기에, 에지(edge) 영상을 이용하여 팔의 위치를 대략적으로 얻어낼 수 있으므로 물품의 영역을 분리해 낼 수 있다.
제어부(160)는 분리된 물품의 영역으로부터 물품의 특징을 추출할 수 있다.
냉장고(100)에 입출고되는 물품은 변형이 항상 발생하므로, 제어부(160)는 물품 인식에 물품의 강인한 특징을 이용해야 한다.
물품의 변형에 강인한 기준점 추출 방법으로 예를 들어 코너점, SIFT, SURE, MSER 등이 사용될 수 있다. 이들 기준점 추출 방법은 가우시안의 라플라시안이 불변하는 지점을 검출하는 것에서 변형된 방법들이다.
제어부(160)는 영상 인식을 위해 해당 지점이 검출되면 그 주변영역의 특징(descriptor)을 저장해야 하는데 영상 패치, 에지 히스토그램(edge histogram), 컬러(color), 텍스쳐 패턴(texture pattern), 최대 영역 모형(extremal region shape)등을 이용할 수 있다.
여기에서는 제어부(160)는 영상패치의 방향 모델을 특징으로 사용하고, 일상 생활에서 존재 가능한 대부분의 특징들을 K-D tree 형태로 훈련시킬 수 있다.
또한, 제어부(160)는 이러한 훈련 과정에 의해 물품 영상의 특징이 어떤 카테고리에 속하는지 빠르게 검색하고, 해당 물품이 가지고 있는 특징의 카테고리 및 기하학적 위치관계를 저장함으로써 데이터베이스를 구축할 수 있다.
제어부(160)는 캡처 영상에서 분리된 영역에서 물품의 특징을 추출한다(S8).
제어부(160)는 추출된 물품의 특징을 기반으로 로컬 DB 또는 글로벌 DB로부터의 검색을 통해 물품 인식을 수행한다(S9).
물품 인식은 로컬 DB 또는 글로벌 DB내에서 추출된 물품의 특징과 정합되는 특징을 가지는 물품 정보가 있는지 여부를 검색하여 이루어진다. 여기에서 정합은 설정된 범위내의 일치를 의미한다.
제어부(160)는 물품의 검색시에 데이터 저장부(130)에 저장된 물품의 특징을 물체에서 추출하여 유사한 카테고리의 특징을 얼마나 가지고 있는지에 따라 데이터베이스에서 후보군을 추출한 다음, 각 특징의 기하학적 위치관계를 이용하여 인식의 결과를 결정할 수 있다.
제어부(160)는 추출된 임의의 물품 특징에 대하여 로컬 DB 또는 글로벌 DB내에 정합되는 물품 정보가 검출되는지 여부에 따라 물품 인식 성공여부를 판단한다(S10).
제어부(160)는 추출된 임의의 물품 특징에 대하여 로컬 DB 또는 글로벌 DB내에 정합되는 물품 정보가 검출되면 인식 성공으로 판정하고, 그렇지 못한 경우 실패로 판정한다.
제어부(160)에 인식에 실패한 물품에 대하여 사용자의 입력을 받아 해당 물품정보를 결정한다(S11). 예를 들어, 냉장고에 입고 또는 출고되는 물품의 이름은 음성 입력부(150)에 의해 획득된 음성에 대한 음성 인식이나 입력부(110)에 의해 입력된 사용자 입력을 이용하여 지정될 수 도 있다.
제어부(160)는 물품 인식에 성공하거나 사용자 입력에 의해 지정된 물품에 대하여 추출된 물품의 특징을 데이터 저장부(160)에 저장한다(S12).
제어부(160)는 로컬 DB와 글로벌 DB로 구분될는 인식 성공된 물품 정보와 사용자 입력에 의한 물품 정보에 기반하여 보관 품목을 업데이트한다(S13).
제어부(160)는 업데이트된 보관 품목을 포함하는 물품 정보를 표시부(120)에 표시한다(S14).
도 5는 본 발명의 일실시예에 따른 영상 인식을 이용한 냉장고의 보관 품목 관리 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 제어부(160)는 냉장고의 영상 인식을 이용하여 냉장고의 보관 품목이 업데이트된 이후 현재 냉장고 내에 저장된 보관 품목 및 수량에 대한 정보를 제공할 수 있다(S21).
제어부(160)는 일정기간 이상 저장된 물품에 대해 변질여부를 사용자가 체크할 수 있도록 알림 정보를 냉장고 외부장치, 휴대용 기기, 혹은 이메일 등으로 자동 제공할 수 있다(S22).
또한 제어부(160)는 보관 품목별로 사용자의 이용 통계를 제공하거나 냉장고내 물품의 위치정보를 표시부(120)에 제공할 수도 있다(S23).
아울러, 제어부(160)는 과채류와 같이 상하기 쉬운 물품의 유통기한을 자동으로 제공할 수 있다(S24).
또한, 제어부(160)는 사용자들의 쇼핑에 참고할 수 있도록 냉장고내 물품의 재고 정보를 스마트폰과 같은 외부 장치에 제공할 수 있다(S25).
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 냉장고에 입출고되는 보관 물품을 동영상으로 촬영하여 물품 입출고 동영상을 생성하는 촬영부;
    상기 물품 입출고 동영상 및 냉장고에 보관가능한 물품 정보, 및 보관 품목 정보를 저장하는 데이터 저장부;
    상기 물품 입출고 동영상으로부터 비전 인식을 통해 검출된 광학 흐름에 기반하여 물품의 입출고를 인식하고, 상기 물품의 입출고에 대한 비전 인식을 통해 생성된 인식 정보와 상기 데이터 저장부에 저장된 상기 물품 정보에 기반하여 상기 냉장고의 보관 품목 정보를 업데이트하는 제어부; 및
    상기 업데이트된 보관 품목 정보를 기반으로 보관 품목의 관리 현황을 사용자에게 표시하는 표시부를 포함하는 냉장고.
  2. 제1 항에 있어서, 상기 냉장고의 물품 입출고시에 발생될 수 있는 음성 정보 및 물품 관리를 위해 사용자에 의해 발생되는 음성 정보를 획득하는 음성 입력부를 더 포함하는 냉장고.
  3. 제1 항에 있어서, 상기 제어부는,
    상기 촬영부에 의해 생성된 동영상에 대하여 비전인식을 통해 광학 흐름을 검출하고, 상기 검출된 광학 흐름을 통해 물품의 입출고를 인식하는 입출고 인식부;
    상기 물품 입출고 동영상으로부터 물체 영역을 검출하는 물체 영역 검출부;
    상기 검출된 물체의 영역으로부터 해당 물체의 특징점을 추출하는 특징 추출부; 및
    상기 물품의 입출고에 대한 인식 정보와, 상기 추출된 특징점에 대한 특징점 정보와, 저장된 상기 물품 정보에 기반하여 상기 냉장고의 보관 품목 정보를 업데이트하여 관리하는 보관 품목 관리부를 포함하는 냉장고.
  4. 제3 항에 있어서, 상기 입출고 인식부는,
    상기 검출된 광학 흐름을 통해 동영상에서 물품에 대한 움직임 벡터를 검출하고, 상기 검출된 움직임 벡터에 기반하여 해당 물품의 입출고를 인식하는 냉장고.
  5. 제3 항에 있어서, 상기 물체 영역 검출부는,
    상기 물품의 입출고가 인식된 경우, 상기 입출고 동영상을 캡처하여 캡처된 프레임과 기저장된 배경 영상의 차이를 계산하여 사용자의 팔과 물체가 차지하는 영역을 분리하여 검출하는 냉장고.
  6. 제5 항에 있어서,
    상기 물체 영역 검출부는 상기 촬영부에 의해 획득된 영상의 매 프레임을 가우시안 모델을 이용하여 누적함으로써 평균 배경 영상을 획득하여 상기 기저장된 배경 영상을 생성하는 냉장고.
  7. 제3 항에 있어서, 상기 특징 추출부는,
    상기 입출고 동영상으로부터 캡처된 영상에서 분리된 영역에서 물품의 특징을 추출하고, 추출된 물품의 특징을 기반으로 상기 냉장고 내부에 저장된 로컬 DB 또는 상기 냉장고 외부로부터 제공되는 글로벌 DB로부터의 검색을 통해 물품 인식을 수행하는 냉장고.
  8. 제3 항에 있어서, 상기 보관 물품 관리부는,
    상기 냉장고 내부에 저장된 로컬 DB와 상기 냉장고 외부로부터 제공되는 글로벌 DB로 구분되는 인식 성공된 물품 정보와 사용자 입력에 의한 물품 정보에 기반하여 보관 품목을 업데이트하는 냉장고.
  9. 제1 항에 있어서, 상기 보관 물품 관리부는,
    상기 영상 인식에 실패한 물품에 대하여 사용자의 입력을 받아 해당 물품정보를 결정하여 상기 보관 품목을 업데이트하는 냉장고.
  10. 제1 항에 있어서, 상기 보관 물품 관리부는,
    기저장된 영상패치의 방향 모델을 기반으로 물품 영상의 특징이 어떤 카테고리에 속하는지 검색하고, 해당 물품이 가지고 있는 특징의 카테고리 및 기하학적 위치관계를 저장하는 냉장고.
  11. 냉장고에 입출고되는 보관 물품을 동영상으로 촬영하여 물품 입출고 동영상을 생성하는 단계;
    상기 물품 입출고 동영상으로부터 비전 인식을 통해 물품의 입출고를 인식하고, 상기 물품의 입출고에 대한 비전 인식을 통해 생성된 인식 정보와 기저장된 상기 물품 정보에 기반하여 기저장된 냉장고의 보관 품목 정보를 업데이트하는 단계; 및
    상기 업데이트된 보관 품목 정보를 기반으로 보관 품목의 관리 현황을 사용자에게 표시하는 단계를 포함하는 영상 인식을 이용한 냉장고의 보관 품목 관리 방법.
  12. 제11 항에 있어서,
    상기 생성된 동영상을 누적하여 저장하는 단계;
    상기 누적하여 저장되어 있는 동영상을 기반으로 하여 동영상의 배경 모델링(background modeling)을 수행하는 단계를 더 포함하는 영상 인식을 이용한 냉장고의 보관 품목 관리 방법.
  13. 제12 항에 있어서, 상기 동영상의 배경 모델링을 수행하는 단계는,
    상기 저장된 동영상으로부터 상기 냉장고의 보관 물품과 손을 제외한 배경 영역을 결정하는 영상 인식을 이용한 냉장고의 보관 품목 관리 방법.
  14. 제13 항에 있어서,
    상기 배경 모델링은 상기 데이터 저장부에 누적되어 있는 동영상 정보를 기반으로 하여 영상 프레임별 비교를 통해 배경 영역을 결정하는 영상 인식을 이용한 냉장고의 보관 품목 관리 방법.
  15. 제11 항에 있어서, 상기 품목 정보를 업데이트하는 단계는,
    상기 물품 입출고 동영상으로부터 비전 인식을 통해 물품의 입출고를 인식하여 인식 정보를 생성하는 단계;
    생성된 인식 정보를 기반으로 상기 물품 입출고 동영상으로부터 물체 영역을 분리하는 단계;
    상기 저장된 물품 정보에 기반하여 상기 분리된 물체 영역으로부터 해당 물품의 특징점을 추출하는 단계;
    상기 물품의 입출고에 대한 인식 정보와, 상기 추출된 특징점에 대한 특징점 정보와, 저장된 상기 물품 정보에 기반하여 상기 냉장고의 보관 품목 정보를 업데이트하여 관리하는 단계를 포함하는 영상 인식을 이용한 냉장고의 보관 품목 관리 방법.
  16. 제15 항에 있어서, 상기 인식 정보를 생성하는 단계는,
    상기 촬영부에 의해 생성된 동영상에 대하여 비전인식을 통해 광학 흐름을 검출하는 단계;
    상기 검출된 광학 흐름을 통해 동영상에서 물품에 대한 움직임 벡터를 검출하는 단계;
    상기 검출된 움직임 벡터에 기반하여 해당 물품의 입출고를 인식하는 단계를 포함하는 영상 인식을 이용한 냉장고의 보관 품목 관리 방법.
  17. 제 15항에 있어서, 상기 물품의 특징점을 추출하는 단계는,
    물품의 검색시에 기저장된 물품의 특징을 물체에서 추출하여 유사한 카테고리의 특징을 얼마나 가지고 있는지에 따라 후보군을 추출한 다음, 각 특징의 기하학적 위치관계를 이용하여 인식의 결과를 결정하는 영상 인식을 이용한 냉장고의 보관 품목 관리 방법.
  18. 제11 항에 있어서,
    상기 냉장고 내에 저장된 보관 품목 및 수량에 대한 정보, 일정기간 이상 저장된 물품에 대해 변질여부를 사용자가 체크할 수 있도록 알림 정보를 냉장고 외부장치, 휴대용 기기, 또는 이메일에 제공하는 단계를 더 포함하는 영상 인식을 이용한 냉장고의 보관 품목 관리 방법.
  19. 제11 항에 있어서,
    보관 품목별로 사용자의 이용 통계 및 냉장고내 물품의 위치정보를 사용자에게 표시하는 단계를 더 포함하는 영상 인식을 이용한 냉장고의 보관 품목 관리 방법.
  20. 제11 항에 있어서,
    상기 냉장고내 물품의 재고 정보를 사용자들의 쇼핑을 위한 외부 장치에 제공하는 단계를 더 포함하는 영상 인식을 이용한 냉장고의 보관 품목 관리 방법.
PCT/KR2013/002995 2013-04-10 2013-04-10 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고 WO2014168265A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2013/002995 WO2014168265A1 (ko) 2013-04-10 2013-04-10 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고
EP13881885.1A EP2985553B1 (en) 2013-04-10 2013-04-10 Method for managing storage product in refrigerator using image recognition, and refrigerator for same
CN201380076316.2A CN105164481A (zh) 2013-04-10 2013-04-10 利用影像识别的冰箱的保管品目管理方法及其冰箱
US14/783,612 US20160088262A1 (en) 2013-04-10 2013-04-10 Method For Managing Storage Product In Refrigerator Using Image Recognition, And Refrigerator For Same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2013/002995 WO2014168265A1 (ko) 2013-04-10 2013-04-10 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고

Publications (1)

Publication Number Publication Date
WO2014168265A1 true WO2014168265A1 (ko) 2014-10-16

Family

ID=51689664

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/002995 WO2014168265A1 (ko) 2013-04-10 2013-04-10 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고

Country Status (4)

Country Link
US (1) US20160088262A1 (ko)
EP (1) EP2985553B1 (ko)
CN (1) CN105164481A (ko)
WO (1) WO2014168265A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105091499A (zh) * 2015-08-18 2015-11-25 小米科技有限责任公司 信息生成方法及装置
WO2017010804A1 (en) * 2015-07-15 2017-01-19 Samsung Electronics Co., Ltd. Object recognition for a storage structure
JP2017106671A (ja) * 2015-12-10 2017-06-15 三菱電機株式会社 冷蔵庫、冷蔵庫内画像管理システムおよびプログラム
WO2019125094A3 (ko) * 2019-03-29 2020-02-13 엘지전자 주식회사 냉장고 및 냉장고의 물품 관리 방법
EP3764293A1 (en) * 2017-01-03 2021-01-13 Samsung Electronics Co., Ltd. Food storage apparatus and control method thereof
EP3374711B1 (en) * 2015-11-11 2021-04-07 Carrier Corporation Refrigerated sales furniture
WO2022217935A1 (zh) * 2021-04-16 2022-10-20 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法和冰箱

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150002660A1 (en) * 2013-06-28 2015-01-01 Lg Electronics Inc. Electric product
US10956856B2 (en) * 2015-01-23 2021-03-23 Samsung Electronics Co., Ltd. Object recognition for a storage structure
US10089520B2 (en) * 2015-03-26 2018-10-02 Krishna V Motukuri System for displaying the contents of a refrigerator
US10027866B2 (en) * 2015-08-05 2018-07-17 Whirlpool Corporation Refrigerators having internal content cameras, and methods of operating the same
US9652737B1 (en) * 2015-11-03 2017-05-16 Bullet Scanning, Llc System and method for inventory identification and quantification
DE102016207537A1 (de) * 2016-05-02 2017-11-02 BSH Hausgeräte GmbH Kältegerät, Fachboden und Verfahren zur Überwachung von Kühlgut
CN105930533B (zh) * 2016-06-17 2019-03-08 腾讯科技（深圳）有限公司 多媒体节目展示方法及装置
WO2018016068A1 (ja) * 2016-07-22 2018-01-25 株式会社日立製作所 収容庫の在庫管理システムおよび在庫管理方法
WO2018023286A1 (zh) * 2016-07-31 2018-02-08 赵晓丽 一种推荐膳食时的信息推送方法和冰箱
WO2018023278A1 (zh) * 2016-07-31 2018-02-08 赵晓丽 一种根据剩余食材搜索菜谱的方法和冰箱
WO2018023289A1 (zh) * 2016-07-31 2018-02-08 赵晓丽 监控膳食时的技术权属信息推送方法和冰箱
WO2018023288A1 (zh) * 2016-07-31 2018-02-08 赵晓丽 膳食监控技术的数据采集方法和冰箱
WO2018023271A1 (zh) * 2016-07-31 2018-02-08 赵晓丽 菜谱推荐时的信息推送方法和冰箱
WO2018023267A1 (zh) * 2016-07-31 2018-02-08 赵晓丽 冰箱食物监控技术的使用情况采集方法和冰箱
WO2018023268A1 (zh) * 2016-07-31 2018-02-08 赵晓丽 监控冰箱剩余食物时的信息推送方法和冰箱
CN106409191A (zh) * 2016-08-31 2017-02-15 北京慕加投资有限公司 具有广告监控功能的售货柜及监控系统
US11016634B2 (en) * 2016-09-01 2021-05-25 Samsung Electronics Co., Ltd. Refrigerator storage system having a display
CN107798277A (zh) * 2016-09-05 2018-03-13 合肥美的智能科技有限公司 食材识别系统和方法、食材模型训练方法、冰箱和服务器
CN106679321A (zh) * 2016-12-19 2017-05-17 Tcl集团股份有限公司 一种智能冰箱食物管理方法及智能冰箱
CN106871571A (zh) * 2017-02-08 2017-06-20 佛山市小鲜互联电器科技有限公司 一种根据存储物情况进行购物提示的冰箱
CN106846118A (zh) * 2017-02-08 2017-06-13 佛山市小鲜互联电器科技有限公司 一种根据存储物情况进行购物引导的视频智能购物冰箱
CN106969593B (zh) * 2017-03-23 2019-04-30 辽宁科技学院 一种智能冰箱的食材管理方法
CN107525342B (zh) * 2017-07-26 2020-04-21 合肥美的智能科技有限公司 物品信息录入方法、系统和冰箱
JP2019095172A (ja) * 2017-11-24 2019-06-20 ゴレッツ ヨランタ 冷蔵庫システム及び食材管理システム
EP3719424B1 (en) * 2017-11-27 2023-09-20 Mitsubishi Electric Corporation Refrigerator and refrigerator system
US20210278129A1 (en) * 2018-04-08 2021-09-09 Thomas James Cote Perishable item storage device
WO2019229949A1 (ja) 2018-05-31 2019-12-05 三菱電機株式会社 冷蔵庫システム
KR102619657B1 (ko) * 2018-06-15 2023-12-29 삼성전자주식회사 냉장고와 서버 및 서버의 제어 방법
CN110966834A (zh) * 2018-09-30 2020-04-07 青岛海尔智能技术研发有限公司 识别冰箱内食材种类的方法与冰箱
KR20200037657A (ko) 2018-10-01 2020-04-09 삼성전자주식회사 냉장고, 서버 및 냉장고의 객체 인식 방법
CN111767759A (zh) * 2019-04-01 2020-10-13 青岛海尔智能技术研发有限公司 食材识别的系统、方法、设备及存储介质
JP2020180739A (ja) * 2019-04-25 2020-11-05 シャープ株式会社 物品トレイ、冷蔵庫、及び物品トレイシステム
US11335010B2 (en) 2019-08-15 2022-05-17 Haier Us Appliance Solutions, Inc. Methods for viewing and tracking stored items
US10785456B1 (en) 2019-09-25 2020-09-22 Haier Us Appliance Solutions, Inc. Methods for viewing and tracking stored items
US11288506B2 (en) 2019-09-25 2022-03-29 Haier Us Appliance Solutions, Inc. Refrigerator appliances and methods for tracking stored items
CN112902547B (zh) * 2019-12-02 2022-09-23 青岛海尔电冰箱有限公司 冰箱参数更新方法、设备及存储介质
DE102020202933A1 (de) 2020-03-06 2021-09-09 BSH Hausgeräte GmbH Bevorratungsgerätevorrichtung
TWI759875B (zh) * 2020-09-22 2022-04-01 台灣松下電器股份有限公司 物件倉儲管理系統
CN113239780A (zh) * 2021-05-10 2021-08-10 珠海格力电器股份有限公司 食材的确定方法、装置、电子设备、冰箱及存储介质
CN113095308B (zh) * 2021-06-09 2021-11-09 北京每日优鲜电子商务有限公司 货柜异物检测方法、装置、电子设备和计算机可读存储介质
CN113959164B (zh) * 2021-10-13 2023-02-17 青岛海尔电冰箱有限公司 夹子组件及其控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0849958A (ja) * 1994-08-08 1996-02-20 Koji Kusuno 内部状態表示装置付冷蔵庫
KR20070003399A (ko) * 2005-07-01 2007-01-05 엘지전자 주식회사 운동확인기능을 지닌 냉장고
KR20110130901A (ko) * 2010-05-28 2011-12-06 전자부품연구원 냉장고의 보관 식품 관리 장치 및 방법
JP2012193873A (ja) * 2011-03-15 2012-10-11 Nikon Corp 収納装置
KR20120117464A (ko) * 2011-04-15 2012-10-24 엘지전자 주식회사 냉장고 및 냉장고의 제어방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05288456A (ja) * 1992-04-08 1993-11-02 Fujitsu Ltd 物品管理機能付冷蔵庫
GB2430483B (en) * 2004-05-03 2010-10-20 Lg Electronics Inc Refrigerator
US20090277199A1 (en) * 2004-12-08 2009-11-12 Teknoloji Dizayn Studyo Produksiyon Ve Reklamcilik Anonim Sirketi Refrigerator capable of stock monitoring by providing ideal storage conditions
WO2006109423A1 (ja) * 2005-04-01 2006-10-19 Matsushita Electric Industrial Co., Ltd. 物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラム
EP2047189A1 (en) * 2006-07-20 2009-04-15 LG Electronics Inc. Operation method of interactive refrigerator system
CN101126579A (zh) * 2006-08-17 2008-02-20 泰州乐金电子冷机有限公司 食品管理冰箱
KR100901020B1 (ko) * 2007-08-23 2009-06-04 엘지전자 주식회사 냉장고 및 그 제어방법
WO2009035281A2 (en) * 2007-09-13 2009-03-19 Lg Electronics Inc. Refrigerator
BRMU8702530U2 (pt) * 2007-12-17 2009-08-11 Whirlpool Sa prateleira móvel para refrigeradores e freezers
CN101498539B (zh) * 2008-01-30 2011-11-16 技嘉科技股份有限公司 节能电冰箱及其节能方法
JP2009250480A (ja) * 2008-04-03 2009-10-29 Mitsubishi Electric Corp 収納庫及び冷蔵庫
US8281553B2 (en) * 2009-05-29 2012-10-09 Jvm Co., Ltd. Automated medicine storage and medicine introduction/discharge management system
CN102142058B (zh) * 2010-02-03 2015-08-12 安徽康佳同创电器有限公司 一种冰箱及其食物管理方法及装置
US20120100510A1 (en) * 2010-10-21 2012-04-26 S.C. Johnson & Son Inc. Method for computer evaluation of containers and food to obtain optimum storage and/or use
US20120101876A1 (en) * 2010-10-21 2012-04-26 S. C. Johnson, Inc. Method of managing household product inventory
CN102183120A (zh) * 2011-03-31 2011-09-14 四川长虹电器股份有限公司 基于视频技术的远程食品查询冰箱及其工作方法
KR20120116207A (ko) * 2011-04-12 2012-10-22 엘지전자 주식회사 디스플레이 장치 및 이를 구비하는 냉장고
CN102767935A (zh) * 2012-07-31 2012-11-07 合肥美菱股份有限公司 一种冰箱用食品管理系统及食品管理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0849958A (ja) * 1994-08-08 1996-02-20 Koji Kusuno 内部状態表示装置付冷蔵庫
KR20070003399A (ko) * 2005-07-01 2007-01-05 엘지전자 주식회사 운동확인기능을 지닌 냉장고
KR20110130901A (ko) * 2010-05-28 2011-12-06 전자부품연구원 냉장고의 보관 식품 관리 장치 및 방법
JP2012193873A (ja) * 2011-03-15 2012-10-11 Nikon Corp 収納装置
KR20120117464A (ko) * 2011-04-15 2012-10-24 엘지전자 주식회사 냉장고 및 냉장고의 제어방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2985553A4 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139317B (zh) * 2015-07-15 2021-02-05 三星电子株式会社 存储结构的对象识别
WO2017010804A1 (en) * 2015-07-15 2017-01-19 Samsung Electronics Co., Ltd. Object recognition for a storage structure
KR102543862B1 (ko) * 2015-07-15 2023-06-16 삼성전자주식회사 저장 구조체를 위한 물체 인식
KR20180020214A (ko) * 2015-07-15 2018-02-27 삼성전자주식회사 저장 구조체를 위한 물체 인식
EP3322971A4 (en) * 2015-07-15 2018-05-23 Samsung Electronics Co., Ltd. Object recognition for a storage structure
CN108139317A (zh) * 2015-07-15 2018-06-08 三星电子株式会社 存储结构的对象识别
CN105091499B (zh) * 2015-08-18 2017-06-16 小米科技有限责任公司 信息生成方法及装置
US9922530B2 (en) 2015-08-18 2018-03-20 Xiaomi Inc. Method and device for generating information
CN105091499A (zh) * 2015-08-18 2015-11-25 小米科技有限责任公司 信息生成方法及装置
EP3374711B1 (en) * 2015-11-11 2021-04-07 Carrier Corporation Refrigerated sales furniture
JP2017106671A (ja) * 2015-12-10 2017-06-15 三菱電機株式会社 冷蔵庫、冷蔵庫内画像管理システムおよびプログラム
EP3764293A1 (en) * 2017-01-03 2021-01-13 Samsung Electronics Co., Ltd. Food storage apparatus and control method thereof
US10921039B2 (en) 2017-01-03 2021-02-16 Samsung Electronics Co., Ltd. Food storage apparatus and control method thereof
WO2019125094A3 (ko) * 2019-03-29 2020-02-13 엘지전자 주식회사 냉장고 및 냉장고의 물품 관리 방법
US11499773B2 (en) 2019-03-29 2022-11-15 Lg Electronics Inc. Refrigerator and method for managing articles in refrigerator
WO2022217935A1 (zh) * 2021-04-16 2022-10-20 青岛海尔电冰箱有限公司 冰箱内物品信息识别方法和冰箱

Also Published As

Publication number Publication date
CN105164481A (zh) 2015-12-16
EP2985553B1 (en) 2020-08-26
EP2985553A4 (en) 2016-12-28
US20160088262A1 (en) 2016-03-24
EP2985553A1 (en) 2016-02-17

Similar Documents

Publication Publication Date Title
WO2014168265A1 (ko) 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고
WO2018143550A1 (ko) 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법
WO2019139457A2 (ko) 인공 지능 냉장고
KR100794073B1 (ko) 영업점 시스템
TWI496092B (zh) 臉部認證裝置、人物影像檢索系統、臉部認證裝置控制程式、電腦可讀取之記錄媒體、及臉部認證裝置之控制方法
JP4725377B2 (ja) 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
WO2019125094A2 (ko) 냉장고 및 냉장고의 물품 관리 방법
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2019146894A1 (ko) 제품을 식별하여 구분된 이미지를 출력하는 냉장고 및 방법
WO2014077466A1 (ko) 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법
JP5004845B2 (ja) 監視端末装置およびその表示処理方法，プログラム，メモリ
WO2019088519A1 (ko) 이미지 분석을 통한 해충 동정과 정보 모니터링 시스템 및 이를 이용한 모니터링 방법
JP2024015359A (ja) 人物検出システム
WO2021071121A1 (ko) 영상 기반 구매 행동 인식 시스템 및 방법
CN109767453A (zh) 信息处理装置、背景图像更新方法和非暂态计算机可读存储介质
TW202046709A (zh) 資訊處理裝置
JP6405826B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2014073939A1 (en) Method and apparatus for capturing and displaying an image
WO2020080734A1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
WO2020186777A1 (zh) 图像检索方法、装置、设备及计算机可读存储介质
CN107816841B (zh) 冰箱间室内部食物种类的检测系统及其检测方法
WO2023234604A1 (ko) 쇼케이스 층별 전면 양측에 배치된 카메라 기반 인식 방법 및 장치
WO2019160251A1 (ko) 입력 패턴에 따라 인공지능을 이용하여 정보를 처리하는 냉장고 및 방법
WO2022124673A1 (ko) 기계학습 모델을 이용해 촬영 영상에 기반하여 용기 내의 물건 부피를 측정하는 장치 및 방법
WO2017186017A1 (zh) 目标检测方法及装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380076316.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13881885

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14783612

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013881885

Country of ref document: EP