KR20180020214A - 저장 구조체를 위한 물체 인식 - Google Patents
저장 구조체를 위한 물체 인식 Download PDFInfo
- Publication number
- KR20180020214A KR20180020214A KR1020187001095A KR20187001095A KR20180020214A KR 20180020214 A KR20180020214 A KR 20180020214A KR 1020187001095 A KR1020187001095 A KR 1020187001095A KR 20187001095 A KR20187001095 A KR 20187001095A KR 20180020214 A KR20180020214 A KR 20180020214A
- Authority
- KR
- South Korea
- Prior art keywords
- storage structure
- carrier
- storage
- refrigerator
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 95
- 230000033001 locomotion Effects 0.000 claims abstract description 82
- 238000001514 detection method Methods 0.000 abstract description 12
- 235000013305 food Nutrition 0.000 description 51
- 241000220225 Malus Species 0.000 description 22
- 238000013459 approach Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 235000021016 apples Nutrition 0.000 description 10
- 235000013399 edible fruits Nutrition 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 241000894006 Bacteria Species 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 9
- 240000008790 Musa x paradisiaca Species 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 6
- 238000010411 cooking Methods 0.000 description 6
- 235000021107 fermented food Nutrition 0.000 description 6
- 235000016709 nutrition Nutrition 0.000 description 6
- 244000300264 Spinacia oleracea Species 0.000 description 5
- 235000009337 Spinacia oleracea Nutrition 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 235000013336 milk Nutrition 0.000 description 5
- 239000008267 milk Substances 0.000 description 5
- 210000004080 milk Anatomy 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 229940088594 vitamin Drugs 0.000 description 4
- 229930003231 vitamin Natural products 0.000 description 4
- 235000013343 vitamin Nutrition 0.000 description 4
- 239000011782 vitamin Substances 0.000 description 4
- 244000003416 Asparagus officinalis Species 0.000 description 3
- 235000005340 Asparagus officinalis Nutrition 0.000 description 3
- 241000972773 Aulopiformes Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000000969 carrier Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 229910052500 inorganic mineral Inorganic materials 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 235000013372 meat Nutrition 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000011707 mineral Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 235000019515 salmon Nutrition 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 150000003722 vitamin derivatives Chemical class 0.000 description 3
- 235000015278 beef Nutrition 0.000 description 2
- 235000008429 bread Nutrition 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 2
- 230000035764 nutrition Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 208000000412 Avitaminosis Diseases 0.000 description 1
- 240000008415 Lactuca sativa Species 0.000 description 1
- 206010061291 Mineral deficiency Diseases 0.000 description 1
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 206010047627 Vitamin deficiencies Diseases 0.000 description 1
- 241000814162 Yucca recurvifolia Species 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 235000020619 banana milkshake Nutrition 0.000 description 1
- 235000021015 bananas Nutrition 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 235000013351 cheese Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 235000005687 corn oil Nutrition 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 235000019688 fish Nutrition 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 230000007407 health benefit Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 235000021109 kimchi Nutrition 0.000 description 1
- 235000021190 leftovers Nutrition 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 235000003715 nutritional status Nutrition 0.000 description 1
- 235000021032 oily fish Nutrition 0.000 description 1
- 235000013606 potato chips Nutrition 0.000 description 1
- 235000012045 salad Nutrition 0.000 description 1
- 235000014347 soups Nutrition 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 235000014101 wine Nutrition 0.000 description 1
- 235000013618 yogurt Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/1717—Systems in which incident light is modified in accordance with the properties of the material investigated with a modulation of one or more physical properties of the sample during the optical investigation, e.g. electro-reflectance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1738—Optionally different kinds of measurements; Method being valid for different kinds of measurement
- G01N2021/1742—Optionally different kinds of measurements; Method being valid for different kinds of measurement either absorption or reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1748—Comparative step being essential in the method
- G01N2021/1751—Constructive features therefore, e.g. using two measurement cells
- G01N2021/1753—Constructive features therefore, e.g. using two measurement cells and using two light sources
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1765—Method using an image detector and processing of image signal
- G01N2021/177—Detector of the video camera type
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
Landscapes
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Engineering & Computer Science (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
하나의 양태에서, 물체 검출 및/또는 재고 관리 방법이 설명될 것이다. 물체의 움직임이 저장 구조체에서 검출된다. 하나 이상의 이미지가 물체의 적어도 일부에서 취득된다. 물체의 움직임 방향이 결정된다. 물체는 하나 이상의 이미지에 기초하여 식별된다. 다양한 실시형태에서는, 저장 구조체에 대한 재고가 움직임 방향 결정 및 물체 신원에 기초하여 갱신된다.
Description
본 발명은 일반적으로 물체를 식별하기 위한 프로세스에 관한 것이다.
시간 경과에 따라, 냉장고는 점점 정교해지고 계속 늘어나는 특징부들의 어레이를 제공한다. 그러나, 비교적 제한된 진보를 보이는 한 영역은 재고 관리이다. 즉, 냉장고의 사용자는 통상적으로 가전 제품을 사용하여, 과일, 채소, 음료수, 남은 음식 및 다양한 다른 식품, 물품 또는 의약품을 보관한다. 그러나, 냉장고 안에 어떤 물품이 있는지, 그들을 언제 넣었는지 그리고 소정의 물품이 언제 유효 기간이 끝날 것인지 또는 교체되어야 하는지를 잊어버리기가 너무 쉽다.
물론, 사용자는 손으로 기록하거나 스마트폰 또는 컴퓨터 내에 입력된 메모에 의존할 수 있다. 그러나, 이러한 접근법은, 기록이 유효하게 되기 위해서 수동으로 그리고 정기적으로 갱신되어야 하기 때문에, 번거롭다. 그 결과, 사용자가 냉장고의 현재 내용물에 대해 용이하게 상기하고 반응하게 할 수 있는 재고 관리 시스템을 제공하는 것이 유리할 것이다.
상기 배경기술에서 언급한 바와 같이, 냉장고와 같은 저장 구조체를 위한 개선된 재고 관리 시스템에 대한 계속적인 필요성이 존재한다. 많은 현대의 냉장고는 이러한 시스템이 부족하다. 즉, 이들은 냉장고의 내용물에 관하여 사용자에게 상기시키거나 알리지는 않는다. 따라서, 사용자는 냉장고 안에 무엇이 들어있는지를 잊어버리기 쉽다. 그 결과, 부패하기 쉬한 식품은 유효 기간이 지날 수 있고, 중복 구매가 이루어질 수 있으며, 필요한 물품이 적시에 보충되지 않을 수도 있다.
하나의 양태에서, 물체 검출 및/또는 재고 관리 방법이 설명될 것이다.
물체의 움직임이 저장 구조체에서 검출된다. 하나 이상의 이미지가 물체의 적어도 일부에 대해 취득된다. 물체의 움직임 방향이 결정된다. 물체는 하나 이상의 이미지에 기초하여 식별된다. 다양한 실시형태에서, 저장 구조체에 대한 재고는 움직임 방향 결정 및 물체의 신원에 기초하여 갱신된다. 상기 방법에 관한 다양한 장치, 구조체, 시스템 및 소프트웨어가 또한 설명된다.
저장 구조체는 다양한 추가 특징부를 포함할 수 있다. 일부 실시형태에서, 예를 들어, 저장 구조체는 물체에 관한 더욱 상세한 정보를 얻는데 사용되는 스캐너를 포함한다. 일부 접근법은 물체의 신원, 물체의 스캐닝 및/또는 갱신된 재고 기록에 기초하여 사용자에게 정보를 제공하는 것을 포함한다.
상기 방법은 다양한 저장 구조체에서 구현될 수 있다. 일부 실시형태에서, 예를 들어, 저장 구조체는 냉장고이다. 그러나, 저장 구조체는 캐비넷, 저장 컨테이너, 저장실(storage shed) 및 창고를 포함하지만 이에 한정되지 않는, 물체를 저장 또는 보유하는 것을 돕는데 사용되는 임의의 유형의 구조체일 수 있음이 이해되어야 한다.
다양한 실시형태에서, 물체 식별 프로세스는 저장 구조체에서 재고를 관리하는 것을 돕는데 사용된다.
또한, 다양한 실시형태에서, 저장 구조체에 대한 재고는 움직임 방향 결정 및 물체 신원에 기초하여 갱신된다.
본 발명 및 그의 이점은 첨부 도면과 함께 취해지는 다음의 설명을 참조함으로써 가장 잘 이해될 수 있다.
도 1은 본 발명의 특정 실시형태에 따른 물체를 식별하고 재고 시스템을 관리하기 위한 방법을 도시하는 흐름도이다.
도 2는 본 발명의 다른 실시형태에 따른 재고 시스템을 관리하기 위한 방법을 도시하는 흐름도이다.
도 3은 본 발명의 특정 실시형태에 따른 저장 시스템의 도면이다.
도 4는 본 발명의 특정 실시형태에 따른 물체를 스캐닝하기 위한 방법을 도시하는 흐름도이다.
도 5a 및 도 5b는 본 발명의 다양한 실시형태에 따른 스캐너를 구비한 저장 구조체의 도면이다.
도 6a 내지 도 6c는 본 발명의 다양한 실시형태에 따른 사용자를 위해 표시되는 상이한 유형의 정보를 나타내는 차트이다.
도 7은 본 발명의 특정 실시형태에 따른 저장 구조체에서 재고를 결정하기 위한 방법을 도시하는 흐름도이다.
도 8은 도 7에 도시된 방법을 구현하도록 구성된 예시적인 저장 구조체의 블록도이다.
도 9는 본 발명의 특정 실시형태에 따른 피드백을 사용하여 카메라를 교정하기 위한 방법을 도시하는 흐름도이다.
도 10은 본 발명의 특정 실시형태에 따른 저장 구조체이다.
도 11a 및 도 11b는 본 발명의 일 실시형태에 따른 특정 방향으로 이동하는 캐리어 및 물체의 도면이다.
도면에서는, 유사한 참조번호가 때때로 유사한 구조적 요소를 표기하는데 사용된다. 또한, 도면의 묘사는 도식적이며 실제 축척이 아님을 이해해야 한다.
도 1은 본 발명의 특정 실시형태에 따른 물체를 식별하고 재고 시스템을 관리하기 위한 방법을 도시하는 흐름도이다.
도 2는 본 발명의 다른 실시형태에 따른 재고 시스템을 관리하기 위한 방법을 도시하는 흐름도이다.
도 3은 본 발명의 특정 실시형태에 따른 저장 시스템의 도면이다.
도 4는 본 발명의 특정 실시형태에 따른 물체를 스캐닝하기 위한 방법을 도시하는 흐름도이다.
도 5a 및 도 5b는 본 발명의 다양한 실시형태에 따른 스캐너를 구비한 저장 구조체의 도면이다.
도 6a 내지 도 6c는 본 발명의 다양한 실시형태에 따른 사용자를 위해 표시되는 상이한 유형의 정보를 나타내는 차트이다.
도 7은 본 발명의 특정 실시형태에 따른 저장 구조체에서 재고를 결정하기 위한 방법을 도시하는 흐름도이다.
도 8은 도 7에 도시된 방법을 구현하도록 구성된 예시적인 저장 구조체의 블록도이다.
도 9는 본 발명의 특정 실시형태에 따른 피드백을 사용하여 카메라를 교정하기 위한 방법을 도시하는 흐름도이다.
도 10은 본 발명의 특정 실시형태에 따른 저장 구조체이다.
도 11a 및 도 11b는 본 발명의 일 실시형태에 따른 특정 방향으로 이동하는 캐리어 및 물체의 도면이다.
도면에서는, 유사한 참조번호가 때때로 유사한 구조적 요소를 표기하는데 사용된다. 또한, 도면의 묘사는 도식적이며 실제 축척이 아님을 이해해야 한다.
상기 배경기술에서 언급한 바와 같이, 냉장고와 같은 저장 구조체를 위한 개선된 재고 관리 시스템에 대한 계속적인 필요성이 존재한다. 많은 현대의 냉장고는 이러한 시스템이 부족하다. 즉, 냉장고의 내용물에 관하여 사용자에게 상기시키거나 알리지는 않는다. 따라서, 사용자는 냉장고 안에 무엇이 들어 있는지를 잊어버리기 쉽다. 그 결과, 부패하기 쉬운 식품은 유효 기간이 지날 수 있고, 중복 구매가 이루어질 수 있으며, 필요한 물품이 적시에 보충되지 않을 수도 있다.
본 발명의 다양한 구현예는 상기 문제점 중 하나 이상을 다룬다. 이제 도 1 및 도 3을 참조하여, 본 발명의 특정 실시형태에 따른 물품을 식별하고 재고 시스템을 관리하기 위한 방법이 설명될 것이다. 도 1은 예시적인 방법(100)의 흐름도이다. 도 3은 방법(100)을 수행하는데 사용되는 예시적인 저장 시스템(300)의 블록도를 도시한다.
저장 시스템(300)은 저장 구조체(305) 및 캐리어(310)(예컨대, 물체(313)를 저장 구조체(305)에 추가하거나 물체(313)를 저장 구조체(305)로부터 제거하는 사람의 손, 구조체 또는 다른 기구)를 포함한다. 저장 구조체(305)는 저장 구조체(305)와 결합되는 재고 기록 데이터베이스(315) 및 하나 이상의 카메라(320)를 포함한다. 일부 실시형태에서, 재고 기록 데이터베이스(315)는 (또한) 네트워크를 통해 저장 구조체(305)와 결합되는 원격 장치(예컨대, 클라우드 기반 서버)에서 저장된다.
본원에서의 이 예 및 다른 예에서, 저장 구조체(305)는 냉장고이지만, 본원에서 설명되는 방법 및 기술이 냉장고에 한정되지 않음이 이해되어야 한다. 그들은, 냉장고, 선반, 캐비넷, 저장 컨테이너, 창고 또는 임의의 종류의 물품을 저장 또는 보관하기 위한 임의의 다른 구조체 또는 기구를 포함하지만 이에 한정되지 않는, 임의의 적합한 저장 구조체에 적용될 수 있다. 본원에서 설명되는 기술은 또한 임의의 물품, 예컨대 식품, 약품, 공구, 제품, 물질, 용기 등의 보관에 적용될 수도 있다.
본원에서, 캐리어는 물체를 저장 구조체 안 또는 밖으로 이동시키는데 사용되는 임의의 구조체, 물체 또는 기구로서 이해된다. 다양한 캐리어가 사용될 수 있다. 도시된 실시형태에서, 예를 들어, 캐리어(310)는 식품 또는 다른 물품을 냉장고 안과 밖으로 이동시키는 사용자의 손이다. 다른 구현예에서는, 사용자와는 다른 것이 저장 구조체(305)와 상호 작용한다. 예로서, 저장 구조체(305)가 창고인 경우, 트럭, 카트, 로봇 또는 트롤리가 물체를 저장 구조체의 안과 밖으로 이동시키는데 사용될 수 있다. 다양한 구현예에서, 캐리어(310)는 사용자, 사용자의 손, 차량(예컨대, 지게차 또는 트럭), 운반 도구, 기계 팔, 또는 임의의 다른 적합한 기구일 수 있지만, 이에 한정되지 않는다.
재차 도 1을 참조하면, 단계 105에서 저장 구조체(305)는 물체(313)의 움직임을 검출한다. 물체(313)는 임의의 적합한 물체(들) 또는 물품(들)일 수 있다. 예로서, 저장 구조체(305)가 냉장고인 경우, 물체(313)는 식품, 용기, 일회용품, 음료수 등일 수 있다. 저장 구조체(305)가 창고인 경우, 물체(313)는 박스, 선적 컨테이너, 백, 다수 물품의 모음 등일 수 있다. 일부 실시형태에서, 저장 구조체(305)는 물체(313)의 움직임을 직접 추적한다. 대안적으로 또는 추가적으로, 저장 구조체(305)는 다른 관련된 구조체를 추적함으로써(예컨대, 물체(313)를 운반하고 있는 캐리어(310)의 움직임을 추적함으로써) 물체(313)의 움직임을 간접적으로 추적한다.
일부 실시형태에서, 저장 구조체(305)는 캐리어(310) 또는 물체(313)의 이동에 선행하는 행위, 예컨대 냉장고 문의 개방을 검출하도록 배열된다. 본원에서 후술되는 바와 같이, 이러한 행위는 하나 이상의 카메라의 활성화와 같은, 저장 구조체(305)에 의해 다른 동작의 수행을 트리거할 수 있다.
추적된 움직임, 물체 및 캐리어는 특정 용도의 필요에 따라 광범위하게 달라질 수 있다. 도시된 실시형태에서, 예를 들어, 저장 구조체(305)는 냉장고이고, 캐리어(310)는 손이며, 손은 사과인 물체(313)를 잡는다. 저장 구조체(305)는 손 또는 사과가 냉장고의 입구 영역으로 이동될 때를 검출하도록 배열된다.
움직임의 검출은 임의의 적합한 방식으로 수행될 수 있다. 일부 실시형태에서, 저장 구조체는, 물체(313), 캐리어(310) 및/또는 다른 관련 구조체 및 행위의 이동 또는 존재를 검출하는 것을 돕는데 사용되는 하나 이상의 움직임 검출기, 카메라 및/또는 스캐너와 결합되거나 또는 이들을 포함한다.
단계 110에서, 저장 구조체(305)는 물체(313) 및/또는 캐리어(310)의 적어도 일부의 하나 이상의 이미지를 취득한다. 이것은 다양한 방식으로 수행될 수 있다. 일부 접근법에서는, 예를 들어, 저장 구조체 내에 하나 이상의 카메라(320)가 존재한다. 카메라(320)는 캐리어 및/또는 물체의 하나 이상의 이미지를 포착하도록 배열된다. 일부 실시형태에서, 카메라(320)에 의한 이미지의 포착은 검출된 움직임(예컨대, 단계 105와 관련하여 논의된 바와 같이, 냉장고의 입구에서의 움직임 또는 냉장고 문의 개방의 검출)에 의해 트리거된다. 다양한 접근법에서, 카메라는 검출된 움직임의 양이 미리 정해진 임계값을 초과할 때에 트리거된다.
일부 구현예는 저장 구조체(305) 내측의 다양한 위치에 위치하는 다수의 카메라(320)를 포함한다. 따라서, 캐리어(310)가 물체(313)를 저장 구조체(305)를 향하여 또는 그로부터 멀리 이동시키는 동안, 카메라(320)는 캐리어 및/또는 물체의 다수의 이미지를 상이한 각도에서 포착할 수 있다. 일부 실시형태에서는, 카메라(320)가 저장 구조체(320)에 대한 문의 내측 또는 외측 및/또는 저장 구조체(305)에 대한 입구 부근에 또는 입구에 위치하여, 물체가 저장 구조체에 대해 진입 또는 진출하기 시작할 때에 바로 캐리어(310) 및/또는 물체(313)의 이미지가 포착될 수 있다. 다양한 구현예에서, 카메라(320)는 저장 구조체(305) 주위에 분포되어 저장 구조체로의 입구 전체를 총괄적으로 담당한다. 도시된 실시형태에서, 예를 들어, 카메라(320)는 냉장고의 입구가 카메라의 시야(325) 안에 있도록 위치한다.
단계 115에서, 저장 구조체(305)는 물체(313)의 움직임 방향을 결정한다. 이것은 임의의 적합한 기법 또는 기술을 이용하여 수행될 수 있다. 도시된 실시형태에서, 예를 들어, 캐리어(310)(예컨대, 손)는 물체(313)(예컨대, 사과)를 냉장고를 향하여 이동시키고 있다. 카메라(320)는 손 및 사과가 이동하는 동안에 손 및 사과의 다수의 이미지를 포착한다(예컨대, 단계 110). 저장 구조체(305)는 이미지를 분석하여, 손 및 사과가 이동하고 있는 방향, 즉 저장 구조체로부터 멀어지기보다는 저장 구조체를 향하여 이동하는 방향을 결정한다. 예로서, 캐리어/손의 이동 부분의 위치 차가 상이한 이미지 프레임들 간에서 비교될 수 있다. 비교에 기초하여, 저장 구조체(305)는 캐리어/손이 이동하고 있는 방향을 결정한다. 이 방향 정보는 물체(313)가 저장 구조체(305)로부터 제거되거나 그 안에 배치되는지의 여부를 결정하는 것을 돕는데 사용된다.
상기 방향 결정의 간단한 예가 도 11a 및 도 11b에 도시되어 있다. 도 11a는 특정 시간 T0에서의 저장 시스템(300) 및 물체(313)(예컨대, 사과)를 운반하는 캐리어(310)(예컨대, 손)를 도시한다. 카메라는 T0에서 물체의 이미지를 포착한다. 도 11b는 차후 시간 T1에서의 저장 시스템(300), 캐리어(310) 및 물체(313)를 도시한다. 캐리어 및 물체는 현재 냉장고에 더 가깝게 이동되어 있다. 카메라는 T1에서 물체 및 손의 이미지를 포착한다. 저장 시스템 및/또는 저장 구조체는 카메라로부터의 이미지를 취득하고, T0 및 T1에서 촬영된 이미지를 비교하며, 비교에 기초하여, 캐리어 및/또는 물체가 저장 구조체(305)를 향하여 이동하고 있고, 그로부터 멀리 이동하는 것이 아니라고 결정한다. 캐리어(310) 및 물체(313)가 저장 구조체(305)로부터 멀리 이동하고 있을 때를 결정하기 위해, 즉 도 11b가 대신에 T0에서의 캐리어/물체의 위치를 나타내고 도 11a가 T1에서의 캐리어/물체의 위치를 나타내는 상황에서는 다소 유사한 프로세스가 사용될 수 있다.
도 1로 되돌아오면, 단계 120에서, 저장 구조체(305)는 단계 110에서 캐리어(310) 및/또는 물체(313)의 포착된 하나 이상의 이미지에 기초하여 물체(313)를 식별한다. 다양한 실시형태에서, 저장 구조체(305)는 이미지를 분석 및/처리하여 물체(313)를 분리하는데 도움을 준다. 즉, 이미지가 캐리어(310), 저장 구조체(305) 및 물체(313)의 일부를 포함하는 경우, 캐리어(310) 및 저장 구조체(305)에 대응하는 이미지의 요소가 적어도 부분적으로 제거되어 이미지 내의 물체(313)의 분석을 용이하게 할 수 있다. 그런 다음, 저장 구조체(305)는 처리된 이미지를 분석하여 물체(313)의 신원을 결정한다. 도시된 실시형태에서, 예를 들어, 저장 구조체(305)는 손 및 물체(313)의 다수의 사진을 촬영하고, 이미지 내의 물체(313)를 분석하며, 물체(313)가 사과인 것으로 결정한다.
상기 처리 기법은 카메라(320)가 물체(313)의 완전한 이미지를 포착할 수 없을 때에 유용할 수 있다. 캐리어(310) 및 물체(313)가 각각 손 및 사과인 예를 고려한다. 손은 통상적으로 사과의 일부분, 가능하다면 심지어 사과의 대부분을 덮을 것이다. 따라서, 카메라(230)는 손으로 덮인 부분의 외측을 볼 수 있는 사과의 부분을 나타내는 이미지만을 포착한다(예컨대, 단계 110). 그런 다음, 저장 구조체(305)는 이미지 내의 사과의 가시적인 부분을 분리 및/또는 분석하고, 그들을 사용하여 사과를 이와 같이 식별하도록 배열된다(예컨대, 단계 120).
상기 처리 및 식별 동작은 임의의 적합한 기술 또는 기법을 이용하여 수행될 수 있다. 일부 접근법에서, 예를 들어, 저장 구조체(305)는 바운딩 박스 검출 알고리즘(bounding box detection algorithm)을 이용하여, 배경으로부터 캐리어(310)(예컨대, 도 3에서의 손) 및 물체(313)(예컨대, 사과)를 분리하는 것을 돕는다. 임의의 공지된 인식 알고리즘이 물체(313)를 식별하는 것을 돕는데 사용될 수 있다. 일부 접근법에서, 저장 구조체(305)는 지원 벡터 머신(Support Vector Machine: SVM)을 이용하여 물체(313)를 식별한다. SVM은, 예를 들어, 단어의 집합(Bag of Words: BOW) 전략에 의한 밀집 스케일 불변 특징 변환(Scale-Invariant Feature Transform: SIFT)을 이용하여 훈련될 수 있다. 저장 구조체(305)는 또한 변형가능 부분 디스크립터(Deformable Part Descriptors: DPD) 및 심화 학습(Deep Learning: DP)과 같은 다른 알고리즘을 이용하여 물체(313)를 식별하는데 도움을 줄 수 있다.
식별 프로세스가 결실을 맺지 못할 수도 있음에 유의해야 한다. 즉, 저장 구조체(305)는 포착된 이미지에 기초하여 물체(313)의 신원을 식별하지 못할 수도 있다. 이것이 일어나면, 다양한 단계가 취해질 수 있다. 일부 구현예에서, 저장 구조체(305)는, 식별 프로세스에 문제가 있음을 나타내고 사용자에게 입력을 촉구하는 메시지를 표시 패널 상에 표시한다. 그런 다음, 사용자는 (예컨대, 단어 "사과"를 타이핑함으로써) 물체(313)의 신원을 입력할 수 있다. 대안적으로, 저장 구조체(305)는 마이크로폰을 포함할 수 있다. 저장 구조체(305)로부터의 청각 또는 시각 프롬프트 후, 그 다음에 사용자는 물체의 신원을 말한다.
다양한 물체가 상이한 기법을 이용하여 식별될 수 있다. 일부 실시형태에서, 예를 들어, 물체(313)는 단일 물품이기보다는 물체들의 모음(예컨대, 물체들의 더미, 감자 봉지 또는 다른 물품 등)이다. 물체는 상기한 알고리즘 중 임의의 것을 이용하여 식별될 수 있지만, 다른 기법이 또한 사용될 수도 있다. 예를 들면, 일부 경우에 물품은 라벨, 코드 또는 단어를 포함하거나 표시하며, 식별 프로세스는 라벨, 코드 또는 단어를 스캐닝하는 것과 판독하는 것을 포함한다. 다른 실시형태에서, 물체(313)(예컨대, 소비자 제품, 봉지 등)는 바 코드를 포함하며, 저장 시스템 내의 저장 구조체(305), 카메라, 센서, 스캐너 또는 다른 디바이스는 바 코드를 판독하고 바 코드에 기초하여 물품을 식별한다.
그 후, 단계 125에서, 저장 구조체(305)는 물체(313)의 신원 및 물체(313)의 움직임 방향에 기초하여 재고 기록 데이터베이스(315)를 갱신한다. 도시된 실시형태에서, 예를 들어, 저장 구조체(305)는 물체(313)가 냉장고를 향하여 이동하고 있는 것과 물체(313)가 사과인 것으로 결정한다. 이들 결론에 기초하여, 저장 구조체(305)는 사과가 저장 구조체(305)에 추가된 것으로 결정하고, 이에 따라 재고 기록 데이터베이스(315)를 갱신한다.
재고를 갱신하기 위한 결정은 전술되지 않은 다양한 다른 분석 단계에 기초할 수 있음이 이해되어야 한다. 예를 들면, 사람은 사과를 잡은 손을 냉장고를 향하여 뻗을 수 있지만 냉장고 안에 사과를 보관하지 않을 가능성이 상당하다. 즉, 사람은 다음 움직임에서 사과를 꺼낼 수 있다. 이러한 상황에서는, 사과가 냉장고에 추가되었다고 가정하는 것은 오류일 것이다. 따라서, 다양한 구현예는 냉장고를 향하고 냉장고로부터 멀어지는 사용자의 손의 다수의 움직임을 추적하는 것, 및 각 움직임마다, 손이 비거나 찼는지를 결정하는 것을 포함한다. 그런 다음, 이 정보를 이용하여 물품이 진정으로 냉장고에 추가되거나 그로부터 제거되었는지의 여부를 결정한다. 이러한 구현예의 보다 상세한 예가 도 2와 관련하여 후술될 것이다.
재고 기록 데이터베이스(315) 내의 데이터는 다양한 방식으로 배열될 수 있다. 일부 실시형태에서, 예를 들어, 데이터베이스(315)는 저장 구조체(305) 내에 저장된 물체의 리스트를 포함한다. 각 물체는, 물체의 이름, 냉장고 안에 넣은 일시, 물체의 특징(예컨대, 부패하기 쉬운 것, 유효 기간 등) 또는 임의의 다른 적합한 특성과 같은 하나 이상의 특성과 연관되어 있다.
새로운 물체가 저장 구조체(305)에 추가될 때, 저장 구조체(305)는 데이터베이스(315) 내에 적절하게 상기 정보를 입력한다. 물품이 제거될 때, 물체와 연관되는 데이터베이스 기록은 제거된다. 대안적으로, 물체는 데이터베이스(315)에서 제거된 것으로 플래그되지만, 연관된 기록은 데이터베이스(315) 내에 유지된다. 저장 구조체는 이러한 기록을 이용하여, 사용자의 소비 추세, 즉 특정 물품이 냉장고로부터 얼마나 자주 교체되거나 제거되는지를 결정할 수 있다.
단계 130에서, 선택적으로, 저장 구조체(305)는 갱신된 재고에 기초하여 정보의 표시를 배열한다. 일부 실시형태에서, 저장 구조체(305)는 갱신된 재고에 기초하여 사용자에게 정보를 제공하는 표시 패널/스크린을 포함하거나, 이와 결합된다. 다른 실시형태에서, 저장 구조체(305)는 네트워크를 통해 정보를 표시하는 장치로 메시지를 송신한다. 장치는 데스크톱 컴퓨터, 랩톱, 스마트폰, 스마트 시계, 스마트 안경 등을 포함하지만 이에 한정되지 않는 임의의 적합한 연산 장치 또는 기기일 수 있다.
다양한 유형의 정보가 표시될 수 있다. 예로서, 물체가 저장 구조체에 추가되거나 그로부터 제거되는 경우, 저장 구조체(305)는 재고 기록 데이터베이스가 이에 따라 갱신되었다는 확인을 표시할 수 있다. 물체가 부패하기 쉬운 식품인 경우, 저장 구조체(305)는 그 식품이 기한까지 소비되어야 함을 나타내는 리마인더를 표시할 수 있다. 리마인더는 추후에 사용자의 장치에 송신되고/되거나 기한 전 미리 정해진 시간에 표시될 수 있다. 일부 실시형태에서, 냉장고는 냉장고 안에 저장된 물품에 기초하여 만들어질 수 있는 하나 이상의 레시피를 표시한다. 예를 들면, 바나나가 냉장고 안에 방금 놓아진 경우, 저장 구조체는 바나나 빵 또는 바나나 밀크쉐이크를 만들기 위한 레시피를 제안할 수 있다.
다음으로 도 2를 참조하여, 본 발명의 다른 실시형태에 따른 움직임을 검출하고 재고를 관리하기 위한 방법(200)이 설명될 것이다. 방법(200)은 도 3에 도시된 저장 시스템(305)을 사용하여 수행될 수 있다. 방법(200)은 또한 도 1의 방법(100)에서 설명된 동작들 중 임의의 일부 또는 전부와 조합될 수도 있다. 이러한 예시적인 방법(200)은 도 1의 방법(100)에서 구체적으로 언급되지 않은 다양한 동작을 포함하며, 움직임 추적 및 재고 조정에 관한 추가 상세를 제공한다.
단계 203에서, 저장 구조체(305)는 선택적으로 저장 구조체(305)에 대한 문, 래치 또는 밀봉부의 개방을 검출한다. 이러한 검출 단계는 물체(313)가 저장 구조체(305)로부터 곧 제거되고/되거나 저장 구조체(305) 안에 놓일 것이라는 것을 나타내는데 도움을 줄 수 있다. 일부 실시형태에서, 문 개방의 검출은, (예컨대, 도 1의 단계 110, 도 2의 단계 205, 210 및 215와 관련하여 논의된 바와 같이) 움직임을 검출하거나 추적하는데 사용될 수 있는 카메라(320) 또는 센서의 활성화를 트리거한다. 일부 실시형태에서, 카메라(320)는 문이 닫힐 때 비활성화, 전원 차단 및/또는 대기 상태가 된다. 그런 다음, 카메라(320)는 문이 개방될 때 활성화되고, 문이 다시 닫힐 때에 재차 비활성화된다. 이 접근법은 카메라에 의한 전력 소비를 감소시키는데 도움을 줄 수 있다.
단계 205에서, 저장 구조체(305)는 캐리어(310)의 움직임을 검출한다. 이러한 예시적인 방법에서는, 저장 구조체(305)가 냉장고이고 캐리어(310)가 사용자의 손인 것으로 가정되지만, 이 방법의 단계는 임의의 적합한 유형의 저장 구조체 또는 캐리어에 적용될 수 있다. 도시된 실시형태에서, 냉장고(예컨대, 저장 구조체(305))는 냉장고의 입구에서 또는 그 근처에서 손의 움직임 또는 존재를 검출하도록 배열된다. 임의의 적합한 움직임 감지 기술이 손을 검출하는데 사용될 수 있다.
이 예에서는, 냉장고와의 사용자 상호 작용이 종종 2가지의 기본 움직임을 포함할 수 있다고 가정된다. 첫째로, 사용자의 손은 냉장고를 향하여 이동한다. 그 후, 사용자의 손은 냉장고로부터 멀리 이동한다. (이하에서는, 이들 움직임이 각각 접근 움직임 및 인출 움직임이라 지칭된다.) 이 예에서의 냉장고는 양쪽 유형의 움직임을 추적하도록 배열된다. 임의의 적합한 기술 또는 시스템이 이들 움직임을 추적하는데 사용될 수 있다(예컨대, 도 1의 단계 105 내지 110 및 도 3과 관련하여 설명된 임의의 카메라 또는 센서).
저장 구조체는 냉장고의 입구에서 또는 그 근처에서 각각의 상기 사용자 움직임을 분석한다. 그런 다음, 각 움직임이 이동하고 있는 방향을 결정하고(단계 210), 각 움직임마다, 물체(313)가 움직임 동안 손에 들려있는지의 여부를 결정한다(단계 215). 손에 들려있는 물체(313)가 있다면, 물체(313)가 식별된다(단계 215). 각 움직임에 대한 방향 결정은 도 1의 단계 115와 관련하여 설명된 임의의 동작을 이용하여 수행될 수 있다.
물체(313)가 손 안에 있는지의 여부에 관한 결정, 및 이런 경우, 물체(313)의 신원 결정은 도 1의 단계 120과 관련하여 설명된 임의의 기법을 이용하여 수행될 수 있다. 일부 실시형태에서, 예를 들어, 하나 이상의 카메라(315)는 손의 적어도 일부의 이미지를 포착한다. 그런 다음, 저장 구조체는 이미지를 분석하여 손이 물체(313)를 잡고 있는지의 여부를 결정한다. 손이 물체(313)를 잡고 있다면, 물체(313)의 일부는 이미지 중 적어도 일부에 포함될 가능성이 있다. 손이 물체를 잡고 있다고 결정되는 경우, 도 1의 단계 120과 관련하여 설명된 기법이 물체(313)를 식별하는데 사용된다.
움직임 방향, 손에 들린 물체의 존재, 및 물체의 신원을 결정하는 것을 포함하는 단계 210 및 215는 4가지의 결과를 초래할 수 있다. 즉, 이들 단계에 기초하여, 저장 구조체(305)는 사용자의 움직임 및 행위가 다음과 같은 4개의 모델 중 하나와 부합한다고 결정한다.
빈 상태로 들어가서 빈 상태로 나옴(EMPTY IN, EMPTY OUT)(단계 220). 이 경우, 저장 구조체(305)는 2개의 연속적인 움직임을 검출한다(단계 205). 저장 구조체(305)는 제1 움직임이 접근 움직임인 것으로 결정한다(단계 210). 추가적으로, 저장 구조체(305)는 또한 해당 움직임 동안, 손이 비어 있다고 결정한다(단계 215). 제2 움직임은 인출 움직임인 것으로 결정된다(단계 210). 저장 구조체는, 제2 움직임 동안, 손이 또한 비어 있다고 결정한다(단계 215).
비어 있지 않은 상태로 들어가서 빈 상태로 나옴(NOT EMPTY IN, EMPTY OUT)(단계 225). 이 경우, 저장 구조체(305)는 2개의 연속적인 움직임을 검출한다(단계 205). 저장 구조체(305)는 제1 움직임이 접근 움직임인 것으로 결정한다(단계 210). 추가적으로, 저장 구조체(305)는 또한 해당 움직임 동안, 손이 식별되는 물체(313)를 잡고 있다고 결정한다(단계 215). 제2 움직임은 인출 움직임인 것으로 결정된다(단계 210). 저장 구조체는, 제2 움직임 동안, 손이 비어 있다고 결정한다(단계 215).
비어 있지 않은 상태로 들어가서 비어 있지 않은 상태로 나옴(NOT EMPTY IN, NOT EMPTY OUT)(단계 230). 이 경우, 저장 구조체는 2개의 연속적인 움직임을 검출한다(단계 205). 저장 구조체(305)는 제1 움직임이 접근 움직임인 것으로 결정한다(단계 210). 추가적으로, 저장 구조체(305)는 또한 해당 움직임 동안, 손이 식별되는 물체(313)를 잡고 있다고 결정한다(단계 215). 제2 움직임은 인출 움직임인 것으로 결정된다(단계 210). 저장 구조체는, 제2 움직임 동안, 손이 식별되는 물체를 잡고 있다고 결정한다(단계 215).
빈 상태로 들어가서, 비어 있지 않은 상태로 나옴(EMPTY IN, NOT EMPTY OUT)(단계 235). 이 경우, 저장 구조체는 2개의 연속적인 움직임을 검출한다(단계 205). 저장 구조체(305)는 제1 움직임이 접근 움직임인 것으로 결정한다(단계 210). 추가적으로, 저장 구조체는 또한 해당 움직임 동안, 손이 물체를 잡고 있지 않다고 결정한다(단계 215). 제2 움직임은 인출 움직임인 것으로 결정된다(단계 210). 저장 구조체(305)는, 제2 움직임 동안, 손이 식별되는 물체(313)를 잡고 있다고 결정한다(단계 215).
저장 구조체(305)는 상기 4개의 모델이 사용자의 움직임 및 행위와 부합하는지를 결정한다. 그런 다음, 이 결정에 기초하여, 저장 구조체(305)는 재고 기록 데이터베이스(315)를 갱신한다(단계 240). 데이터베이스(315)가 조정되는 방식은 선택된 모델에 따른다.
빈 상태로 들어가서, 비어 있지 않은 상태로 나옴: 이것은 사용자가 냉장고에 이르러서 식별된 물체를 꺼냈음을 의미한다. 따라서, 저장 구조체(305)는 재고 기록 데이터베이스(315)를 갱신하여, 식별된 물체가 저장 구조체(305)로부터 제거되었음을 나타낸다.
비어 있지 않은 상태로 들어가서 빈 상태로 나옴: 이것은 사용자가 식별된 물체를 냉장고 안에 놓고 빈 손을 꺼냈음을 의미한다. 따라서, 저장 구조체(305)는 재고 기록 데이터베이스를 갱신하여, 식별된 물체가 저장 구조체(305)에 추가되었음을 나타낸다.
빈 상태로 들어가서 빈 상태로 나옴: 이것은 사용자가 빈 손을 냉장고를 향하여 뻗었다가 빈 손을 냉장고 밖으로 꺼냈음을 의미한다. 따라서, 저장 구조체는 재고가 변하지 않았으므로, 재고 기록 데이터베이스를 변경하지 않는다. 대안적으로, 저장 구조체(305)는 행위가 특정 시간에 발생했음 및/또는 재고가 변하지 않았음을 나타내는 기록을 포함하도록 재고 기록 데이터베이스(315)를 갱신한다.
비어 있지 않은 상태로 들어가서, 비어 있지 않은 상태로 나옴: 이것은 사용자의 손이 제1 식별 물체를 잡고 있는 채로 냉장고 안으로 들어갔음을 의미한다. 그 후, 사용자의 손이 제2 식별 물체를 잡고 냉장고로부터 물러났다. 이 상황에서, 저장 구조체는 제1 및 제2 물체가 동일한지의 여부를 결정한다. 그런 경우, 재고가 변경되지 않고/않거나 재고 기록 데이터 베이스가 갱신되어 행위를 기록한 것으로 간주된다.
제1 및 제2 물체가 식별되고(단계 215) 상이한 것으로 밝혀진다면, 이것은 사용자가 제1 물체를 냉장고 안에 놓고 다른 제2 물체를 냉장고 밖으로 꺼낸 것임을 의미한다. 그런 다음, 저장 구조체(305)는 이에 따라(즉, 저장된 재고로부터 제2 물체의 제거 및 재고에 제1 물체의 추가를 표시하기 위해서) 재고 기록 데이터베이스(315)를 갱신한다.
그 후, 저장 구조체(305)는 선택적으로 갱신된 재고에 기초하여 정보를 표시한다(단계 245). 이 단계는 도 1의 단계 130과 관련하여 설명된 임의의 특징부를 이용하여 수행될 수 있다.
도 1 및 도 2의 방법(100 및 200)의 일부 실시형태의 이점은, 물체가 일정 시간 동안 정지 상태로 보관될 필요 없이 물체가 분석될 수 있다는 것이다. 즉, 캐리어가 실제로 물체를 저장 구조체 내측에 남겨둘 때까지 사용자/캐리어가 물체를 이동시키는 것을 정지할 필요 없이 물체가 식별되고 물체의 움직임 방향이 결정된다(예컨대, 도 1의 단계 105 내지 125 및/또는 도 2의 단계 205 내지 240). 즉, 캐리어/물체의 움직임이 처음에 검출되는 시간부터 물체가 저장 구조체(305) 내에 놓이는 시간까지, 캐리어 및/또는 물체는 연속적으로 움직일 수 있다. 그러나, 다른 실시형태에서, 캐리어(310) 또는 사용자는 상기 결정을 용이하게 하기 위해서 물체를 정지 상태로 잡고 있을 수 있다.
다음으로 도 4 및 5a를 참조하여, 물체를 스캐닝하고 스캐닝에 기초하여 정보를 제공하기 위한 예시적인 방법(400)이 설명될 것이다. 도시된 실시형태에서, 방법(400)은 도 3에 도시된 저장 구조체(305)와 동일한 도 5a에 도시된 저장 구조체(305)를 사용하여 구현된다. 즉, 다양한 실시형태에서, 도 5a의 저장 구조체(305)는, 도 3에 도시된 특징부/구성요소가 도 5a에 구체적으로 도시되어 있지 않더라도, 이러한 특징부/구성요소 중 임의의 것 또는 전부를 포함한다. 추가적으로, 방법(400)의 단계 중 임의의 일부 또는 전부는 도 1의 방법(100)에서의 단계들 중 임의의 단계 동안, 그 후 또는 그 전에 수행될 수 있다.
도 5a에서, 저장 구조체(305)는 스캐너(505)를 포함한다. 캐리어(310)(예컨대, 사람의 손)는 스캐너(505) 근처에 위치하는 물체(313)(예컨대, 사과)를 잡고 있다. 이러한 특정 예에서, 저장 구조체(305)는 냉장고이고 스캐너(505)는 냉장고 위, 근처 및/또는 내부에 위치하지만, 이것은 요구사항이 아니며, 상기한 바와 같이, 저장 구조체(305)는 물품을 보관하기 위한 임의의 적합한 구조체일 수 있다.
처음으로, 단계 405에서, 저장 구조체(305)는 물체(313)의 존재를 검출한다. 도시된 실시형태에서, 예를 들어, 캐리어(310)(예컨대, 사람의 손)는 스캐너(505) 부근에 물체(313)(예컨대, 사과)를 위치시킨다. 저장 구조체(305) 및/또는 스캐너(505)는 물체(313)가 스캐너(505)의 범위 안에 들어올 때 물체(313)를 검출한다. 저장 구조체(305) 안, 위 또는 근처의 임의의 적합한 기술 또는 장치, 예컨대, 근접 센서, 이미지 센서, 광 센서, 카메라 등이 물체를 검출하는데 사용될 수 있다. 물체의 존재의 검출은 도 1의 단계 105와 동시에 이루어질 수 있고/있거나 도 1의 단계 105에서와 동일한 하드웨어 또는 기법 중 임의의 것을 사용할 수 있다.
단계 410에서, 물체(313)의 검출에 응답하여, 스캐너(505)는 물체(313)를 스캐닝한다. 스캐너(505)는 임의의 적합한 스캐닝 기술을 이용할 수 있다. 도시된 실시형태에서, 예를 들어, 스캐너(505)는 근적외선(NIR) 스캐너이다. 일부 스캐너 구현예는 특정 파장(예컨대, 750nm 내지 2500nm)의 광을 물체(313)를 향하여 투사한다. 스캐너(505)는 반사된 광을 수신하고 분석하는 수신기를 포함한다. 반사된 광은 물체(313)의 분자 구조에 관한 정보를 나타낼 수 있다. 임의의 공지된 화학계량 및/또는 NIR 분광법이 물체(313)를 스캐닝하고 분석하는데 사용될 수 있다.
저장 구조체(305)는 메시지를 표시하거나 청각 신호를 제공하여 스캐닝이 완료되는 때를 나타낼 수 있다. 일부 실시형태에서, 예를 들어, 캐리어(310) 또는 사용자는 스캐닝이 성공적으로 완료되기 위한 적어도 미리 정해진 일정 시간 동안 스캐너(505)의 전방에서 물체(313)를 잡고 있을 필요가 있을 수 있다. 스캐닝이 성공적으로 완료되었을 때, 저장 구조체(305)는 그 취지에 대한 메시지를 표시할 수 있다. 대안적으로 또는 추가적으로, 저장 구조체(305)는 연관된 청각 신호(예컨대, 음성, 톤, 벨 등)를 발하여 스캐닝이 성공적으로 완료되었음을 나타낼 수 있다. 다른 실시형태에서는, 캐리어(310)가 물체(313)를 스캐닝하기 위해 고정된 위치에서 잡고 있을 필요가 없다. 즉, 스캐닝은 캐리어(310)가 움직이고 있는 동안 및 캐리어(310)가 물체(313)를 저장 구조체(305) 내의 정지 장소로 또는 그 정지 장소로부터 이동시키고 있는 동안에 이루어지고 완료된다.
단계 415에서, 저장 구조체(305)는 단계 310에서 수행된 스캐닝 프로세스로부터 스캐닝 데이터를 얻는다. 데이터는 물체의 특성에 관한 유용한 정보(예컨대, 그의 품질, 특징, 조건 등)를 얻기 위해 처리된다. 일부 실시형태에서, 데이터는 저장 구조체(305) 자체에 의해 처리된다. 다른 실시형태에서, 저장 구조체(305)는 처리를 위해 스캐닝 데이터를 원격 장치(예컨대, 클라우드 기반 서버)에 송신한다. 그런 다음, 외부 장치는 정보(예컨대, 물체에 관한 품질 정보)를 다시 저장 구조체(305)에 송신한다.
스캐닝 데이터의 처리는 임의의 적합한 기법을 이용하여 수행될 수 있다. 일부 실시형태에서, 예를 들어, 인식 엔진(예컨대, 원격 장치/서버 내 또는 저장 구조체(305)에서의)은 스캐닝 데이터로부터 선택된 특징(예컨대, 당 함량, 칼로리, 성숙도(ripeness)와 같은 원하는 관심 영역에 관한 데이터)을 얻는다. 특징은, 원하는 품질 정보(예컨대, 당 함량, 칼로리, 성숙도 수준 등의 측정)를 생성하는 통계학적 모델에 입력된다.
전술한 스캐닝 및 분석 동작은 물체에 관한 다양한 상이한 유형의 품질 정보를 생성할 수 있다. 일부 실시형태에서, 예를 들어, 식품 품질(예컨대, 박테리아 검출, 성숙도, 예상되는 유효 기간, 등) 및/또는 식품 유형(예컨대, 물체를 과일, 채소, 와인, 오일, 옥수수, 육류, 발효 식품 등으로서 식별하는 것)에 관한 정보가 얻어질 수 있다. 물체가 식품이 아니라면, 그 상태 또는 조성에 관한 정보가 얻어질 수 있다(예컨대, 물체를 만드는데 사용되는 재료, 물체에 행해진 손상 정도 등).
단계 420에서, 저장 구조체는 어떤 품질/특성 정보가 사용자에게 표시되거나, 애플리케이션에 제공되거나 또는 그렇지 않으면 나타내는지를 결정한다. 본원에서 이후에 더욱 상세히 논의되는 바와 같이, 이것은 물체의 신원에 따라(예컨대, 전술한 바와 같이, 도 1의 단계 120, 도 2의 단계 215에서 결정되는 바와 같이 그리고/또는 스캐닝 프로세스 그 자체를 이용하여 결정되는 바와 같이) 달라질 수 있다. 어떤 물체인지에 따라서, 물체의 상이한 특징이 관심의 대상이 될 수 있다. 예를 들면, 물체가 과일인 경우, 당 함량 및/또는 성숙도 정보가 필요할 수 있다. 물체가 고기 조각인 경우, 신선도 정보가 필요할 수 있다. 이러한 접근법의 추가 예가 도 6a 내지 도 6c와 관련하여 본원에서 추후에 제공된다.
그 후, 저장 구조체(305)는 결정된 품질/특성 정보를 표시한다(단계 425). 예로서, 이러한 정보는 저장 구조체(305)와 결합된 표시 스크린 상에 표시될 수 있다. 추가적으로 또는 대안적으로, 저장 구조체(305)는 사용자가 보기 위해 품질/특성 정보를 외부 장치(예컨대, 스마트 시계, 휴대 전화기, 스마트 안경, 컴퓨터, 랩톱 등)에 송신할 수 있다.
얻어지거나 표시될 수 있는 품질 정보의 유형은 저장 구조체(305)의 속성에 따라 광범위하게 달라질 수 있다. 저장 구조체(305)가 냉장고인 경우, 예를 들어, 품질 정보는 식품 품질, 신선도 및 영양(예컨대, 칼로리, 성숙도, 비타민 미네랄 함량, 지방 및 섬유 수준 등)에 관한 것일 수 있다. 저장 구조체(305)가 비식품 물품을 저장하기 위한 캐비넷 또는 선반이라면, 품질 정보는 일부 종류의 제품 또는 장치일 수 있는 물체의 구성 품질에 관한 것일 수 있다.
예를 들면, 방법(400)과 관련하여 전술한 바와 같이 스캐너(505)를 포함하는, 전자 제품을 보관하기 위한 캐비넷의 예를 고려한다. 그러면, 사용자는 스캐너 근처에 손상된 휴대 전화기를 위치시킨다. 그런 다음, 휴대 전화기의 스캐닝에 기초하여, 캐비넷과 결합된 표시 패널은 전화기 내의 균열 또는 손상 정도를 나타내는 정보를 생성한다.
일부 실시형태에서, 저장 구조체(305)는 또한 결정된 품질 정보에 기초하는 추가적인 추천 사항 또는 서비스 오퍼링을 제공할 수도 있음이 이해되어야 한다. 상기 예에서는, 예를 들어, 저장 구조체(305)는 전화기가 수리될 수 있는 장소 또는 전화기에 행해진 결정된 손상을 고려한 전화기에 대한 가능한 재판매 가격을 추천할 수 있다. 식품이 특정 수준의 신선도를 갖는 것으로 밝혀진 경우, 저장 구조체(305)는 해당 수준의 신선도에 적합한 추천 레시피를 표시할 수 있다. 예로서, 식품 물체가 소고기 또는 생선으로서 식별되고 그의 신선도 수준이 미리 정해진 임계값을 초과한다고 결정하는 것으로 스캐닝되는 경우, 소고기를 약간만(예컨대, 덜 익힌 것(medium rare)으로) 조리하는 것 또는 생선회를 먹을 것을 포함하는 레시피가 추천된다. 다른 예에서, 식품 물체가 시금치이고 그의 신선도 수준이 미리 정해진 임계값을 초과한다고 결정하는 것으로 스캐닝되면, 시금치 샐러드가 추천된다. 그렇지 않으면, 더 많이 시들은 시금치에 대해서는, 시금치 수프가 추천된다.
저장 구조체는, 특히 저장 구조체가 도 1의 방법(100) 및 도 4의 방법(400) 양쪽을 수행할 수 있을 때에 각종의 유용한 추천사항을 제공할 수 있다. 따라서, 다양한 실시형태에서는, 이러한 저장 구조체가 하나 이상의 카메라뿐만 아니라 스캐너도 포함한다.
상기 능력을 갖는 저장 구조체(305)를 포함하는 다음의 예를 고려한다. 이 예에서는, 캐리어(310)(예컨대, 이 경우에는 사용자)가 물체를 저장 구조체(305)(예컨대, 냉장고) 안에 놓는다. 이 움직임이 검출되고(예컨대, 도 1의 단계 105 및/또는 도 2의 단계 205), 물체(313) 또는 사용자의 하나 이상의 이미지가 포착되며(예컨대, 도 1의 단계 110), 움직임 방향이 결정된다(예컨대, 도 1의 단계 115 및/또는 도 2의 단계 210). 물체가 식별된다(도 1의 단계 120 및/또는 도 2의 단계 215). 그런 다음, 사용자가 물체(313)를 저장 구조체(305)와 결합되는 스캐너(505)의 전방에 위치시킨다. 물체(313)가 검출되고 스캐닝되며, 스캐닝 데이터가 얻어진다(예컨대, 도 4의 단계 405 내지 415에서 설명된 바와 같이). 단계 405, 410 및/또는 415는 또한 도 1의 단계 105 내지 120 및 도 2의 단계 205 내지 235와 실질적으로 동시에 구현될 수도 있음에 유의해야 한다.
이 예에서, 신원 및 스캐닝 결정이 이루어진 후, 저장 구조체(305)는 양쪽의 결정에 기초하여 사용자에게 추천사항을 제공한다. 즉, 사용자에게 표시되는 정보는 물체의 신원(예컨대, 도 1의 단계 120 및 도 2의 단계 215에서 결정된 바와 같이) 및 물체의 품질/특징(예컨대, 도 4의 단계 410, 415 및 420에서 결정된 바와 같이)에 따라 다르다. 도 6a 내지 도 6c는 이 접근법의 예를 나타내는 차트이다. 각 차트의 Y축은 상기한 스캐닝 프로세스를 이용하여 결정되는 가능한 품질 특징/정보를 나타낸다. 각 차트의 X축은 물체(313)의 가능한 신원을 나타낸다(예컨대, 도 1의 단계 120 및 도 2의 단계 215에서 결정된 바와 같이). 차트는 소수의 예시적인 구현예만을 나타내고, 다른 구현예는 도면에 나타낸 것으로부터 벗어날 수 있음이 이해되어야 한다.
도 6a에서, 차트(601)는, 물체(313)가 과일로서 식별되는지의 여부에 따라 표시되는 정보가 다른 것을 나타낸다. 물체가 과일인 것으로 결정되는 경우, 당 함량 정보가 얻어진 스캐닝 데이터에 기초하여 표시된다(결과 605). 물체(313)가 과일이 아니라면, 당 함량 정보가 표시되지 않지만, 가능하게는 다른 영양 정보, 예를 들어 섬유, 지방 또는 칼로리 함량이 스캐닝 데이터에 기초하여 표시될 수 있다(결과 610). 이것은 사용자가 과일의 성숙도 또는 당도를 표시할 수 있는 과일의 당 수준에 특히 관심을 가질 수 있지만, 물체가 과일이 아닌(예컨대, 대신에 고기 조각 또는 곡물인) 경우 당 함량 정보에 덜 관심을 가질 수 있다.
도 6b에서, 차트(603)는 식품 물체가 발효 식품(예를 들어, 요거트 또는 김치)으로서 식별되는지의 여부에 따라 그리고 또한 스캐닝이 박테리아가 검출되는 것을 나타내는지의 여부에 따라 표시되는 정보가 달라짐을 나타낸다. 결과 615는 식품이 발효되고 박테리아가 존재할 때, 박테리아 총수가 보여지는 것을 나타낸다. 이것은, 높은 총수가 더 큰 건강상 이점을 나타낼 수 있으므로, 사용자가 발효 식품의 박테리아 총수를 하는 것에 관심을 가질 수 있기 때문이다. 그러나, 식품이 발효되지 않고, 박테리아가 검출되는 경우, 이것은 식품이 부패된 것을 나타낼 수 있으므로, 경고가 표시된다(결과 620). 물체가 발효 식품으로서 식별되고 박테리아가 스캐닝을 이용하여 발견되지 않는다면, 발효 식품이 건강한 박테리아를 함유하지 않음을 나타내는 다른 경고가 표시된다(결과 625). 마지막으로, 물체가 발효 식품이 아닌 것으로 식별되고 박테리아가 검출되지 않은 경우, 박테리아가 발견되지 않았음과 식품이 신선하고 위생적이고/이거나 먹기에 안전하다고 느끼는 것을 나타내는 정보가 표시된다(결과 630).
도 6c에서, 차트(606)는 식품 물체가 특정 상태 또는 조건에 있는지의 여부에 따라 표시되는 정보가 달라지는 것을 나타낸다. 도 6c는, 표시되는 정보가, 식품 물체가 너무 익었을 때 먹을 수 있는 유형의 식품(예컨대, 바나나)로서 식별되는지의 여부에 기초하여 그리고 또한 스캐닝이 식품 물체가 너무 익은, 즉 미리 정해진 임계값을 초과하는 성숙도 또는 수준을 갖는 것을 나타내는지의 여부에 따라 달라지는 특정 예에 관한 것이다. 결과 635는, 물체(313)가 상기 음식 유형(예컨대, 바나나)의 것이고 또한 너무 익은 경우, 성숙도의 이점을 취한 레시피(예컨대, 바나나 빵 레시피)를 시도하라는 추천사항을 나타낸다. 결과 640에서 나타낸 바와 같이, 식품 물체가 상기 식품 유형의 것이고 너무 익은 것이 아닌 경우, 다른 메시지가 표시된다(예컨대, 식품 물체에 관한 영양 정보, 바나나가 추가 요리나 조리 없이 그 자체로 먹기 좋다는 표시, 바나나 스플릿과 같은 덜 익은 바나나를 사용하는 레시피 등). 식품 물체가 상기 유형의 것이 아니고 너무 익은 것으로 결정되는 경우, 식품 물체가 과도하게 익을 수 있음을 표시하는 경고 메시지가 표시된다(결과 645). 식품 물체가 상기 유형의 것이 아니고 너무 익은 것이 아닌 경우, 식품에 관한 영양 또는 다른 정보, 예컨대 칼로리 총수를 나타내는 메시지, 식품이 상당히 신선하고/하거나 과도하게 익은 것이 아님을 나타내는 메시지 등이 표시된다(단계 650).
다른 접근법은 상이한 식품 유형에 따라 유효 기간 추천을 포함한다. 예를 들면, 식품 물체가 치즈인 경우, 추정되는 유효 기간은 박테리아 수준 및/또는 소정의 화학 물질에 기초하여 주어질 수 있다. 다른 가능한 적용예는 냉장고 내의 알려진 원료 식품 물질 및 그들의 신선도에 기초한 레시피 추천사항을 포함한다. 예를 들면, 연어 조각이 스캐닝된 경우, 추천 시스템은 아스파라거스와 함께 오븐에서 구운 연어를 만들 것을 제안할 수 있다. 이 제안은, 사용자가 냉장고 안에 연어와 아스파라거스 양쪽을 갖고 있고, 아스파라거스가 자신의 유효 기간을 거의 지났다는 사실에 기초한다.
다양한 다른 유형의 정보가 재고 데이터(예컨대, 도 1 및 도 2의 방법(100 및 200)을 이용하여 얻어짐) 및 품질 정보(예컨대, 도 4의 방법(400)을 이용하여 얻어짐)에 기초하여 저장 구조체(305)에서 또한 표시될 수 있다. 저장 구조체(305)가 사용자가 꺼낸(소비한) 식품의 신원 및 해당 행위와 연관된 시간/날짜를 기록하는 냉장고인 예를 고려한다. 추가적으로, 냉장고 안에 놓인 각 식품이 스캐닝되어, 각 식품 물체의 칼로리 함량이 알려지고, 식품 물체의 신원과 관련하여 재고 기록 데이터베이스(315) 내에 기록된다. 추가적으로, 각 식품 물체에 관한 비타민/미네랄 함량 또는 영양 상태가 스캐닝 프로세스를 통해 결정되며, 이 데이터는 식품 물체의 신원과 또한 연관되고 데이터베이스 내에 저장된다.
따라서, 상기 정보를 분석함으로써, 저장 구조체(305)는 특정 사용자에 의해 소비된 칼로리 및 해당 소비의 영양 함량을 추정할 수 있다. 일부 실시형태에서는, 상기 분석에 기초하여, 저장 구조체(305)가 다양한 유형의 정보를 제공한다. 예로서, 저장 구조체(305)는 사용자가 그 또는 그녀의 마지막 식사에서 또는 특정한 일정 시간 동안(예컨대, 매일, 매주 또는 매달) 얼마나 많은 칼로리를 소비했는지를 나타내는 정보를 표시 또는 전달한다. 대안적으로, 저장 구조체(305)는 너무 많은 특정 식품(예컨대, 맥주, 감자 칩 등)을 먹고 있음을 나타내는 정보를 표시 또는 전달한다. 일부 구현예에서, 저장 구조체(305)는 사용자가 소비하고 있는 비타민 및 미네랄을 나타내는 통계를 표시하며, 해당 소비에서의 비타민 또는 미네랄 결핍을 다루는 레시피 또는 식품에 관한 추천을 행한다. 예로서, 상기 분석에 기초하여, 저장 구조체(305)는 사용자가 매주 기준으로 너무 적은 오메가 3을 소비하고 있다고 결정할 수 있고, 그래서 이 문제를 나타내고/나타내거나 더 기름진 생선 또는 오메가 3 보충제의 섭취를 제안하는 메시지를 표시할 수 있다.
다수의 상기 예는 냉장고와 결합되는 스캐너(505)를 지칭하지만, 이것은 요구사항이 아니며, 스캐너(505)는 임의의 적합한 저장 구조체 내에 위치하거나 또는 그와 결합될 수 있다. 도 5b는 전자레인지 또는 통상적인 오븐인 저장 구조체(510)를 도시하는 도면이다. 저장 구조체(510)는 스캐너(505) 및 표시 패널(530)을 포함한다. 이러한 예시적인 실시형태에서, 스캐너는 요리가 이루어지는 전자레인지의 내부 구획부에 위치한다.
오븐의 예시적인 사용은 다음과 같이 설명될 수 있다. 사용자는 오븐 내에 식품 물체(515)를 놓는다. 오븐은 물체(515)의 존재를 검출한다(도 4의 단계 405). 오븐 내의 스캐너(505)는 물체를 스캐닝한다(단계 410). 스캐닝 데이터가 얻어진다(단계 415). 일부 실시형태에서, 오븐은 또한 (예컨대, 도 1의 단계 110 및 120과 관련하여 설명된 임의의 기법을 이용하여) 물체(515)를 식별하도록 배열된다. 오븐은 물체의 스캐닝 및/또는 식별에 기초하여(예컨대, 도 6a 내지 도 6c와 관련하여 논의된 바와 같이) 사용자를 위한 물체(515)에 관한 품질 정보를 결정한다(단계 420). 일부 실시형태에서는, 그 다음에, 오븐이 사용자 입력에 응답하여 식품 물체를 가열하고 요리한다. 선택적으로, 상기 검출, 스캐닝, 식별 및/또는 품질 정보 결정 단계는 요리가 완료된 후에 반복된다. 따라서, 오븐은 식품 물체에 대한 요리의 효과를 나타내는 품질 정보를 얻을 수 있고/있거나 그들을 요리 전에 얻어진 품질 정보와 비교할 수 있다. 예로서, 이러한 품질 정보에 기초하여, 오븐의 표시 패널(530)은 다양한 메시지, 예컨대 식품이 잘 요리되는 것, 식품이 덜 익은 것, 식품이 특정한 일정 시간 동안 특정 온도에서 더 오래 요리되어야 하는 것, 식품에 관한 영양 정보 등을 표시할 수 있다.
다음으로 도 7을 참조하여, 저장 구조체 내의 재고를 추적하기 위한 예시적인 방법(700)이 설명될 것이다. 일반적으로, 방법(700)은 저장 구조체(800)(예컨대, 냉장고) 내부의 이미지를 포착하여 그 재고를 결정하기 위한 기법을 포함한다. 이 방법(700)은 도 8에 도시된 저장 구조체(800)를 사용하여 수행될 수 있다. 저장 구조체(800)는 문(805), 광 송신기(810), 광 수신기(815), 컨트롤러(820), 하나 이상의 카메라(830) 및 재고 기록 데이터베이스(850)를 포함한다. 저장 구조체는 또한 도 1 내지 도 6c와 관련하여 설명된 임의의 특징을 포함하며 임의의 동작을 수행한다.
처음으로, 단계 705에서, 저장 구조체(800)는 문(805)의 닫힘을 검출한다. 문의 닫힘은 다양한 방식으로 검출될 수 있다. 일부 실시형태에서, 예를 들어, 광 송신기(810)는 저장 구조체(800) 내부를 향하여 광을 송신하도록 하는 방식으로 문(805) 위에 위치한다. 또한, 저장 구조체(800)의 베이스(840) 상에는 광 수신기(815)가 위치한다. (일부 실시형태에서는, 광 송신기(810) 및 수신기(815)의 위치가 역전되며, 즉 송신기가 문 위에 있고 수신기가 베이스 위에 있다.) 문(805)이 개방되거나 닫힘에 따라, 광 송신기(810)로부터 광 수신기(815)에 의해 수신된 광량은 변한다. 즉, 수신기(815)에 의해 수신된 광량은 베이스(840)(또는 다른 선택된 표면)에 대하여 문(805)의 각도(A)에 기초하여 변한다. 임의의 기술 또는 센서가 문(805)의 닫힘 및/또는 각도(A)를 검출하는데 사용될 수 있음이 이해되어야 한다. 다른 실시형태에서는, 근접도 기반, 전위차계 기반 또는 소프트웨어 제어형 센서가 사용된다.
수신기(815)에 의해 수신된 광량 또는 각도(A)가 특정의 임계값 및/또는 범위에 도달할 때 수신기(815)는 컨트롤러(820)에 신호를 보낸다. 그런 다음, 컨트롤러(820)는 저장 구조체 내부의 하나 이상의 이미지를 포착하는 하나 이상의 카메라(830)의 활성화를 트리거한다(단계 710). 다양한 구현예에서, 카메라(830)는 문 위에 위치해서, 트리거 시에 그들이 저장 구조체(800)의 내용물의 확대된 선명한 시야를 갖게 한다. 즉, 카메라(830)는 저장 구조체(800) 내부의 다수의 장소(예컨대, 과일/농산물 구획부, 최상부 선반, 중간 선반, 하단 선반, 달걀 용기 등)뿐만 아니라 해당 장소에 있는 임의의 물체의 이미지를 포착한다.
저장 구조체(800)의 내용물의 이미지(들)가 포착되면, 저장 구조체(800)는 이미지를 분석하고 그 속의 하나 이상의 물체를 식별한다(단계 320). 이것은 다양한 방식으로 수행될 수 있다. 일부 실시형태에서, 저장 구조체(800)는 우선 이미지 속의 왜곡을 보정한 다음 이미지 속의 개별 물체를 식별한다. 추가적으로, 다양한 구현예는 이미지에 기초하여 저장 구조체 내의 각 물체의 상대 위치를 결정하는 것을 포함한다. 이 위치 및 신원 정보는 재고 기록 데이터베이스(850) 내에 저장될 수 있다. (재고 기록 데이터베이스(850)는 도 3의 데이터베이스(315)와 유사하거나 동일할 수 있다.) 예로서, 일부 접근법에서, 정보는 저장 구조체(800) 내의 각 물체에 대한 위치, 시간 및 신원 정보를 나타내는 그래프 형태로 저장된다.
다양한 실시형태에서, 상기 이미지 포착 및 분석 동작은 시간 경과에 따라, 예컨대 저장 구조체(800)의 문(805)이 닫히는 시간마다 반복됨에 유의해야 한다. 따라서, 저장 구조체(800) 및/또는 데이터베이스(850)는 냉장고 내의 물체의 사라짐 및 출현을 나타내는 이력 정보를 저장할 수 있다. 이 이력 정보에 기초하여, 저장 구조체(800)는 때때로, 물체가 다른 물체에 의해 카메라의 시야로부터 부분적으로 차단될지라도, 특정 물체의 신원을 결정할 수 있다. 예를 들면, 이력 정보가 우유가 특정 위치에 항상 놓이고 자주 교체됨을 나타내는 예를 고려한다. 방법(700)의 단계 705 및 710에 기초하여, 저장 구조체(800)는 새로운 물체가 동일한 위치에 놓여서 포착된 이미지에서 선명하게 볼 수 없다고 결정한다(예컨대, 단계 710 및 715). 그런 다음, 저장 구조체(800)는 새로운 물체가 이력 정보에 기초하여 우유인 것으로 결정한다.
단계 715에서, 저장 구조체(800)는 저장 구조체의 재고에 이루어진 임의의 변화를 반영하도록 재고 기록 데이터베이스(850)를 갱신한다. 갱신은 이미지 및 이미지에서 식별된 물체의 임의의 변화의 검출에 기초한다(예컨대, 단계 710 및 715). 간단한 예를 이용하기 위해, 과거에 포착된 이미지(예컨대, 단계 710)는 우유통 및 3개의 쥬스병이 냉장고 문 위의 선반에 있었음을 나타낼 수 있다. 후에, 해당 위치에서, 우유통이 사라지고 3개의 주스병이 선반 위에 여전히 있음을 나타내는 이미지가 재차 포착된다(예컨대, 단계 710). 이미지들 간의 차이에 기초하여, 저장 구조체(800)는 저장 구조체가 더 이상 우유통을 포함하지 않음을 나타내기 위해 재고 데이터베이스(850)를 갱신한다.
단계 720에서, 저장 구조체는 상기한 갱신 및/또는 데이터 베이스(850) 내에 저장된 재고 데이터에 기초하여 표시 패널 상에 정보를 표시한다. 추가적으로 또는 대안적으로, 정보는 저장 구조체(800)로부터 외부 장치(예컨대, 스마트폰, 스마트 안경, 스마트 시계, 랩톱 또는 데스크톱 컴퓨터 등)에 송신되고 거기에 표시된다.
다양한 다른 유형의 정보가 표시될 수 있다. 일부 실시형태에서는, 단계 710에서 포착된 이미지의 적어도 일부분이 표시된다. 사용자가 최근에 냉장고(예컨대, 저장 구조체(800)) 안에 오렌지를 놓은 예를 고려한다. 냉장고는 새롭게 놓인 오렌지를 포함한, 냉장고 안의 다수의 물체의 이미지를 포착한다. 냉장고는 이전 시간에 촬영한 이미지와 새로운 이미지를 비교하고, 오렌지가 방금 추가되었다고 결정한다. 그런 다음, 냉장고는 이미지의 일부분(예컨대, 단지 이미지 내의 다른 물체를 나타내지 않고 오렌지를 나타내는 일부분)을 표시한다. 추가적으로, 적합한 메시지가 또한 보여질 수도 있다("당신은 냉장고에 오렌지를 추가했습니다. 재고가 갱신되었습니다."). 도 1의 단계 130 및 도 2의 단계 245와 관련하여 설명된 임의의 표시 동작이 또한 이 단계에서 수행될 수도 있다.
때때로, 저장 구조체(800) 내의 카메라(830)는, 카메라(830)에 대한 제어 파라미터가 조정된 경우에 개선될 수 있는 차선의 이미지를 제공할 수 있다. 다음으로 도 9를 참조하여, 카메라(830)에 대한 제어 파라미터를 조정하기 위한 방법(900)을 도시하는 흐름도가 설명될 것이다. 도 9의 방법(900)은 도 7의 방법(700)과 일반적으로 동시에 그리고/또는 그와 함께 수행될 수 있다. 단계 905에서, 저장 구조체(800)는 카메라(830)에 의한 이미지의 포착을 야기하는 트리거 이벤트(예컨대, 문의 닫힘)를 검출한다. 단계 905는 도 7의 단계 705와 일반적으로 동일하거나 유사하게 수행될 수 있다.
도 9의 단계 910에서, 지지 구조체(800)는 카메라(830)에 대한 제어 파라미터를 교정한다. 노출, 오토포커스(온/오프) 및 프레임 레이트를 포함하지만 이에 한정되지 않는 임의의 적합한 제어 파라미터가 교정될 수 있다. 단계 915에서, 저장 구조체(800)는 포착된 이미지를 분석하여 충분한 품질의 것인지를 결정한다. 품질에는 다양한 방식으로 결함이 있을 수 있다. 예를 들면, 이미지는 저장 구조체(800) 내의 물체/위치의 충분한 범위를 담당하지 못할 수 있다. 이미지는 과노출될 수 있거나 오토포커스를 필요로 할 수 있다. 일부 경우에, 문(805)이 다른 각도에 도달되었을 때(도 7의 단계 705 및 도 8과 관련하여 논의된 바와 같이) 이미지가 포착되어야만 하기 때문에, 상기 이미지는 차선이다.
품질에 결함이 있는 경우, 피드백이 단계 905 및 910에 제공된다. 즉, 적절하게, 단계 905의 트리거링 이벤트(예컨대, 문 각도 임계값)가 조정되고/되거나, 하나 이상의 다른 카메라 제어 파라미터(단계 910)가 변경된다. 따라서, 장래에, 카메라(830)는 조정된 파라미터 및 설정값을 이용하여 이미지를 포착할 것이다. 적합한 이미지가 카메라에 의해 생성되면, (예컨대, 도 7의 단계 725와 관련하여 논의된 바와 같이) 단계 920에서 선택적으로 표시된다.
다양한 조건 또는 요인이 카메라 제어 파라미터의 조정을 트리거할 수 있다. 예로서, 일부 실시형태에서, 저장 시스템, 저장 구조체(800), 카메라(830) 및/또는 센서는 대기 광 수준을 검출한다. 그런 다음, 검출된 대기 광 수준에 기초하여, 카메라 제어 파라미터가 조정된다. 이것은 카메라를 사용하여 포착된 이미지의 품질을 개선하는데 도움을 줄 수 있다.
다음으로 도 10을 참조하여, 본 발명의 특정 실시형태에 따른 저장 구조체(1000)가 설명될 것이다. 본원에서 설명된 임의의 저장 구조체(예컨대, 도 3, 도 5a 및 도 8의 저장 구조체(305/800))일 수 있는 저장 구조체(1000)는 하나 이상의 프로세서를 포함하는 프로세서 유닛(1005), 저장 유닛(1010), 표시 유닛(1020), 네트워크 인터페이스 유닛(1015), 카메라 유닛(1035), 스캐너 유닛(1030), 재고 제어 모듈(1025) 및 재고 기록 데이터베이스(1040)를 포함한다. 저장 구조체(1000)는 도 3, 도 5a, 도 5b 및 도 8과 관련하여 설명된 임의의 장치 및 특징부, 예컨대 다수의 내부 선반 및 구획부, 표시 스크린, 문, 하나 이상의 카메라 또는 움직임 추적 센서, 광 송신기, 광 수신기, 스캐너 등을 또한 포함할 수 있다. 저장 구조체(1000)는, 냉장고, 캐비넷, 저장 컨테이너, 창고 등을 포함하지만 이에 한정되지 않는, 물체를 보관하도록 배열되는 임의의 구조체 또는 장치일 수 있다.
저장 유닛(1010)은 데이터 또는 실행 가능한 컴퓨터 코드를 저장하기에 적합한 임의의 하드웨어이다. 저장 유닛(1010)은 하드 드라이브, 플래시 드라이브, 비휘발성 메모리, 휘발성 메모리 또는 임의의 다른 유형의 컴퓨터 판독가능 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다. 본원에서 설명되는 저장 구조체 또는 냉장고를 위한 임의의 동작 또는 방법(예컨대, 각각 도 1, 도 2, 도 4, 도 7 및 도 9의 방법(100, 200, 400, 700 및 900))은 저장 유닛(1010) 내의 실행 가능한 컴퓨터 코드 또는 명령어 형태로 저장될 수 있다. 프로세서 유닛(1005)에 의한 컴퓨터 코드 또는 명령어의 실행은 저장 구조체(1000) 또는 저장 구조체와 결합된 적합한 장치가 상기한 동작 및 방법 중 임의의 것을 수행하게 한다.
네트워크 인터페이스 유닛(1015)은 저장 구조체(1000)가 외부 장치와 통신할 수 있게 하는데 적합한 임의의 하드웨어 또는 소프트웨어를 포함한다. 일부 실시형태에서, 예를 들어, 저장 구조체(1000)는 (예컨대, 도 1의 단계 130과 관련하여 논의된 바와 같이) 표시를 위해 메시지 및 정보를 외부 장치(예컨대, 스마트폰, 스마트 안경, 스마트 시계 등)에 전달한다. 추가적으로, 저장 구조체(1000)는 이미지 및 센서 데이터를 외부 장치(예컨대, 서버)에 송신하여, 해당 데이터의 처리 중 일부 또는 전부(예컨대, 도 1의 단계 115 및 120)가 외부 장치에서 이루어질 수 있다. 본원에서 설명된 기법을 이용하여 얻어진 임의의 정보는 네트워크 인터페이스 유닛(1015)을 사용하여 외부 장치/서버에 송신될 수 있어, 다른 장치에 의해 액세스될 수 있다. 네트워크 인터페이스 유닛(2015)은 임의의 적합한 네트워크(예컨대, LAN, 인터넷 등) 또는 통신 프로토콜(예컨대, Bluetooth, WiFi, NFC, IEEE 802.15.4, IEEE 802.11 등)을 사용하여 데이터를 송신하고 데이터를 수신하도록 배열된다.
카메라/센서 유닛(1035)은 저장 구조체에, 그 근처에, 그 위에 및/또는 그 내측에 위치할 수 있는 하나 이상의 카메라, 센서 또는 다른 모니터링 장치를 포함한다. 카메라/센서는 본원에서 설명된 임의의 기법을 사용하여, 예컨대 도 1의 단계 110, 도 2의 단계 205, 도 4의 단계 405, 도 7의 단계 705 및 710 및/또는 도 9의 방법(900)과 관련하여 설명된 바와 같이, 동작되도록 배열된다.
스캐너 유닛(1030)은 하나 이상의 스캐너를 포함한다. 스캐너(들)는 스캐닝된 물체에 관한 상세한 정보를 얻도록 배열된다. 임의의 적합한 스캐너가 사용될 수 있다. 일부 실시형태에서, 예를 들어, 스캐너는 근적외선(NIR) 스캐너이다. 스캐너는 본원에서 설명된 임의의 스캐닝 기법, 예컨대 도 4의 방법(400)을 이용하여 동작되도록 배열된다.
재고 제어 모듈(1025)은 저장 구조체(1000) 내의 재고의 모니터링 또는 갱신에 관한 동작을 수행하는데 사용되는 임의의 하드웨어 또는 소프트웨어이다. 모듈(1025)은 이미지 및/또는 센서 데이터의 수집 및 분석, 물체 및 방향 이동의 식별, 물체의 스캐닝, 및 재고 기록 데이터베이스의 대응하는 갱신에 관한 임의의 동작, 예컨대 도 1, 도 2, 도 4 및 도 7의 방법(100, 200, 400 및 700)을 수행하거나 조정하도록 배열된다. 다양한 실시형태에서, 재고 제어 모듈(1024)은 카메라 유닛(1035), 스캐너 유닛(1030), 및/또는 저장 구조체(1000)의 다른 특징부 및 장치를 조정하고 동작시킨다.
재고 기록 데이터베이스(1040)는 저장 구조체(1000)의 재고에 관한 임의의 정보를 저장하는데 사용되는 임의의 하드웨어 또는 소프트웨어이다. 일부 실시형태에서, 예를 들어, 데이터베이스(1040)는 저장 구조체(1000) 내의 모든 검출된 물체의 현재 재고를 포함한다. 각 물체에 관한 추가 정보, 예컨대 물체의 이름, 물체가 저장 구조체 내에 놓인 시간 및/또는 날짜, 물체의 유효 기간, 및 물체에 관한 특징, 카테고리 또는 다른 메모가 또한 데이터베이스(1040) 내에 저장될 수 있다. 데이터베이스(1040)는 또한 이력 정보를 포함할 수 있다. 즉, 다양한 구현예에서, 재고 기록 데이터베이스는 저장 구조체 내의 재고의 시간 경과에 따라 이력 기록을 저장한다. 임의의 적합한 데이터베이스 기술 또는 하드웨어가 기록을 저장하는데 사용될 수 있다. 본원에서 설명되는 재고 기록 데이터베이스를 포함하는 임의의 동작은 재고 기록 데이터베이스(1040)를 사용하여 수행될 수 있다.
디스플레이 유닛(1020)은 사용자를 위해 정보를 표시하도록 배열된 임의의 하드웨어 또는 소프트웨어이다. 임의의 적합한 표시 기술, 예컨대 접촉 감응식(정전식) 스크린, 전자 잉크(e-ink) 디스플레이, LCD 또는 OLED 디스플레이 등이 정보를 표시하는데 사용될 수 있다. 저장 구조체(1000)는, 예컨대 도 1의 단계 130, 도 2의 단계 245, 도 4의 단계 425 및 도 7의 단계 720과 관련하여 논의된 바와 같이, 디스플레이 유닛(1020)에 본원에서 설명된 임의의 종류의 메시지 또는 정보를 표시할 수 있다. 다양한 구현예에서, 상기 정보 중 임의의 것이 (또한) 저장 구조체(1000)와 결합된 스피커로부터 음성 명령문을 통해 사용자에게 전달됨에 유의해야 한다. 또 다른 실시형태에서, 저장 구조체(1000)는 임의의 이러한 메시지 또는 정보를 표시를 위해 유선 또는 무선 네트워크를 통해 외부 장치(예컨대, 스마트 시계, 스마트폰, 컴퓨터 안경, 랩톱, 컴퓨터 등)에 송신하도록 배열된다.
본원은 데이터(예컨대, 이미지, 스캐닝 데이터 등)를 수집하고, 데이터를 분석한 다음 분석 및 데이터에 기초하여 재고 기록을 갱신하기 위한 다양한 동작을 설명하고 있다. 본원에서 설명된 예들 중 일부에서, 저장 구조체는 이들 단계를 수행한다. 그러나, 데이터의 수집 및 처리가 또한 서버와 같은 원격 장치에서 이루어질 수 있음에 유의해야 한다. 즉, 다양한 구현예에서, 저장 구조체는 데이터를 취득한다(예컨대, 도 1의 단계 105 및 110; 도 2의 단계 205 및 215; 및 도 4의 단계 405, 410 및 415). 그 후, 저장 구조체는 데이터를 적합한 네트워크(예컨대, 인트라넷 또는 인터넷)를 통해 원격 장치(예컨대, 클라우드 서버)에 송신한다. 그런 다음, 원격 장치는 데이터를 분석한다(예컨대, 도 1의 단계 115 및 120, 도 2의 단계 210-235, 도 4의 단계 420). 다양한 실시형태에서는, 그런 다음, 원격 장치가 분석 결과(예컨대, 움직임 방향, 물체 식별, 재고 기록 등)를 저장을 위해 저장 구조체에 송신한다. 저장 구조체는 수신된 결과를 이용하여 로컬 재고 기록 데이터베이스를 갱신한다(예컨대, 도 1, 도 2 및 도 7의 단계 125, 240 및 715). 대안적으로, 재고 기록 데이터베이스는 원격 장치에서 저장되고, 그 안에서 갱신이 이루어진다. 즉, 일부 접근법에서, 재고 관련 데이터의 모든 처리 및 저장은 원격 장치에서 수행되며, 저장 구조체의 역할은 주로 이미징/센서/스캐닝 데이터를 얻고 메시지 및 정보를 사용자에게 표시하는 것이다. 다양한 실시형태에서, 저장 구조체는 저장 구조체/사용자로부터의 요청에 응답하여 그리고/또는 외부 장치에 의한 저장 구조체로의 정보의 푸싱에 기인하여, 외부 장치로부터 표시하기 위한 정보(예컨대, 재고 관련 데이터, 품질 정보, 물체에 관한 정보 등)를 수신한다.
본원은 다양한 저장 구조체 설계 및 방법을 설명하고 있다. 하나의 도면에서의 저장 구조체의 임의의 특징부 또는 구성요소는 임의의 다른 도면의 저장 구조체에 포함될 수 있음에 유의해야 한다. 또한, 하나의 방법으로부터의 임의의 동작은 본원에서 설명된 임의의 다른 방법에 포함될 수 있다. 예로서, 본원은 저장 구조체가 도 1, 도 2, 도 4 및 도 7의 방법(100, 200, 400 및 700)을 수행하는 일부 실시형태를 고려한다. 추가적으로, 저장 구조체는 도 3, 도 5a, 도 8 및 도 10에 도시된 저장 구조체의 모든 특징부 및 구성요소를 포함한다. 추가적으로, 저장 구조체는 도 6a 내지 도 6c와 관련하여 논의된 바와 같이, 물체의 식별 및 스캐닝에 기초하여 정보를 표시하도록 배열된다.
본원에서는, 다양한 동작(예컨대, 움직임 검출, 이미지 취득, 물체의 움직임 방향 결정, 도 1, 도 2, 도 4 및 도 7에서 언급된 동작)을 수행하는 저장 구조체에 대하여 언급되어 있다. 일부 실시형태에서, 이들 동작은 저장 시스템(예컨대, 저장 시스템(300)) 및/또는 저장 구조체와 결합된 하나 이상의 제어 장치에 의해 수행됨이 이해되어야 한다. 간단한 예가 다음과 같이 설명될 수 있다. 저장 시스템은 저장 구조체, 제어 장치, 및 카메라/센서(예컨대, 도 10에서 설명된 바와 같이)를 포함한다. 제어 장치는 카메라/센서와 결합되고/되거나 저장 구조체 내에 위치하거나 그와 결합된다. 캐리어는 물체를 저장 구조체 내로 운반한다. 제어 장치는, 카메라/센서를 사용하여, 물체의 움직임을 검출하고(예컨대, 도 1의 단계 105), 이미지를 취득하며(예컨대, 단계 110), 물체의 움직임 방향을 결정하고(예컨대, 단계 115), 물체를 식별한다(예컨대, 단계 120). 다른 예시적인 구현예에서, 카메라 및/또는 센서는 제어 장치로부터 분리되지만 네트워크를 통해 제어 장치와 결합된다. 따라서, 센서 장치는 물체의 움직임을 검출한다(예컨대, 단계 105). 카메라 장치는 이미지를 취득한다(예컨대, 단계 110). 센서 및 카메라 장치는 각각 자신의 센서 및 이미지 데이터를 제어 장치에 송신하여, 물체의 움직임 방향을 결정하고(예컨대, 단계 115) 물체를 식별한다(예컨대, 단계 120). 환언하면, 본원에서의 저장 구조체에 기인한 임의의 동작은 또한 임의의 적합한 저장 시스템 및/또는 저장 구조체와 결합되고/되거나 저장 구조체 내에 또는 인근에 위치하는 하나 이상의 분리된 네트워크형 장치의 조합에 의해 수행될 수도 있다.
본 발명의 소수의 실시형태만이 상세하게 설명되었지만, 본 발명은 발명의 사상 또는 범위를 벗어나지 않고 많은 다른 형태로 구현될 수 있음이 이해되어야 한다. 예를 들면, 본원 및 도면은 특정 동작을 수행하는 다양한 방법을 설명한다. 일부 실시형태에서, 이들 동작/단계 중 하나 이상이 수정, 재정렬 및/또는 삭제될 수 있음이 이해되어야 한다. 추가적으로, 도 3, 도 5a, 도 5b, 도 8 및 도 10과 같은 일부 도면은 다양한 구성요소를 포함하는 장치를 설명한다. 일부 실시형태에서, 이들 구성요소 중 하나 이상이 함께 병합될 수 있음에 유의해야 한다. 또 다른 실시형태에서, 하나 이상의 구성요소는 더 많은 수의 구성요소로 분리될 수 있다. 하나의 구성요소의 특징부는 다른 구성요소로 전이되고/되거나 적절하게 수정될 수 있다. 각 장치는 대응하는 도면에 나타낸 것 이외의 추가 구성요소를 가질 수 있다. 특정 물체의 일부인 것으로 나타낸 특정 모듈 및 장치는 그 대신에, 예컨대 유선 또는 무선 연결로 물체와 결합될 수 있다. 도 10에서, 예를 들어, 카메라 유닛은 저장 구조체의 일부일 수 있고; 대안적으로, 카메라 유닛은 저장 구조체 및 저장 구조체와 결합되는 카메라 유닛을 포함하는 저장 시스템의 일부일 수 있다. 따라서, 본 실시형태는 제한적인 것이 아니라 예시적인 것이며, 본 발명은 본원에서 주어진 상세에 한정되지 않아야 한다.
Claims (15)
- 저장 구조체에서 물체를 식별하기 위한 방법으로서,
상기 저장 구조체와 결합된 하나 이상의 센서를 사용하여 상기 저장 구조체에서 물체의 움직임을 검출하는 단계;
상기 물체의 적어도 일부의 하나 이상의 이미지를 취득하는 단계;
상기 물체의 움직임 방향을 결정하는 단계; 및
상기 하나 이상의 이미지에 기초하여 상기 물체를 식별하는 단계를 포함하는, 물체 식별 방법. - 제1항에 있어서,
상기 방향 결정에 기초하여, 상기 물체가 상기 저장 구조체에 추가되거나 상기 저장 구조체로부터 제거되는지의 여부를 결정하는 단계를 더 포함하는, 물체 식별 방법. - 제1항에 있어서, 상기 저장 구조체는 냉장고인, 물체 식별 방법.
- 제1항에 있어서,
상기 식별된 물체 및 상기 결정된 방향에 기초하여 상기 저장 구조체에 대한 재고 기록 데이터를 갱신하는 단계를 더 포함하는, 물체 식별 방법. - 제4항에 있어서,
상기 재고 기록 데이터에 기초하여 정보를 표시하는 단계를 더 포함하는, 물체 식별 방법. - 제1항에 있어서,
상기 저장 구조체의 입구 영역을 통해 이동하고 있는 캐리어를 검출하는 단계;
상기 캐리어가 이동하고 있는 방향을 결정하는 단계; 및
상기 캐리어 방향 결정 및 상기 캐리어가 물체를 운반하고 있는지의 여부에 관한 결정에 기초하여, 상기 저장 구조체에 대한 재고 기록 데이터를 갱신하는 단계를 더 포함하는, 물체 식별 방법. - 제6항에 있어서,
상기 캐리어가 제1 시간 동안 상기 저장 장치를 향하여 이동하고 있다고 결정하는 단계;
상기 캐리어가 상기 제1 시간 동안 상기 물체를 운반하고 있는지의 여부를 결정하는 단계;
상기 캐리어가 제2 시간 동안 상기 저장 장치로부터 멀리 이동하고 있다고 결정하는 단계; 및
상기 캐리어가 상기 제2 시간 동안 상기 물체를 운반하고 있는지의 여부를 결정하는 단계를 더 포함하는, 물체 식별 방법. - 제7항에 있어서,
상기 캐리어가 상기 제1 시간 동안 물체를 운반하고 있지 않고 상기 캐리어가 제2 시간 동안 상기 물체를 운반하고 있다고 결정될 때, 상기 물체가 상기 저장 구조체로부터 제거되었음을 나타내기 위해서 상기 재고 기록 데이터를 조정하는 단계를 더 포함하는, 물체 식별 방법. - 제7항에 있어서,
상기 캐리어가 상기 제1 시간 동안 상기 물체를 운반하고 있고 상기 제2 시간 동안 물체를 운반하고 있지 않다고 결정될 때, 상기 물체가 상기 저장 구조체에 추가되었음을 나타내기 위해 상기 재고 기록 데이터를 조정하는 단계를 더 포함하는, 물체 식별 방법. - 제1항에 있어서,
상기 저장 구조체와 결합된 스캐너의 스캐닝 범위 내에서 상기 물체의 존재를 검출하는 단계;
상기 스캐너를 사용하여 상기 물체를 스캐닝하는 단계;
상기 물체의 특성을 나타내는 상기 스캐너로부터의 스캐닝 데이터를 얻는 단계; 및
상기 스캐닝 데이터에 기초하여 상기 물체에 관한 특성 정보를 저장하는 단계를 포함하는, 물체 식별 방법. - 제10항에 있어서,
상기 스캐닝 데이터 및 상기 식별된 물체에 기초하여 메시지를 결정하는 단계; 및
상기 메시지를 표시하는 단계를 더 포함하는, 물체 식별 방법. - 제1항에 있어서,
상기 저장 구조체에 대한 문의 닫힘을 검출하는 단계;
상기 문이 닫혀 있는 동안 하나 이상의 카메라를 사용하여 상기 저장 구조체 내부의 하나 이상의 이미지를 포착하는 단계; 및
상기 저장 구조체 내부의 상기 하나 이상의 이미지에 기초하여 상기 재고 기록 데이터를 갱신하는 단계를 포함하는, 물체 식별 방법. - 저장 시스템으로서,
저장 구조체,
상기 저장 구조체와 결합된 하나 이상의 센서;
상기 저장 구조체와 결합된 적어도 하나의 프로세서; 및
상기 저장 구조체와 결합된 적어도 하나의 메모리 회로를 포함하며,
상기 적어도 하나의 메모리 회로는 유형의 형태로 저장된 컴퓨터 코드를 포함하는 컴퓨터 판독가능 저장 매체를 포함하며, 상기 컴퓨터 코드는, 상기 적어도 하나의 프로세서에 의해 실행되었을 때, 상기 저장 시스템이,
하나 이상의 센서;
상기 물체의 적어도 일부의 하나 이상의 이미지 취득을 이용하여 상기 저장 구조체에서 물체의 움직임을 검출하는 것; 및
상기 물체의 움직임 방향을 결정하는 것; 및
상기 하나 이상의 이미지에 기초하여 상기 물체를 식별하는 것을 행하게 하는, 저장 시스템. - 제13항에 있어서, 상기 컴퓨터 코드는, 상기 적어도 하나의 프로세서에 의해 실행되었을 때, 상기 저장 시스템이 또한,
상기 방향 결정에 기초하여, 상기 물체가 상기 저장 구조체에 추가되거나 상기 저장 구조체로부터 제거되는지의 여부를 결정하게 하는, 저장 시스템. - 제13항에 있어서,
상기 저장 구조체에 결합되는, 사용자를 위한 메시지를 표시하기 위한 표시 패널;
상기 저장 구조체와 결합되며 상기 물체의 특성에 관한 데이터를 스캐닝하여 얻도록 배열되는 스캐너; 및
상기 하나 이상의 이미지를 취득하도록 배열되는, 상기 저장 구조체와 결합된 하나 이상의 카메라를 더 포함하며, 상기 컴퓨터 코드는, 상기 적어도 하나의 프로세서에 의해 실행되었을 때, 상기 저장 시스템이 또한,
상기 스캐너에 의해 결정된 상기 물체의 신원 및 상기 물체의 특성에 기초하여 상기 표시 패널에서 사용자에게 정보를 표시하게 하는, 저장 시스템.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562192730P | 2015-07-15 | 2015-07-15 | |
| US62/192,730 | 2015-07-15 | ||
| US14/866,396 US10956856B2 (en) | 2015-01-23 | 2015-09-25 | Object recognition for a storage structure |
| US14/866,396 | 2015-09-25 | ||
| PCT/KR2016/007605 WO2017010804A1 (en) | 2015-07-15 | 2016-07-13 | Object recognition for a storage structure |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180020214A true KR20180020214A (ko) | 2018-02-27 |
| KR102543862B1 KR102543862B1 (ko) | 2023-06-16 |
Family
ID=57758087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187001095A KR102543862B1 (ko) | 2015-07-15 | 2016-07-13 | 저장 구조체를 위한 물체 인식 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP3322971B1 (ko) |
| KR (1) | KR102543862B1 (ko) |
| CN (1) | CN108139317B (ko) |
| WO (1) | WO2017010804A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11288506B2 (en) | 2019-09-25 | 2022-03-29 | Haier Us Appliance Solutions, Inc. | Refrigerator appliances and methods for tracking stored items |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102020202933A1 (de) | 2020-03-06 | 2021-09-09 | BSH Hausgeräte GmbH | Bevorratungsgerätevorrichtung |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050088979A (ko) * | 2005-08-17 | 2005-09-07 | 박정일 | 냉장고의 내용물 표시장치 및 그 방법 |
| KR20060029502A (ko) * | 2004-10-01 | 2006-04-06 | 삼성전자주식회사 | 데이터 처리 상태 디스플레이 방법 |
| WO2014168265A1 (ko) * | 2013-04-10 | 2014-10-16 | 엘지전자 주식회사 | 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고 |
| KR20140125105A (ko) * | 2013-04-18 | 2014-10-28 | 엘지전자 주식회사 | 냉장고 및 그 동작 방법 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8842183B2 (en) * | 2008-08-08 | 2014-09-23 | Snap-On Incorporated | Image-based inventory control system with automatic calibration and image correction |
| KR101112202B1 (ko) * | 2010-05-28 | 2012-02-24 | 전자부품연구원 | 냉장고의 보관 식품 관리 장치 및 방법 |
| US9528972B2 (en) * | 2012-04-16 | 2016-12-27 | Eugenio Minvielle | Dynamic recipe control |
| KR102014145B1 (ko) * | 2012-12-21 | 2019-08-26 | 엘지전자 주식회사 | 냉장고, 및 그 동작 방법 |
| JP6391943B2 (ja) * | 2013-03-12 | 2018-09-19 | 東芝ライフスタイル株式会社 | 冷蔵庫、カメラ装置、庫内画像表示プログラム |
| US10268983B2 (en) * | 2013-06-26 | 2019-04-23 | Amazon Technologies, Inc. | Detecting item interaction and movement |
| CN104516895B (zh) * | 2013-09-27 | 2018-04-20 | 阿里巴巴集团控股有限公司 | 商品对象库存信息处理方法及系统 |
-
2016
- 2016-07-13 CN CN201680041310.5A patent/CN108139317B/zh not_active Expired - Fee Related
- 2016-07-13 WO PCT/KR2016/007605 patent/WO2017010804A1/en active Application Filing
- 2016-07-13 EP EP16824721.1A patent/EP3322971B1/en active Active
- 2016-07-13 KR KR1020187001095A patent/KR102543862B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060029502A (ko) * | 2004-10-01 | 2006-04-06 | 삼성전자주식회사 | 데이터 처리 상태 디스플레이 방법 |
| KR20050088979A (ko) * | 2005-08-17 | 2005-09-07 | 박정일 | 냉장고의 내용물 표시장치 및 그 방법 |
| WO2014168265A1 (ko) * | 2013-04-10 | 2014-10-16 | 엘지전자 주식회사 | 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고 |
| KR20140125105A (ko) * | 2013-04-18 | 2014-10-28 | 엘지전자 주식회사 | 냉장고 및 그 동작 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11288506B2 (en) | 2019-09-25 | 2022-03-29 | Haier Us Appliance Solutions, Inc. | Refrigerator appliances and methods for tracking stored items |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3322971B1 (en) | 2020-11-04 |
| EP3322971A1 (en) | 2018-05-23 |
| KR102543862B1 (ko) | 2023-06-16 |
| CN108139317A (zh) | 2018-06-08 |
| EP3322971A4 (en) | 2018-05-23 |
| WO2017010804A1 (en) | 2017-01-19 |
| CN108139317B (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10956856B2 (en) | Object recognition for a storage structure | |
| US20230083142A1 (en) | Object recognition system for an appliance and method for managing household inventory of consumables | |
| US20180232689A1 (en) | Computer Vision Based Food System And Method | |
| US10332421B2 (en) | Conditioner with sensors for nutritional substances | |
| US9080997B2 (en) | Local storage and conditioning systems for nutritional substances | |
| US8851365B2 (en) | Adaptive storage and conditioning systems for nutritional substances | |
| US20210405598A1 (en) | Foodstuff sensing appliance | |
| US20180053140A1 (en) | Food storage method and apparatus with sensors | |
| US20160350715A1 (en) | Nutrition Based Food System and Method | |
| US20140236359A1 (en) | Appliances with Weight Sensors for Nutritional Substances | |
| US20160180739A1 (en) | Local storage and conditioning system for nutritional substances | |
| WO2014210531A2 (en) | Local storage and conditioning systems for nutritional substances | |
| EP3527918A2 (en) | Foodstuff sensing appliance | |
| CN111382660A (zh) | 电器库存的增强现实反馈 | |
| US20210180857A1 (en) | Refrigeration appliance system including object identification | |
| WO2019129248A1 (zh) | 智能冰箱与基于智能冰箱的信息提醒方法 | |
| KR102017980B1 (ko) | 인공지능을 이용하여 제품을 식별하고 구분된 이미지를 출력하는 냉장고 및 방법 | |
| US20170363348A1 (en) | System and method of refrigerator content tracking | |
| KR102543862B1 (ko) | 저장 구조체를 위한 물체 인식 | |
| US11989958B2 (en) | Food storage system, method and computer readable medium | |
| WO2021091481A1 (en) | System for object identification and content quantity estimation through use of thermal and visible spectrum images | |
| CN113280560A (zh) | 冰箱控制方法、冰箱及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |