KR20140126429A - 냉장고 및 그 동작 방법 - Google Patents

냉장고 및 그 동작 방법 Download PDF

Info

Publication number
KR20140126429A
KR20140126429A KR1020130044528A KR20130044528A KR20140126429A KR 20140126429 A KR20140126429 A KR 20140126429A KR 1020130044528 A KR1020130044528 A KR 1020130044528A KR 20130044528 A KR20130044528 A KR 20130044528A KR 20140126429 A KR20140126429 A KR 20140126429A
Authority
KR
South Korea
Prior art keywords
refrigerator
drawer
image
pattern
final image
Prior art date
Application number
KR1020130044528A
Other languages
English (en)
Other versions
KR102023014B1 (ko
Inventor
김관형
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130044528A priority Critical patent/KR102023014B1/ko
Priority to EP14164934.3A priority patent/EP2796815B1/en
Priority to EP15189490.4A priority patent/EP2995892B1/en
Priority to TR2018/08190T priority patent/TR201808190T4/tr
Priority to CN201510796663.3A priority patent/CN105222522B/zh
Priority to EP15185971.7A priority patent/EP2998670B1/en
Priority to CN201510795427.XA priority patent/CN105352261B/zh
Priority to ES15185828.9T priority patent/ES2668348T3/es
Priority to CN201480011747.5A priority patent/CN105008833B/zh
Priority to EP14788514.9A priority patent/EP2909548B1/en
Priority to CN201610127539.2A priority patent/CN105758091B/zh
Priority to CN201510795232.5A priority patent/CN105222519B/zh
Priority to EP15185818.0A priority patent/EP2995888B1/en
Priority to US14/259,079 priority patent/US20140313331A1/en
Priority to CN201510796407.4A priority patent/CN105241154B/zh
Priority to EP15201309.0A priority patent/EP3026377B1/en
Priority to CN201610127404.6A priority patent/CN105605881B/zh
Priority to CN201510796498.1A priority patent/CN105222521B/zh
Priority to EP15201331.4A priority patent/EP3026378B1/en
Priority to EP15189491.2A priority patent/EP2995893B1/en
Priority to EP15185828.9A priority patent/EP2995889B1/en
Priority to CN201510796450.0A priority patent/CN105222520B/zh
Priority to PCT/KR2014/003523 priority patent/WO2014175643A1/en
Priority to EP15185841.2A priority patent/EP2995891B1/en
Priority to EP15185839.6A priority patent/EP2995890B1/en
Priority to CN201510796557.5A priority patent/CN105241175B/zh
Priority to EP15201279.5A priority patent/EP3048398B1/en
Priority to CN201610128042.2A priority patent/CN105650998B/zh
Priority to US14/786,719 priority patent/US9915471B2/en
Publication of KR20140126429A publication Critical patent/KR20140126429A/ko
Priority to US14/929,978 priority patent/US10036587B2/en
Priority to US14/930,444 priority patent/US9890994B2/en
Priority to US14/930,012 priority patent/US9920980B2/en
Priority to US14/929,845 priority patent/US9851139B2/en
Priority to US14/929,888 priority patent/US9546812B2/en
Priority to US14/930,057 priority patent/US9568241B2/en
Priority to US14/930,091 priority patent/US9528756B2/en
Priority to US14/950,520 priority patent/US9739526B2/en
Priority to US14/950,466 priority patent/US9920982B2/en
Priority to US14/950,419 priority patent/US9920981B2/en
Priority to US15/721,140 priority patent/US10228187B2/en
Priority to US15/720,989 priority patent/US10184715B2/en
Priority to US15/721,131 priority patent/US10215483B2/en
Application granted granted Critical
Publication of KR102023014B1 publication Critical patent/KR102023014B1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/02—Sensors detecting door opening
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

본 발명의 일 실시 예에 따른 냉장고 동작 방법은 서랍 및 카메라를 구비한 냉장고의 동작 방법에 있어서, 상기 서랍의 닫힘 동작을 인식하는 단계, 상기 서랍의 닫힘 동작이 개시되는 순간에, 상기 카메라를 이용하여 상기 서랍 내부의 최종 이미지를 획득하는 단계 및 상기 최종 이미지를 표시하는 단계를 포함한다.

Description

냉장고 및 그 동작 방법{REFRIGERATOR AND OPERATING METHOD THEREOF}
본 발명은 냉장고 및 그 동작 방법에 관한 것으로, 특히 인출입 가능하게 장착된 저장실의 내부 영상을 획득하기 위한 냉장고 및 동작 방법에 관한 것이다.
냉장고는 냉동 사이클에 의해 생성된 냉기를 냉장실 및 냉동실로 공급하여 각종 식품의 신선도를 장기간 유지할 수 있도록 하는 장치이다.
일반적으로 냉장고는 식품의 보관을 위한 냉장실 및 냉동실을 가지는 본체, 상기 본체의 일측에 회전 가능하도록 결합되어 상기 냉장실 및 냉동실을 개폐하는 도어를 포함하여 구성되고, 상기 본체에는 압축기, 증발기, 팽창 밸브 등의 냉동 사이클의 구성 요소가 구비되어 상기 증발기에서 발생한 냉기를 상기 냉장실 및 냉동실에 공급하여 상기 냉장실 및 냉동실에 보관된 식품 등의 저장물을 낮은 온도에서 장기간 보관할 수 있도록 한다.
즉, 냉동실은 통상 -18℃ 이하의 냉각 온도를 유지하고, 냉장실은 2℃를 전후로 한 냉각 온도의 범위를 가진다.
그리고, 냉장실은 저장물의 종류에 따라 수납 및 저장을 효율적으로 수행할 수 있도록 선반 등에 의하여 복수의 공간으로 구획되어 있으며, 냉장실의 상부 영역에는 육류 및 생선 등을 저장하기 위한 저장실이 마련되어 있고, 냉장실의 하부 영역에는 야채 및 과일 등을 저장하기 위한 저장실이 마련된다.
한편, 최근에는 생활 환경의 향상으로 고급화된 냉장고에 대한 수요가 점차 증가함에 따라 냉장고에 관한 정보의 제공 및 냉장고 제어를 위해 LCD 패널과 같은 디스플레이부가 냉장고의 도어 등에 마련된다.
다만, 사용자가 현재 냉장고에 보관된 저장물을 파악하기 위해서는 직접 냉장고 도어 또는 저장실을 열고 직접 내부를 살펴보아야 하는 불편이 있다.
본 발명의 일 실시 예는 냉장고에 인출입 가능하게 장착된 저장실의 출입 시점을 감지하여 해당 저장실에 보관된 저장물의 영상을 획득함으로써, 사용자에게 최근의 해당 저장실 상황을 제공할 수 있는 냉장고 및 동작 방법을 제공하기 위한 것이다.
또한, 본 발명의 또 다른 실시 예는 개인이 원격으로 현재 냉장고 내부 상황을 파악할 수 있도록 하고, 외부 사업자에게 현재 냉장고 내부 상황에 대한 정보를 전송하여 외부 사업자로부터 개인에게 필요한 식품 관련 정보를 제공받을 수 있는 냉장고 및 동작 방법을 제공하기 위한 것이다.
본 발명의 일 실시 예에 따른 냉장고 동작 방법은 서랍 및 카메라를 구비한 냉장고의 동작 방법에 있어서, 상기 서랍의 닫힘 동작을 인식하는 단계, 상기 서랍의 닫힘 동작이 개시되는 순간에, 상기 카메라를 이용하여 상기 서랍 내부의 최종 이미지를 획득하는 단계 및 상기 최종 이미지를 표시하는 단계를 포함한다.
본 발명의 일 실시 예에 따른 냉장고는 인출입이 가능한 서랍, 상기 서랍의 닫힘 동작 또는 열림 동작을 감지하는 감지부, 상기 서랍의 내부 이미지를 획득하는 촬영부 및 상기 서랍의 닫힘 동작이 인식되면, 상기 촬영부가 서랍의 닫힘 동작이 개시되는 순간의 상기 서랍 내부의 최종 이미지를 획득하도록 제어하는 제어부를 포함한다.
본 발명의 일 실시 예에 따르면, 저장실과 같은 냉장고 내부의 특정 영역에 보관된 저장물의 최근 영상을 획득함으로써, 사용자에게 현재의 냉장고 내부 상황을 제공할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 개인이 원격으로 현재 냉장고 내부 상황을 파악할 수 있고, 외부 사업자로부터 개인에게 필요한 식품 관련 정보를 제공받을 수 있다.
도 1은 본 발명의 실시 예와 관련된 냉장고의 사시도이다.
도 2는 본 발명의 실시 예와 관련된 냉장고의 도어가 개방된 정면도이다.
도 3은 본 발명의 실시 예와 관련된 선반 및 서랍을 설명하기 위한 냉장고의 측면도이다.
도 4는 본 발명의 일 실시 예와 관련된 냉장고의 블록 다이어그램(block diagram)이다.
도 5는 본 발명의 일 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 패턴 인식 및 추적 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 서랍의 인출입 시점 감지를 위한 패턴을 설명하기 도면이다.
도 8은 본 발명의 일 실시 예에 따른 패턴의 모양을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 서랍 닫힘 동작의 감지 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 서랍 닫힘 동작의 완료 감지시 수행되는 냉장고의 동작을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시 예에 따른 특정 시점에 촬영된 냉장고 내부 특정 영역의 이미지를 제어하는 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램(ladder diagram)이다.
도 13은 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 14는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 15는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다. 이 과정에서 도면에 도시된 구성요소의 크기나 형상 등은 설명의 명료성과 편의상 과장되게 도시될 수 있다. 또한, 본 발명의 구성 및 작용을 고려하여 특별히 정의된 용어들은 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 한다.
그리고, 본 발명의 기술적 사상은 제시되는 실시 예에 제한되지 아니하고, 본 발명의 기술적 사상을 이해하는 당업자는 동일한 기술적 사상의 범위 내에서 다른 실시 예를 용이하게 실시할 수 있을 것이나, 이 또한 본 발명의 범위 내에 속함은 물론이다.
본 발명의 실시 예들에서는 설명과 이해의 편의를 위해서 바텀프리즈타입의 냉장고를 예를 들어 설명하고 있으나, 본 발명은 하나 이상의 구획된 저장공간이 형성되는 다른 형태의 냉장고에도 적용 가능함을 주의하여야 한다.
먼저, 도 1 내지 도 3을 참조하여, 본 발명의 일 실시 예와 관련된 냉장고의 구조에 대하여 상세하게 설명한다.
도 1은 본 발명의 실시 예와 관련된 냉장고의 사시도이다.
도 1을 참조하면, 본 발명의 실시 예와 관련된 냉장고(1)는 캐비닛(10), 도어(20), 디스펜서(26), 사용자 입력부(240), 표시부(260)를 포함한다.
캐비닛(10)은 냉장고(1) 내부에 형성된 저장공간을 의미할 수 있다.
도어(20)는 캐비닛(10)의 일측에 회전 가능하도록 결합되어 캐비닛(10)의 개구된 전면을 선택적으로 개폐할 수 있다. 도어(20)는 캐비닛(10)과 힌지 결합되어 회동 가능하게 장착될 수 있다. 또한, 도어(20)는 캐비닛(10)의 상부를 형성하는 냉장실을 선택적으로 개폐하는 한 쌍의 냉장실 도어(22) 및 서랍식으로 인출입 가능하게 장착되어 캐비닛(10) 하부의 냉동실을 선택적으로 개폐하는 냉동실 도어(24)를 포함할 수 있다.
디스펜서(26)는 도어(20)가 닫혀있는 상태에서도 외부에서 얼음이나 음용수가 취출될 수 있도록, 사용자 조작에 따라 얼음이나 음용수 등을 제공할 수 있다. 디스펜서(26)는 도어(20)의 전면에 구비될 수 있다.
표시부(260)는 액정 표시 장치(Liquid Crystal Display, LCD)로 구성될 수 있으며, 냉장고(1) 자체에 관한 정보 또는 냉장고(1)에 보관 중인 저장물에 관한 정보 등을 표시할 수 있다. 냉장고(1) 자체에 관한 정보는 온도, 습도, 냉동 사이클의 구동 여부 등의 냉장고(1)의 내부 상태 또는 동작에 관한 정보를 포함할 수 있다. 그리고, 냉장고(1)에 보관 중인 저장물에 관한 정보는 저장물의 영상, 손상 여부 등의 저장물 상태에 관한 정보를 포함할 수 있다. 표시부(260)는 디스펜서(26)와 함께 도어(20)의 전면에 구비될 수 있다.
사용자 입력부(240)는 냉장고(1)의 상태 또는 동작 등을 조절하는 사용자 입력, 냉장고(1)에 보관 중인 저장물의 상태에 관한 정보가 표시부(260)에 표시하는 사용자 입력 등을 수신한다. 사용자 입력부(240)는 표시부(260)의 일측에 물리적인 버튼 키로 형성될 수도 있고, 터치 스크린으로 구성된 표시부(260)에 아이콘 형태로 형성될 수도 있으며, 이에 한정되는 것은 아니다.
도 2는 본 발명의 실시 예와 관련된 냉장고의 도어가 개방된 정면도이다.
도 2를 참고하면, 캐비닛(10)의 내부는 베리어 또는 저장공간 내부를 형성하는 이너 케이스에 의해 상하로 구획되어 상부와 하부에 각각 냉장실(30)과 냉동실(40)을 형성한다.
힌지(14)는 캐비닛(10)의 일측에 도어(20)가 회전 가능하게 결합되도록 형성될 수 있다. 이때, 도어(20)의 개폐를 감지하는 센서가 힌지(14) 내부 또는 힌지의 일측에 형성될 수 있다.
도어(20)는 캐비닛(10)의 일측에 회전 가능하도록 결합되어 캐비닛(10)의 개구된 전면을 선택적으로 개폐할 수 있다.
냉장실(30) 및 냉동실(40) 각각의 내부와 냉장실 도어(22) 및 냉동실 도어(24) 각각에는 다수의 선반과 서랍, 바스켓 등과 같은 수납 부재가 구비되어, 각각의 수납 부재에 식품을 수납할 수 있게 된다.
냉장실(30)을 형성하는 캐비닛(10)의 상단 중앙 부분(A)에는 카메라가 설치되어, 냉장실(30)을 전반적으로 촬영할 수 있다. 특히, 캐비닛(10)의 상단 중앙 부분(A)에 설치되는 카메라는 냉장실(30) 하부에 구비된 서랍의 평면을 전반적으로 촬영할 수 있도록 설치될 수 있다. 한편, 카메라는 냉장실(30) 뿐만 아니라, 냉동실(40)에도 설치될 수 있고, 설치되는 위치는 제한되지 않으며, 하나 이상의 카메라가 설치될 수 있다.
한편, 냉장실 도어(22)의 배면에는 제빙실(28)이 형성될 수 있다. 제빙실(28)은 얼음을 만들고 저장하기 위한 제1 아이스 메이커(100) 및 아이스 뱅크(110)가 수용되는 공간으로 냉장실 내부와 독립된 단열공간으로 형성될 수 있다.
제빙실(28)은 냉장실 도어(22)의 배면을 형성하는 도어라이너에 의해 형성될 수 있으며, 개폐가능하게 장착되는 제빙실 도어(29)에 의해 내부가 개폐 가능하도록 구성될 수 있다. 그리고, 제빙실(28)의 내측은 디스펜서(26)와 연통되어 디스펜서(26)를 통한 얼음의 취출이 가능하도록 형성된다.
제1 아이스 메이커(100)는 급수유로에 의해 공급되는 물로 얼음을 만드는 것으로, 제빙을 위한 일정량의 물을 공급받아 설정시간 또는 설정온도 도달시까지 냉각하여 얼음을 만들고 제빙이 완료된 얼음을 자동으로 분리하여 아이스 뱅크(110)측으로 이빙할 수 있도록 구성된다.
아이스 뱅크(110)는 제1 아이스 메이커(100)의 하방에 구비되어 제1 아이스 메이커(100)에서 이빙되는 얼음을 저장할 수 있도록 구성된다. 또한, 아이스 뱅크(110)는 디스펜서(26)측과 연통되어 디스펜서(26)의 조작시 디스펜서(26)측으로 저장된 얼음을 공급할 수 있도록 구성될 수 있다.
냉장실 도어(22) 내측에는 워터 탱크(120)가 구비될 수 있다. 워터 탱크(120)는 디스펜서(26)로 공급되는 물이 일시 저장될 수 있도록 하는 것으로, 냉장실 도어(22)의 하측에 구비될 수 있다.
그리고, 냉장실(30)의 내측 상면에는 워터 필터(130)가 구비된다. 워터 필터(130)는 상기 디스펜서(26)측으로 공급되는 물을 정수하기 위한 것으로, 냉장실(30) 내측에 교체 가능하게 제공될 수 있다.
한편, 냉동실(40)의 상측 모서리에는 제2 아이스 메이커(140)가 구비된다. 제2 아이스 메이커(140)는 급수유로를 따라 유동되는 물을 공급받아 얼음을 만드는 것으로, 상기 냉동실(40)의 내측에 노출되도록 배치될 수 있다.
도 3은 본 발명의 실시 예와 관련된 선반 및 서랍을 설명하기 위한 냉장고의 측면도이다.
도 3을 참조하면, 냉장고(1) 중에서, 냉장실(30)을 형성하는 캐비닛(10)은 하나 이상의 선반(31, 33)과 서랍(37)을 구비할 수 있다.
서랍(37)은 전방개구된 서랍칸(35)에 인출입 가능하도록 장착될 수 있다.
일반적인 서랍(37) 사용에 대하여 상세히 설명하면, 사용자는 도어(22)를 개방하고, 이어서 서랍(37)을 출입 방향(B)으로 연 후, 서랍(37) 내부에 형성된 저장공간에 보관된 저장물을 정리한다. 저장물 정리가 완료되면, 사용자는 서랍(37)을 인입 방향(C)으로 닫는다.
이때, 사용자에게 서랍(37) 내부에 최종적으로 보관된 저장물에 대한 정보를 보여주기 위해서, 캐비닛(10)의 상단에 설치된 카메라는 서랍(37)이 서랍칸(35)으로부터 최대한 많이 출입된 상태를 촬영할 수 있어야 한다. 예컨대, 카메라는 사용자가 저장물 정리를 완료한 후 서랍(37)을 닫기 시작하는 시점에 서랍(37) 내부의 평면을 촬영할 수 있다. 사용자가 서랍(37)을 닫기 시작하는 시점 이후에 서랍(37)에 저장물을 추가하는 경우는 드물기 때문에, 서랍(37)이 인입되기 시작하는 시점에 촬영된 영상은 경험적으로, 서랍(37)에 최종 보관된 저장물을 보여줄 수 있다는 장점이 있다.
다음은 도 4를 참조하여, 본 발명의 일 실시 예와 관련된 냉장고의 기능적인 구조에 대하여 상세하게 설명한다.
도 4는 본 발명의 일 실시 예와 관련된 냉장고의 블록 다이어그램(block diagram)이다.
도 4를 참조하면, 냉장고(1)는 감지부(210), 촬영부(220), 저장부(230), 사용자 입력부(240), 표시부(250), 제어부(260) 및 통신부(270)를 포함한다.
감지부(210)는 광학 센서, 기구 센서, 자기장 센서, 카메라 등을 포함할 수 있으며, 이에 한정되는 것은 아니다.
감지부(210)는 제어부(260)의 제어에 따라 각종 센서를 통해 획득된 신호 또는 카메라를 통해 촬영된 영상 등을 이용하여 도어(20)의 개폐 동작 또는 서랍(37)의 인출입 동작 등을 감지할 수 있으며, 이에 한정되는 것은 아니다.
이때, 각종 센서는 캐비닛(10)의 벽면, 도어(20)의 벽면 또는 서랍(37)의 내부 등에 형성될 수 있으며, 이에 한정되는 것은 아니다. 또한, 각종 센서는 복수가 형성될 수도 있다.
광학 센서는 빛의 유무, 빛의 세기 등을 감지하는 센서로서, 감지 대상이 되는 물체의 근접 여부를 감지하는 근접 센서일 수 있다. 따라서, 광학 센서는 감지되는 빛의 유무 또는 감지되는 빛의 세기 등을 이용하여, 도어(20)의 개폐 동작 또는 서랍(37)의 인출입 동작 등을 감지할 수 있다.
기구 센서는 외부로부터의 접촉 여부를 감지하는 센서로서, 스위치 센서 등을 포함할 수 있다. 즉, 기구 센서는 접촉 여부를 감지함으로써, 도어(20)의 개폐 동작 또는 서랍(37)의 인출입 동작 등을 감지할 수 있다.
자기장 센서는 자기장 또는 자력선의 크기와 방향을 감지하는 센서로서, 홀 효과를 이용한 홀 센서(Hall sensor)를 포함할 수 있다. 이와 같은 자기장 센서는 자기장의 크기 변화 또는 자기장의 방향 변화를 감지함으로써, 도어(20)의 개폐 동작 또는 서랍(37)의 인출입 동작 등을 감지할 수 있다.
카메라는 사용자에게 제공하는 냉장고(1) 내부의 이미지를 촬영할 수 있는 위치에 형성될 수 있고, 복수가 형성될 수 있다. 카메라는 예컨대, 도어(20)의 개폐 동작 또는 서랍(37)의 인출입 동작 여부에 따라 획득 여부가 결정되는 패턴 등을 촬영할 수 있다. 즉, 감지부(210)는 카메라로부터 획득된 냉장고(1) 내부 이미지를 영상 처리하여, 패턴이 획득된 정도에 따라 도어(20)의 개폐 여부를 감지할 수도 있고, 패턴의 이동 여부에 따라 서랍(37)의 인출입 여부를 감지할 수도 있으며, 이에 한정되지 않는다.
또는, 감지부(210)는 서랍(37) 등에 형성된 인코더(encoder)를 포함할 수도 있다. 서랍(37)은 인출입이 가능하도록 휠(wheel)을 포함하는 것이 일반적이며, 인코더는 휠의 회전에 의해 접촉되는 접점 또는 광센서를 이용하여 휠의 회전에 따라서 빛이 통과되는 홈의 위치를 감지함으로써, 서랍(37)의 이동을 감지할 수 있다.
또한, 감지부(210)는 서랍(37)의 이동 방향을 감지함으로써, 서랍(37)의 인입 동작 또는 출입 동작을 감지할 수 있다. 또는 감지부(210)는 인코더를 이용하여 휠의 회전수를 감지함으로써, 서랍(37)의 인출입 정도를 감지할 수도 있다.
이하에서는 개폐 대상이 되는 도어(20) 또는 서랍(37)이 문으로 통칭될 수 있으며, 도어(20) 또는 서랍(37)으로 구별되어 설명될 수도 있다.
촬영부(220)가 냉장고(1) 내부에 형성되는 경우, 촬영부(220)는 제어부(260)의 제어에 따라 냉장고(1) 내부를 촬영할 수 있다. 촬영부(220)는 촬영을 위한 카메라를 포함할 수 있다.
촬영부(220)는 카메라가 형성된 위치에 따라 냉장고(10) 내부 전부를 촬영할 수도 있고, 냉장고(10) 내부의 일부를 촬영할 수도 있다.
저장부(230)는 제어부(260)의 제어에 따라 촬영부(220)에서 촬영된 이미지를 저장할 수 있다. 저장부(230)는 제어부(260)의 제어에 따라 저장된 이미지를 제어부(260)에 제공할 수도 있다.
표시부(250)는 제어부(260)의 제어에 따라 이미지 또는 사용자 인터페이스(UI, User Interface)를 표시하는 LCD 패널과 같은 디스플레이부를 포함한다. 표시부(250)는 냉장고(1)의 전면 예컨대, 도어(20)의 전면 등에 형성될 수 있다.
제어부(260)는 앞서 설명한 냉장고(1)를 구성하는 감지부(210), 촬영부(220), 저장부(230), 사용자 입력부(240), 표시부(250), 통신부(270) 각각의 동작 또는 이들 구성 요소 사이의 상호 동작을 전반적으로 제어한다.
제어부(260)는 감지부(210)에서 감지한 문의 개폐 여부 또는 개방 정도를 이용하여, 문이 닫히기 직전의 시점이라는 특정 시점을 결정할 수 있다. 예컨대, 제어부(260)는 감지부(210)에서 서랍(37)의 인출입 동작이 감지된 시점을 이용하여, 서랍(37)이 닫히기 직전의 시점이라는 특정 시점을 결정할 수 있다.
또한, 제어부(260)는 특정 시점이 결정되면, 촬영부(220)에서 촬영된 특정 시점의 냉장고(1) 내부 영상을 획득할 수 있다. 제어부(260)는 이와 같이 획득된 냉장고(1) 내부 영상이 저장부(230)에 저장되도록 제어할 수 있다.
또한, 제어부(260)는 사업자 또는 사용자 선택에 따라 촬영된 이미지 또는 저장된 이미지가 표시부(240)에 표시되도록 제어할 수 있다.
그리고, 제어부(260)는 통신부(250)를 통하여 외부에 이미지 등을 전송할지 여부 또는 외부로부터 정보를 전송받을지 여부 등을 제어할 수도 있다.
통신부(250)는 제어부(260)의 제어에 따라 촬영부(220)에서 촬영된 이미지 또는 저장부(230)에 저장된 이미지 등을 외부로 전송하거나, 외부로부터 정보를 수신할 수 있다.
통신부(250)는 미리 정해진 주기 또는 사용자 선택 입력에 따라 이벤트(event)로 냉장고(1) 내부의 이미지를 외부로 전송할 수 있다. 또는 통신부(250)는 외부로부터 전송된 요청(request)에 대한 응답(response)으로 냉장고(1) 내부의 이미지를 외부로 전송할 수도 있다.
통신부(250)는 외부로부터 냉장고(1) 내부 이미지에 대한 응답으로 부족한 물품 리스트, 현재 냉장고(10) 내부에 보관된 물품으로 만들 수 있는 요리 레시피 등의 관련 정보를 수신할 수 있으며, 이에 한정되는 것은 아니다.
다음은 도 5 내지 도 11을 참조하여, 본 발명의 실시 예에 따른 냉장고 동작 방법에 대하여 상세하게 설명한다.
도 5는 본 발명의 일 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 감지부(210)에서 서랍 열림 동작이 감지되면(S101), 제어부(260)는 패턴 인식 동작 및 패턴 추적 동작을 개시한다(S103).
이하에서는, 도면 부호 S101 단계 및 S103 단계를 보다 상세하게 설명하기 위하여, 도 6을 참조하여 설명한다.
도 6은 본 발명의 일 실시 예에 따른 패턴 인식 및 추적 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 감지부(210)는 서랍 열림 동작의 개시 여부를 감지한다(S301).
감지부(210)에서 서랍(37)이 열리기 시작하였음이 감지되면, 제어부(260)는 촬영부(220)를 제어하여 서랍(37)의 내부 이미지를 획득한다(S303).
이어서, 제어부(260)는 촬영부(220)에서 획득된 이미지를 처리하여(S305), 획득된 이미지에서 미리 정해진 패턴이 인식되는지 여부를 판단한다(S307).
제어부(260)는 미리 정해진 패턴의 인식 여부를 판단하기 위하여, 획득된 이미지로부터 패턴 예컨대, 반복되는 패턴을 인식하고, 인식된 패턴이 미리 저장된 패턴과 동일한지 비교하여, 미리 저장된 패턴과 동일한 패턴이 인식된 경우를 미리 정해진 패턴이 인식된 경우로 판단할 수 있으며, 이에 한정되는 것은 아니다.
미리 정해진 패턴은 사업자 또는 사용자에 의하여 결정될 수 있으며, 사전에 저장부(230) 등에 저장될 수 있다.
패턴은 카메라로부터 이미지 형태로 획득될 수 있는 영역에 형성될 수 있다. 이하에서, 도 7 및 도 8을 참조하여, 제어부(260)에서 인식 및 추적이 가능한 패턴에 대하여 상세하게 설명한다.
도 7은 본 발명의 일 실시 예에 따른 서랍의 인출입 시점 감지를 위한 패턴을 설명하기 도면이다.
도 7의 (a)를 참조하면, 패턴(39)은 서랍(37)이 열리기 시작하는 시점부터 카메라(220)에 의해 이미지 획득이 가능한 영역에 형성될 수 있다. 예를 들어, 카메라(220)가 냉장고(1)의 상단에 위치하여, 서랍(37)의 평면을 촬영할 수 있는 경우, 패턴(39)은 서랍(37) 상단의 전단부에 위치할 수 있다. 또한, 카메라(220)의 시야는 서랍(37)이 완전히 닫힌 상태로부터 서랍(37)이 완전히 열린 상태까지 촬영할 수 있을 정도로 설치될 수 있다.
패턴(39)이 서랍(37)의 상단에 위치하는 경우는, 서랍(37) 내부의 저장물 정리가 완료된 후 서랍(37)이 닫히는 시점에 서랍(37)의 상단에 방해물이 없는 경우를 예정하고 있으며, 이에 한정될 것은 아니다.
도 7의 (b)를 참조하면, 카메라(220)의 시점에서 서랍칸(35) 및 서랍(37)을 바라볼 때, 카메라(220)는, 서랍(37)이 열리기 시작하는 상태로부터 서랍(37)이 완전히 열린 상태까지 모든 범위에서, 패턴(39)이 포함된 서랍(37)의 내부를 촬영할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 패턴의 모양을 설명하기 위한 도면이다.
도 8을 참조하면, 패턴(39)은 두 가지 색상의 동일한 모양이 교차하여 반복되는 형태로 형성될 수 있다.
도 8의 (a)를 참조하면, 패턴(39)은 흰 색의 정사각형과 검은 색의 정사각형이 교대로 반복된 띠 복수 개가 교차하여 나열된 형태로 형성될 수 있다.
도 8의 (b)를 참조하면, 패턴(39)은 흰 색의 기울어진 사각형과 검은 색의 기울어진 사각형이 교대로 반복된 띠 복수 개가 교차하여 나열된 형태로도 형성될 수 있다.
이와 같이, 반복되는 형태의 패턴(39)은, 카메라 시야로부터 패턴(39)의 일부가 가려지는 경우에도 제어부(260)에서 패턴 인식 및 추적이 가능하다는 장점이 있다. 다만, 패턴(39)은 반복되는 형태에 한정될 것은 아니고, 복수의 색상으로 한정될 것도 아니다. 패턴(39)은 앞서 설명한 바와 같이, 서랍(37) 등의 이동성이 있는 냉장고(1) 내부 구성의 이동 여부를 인식할 수 있을 정도의 형태로 족하다.
다시, 도 6을 참조하면, 미리 정해진 패턴이 인식된 경우, 제어부(260)는 인식된 패턴의 이동을 감지한다(S311). 제어부(260)는 지속적으로 또는 주기적으로 촬영부(220)에서 획득된 이미지를 처리하여, 인식된 패턴이 이동하는지 또는 정지하는지를 판단할 수 있다. 예컨대, 제어부(260)는 서랍(37)의 열림 동작이 지속 또는 완료되거나, 서랍(37)의 닫힘 동작이 개시, 지속 또는 완료되는 경우에, 패턴의 이동 또는 정지 여부를 판단할 수 있다.
또는, 미리 정해진 패턴이 인식되지 않는 경우, 제어부(260)는 패턴 인식에 실패하였음을 사용자에게 알린다(S309).
예컨대, 패턴에 방해물이 위치하는 경우, 카메라가 패턴이 포함된 이미지를 획득하지 못하거나, 제어부(260)가 획득된 이미지로부터 패턴을 인식할 수 없을 수 있다. 이러한 경우, 제어부(260)는 패턴 인식에 실패하였음을 알리는 정보, 방해물 제거 등 패턴 인식에 성공하기 위한 방법을 알리는 정보 등을 표시부(250) 등을 통해 사용자에게 알릴 수 있다.
이어서, 제어부(260)는 패턴 인식에 실패한 경우, 카메라를 통해 새롭게 획득된 이미지를 처리하여 미리 정해진 패턴을 인식하는 단계를 반복하여 수행할 수 있다.
다시 도 5를 참조하면, 패턴 인식 후, 서랍 닫힘 동작이 감지되면(S105), 제어부(260)는 촬영부(220)를 통해 서랍 내부의 최종 이미지를 획득한다(S107). 이때, 제어부(260)가 획득하는 서랍 내부의 최종 이미지는, 서랍 닫힘 동작이 감지되기 직전의 서랍 내부의 이미지 또는 서랍 닫힘 동작이 감지된 직후의 서랍 내부의 이미지일 수 있으며, 이에 한정되는 것은 아니다.
서랍 닫힘 동작의 감지 여부는 도 9를 참조하여 설명한다.
도 9는 본 발명의 일 실시 예에 따른 서랍 닫힘 동작의 감지 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 제어부(260)는 서랍(37)의 열림 동작 종료가 감지되었는지 여부를 판단한다(S501). 예컨대, 제어부(260)는 앞서 획득된 서랍(37)의 내부 이미지로부터 패턴을 인식하고, 패턴의 움직임을 추적하여, 패턴의 이동을 멈추었음을 감지하는 경우에, 서랍(37)의 열림 동작이 종료되었음을 감지할 수 있다. 또는 제어부(260)는 감지부(210)에서 서랍(37)의 열림 동작 종료가 감지된 경우에, 서랍(37)의 열림 동작이 종료되었음을 알 수도 있으며, 이에 한정되지 않는다.
이어서, 제어부(260)는 서랍(37)의 닫힘 동작 개시가 감지되었는지 여부를 판단한다(S503). 예컨대, 제어부(260)는 패턴이 이동을 멈추었다가 반대 방향으로 다시 이동을 시작하는 경우에, 서랍(37)의 닫힘 동작이 개시되었음을 감지할 수 있다. 또는 제어부(260)는 감지부(210)에서 서랍(37)의 닫힘 동작 개시가 감지된 경우에, 서랍(37)의 닫힘 동작이 개시되었음을 알 수도 있으며, 이에 한정되지 않는다.
한편, 본 발명의 또 다른 실시 예와 관련된 서랍 닫힘 동작을 감지한 제어부(260)의 동작에 대하여 도 10을 참조하여 설명한다.
도 10은 본 발명의 일 실시 예에 따른 서랍 닫힘 동작의 완료 감지시 수행되는 냉장고의 동작을 설명하기 위한 흐름도이다.
제어부(260)는 서랍 닫힘 동작 종료가 감지된 경우(S701), 패턴 인식을 통한 최종 이미지 획득에 성공하였는지 여부를 판단한다(S703).
제어부(260)는 영상 처리 또는 감지부(210)의 감지를 통해 서랍(37)의 닫힘 동작이 종료되었음을 감지할 수 있다.
제어부(260)는 방해물 등에 의하여 패턴이 정상적으로 인식되지 않은 결과, 최종 이미지 획득에 실패한 경우, 패턴 인식에 실패하였음을 사용자에게 알린다(S705).
제어부(260)는 표시부(250) 등을 통하여 사용자에게 패턴 인식에 실패하였다는 정보를 알려줄 수 있다. 이는 사용자로 하여금 방해물을 제거하도록 안내하고, 정상적인 패턴 인식과 최종 이미지 획득을 위하여 서랍을 인출입하도록 유도할 수 있다.
다시 도 5를 참조하면, 제어부(260)는 표시부(250) 등을 이용하여 최종 이미지를 표시한다(S109). 다음은 도 11을 참조하여, 본 발명의 또 다른 실시 예에 따른 최종 이미지 제어에 대하여 설명한다.
도 11은 본 발명의 일 실시 예에 따른 특정 시점에 촬영된 냉장고 내부 특정 영역의 이미지를 제어하는 방법을 설명하기 위한 흐름도이다.
도 11을 참조하면, 제어부(260)는 최종 이미지를 획득하여(S901), 획득된 최종 이미지를 저장부(230)에 저장한다(S903).
이어서, 제어부(260)는, 사용자 입력부(240)가 최종 이미지 표시를 위한 사용자 입력을 수신하는지 여부를 판단한다(S905).
예컨대, 최종 이미지 획득시, 제어부(260)는 터치 스크린으로 구성된 표시부(250)에 최종 이미지 획득 성공을 알리는 정보와 함께 아이콘 형태의 사용자 입력부(240)를 형성할 수 있으며, 해당 아이콘을 선택하는 사용자 입력 수신 여부를 판단할 수 있다. 사용자 입력부(240)는 터치 스크린에 형성된 아이콘 이외에도 앞서 설명한 바와 같이 물리 키 등을 포함할 수 있으며, 이에 한정되지 않는다.
이어서, 제어부(260)는 최종 이미지 표시를 위한 사용자 입력을 수신한 경우, 최종 이미지를 표시한다(S907). 제어부(260)는 표시부(250)를 이용하여 최종 이미지를 표시할 수 있다.
이와 같은 본 발명의 실시 예에 따르면, 냉장고(1)는 서랍 등에 미리 형성된 패턴을 인식하여 서랍 등의 이동 여부를 감지할 수 있다. 또한, 냉장고(1)는 내부에 설치된 카메라를 이용하여 서랍 등에 보관된 저장물의 최종 상태를 이미지 형태로 획득할 수 있다. 이때, 냉장고(1)는 서랍 등에 형성된 패턴을 이용하여, 서랍 등의 최종 저장 상태를 획득할 수 있는 최적의 시점을 결정할 수 있다.
이하에서는, 도 12 내지 도 15를 참조하여, 앞서 설명한 다양한 방법에 의해 획득된 가장 최근의 냉장고 내부 이미지가 개인의 이동 단말기 또는 사업자 서버로 전송되어 활용되는 다양한 실시 예에 대하여 설명한다.
도 12는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램(ladder diagram)이다.
도 12를 참조하면, 제어부(260)는 앞서 도 5를 참조하여 설명한 바와 같은 단계를 거쳐 냉장고(1) 내부 특정 영역의 최종 이미지가 획득되었다고 판단되는 경우(S1101), 최종 이미지를 이벤트 형식으로 단말기(2)에 전송한다(S1103). 단말기(2)는 스마트폰, PDA(Personal Digital Assistant), 태블릿 PC(Tablet PC) 등을 포함할 수 있으며, 이에 한정되는 것은 아니다. 이때. 제어부(260)는 냉장고(1) 내부의 최종 이미지 뿐만 아니라, 이하에서 설명하는 최종 이미지와 관련된 각종 정보 역시 단말기(2)에 전송할 수 있다.
이때, 제어부(260)는 최종 이미지가 획득되는 즉시, 최종 이미지를 단말기(2)에 전송할 수도 있고, 획득된 최종 이미지를 저장부(230)에 저장한 후, 미리 정해진 주기에 따라 이벤트 형식으로 저장된 이미지를 단말기(2)에 전송할 수도 있으며, 이에 한정되는 것은 아니다.
이어서, 단말기(2)는 사용자 선택에 따라 수신된 최종 이미지를 표시한다(S1105). 예컨대, 단말기(2)는 사용자 선택에 따라 냉장고 내부 이미지를 수신 및 표시할 수 있는 애플리케이션을 실행할 수도 있고, 멀티미디어 서비스를 수행하여 수신된 냉장고 내부 이미지를 표시할 수도 있다.
이와 같은 본 발명의 실시 예에 따르면, 사용자가 직접 냉장고 내부를 들여다보지 않더라도, 이동 단말기를 이용하여 냉장고 내부 이미지를 확인할 수 있으므로, 원격으로 현재의 냉장고 내부 상황을 파악할 수 있는 실익이 있다.
도 13은 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 13을 참조하면, 제어부(260)는 앞서 설명한 바와 같이 냉장고(1) 내부 특정 영역의 최종 이미지가 획득되었다고 판단되는 경우(S1301), 획득된 최종 이미지가 저장부(230)에 저장되도록 제어한다(S1303).
이어서, 단말기(2)는 현재의 냉장고 내부 이미지 즉, 냉장고 특정 영역의 최종 이미지 표시를 위한 사용자 입력이 수신되면(S1305), 냉장고(1)에, 최종 이미지 요청 명령(request)을 전송한다(S1307).
그리고, 제어부(260)는 최종 이미지 요청 명령(request)에 대한 응답(response)으로 저장부(230)에 저장된 이미지 중에서 가장 최근에 촬영 및 저장된 냉장고 내부 이미지가 단말기(2)에 전송되도록, 통신부(270)를 제어한다(S1309).
이와 같은 본 발명의 실시 예에 따르면, 사용자가 필요한 경우에 한하여 이동 단말기와 냉장고 간의 통신이 수행됨으로써, 보다 효율적이고 경제적일 수 있다. 이하에서는 요청(request)에 대한 응답(response)으로 이미지 등이 전송되는 경우만을 설명하나, 도 6을 참조하여 설명한 바와 같은 이벤트(event) 형식으로 이미지 등이 전송되는 경우 역시 포함되는 것이며, 이에 한정되는 것은 아니다.
도 14는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 14를 참조하면, 제어부(260)는 앞서 설명한 바와 같이 냉장고(1) 내부 특정 영역의 최종 이미지가 획득되었다고 판단되는 경우(S1501), 획득된 최종 이미지가 저장부(230)에 저장되도록 제어한다(S1503).
이어서, 마켓 서버(3)와 같은 사업자 서버가 현재의 냉장고 내부 이미지 표시를 위한 사용자 입력을 수신하면(S1505), 마켓 서버(3)는 냉장고(1)에 최종 이미지 요청 명령(request)을 전송한다(S1507). 이때, 마켓 서버(3)는 사용자 입력이 없이, 미리 정해진 주기에 따라 냉장고(1)에 최종 이미지 요청 명령(request)을 전송할 수도 있다.
그리고, 제어부(260)는 이미지 요청 명령(request)에 대한 응답(response)으로 저장부(230)에 저장된 이미지 중에서 가장 최근에 촬영 및 저장된 냉장고 내부 최종 이미지가 마켓 서버(3)에 전송되도록, 통신부(250)를 제어한다(S1509).
냉장고 내부의 최종 이미지를 수신한 마켓 서버(3)는 최종 이미지를 분석한다(S1511). 마켓 서버(3)는 최종 이미지를 분석하여, 해당 냉장고(1)에 현재 저장된 저장물, 현재 저장되어 있지 않은 저장물을 알아내고, 과거 해당 냉장고(1)에 저장되어 있었으나, 현재 저장되어 있지 않은 저장물 등을 분석하는 등 서비스 제공에 필요한 정보를 추출할 수 있다.
마켓 서버(3)는 최종 이미지 분석을 통해 추출한 부족한 물품 리스트를 해당 냉장고(1)에 전송한다(S1513).
도 15는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 15를 참조하면, 제어부(260)는 앞서 설명한 바와 같이 냉장고(1) 내부 특정 영역의 최종 이미지가 획득되었다고 판단되는 경우(S1701), 최종 이미지가 저장부(230)에 저장되도록 제어한다(S1703).
이어서, 방송국 서버(4)와 같은 사업자 서버가 냉장고 내부의 최종 이미지 표시를 위한 사용자 입력을 수신하면(S1705), 방송국 서버(4)는 냉장고(1)에 최종 이미지 요청 명령(request)을 전송한다(S1707). 이때, 방송국 서버(4)는 사용자 입력이 없이, 미리 정해진 주기에 따라 냉장고(1)에 최종 이미지 요청 명령(request)을 전송할 수도 있다.
그리고, 제어부(260)는 최종 이미지 요청 명령(request)에 대한 응답(response)으로 저장부(230)에 저장된 이미지 중에서 가장 최근에 촬영 및 저장된 냉장고 내부의 최종 이미지가 방송국 서버(4)에 전송되도록, 통신부(250)를 제어한다(S1709).
최종 이미지를 수신한 방송국 서버(4)는 최종 이미지를 분석한다(S1711). 방송국 서버(4)는 최종 이미지를 분석하여, 해당 냉장고(1)에 현재 저장된 저장물을 알아내고, 현재 저장된 저장물을 이용하여 만들 수 있는 요리 등을 분석하는 등 서비스 제공에 필요한 정보를 추출할 수 있다.
방송국 서버(4)는 최종 이미지 분석을 통해 현재 저장된 저장물을 이용하여 만들 수 있는 요리의 레시피 정보 등을 해당 냉장고(1)에 전송한다(S1713).
제어부(260)는 방송국 서버(4)로부터 수신된 현재 저장된 저장물을 이용하여 만들 수 있는 요리의 레시피 정보 등을 표시부(240)에 표시한다(S1715)
이와 같은 본 발명의 실시 예에 따르면, 관련 사업자가 가정 또는 기업에 위치한 냉장고 내부 상황을 정확하게 파악하여, 해당 가정 또는 기업에 적합한 냉장고 관련 서비스를 제공할 수 있는 실익이 있다.

Claims (19)

  1. 서랍 및 카메라를 구비한 냉장고의 동작 방법에 있어서,
    상기 서랍의 닫힘 동작을 인식하는 단계;
    상기 서랍의 닫힘 동작이 개시되는 순간에, 상기 카메라를 이용하여 상기 서랍 내부의 최종 이미지를 획득하는 단계; 및
    상기 최종 이미지를 표시하는 단계를 포함하는
    냉장고 동작 방법.
  2. 제1항에 있어서,
    상기 서랍의 닫힘 동작을 인식하는 단계는
    상기 서랍의 열림 동작 개시를 감지하는 단계;
    상기 카메라를 이용하여 상기 서랍 내부의 이미지를 획득하는 단계;
    상기 획득된 이미지를 처리하는 단계;
    상기 처리 결과, 상기 획득된 이미지로부터 미리 정해진 패턴을 인식하는 단계; 및
    상기 인식된 패턴의 이동을 추적하는 단계를 포함하는
    냉장고 동작 방법.
  3. 제2항에 있어서,
    상기 인식된 패턴의 이동을 추적하는 단계는
    상기 인식된 패턴을 이용하여 상기 서랍의 열림 동작 종료를 감지하는 단계; 및
    상기 패턴을 이용하여 상기 서랍의 닫힘 동작 개시를 감지하는 단계를 포함하는
    냉장고 동작 방법.
  4. 제2항에 있어서,
    상기 처리 결과, 상기 획득된 이미지로부터 상기 미리 정해진 패턴이 인식되지 않은 경우, 패턴 인식 실패를 표시하는 단계를 더 포함하는
    냉장고 동작 방법.
  5. 제2항에 있어서,
    상기 서랍의 닫힘 동작 종료가 감지되면, 패턴 인식을 통한 최종 이미지 획득에 성공하였는지 여부를 판단하는 단계; 및
    상기 패턴 인식을 통한 최종 이미지 획득에 실패한 경우, 패턴 인식 실패를 표시하는 단계를 더 포함하는
    냉장고 동작 방법.
  6. 제2항에 있어서,
    상기 미리 정해진 패턴은 동일한 모양이 색상을 달리하여 반복되는 형태인
    냉장고 동작 방법.
  7. 제1항에 있어서,
    상기 획득된 최종 이미지를 저장하는 단계를 더 포함하는
    냉장고 동작 방법.
  8. 제1항 또는 제7항에 있어서,
    최종 이미지 표시를 위한 사용자 입력을 수신하는 단계; 및
    상기 획득된 최종 이미지 또는 상기 저장된 최종 이미지를 표시하는 단계를 더 포함하는
    냉장고 동작 방법.
  9. 제1항에 있어서,
    외부 단말기로부터 전송된 이미지 요청 명령을 수신하는 단계; 및
    상기 이미지 요청 명령에 대응하여, 상기 최종 이미지를 상기 외부 단말기로 전송하는 단계를 더 포함하는
    냉장고 동작 방법.
  10. 제1항에 있어서,
    외부 서버로부터 전송된 이미지 요청 명령을 수신하는 단계;
    상기 이미지 요청 명령에 대응하여, 상기 최종 이미지를 상기 외부 서버로 전송하는 단계; 및
    상기 외부 서버로부터 상기 최종 이미지 분석에 따른 냉장고 관련 서비스를 제공받는 단계를 더 포함하는
    냉장고 동작 방법.
  11. 제10항에 있어서,
    상기 냉장고 관련 서비스는
    상기 냉장고에 저장될 필요가 있는 부족한 물품 리스트 정보, 상기 냉장고에 저장된 물품으로 만들 수 있는 요리 레시피 정보 중 적어도 하나를 포함하는
    냉장고 동작 방법.
  12. 인출입이 가능한 서랍;
    상기 서랍의 닫힘 동작 또는 열림 동작을 감지하는 감지부;
    상기 서랍의 내부 이미지를 획득하는 촬영부; 및
    상기 서랍의 닫힘 동작이 인식되면, 상기 촬영부가 서랍의 닫힘 동작이 개시되는 순간의 상기 서랍 내부의 최종 이미지를 획득하도록 제어하는 제어부를 포함하는
    냉장고.
  13. 제12항에 있어서,
    상기 제어부는
    상기 감지부가 상기 서랍의 열림 동작 개시를 감지하면, 상기 카메라를 이용하여 상기 서랍의 내부 이미지를 획득한 후, 상기 획득된 이미지를 처리하여 상기 획득된 이미지로부터 미리 정해진 패턴을 인식하여, 상기 인식된 패턴의 이동을 추적하는
    냉장고.
  14. 제13항에 있어서,
    상기 제어부는
    상기 인식된 패턴을 이용하여 상기 서랍의 열림 동작 종료를 감지한 후, 상기 서랍의 닫힘 동작 개시를 감지함으로써, 상기 인식된 패턴의 이동을 추적하는
    냉장고.
  15. 제13항에 있어서,
    상기 미리 정해진 패턴은 동일한 모양이 색상을 달리하여 반복되는 형태인
    냉장고.
  16. 제12항에 있어서,
    상기 최종 이미지를 저장하는 저장부를 더 포함하는
    냉장고.
  17. 제13항에 있어서,
    상기 패턴 인식에 성공한 경우, 상기 최종 이미지를 표시하거나, 상기 패턴 인식에 실패한 경우, 패턴 인식 실패를 표시하는 표시부를 더 포함하는
    냉장고.
  18. 제17항에 있어서,
    상기 최종 이미지 표시를 위한 사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
    상기 제어부는 상기 사용자 입력부를 통해 상기 최종 이미지 표시를 위한 사용자 입력이 수신되면, 상기 표시부가 상기 최종 이미지를 표시하도록 제어하는
    냉장고.
  19. 제12항에 있어서,
    외부 단말기 또는 외부 서버로부터 전송된 이미지 요청 명령을 수신하고, 상기 최종 이미지를 상기 외부 단말기 또는 상기 외부 서버로 전송하며, 상기 외부 서버로부터 전송된 상기 이미지 분석에 따른 냉장고 관련 서비스 정보를 수신하는 통신부를 더 포함하고,
    상기 제어부는 상기 외부 단말기 또는 상기 외부 서버로부터 전송된 상기 이미지 요청 명령에 대응하여, 상기 최종 이미지가 상기 외부 단말기 또는 상기 외부 서버로 전송되도록 제어하는
    냉장고.
KR1020130044528A 2013-04-23 2013-04-23 냉장고 및 그 동작 방법 KR102023014B1 (ko)

Priority Applications (42)

Application Number Priority Date Filing Date Title
KR1020130044528A KR102023014B1 (ko) 2013-04-23 2013-04-23 냉장고 및 그 동작 방법
EP14164934.3A EP2796815B1 (en) 2013-04-23 2014-04-16 Refrigerator and operating method thereof
EP15185841.2A EP2995891B1 (en) 2013-04-23 2014-04-22 Refrigerator
CN201510796663.3A CN105222522B (zh) 2013-04-23 2014-04-22 冰箱及其控制方法
TR2018/08190T TR201808190T4 (tr) 2013-04-23 2014-04-22 Buzdolabı ve buna yönelik kontrol yöntemi.
CN201510795427.XA CN105352261B (zh) 2013-04-23 2014-04-22 冰箱及其控制方法
ES15185828.9T ES2668348T3 (es) 2013-04-23 2014-04-22 Refrigerador y método de control del mismo
CN201480011747.5A CN105008833B (zh) 2013-04-23 2014-04-22 冰箱及其控制方法
EP14788514.9A EP2909548B1 (en) 2013-04-23 2014-04-22 Refrigerator
CN201610127539.2A CN105758091B (zh) 2013-04-23 2014-04-22 冰箱及其控制方法
CN201510795232.5A CN105222519B (zh) 2013-04-23 2014-04-22 冰箱及其控制方法
EP15185818.0A EP2995888B1 (en) 2013-04-23 2014-04-22 Refrigerator and control method for the same
US14/259,079 US20140313331A1 (en) 2013-04-23 2014-04-22 Refrigerator and operating method thereof
CN201510796407.4A CN105241154B (zh) 2013-04-23 2014-04-22 冰箱及其控制方法
EP15201309.0A EP3026377B1 (en) 2013-04-23 2014-04-22 Refrigerator and control method for the same
CN201610127404.6A CN105605881B (zh) 2013-04-23 2014-04-22 冰箱及其控制方法
EP15185839.6A EP2995890B1 (en) 2013-04-23 2014-04-22 Refrigerator
EP15201331.4A EP3026378B1 (en) 2013-04-23 2014-04-22 Refrigerator and control method for the same
EP15189491.2A EP2995893B1 (en) 2013-04-23 2014-04-22 Refrigerator
EP15185828.9A EP2995889B1 (en) 2013-04-23 2014-04-22 Refrigerator and control method for the same
EP15189490.4A EP2995892B1 (en) 2013-04-23 2014-04-22 Refrigerator
CN201510796450.0A CN105222520B (zh) 2013-04-23 2014-04-22 冰箱及其控制方法
EP15185971.7A EP2998670B1 (en) 2013-04-23 2014-04-22 A camera system for installation inside a refrigerator and a refrigerator comprising said camera system
CN201510796498.1A CN105222521B (zh) 2013-04-23 2014-04-22 冰箱及其控制方法
CN201510796557.5A CN105241175B (zh) 2013-04-23 2014-04-22 冰箱及其控制方法
EP15201279.5A EP3048398B1 (en) 2013-04-23 2014-04-22 Refrigerator and control method for the same
CN201610128042.2A CN105650998B (zh) 2013-04-23 2014-04-22 冰箱及其控制方法
US14/786,719 US9915471B2 (en) 2013-04-23 2014-04-22 Refrigerator with camera and control method for the same
PCT/KR2014/003523 WO2014175643A1 (en) 2013-04-23 2014-04-22 Refrigerator and control method for the same
US14/930,012 US9920980B2 (en) 2013-04-23 2015-11-02 Refrigerator with camera and control method for the same
US14/930,091 US9528756B2 (en) 2013-04-23 2015-11-02 Refrigerator with camera and control method for the same
US14/929,978 US10036587B2 (en) 2013-04-23 2015-11-02 Refrigerator with camera and control method for the same
US14/929,845 US9851139B2 (en) 2013-04-23 2015-11-02 Refrigerator and control method for the same
US14/929,888 US9546812B2 (en) 2013-04-23 2015-11-02 Refrigerator with camera and control method for the same
US14/930,444 US9890994B2 (en) 2013-04-23 2015-11-02 Refrigerator with camera and control method for the same
US14/930,057 US9568241B2 (en) 2013-04-23 2015-11-02 Refrigerator with camera and control method for the same
US14/950,466 US9920982B2 (en) 2013-04-23 2015-11-24 Refrigerator camera module
US14/950,520 US9739526B2 (en) 2013-04-23 2015-11-24 Refrigerator with heated camera module
US14/950,419 US9920981B2 (en) 2013-04-23 2015-11-24 Refrigerator with camera and control thereof
US15/721,140 US10228187B2 (en) 2013-04-23 2017-09-29 Refrigerator with camera and control method for the same
US15/720,989 US10184715B2 (en) 2013-04-23 2017-09-29 Refrigerator with camera and control method for the same
US15/721,131 US10215483B2 (en) 2013-04-23 2017-09-29 Refrigerator with camera and control method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130044528A KR102023014B1 (ko) 2013-04-23 2013-04-23 냉장고 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20140126429A true KR20140126429A (ko) 2014-10-31
KR102023014B1 KR102023014B1 (ko) 2019-11-04

Family

ID=50513725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130044528A KR102023014B1 (ko) 2013-04-23 2013-04-23 냉장고 및 그 동작 방법

Country Status (3)

Country Link
US (1) US20140313331A1 (ko)
EP (1) EP2796815B1 (ko)
KR (1) KR102023014B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111238116A (zh) * 2018-11-29 2020-06-05 博西华电器（江苏）有限公司 冰箱以及冰箱的工作方法
KR20210036887A (ko) * 2014-04-15 2021-04-05 엘지전자 주식회사 냉장고 및 그 제어 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104832037B (zh) * 2015-03-18 2017-07-11 四川长虹电器股份有限公司 基于图像识别的冰箱自动开门的方法
KR102362654B1 (ko) 2015-07-03 2022-02-15 삼성전자주식회사 오븐
DE102015213780A1 (de) * 2015-07-22 2017-01-26 BSH Hausgeräte GmbH Betreiben einer Kamera eines Haushaltsgeräts
US10474987B2 (en) * 2015-08-05 2019-11-12 Whirlpool Corporation Object recognition system for an appliance and method for managing household inventory of consumables
US11156970B2 (en) 2015-08-05 2021-10-26 Whirlpool Corporation Foodstuff sensing appliance
US10027866B2 (en) 2015-08-05 2018-07-17 Whirlpool Corporation Refrigerators having internal content cameras, and methods of operating the same
KR20170027246A (ko) * 2015-09-01 2017-03-09 삼성전자주식회사 냉장고
DE102017221868A1 (de) 2017-12-05 2019-06-06 BSH Hausgeräte GmbH Haushaltsgerät mit Sensor zum Detektieren einer Türbewegung
EP3505854B1 (en) * 2017-12-29 2021-08-18 LG Electronics Inc. Refrigerator
KR102619657B1 (ko) * 2018-06-15 2023-12-29 삼성전자주식회사 냉장고와 서버 및 서버의 제어 방법
JP7039416B2 (ja) * 2018-07-31 2022-03-22 東芝ライフスタイル株式会社 冷蔵庫
DE102019204309A1 (de) * 2019-03-28 2020-10-01 BSH Hausgeräte GmbH Haushaltskältegerät mit einer Digitalkamera und Verfahren zum Betreiben eines eine Digitalkamera umfassenden Haushaltsgerätes
DE102019204534A1 (de) * 2019-04-01 2020-10-01 BSH Hausgeräte GmbH Haushaltsgerät mit in einer Tür angeordneter Kamera
US20220282898A1 (en) * 2019-09-04 2022-09-08 Electrolux Do Brasil S.A. Appliance with dual ice makers
CN110822800A (zh) * 2019-11-07 2020-02-21 陈盈盈 一种智能冰箱
KR20220014601A (ko) * 2020-07-29 2022-02-07 엘지전자 주식회사 냉장고
DE102021214690A1 (de) 2021-12-20 2023-06-22 BSH Hausgeräte GmbH Aufnehmen von Bildern aus einem Haushalts-Kältegerät
WO2024057312A1 (en) * 2022-09-13 2024-03-21 Ovadia Gabriel A refrigeration unit and system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002267337A (ja) * 2001-03-12 2002-09-18 Matsushita Refrig Co Ltd 冷蔵庫の食材管理装置
KR20070071420A (ko) * 2005-12-30 2007-07-04 삼성전자주식회사 휴대단말기에 있어서 냉장고의 무선통신망을 이용한 식재료 물품관리방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003042626A (ja) * 2001-07-26 2003-02-13 Toshiba Corp 冷蔵庫
US8842183B2 (en) * 2008-08-08 2014-09-23 Snap-On Incorporated Image-based inventory control system with automatic calibration and image correction
US9910965B2 (en) * 2011-09-16 2018-03-06 Aesynt Incorporated Systems, methods and computer program product for monitoring interactions with a medication storage device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002267337A (ja) * 2001-03-12 2002-09-18 Matsushita Refrig Co Ltd 冷蔵庫の食材管理装置
KR20070071420A (ko) * 2005-12-30 2007-07-04 삼성전자주식회사 휴대단말기에 있어서 냉장고의 무선통신망을 이용한 식재료 물품관리방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210036887A (ko) * 2014-04-15 2021-04-05 엘지전자 주식회사 냉장고 및 그 제어 방법
CN111238116A (zh) * 2018-11-29 2020-06-05 博西华电器（江苏）有限公司 冰箱以及冰箱的工作方法

Also Published As

Publication number Publication date
KR102023014B1 (ko) 2019-11-04
US20140313331A1 (en) 2014-10-23
EP2796815B1 (en) 2018-10-24
EP2796815A1 (en) 2014-10-29

Similar Documents

Publication Publication Date Title
KR102023014B1 (ko) 냉장고 및 그 동작 방법
KR102023013B1 (ko) 냉장고 및 그 동작 방법
US11015859B2 (en) Refrigerator
US10228187B2 (en) Refrigerator with camera and control method for the same
EP3473957A1 (en) Refrigerator
WO2021027655A1 (zh) 查看和跟踪储存物品的方法
KR102014145B1 (ko) 냉장고, 및 그 동작 방법
KR102152400B1 (ko) 냉장고 및 그 제어 방법
KR102347134B1 (ko) 냉장고 및 그 제어 방법
KR102152399B1 (ko) 냉장고 및 그 제어 방법
KR102495013B1 (ko) 냉장고 및 그 제어 방법
KR102417850B1 (ko) 냉장고 및 그 제어 방법
KR102232657B1 (ko) 냉장고 및 그 제어 방법
KR102377310B1 (ko) 냉장고 및 그 제어 방법
US20230316755A1 (en) Refrigerator appliance and methods for tracking stored items in a freezer chamber
KR102231593B1 (ko) 냉장고 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right