KR102495013B1 - 냉장고 및 그 제어 방법 - Google Patents

냉장고 및 그 제어 방법 Download PDF

Info

Publication number
KR102495013B1
KR102495013B1 KR1020220036827A KR20220036827A KR102495013B1 KR 102495013 B1 KR102495013 B1 KR 102495013B1 KR 1020220036827 A KR1020220036827 A KR 1020220036827A KR 20220036827 A KR20220036827 A KR 20220036827A KR 102495013 B1 KR102495013 B1 KR 102495013B1
Authority
KR
South Korea
Prior art keywords
area
drawer
camera
image
refrigerator
Prior art date
Application number
KR1020220036827A
Other languages
English (en)
Other versions
KR20220042336A (ko
Inventor
김혁덕
홍삼열
권성두
김관형
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020220036827A priority Critical patent/KR102495013B1/ko
Publication of KR20220042336A publication Critical patent/KR20220042336A/ko
Application granted granted Critical
Publication of KR102495013B1 publication Critical patent/KR102495013B1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D11/00—Self-contained movable devices, e.g. domestic refrigerators
    • F25D11/02—Self-contained movable devices, e.g. domestic refrigerators with cooling compartments at different temperatures
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D25/00—Charging, supporting, and discharging the articles to be cooled
    • F25D25/005—Charging, supporting, and discharging the articles to be cooled using containers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product

Abstract

본 발명은 냉장고 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 사용자가 도어를 개방하지 않더라도 냉장고에 저장된 식품에 관한 정보를 제공할 수 있는 냉장고 및 그 제어 방법에 관한 것이다.
본 발명의 일 실시예에 따르면, 냉장고의 본체에, 고정된 단열벽에 의해서 형성되고, 개구부가 마련된 저장실; 상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어; 상기 저장실 내에 구비되는 드로워; 상기 저장실 내의 상기 드로워의 외측 공간에 식품이 저장되는 영역(제1영역)과 상기 저장실 내의 상기 드로워의 내측 공간에 식품이 저장되는 영역(제2영역)을 함께 촬영하도록, 상기 저장실의 천정에 고정되도록 구비되는 카메라; 그리고 상기 제1영역과 제2영역이 함께 촬영된 사진의 촬영 시점을 통하여, 상기 사진에서 상기 제1영역에 대한 부분(제1영역 사진)과 제2영역에 대한 부분(제2영역 사진)을 분리하여, 개별적으로 구분 및 저장하는 제어부를 포함함을 특징으로 하는 냉장고가 제공될 수 있다.

Description

냉장고 및 그 제어 방법{Refrigerator and Controlling Method for the same}
본 발명은 냉장고 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 사용자가 도어를 개방하지 않더라도 냉장고에 저장된 식품에 관한 정보를 제공할 수 있는 냉장고 및 그 제어 방법에 관한 것이다.
일반적으로 냉장고는 냉동 사이클의 구동에 따라 발생된 냉기를 공급하는 장치로서, 식품을 저온의 상태로 보관하기 위한 장치이다. 종래의 냉장고의 경우, 단순히 식품을 저온의 상태로 보관하기 위한 기능만을 수행할 수 있었다. 그러나, 근래에 들어서는 식품 보관 기능 외에 추가적인 기능의 필요성이 증가되고 있다.
냉장고는 일정 수납물을 수납하여 보관하는 장치로서, 내부를 확인하기 위해서는 냉장고 도어를 열어서 확인하는 수밖에 없다. 또한 사용자가 시장이나 마트에서 물건을 사려고 할 때에 냉장고에 보관된 식품의 양과 종류에 대해서 파악하지 못하는 경우에 동일한 식품을 중복해서 사거나, 필요한 식품을 사지 못하는 불편함이 있었다.
종래 기술인 일본특허공보 특허제3450907호와, 특허공개공보 특개2004-183987에 따르면 카메라가 도어에 설치되어 냉장고의 고내를 촬영하는 기술이 개시되어 있다. 또한 일본특허공개공보 특개2001-294308호에 따르면 카메라가 고내, 드로워 내부, 도어에 각각 설치되어 있는 기술이 개시되어 있다.
그러나 검토한 종래 기술에 따르면 냉장고 고내에 설치된 카메라의 촬영범위가 제한적이기 때문에 다양한 저장 영역을 촬영하기 위해서는 복수 개의 카메라를 사용해야 한다는 문제가 있다.
따라서 고내에 설치한 카메라의 수를 줄이는 반면에, 카메라에 촬영된 영역의 범위를 증가시켜 카메라의 촬영 효율성을 향상시키는 것이 필요하다.
또한 종래 기술에 따르면 드로워 내부에 대한 영상을 획득하는 데에 여러가지 문제가 있었다. 예를 들어 원하는 시점에 촬영된 사진을 획득하는 구체적인 방법이나, 카메라에 발생되는 결로에 대한 고민, 카메라에 의한 소비 전력 개선을 위한 고민 등이 구체적으로 이루어지지 않았다.
구체적으로, 종래 기술에 따르면 고내에 드로워를 포함하는 복수 개의 저장 영역이 있는 경우, 각 영역의 특수성과 위치 관계를 고려하여 사용자에게 최적의 정보를 제공하기 위한 구체성이 결여되는 문제가 있었다.
본 발명은 기본적으로 전술한 문제를 해결하고자 함을 목적으로 한다.
본 발명의 실시예를 통하여, 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 사용자가 냉장고 도어를 개방하지 않더라도 냉장고에 보관된 식품에 관한 정보를 제공하는 냉장고의 저장실 표시 장치 및 그 제어 방법을 제공하는 것이다.
또한, 본 발명의 실시예를 통하여, 저장실 내의 복수 개의 저장 영역 각각에 보관된 식품에 관한 정보를 사용자가 직관적으로 인식할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다.
또한, 본 발명의 실시예를 통하여, 복수 개의 저장 영역 사이의 위치 관계를 사용자가 직관적으로 인식할 수 있고, 사용자의 시각적인 관점과 실질적으로 일치하는 보관된 식품 정보를 제공할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다.
또한, 본 발명의 실시예를 통하여, 카메라의 구동 시점과 카메라의 촬영 시점을 도어의 개방 및/또는 도어의 회전 각도와 연동시켜, 카메라로 인한 소비 전력을 감소시키고 최적의 시점에서 카메라를 통한 식품 저장 정보를 획득할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다.
또한, 본 발명의 실시예를 통하여, 결로에 의해서 카메라에서 촬영된 사진의 품질이 저하되는 것을 방지하고자 한다.
또한 본 발명의 실시예를 통하여 사용자에게 냉장고에 저장된 식품에 대한 최신 정보를 제공할 수 있다.
또한, 본 발명의 실시예를 통하여, 사용자에게 디스플레이되는 사진의 영역을 관리자 또는 사용자가 직접 보정할 수 있도록 하여, 최적의 상태의 식품 저장 정보를 사용자에게 제공하고자 한다.
또한, 본 발명의 실시예를 통하여, 고정된 본체에 카메라를 설치하여 카메라가 흔들리는 것을 방지하여 최적의 식품 저장 정보를 사용자에게 제공할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다.
또한, 본 발명의 실시예를 통하여, 드로워의 상태 정보를 소프트웨어적으로 파악하여 구성을 단순화하면서도 드로워 내의 식품 저장 정보를 효과적으로 파악하여 제공할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다.
또한, 본 발명의 실시예를 통하여, 하나의 카메라를 통한 연속 촬영으로 드로워를 포함하는 저장실 내부의 복수 개의 저장 영역 각각에 대한 최신의 식품 저장 정보를 제공할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다.
또한, 본 발명의 실시예를 통하여, 드로워의 내부 공간과 적어도 일부가 상하로 중첩되는 다른 저장 영역 또는 상기 드로워의 내부 공간과 적어도 일부가 상하로 중첩되는 다른 드로워 내부 공간에 저장되는 식품 저장 정보를 하나의 카메라를 이용하여 제공할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다.
또한 본 발명의 실시예를 통하여 결로에 의해서 카메라에서 촬영된 사진의 품질이 저하되는 것을 방지할 수 있다.
또한 본 발명의 실시예를 통하여 고내에 설치하는 카메라를 한 대로 제한해서 냉장고에 소요되는 비용을 절감할 수 있는 냉장고를 제공할 수 있다.
또한, 본 발명의 실시예를 통하여, 카메라로 인한 소비 전력 상승을 효과적으로 방지할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다.
또한, 본 발명의 실시예를 통하여, 제어부와 메모리부의 부하를 최소화할 수 있고 연속 촬영되는 사진들을 효과적이고 효율적으로 처리할 수 있는 냉장고 및 이의 제어방법을 제공하고자 한다.
전술한 목적을 구현하기 위하여, 본 발명의 일 실시예에 따르면, 냉장고의 본체에, 고정된 단열벽에 의해서 형성되고, 개구부가 마련된 저장실; 상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어; 상기 저장실 내에 구비되는 드로워; 상기 저장실 내의 상기 드로워의 외측 공간에 식품이 저장되는 영역(제1영역)과 상기 저장실 내의 상기 드로워의 내측 공간에 식품이 저장되는 영역(제2영역)을 함께 촬영하도록, 상기 저장실의 천정에 고정되도록 구비되는 카메라; 그리고 상기 제1영역과 제2영역이 함께 촬영된 사진의 촬영 시점을 통하여, 상기 사진에서 상기 제1영역에 대한 부분(제1영역 사진)과 제2영역에 대한 부분(제2영역 사진)을 분리하여, 개별적으로 구분 및 저장하는 제어부를 포함함을 특징으로 하는 냉장고가 제공될 수 있다.
상기 제어부는, 상기 촬영된 사진들 중에서 상기 제1영역 사진과 제2영역 사진에 대한 업데이트 조건이 부합되는 사진을 결정하고, 상기 업데이트 조건은 촬영 시점에 따라 서로 다른 것이 바람직하다.
상기 제어부는, 상기 제1영역 사진과 제2영역 사진에 대하여 개별적 그리고 독립적으로 업데이트함이 바람직하다.
상기 제어부는, 상기 도어가 개방된 후 닫힐 때의 특정 시점에 촬영된 사진을 결정하고, 상기 제1영역을 업데이트하기 위한 이미지를 추출하여 저장함이 바람직하다.
상기 제어부는, 상기 드로워가 인출된 후 인입될 때의 특정 시점에 촬영된 사진을 결정하고, 상기 제2영역을 업데이트하기 위한 이미지를 추출하여 저장함이 바람직하다.
상기 제어부는 연속 촬영된 복수 개의 사진들 각각에서, 제1영역 사진과 제제2영역 사진을 분리하여, 개별적으로 구분 및 저장함이 바람직하다.
상기 제1영역은 적어도 하나의 선반에 의해서 식품이 놓이는 영역이며, 상기 제1영역은 상기 제2영역의 상부에 위치일 수 있다.
상기 도어의 전방에 구비되어, 상기 제1영역 사진과 제2영역 사진을 서로 구분하여 표시하고 제1영역 사진과 제2영역 사진이 독립적으로 업데이트되는 디스플레이를 포함할 수 있다.
상기 저장실에는, 상기 드로워가 인출된 상태에서 상기 드로워와 수직으로 중첩되도록 상기 드로워의 하부에 구비되고, 상기 제1영역 및 제2영역과 구분되어 식품이 저장되는 제3영역이 구비될 수 있다.
상기 드로워가 인출된 상태에서는 상기 제1영역과 제2영역이 함께 촬영되며, 상기 드로워가 인입된 상태에서는 상기 제1영역과 제3영역이 함께 촬영될 수 있다.
상기 제어부는, 상기 사진에서 상기 1영역 사진과 제3영역에 대한 부분(제3영역 사진)을 분리하여, 개별적으로 구분 및 저장함이 바람직하다.
상기 제어부는, 상기 1영역 사진, 제2영역 사진 그리고 제3영역 사진에 대해서 개별적으로 업데이트함이 바람직하다.
전술한 목적을 구현하기 위하여, 본 발명의 일 실시예에 따르면, 냉장고의 본체에, 고정된 단열벽에 의해서 형성되고, 개구부가 마련된 저장실; 상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어; 상기 저장실 내에 구비되는 드로워; 상기 저장실 내의 상기 드로워의 외측 공간에 식품이 저장되는 영역(제1영역)과 상기 저장실 내의 상기 드로워의 내측 공간에 식품이 저장되는 영역(제2영역)을 함께 촬영하도록, 상기 저장실의 천정에 고정되도록 구비되는 카메라; 상기 제1영역과 제2영역이 함께 촬영된 사진의 촬영 시점을 통하여, 상기 사진에서 상기 제1영역에 대한 부분(제1영역 사진)과 제2영역에 대한 부분(제2영역 사진)을 분리하여, 개별적으로 구분 및 저장하는 제어부; 그리고 상기 제1영역 사진과 제2영역 사진을 서로 구분되도록 표시하는 디스플레이를 포함하는 냉장고가 제공될 수 있다.
상기 디스플레이에는 상기 제1영역 사진이 할당되어 표시되는 제1영역 프레임과 상기 제2영역 사진이 할당되어 표시되는 제2영역 프레임이 서로 구획되도록 표시됨이 바람직하다.
상기 제1영역은 상기 드로워의 외측 상부 공간에 선반에 의해서 식품이 저장되는 영역일 수 있다.
상기 제어부에 저장되는 제1영역 사진과 제2영역 사진 중 적어도 어느 하나는 상기 제1영역 프레임과 제2영역 프레임 크기에 맞도록 사이즈가 보정된 후 표시됨이 바람직하다.
상기 저장실에는, 상기 드로워가 인출된 상태에서 상기 드로워와 수직으로 중첩되도록 상기 드로워의 하부에 구비되고, 상기 제1영역 및 제2영역과 구분되어 식품이 저장되는 제3영역이 구비됨이 바람직하다.
상기 제어부는, 상기 제1영역과 제3영역이 함께 촬영된 사진의 촬영 시점을 통하여, 상기 사진에서 상기 제1영역 사진과 제3영역에 대한 부분(제3영역 사진)을 분리하여, 개별적으로 구분 및 저장할 수 있다.
상기 디스플레이에는 상기 제3영역 사진이 할당되어 표시되는 제3영역 프레임이 상기 제1영역 프레임의 하부에 서로 구분되도록 표시됨이 바람직하다.
상기 제1영역 프레임과 제3영역 프레임의 좌우 폭은 서로 동일하며, 상기 제3영역 사진은 상기 제3영역 프레임의 좌우 폭에 맞게 보정된 후 표시됨이 바람직하다.
상기 드로워는 좌우 각각 대칭되도록 구비되는 두 개의 드로워를 포함하고, 상기 제2영역 사진은 좌우로 분리하여, 개별적으로 구분 및 저장될 수 있다.
상기 디스플레이에는 상기 카메라를 통해 촬영되는 영상과 상기 영상을 복수 개의 영역으로 분리하기 위한 분리선의 위치를 조정하기 위한 조정선이 표시됨이 바람직하다.
상기 조정선은 적어도 하나의 수평 조정선과 적어도 하나의 수직 조정선을 포함하고, 상기 조정선은 사용자의 상기 디스플레이의 조작을 통해 이동 가능함이 바람직하다.
전술한 목적을 구현하기 위하여, 본 발명의 일 실시예에 따르면, 냉장고의 본체에, 고정된 단열벽에 의해서 형성되고, 개구부가 마련된 저장실; 상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어; 상기 저장실 내에 구비되는 드로워; 상기 저장실 내의 상기 드로워의 외측 공간에 식품이 저장되는 영역(제1영역)과 상기 저장실 내의 상기 드로워의 내측 공간에 식품이 저장되는 영역(제2영역)을 함께 촬영하도록, 상기 저장실의 천정에 고정되도록 구비되는 카메라; 그리고 상기 도어가 개방 후 닫히는 특정 시점에서 촬영된 사진에서 상기 제1영역에 대한 부분(제1영역 사진)을 분리하고, 상기 드로워가 인출 후 인입되는 특정 시점에서 촬영된 사진에서 상기 제2영역에 대한 부분(제2영역 사진)을 분리하여, 상기 제1영역 사진과 제2영역 사진을 서로 개별적으로 분리, 구분, 저장 및 업데이트하는 제어부를 포함함을 특징으로 하는 냉장고가 제공될 수 있다.
상기 도어는 좌측 도어와 우측 도어를 포함하고, 상기 드로워는 상기 저장실에서 좌우에 각각 구비되며, 상기 제어부는 상기 제2영역 사진에서 상기 좌측 드로워에 대한 부분과 우측 드로워에 대한 부분을 서로 개별적으로 분리, 구분, 저장 및 업데이트함이 바람직하다.
상기 좌측 도어와 우측 도어 각각의 개방 각도를 감지하는 도어 센서가 각각 구비될 수 있다.
상기 도어 센서는, 상기 본체의 상면과 도어의 상면 사이를 연결하여 상기 도어를 상기 본체에 대해 회동 가능하게 하는 힌지부의 연결부에 구비됨이 바람직하다.
전술한 목적을 구현하기 위하여, 본 발명의 일 실시예에 따르면, 냉장고의 본체에, 고정된 단열벽에 의해서 형성되고, 개구부가 마련된 저장실; 상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어; 상기 저장실에 고정되도록 구비되어, 상기 저장실 내의 식품 정보를 업데이트하기 위하여 상기 저장실 내부를 촬영하는 카메라; 상기 도어의 개폐를 감지하는 도어 스위치; 상기 도어의 개방 각도를 감지하는 도어 센서; 그리고 상기 도어 스위치의 감지 결과에 따라, 상기 카메라의 대기모드와 촬영을 시작하기 위한 구동모드 사이의 전환시점을 판단하고, 상기 도어 센서의 감지 결과에 따라, 촬영된 사진들 중 업데이트를 위한 유효 사진을 선택하는 기준 시점을 결정하는 제어부를 포함하는 냉장고가 제공될 수 있다.
전술한 목적을 구현하기 위하여, 본 발명의 일 실시예에 따르면, 저장실; 상기 저장실에 이동가능하게 마련되며, 마커가 구비되는 드로워; 상기 드로워의 외부에서 상기 드로워를 촬영하는 카메라; 그리고 상기 카메라를 통해 연속 촬영된 사진에서 상기 마커의 위치를 감지하여, 상기 드로워의 인출 정도, 인출 여부, 이동 방향, 정지 상태 또는 이동 상태 중 적어도 어느 하나를 포함하는 드로워의 상태 정보를 판단하는 제어부;를 포함하는 것을 특징으로 하는 냉장고가 제공될 수 있다. 상기 마커는 상기 드로워와 일체로 이동되기 때문에, 마커의 위치를 통해서 상기 드로워의 상태 정보를 파악할 수 있다.
전술한 목적을 구현하기 위하여, 본 발명의 일 실시예에 따르면, 저장실; 상기 저장실 하부에 이동가능하게 마련되며, 마커가 구비되는 드로워; 상기 저장실의 천정에 고정되도록 구비되어, 드로워의 외부에서 상기 드로워를 내부를 촬영하도록 구비되는 카메라; 그리고 상기 카메라를 통해 연속 촬영된 사진에서 상기 마커의 위치를 감지하여, 상기 드로워의 인출 정도, 인출 여부, 이동 방향, 정지 상태 또는 이동 상태 중 적어도 어느 하나를 포함하는 드로워의 상태 정보를 판단하는 제어부;를 포함하는 것을 특징으로 하는 냉장고가 제공될 수 있다.
전술한 목적을 구현하기 위하여, 본 발명의 일 실시예에 따르면, 냉장고의 본체에, 고정된 단열벽에 의해서 형성되고, 개구부가 마련된 저장실; 상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어; 상기 저장실 내에 구비되는 드로워; 상기 저장실 내에 구비되며, 상기 드로워의 상측에 위치되는 적어도 하나의 선반; 그리고 상기 드로워의 외측 상부 공간에 상기 선반에 의해서 식품이 저장되는 영역(제1영역) 그리고 상기 드로워의 내측 공간에 식품이 저장되는 영역(제2영역)을 상기 저장실 내에서 함께 촬영하도록, 상기 선반의 전단과 상기 개구부 사이의 상기 저장실의 천정에 고정되도록 구비되는 카메라;를 포함하는 냉장고가 제공될 수 있다.
전술한 본 발명의 일 실시예들은 서로 모순되거나 배타적이지 않는 한 각각의 특징들이 서로 복합적으로 구현될 수 있을 것이다.
본 발명에 따르면, 사용자가 냉장고에 저장된 식품에 관한 정보를 얻기 위해 도어를 개방할 필요가 없어서, 저장실에 수용된 냉기가 누설되는 것을 막을 수 있다. 따라서 불필요한 냉기 손실을 막아서 냉장고의 에너지 효율을 향상시킬 수 있다.
또한 본 발명에서는 사용자에게 냉장고에 저장된 식품에 관한 최신 정보를 제공할 수 있기 때문에, 사용자에게 제공되는 식품 정보에 대한 신뢰도가 향상될 수 있다.
또한 본 발명에서는 하나의 카메라에 의해서 다양한 위치에 보관된 식품에 관한 정보를 제공할 수 있기 때문에, 하나의 카메라를 설치하기 위한 구조만이 부가될 뿐이어서, 설계가 용이하게 이루어질 수 있다. 특히 카메라 사용으로 인해 발생되는 비용을 줄일 수 있다.
본 발명에 따르면, 냉장고에 설치된 카메라에 이슬 맺힘이 방지되어서, 카메라에서 촬영되는 사진이 안정적으로 사용자에게 제공될 수 있다.
본 발명 따르면, 개인이 원격으로 현재 냉장고 내부 상황을 파악할 수 있고, 외부 사업자로부터 개인에게 필요한 식품 관련 정보를 제공받을 수 있다.
그리고 본 발명에 따르면 드로워의 내부에 대해서 카메라에 의해서 촬영된 영상이 사용자가 냉장고를 사용할 때에 실제로 보는 모습과 유사한 형태의 화면을 제공할 수 있다.
또한 본 발명에 따르면, 공간 배치상 중첩되기 때문에 한 번에 볼 수 없는 위치를 하나의 화면에 평면적인 이미지로 사용자에게 제공할 수 있다.
도 1은 본 발명에 따른 냉장고의 정면도.
도 2는 도 1에서 도어가 개방된 도면.
도 3은 저장실의 바닥에 배치되는 제3영역을 도시한 도면.
도 4는 본 발명에 따른 일 실시예의 제어 블록도.
도 5는 카메라의 화각을 설명한 도면.
도 6은 도 5의 측단면도.
도 7은 도 6의 상태에서 카메라에 찍힌 화면.
도 8은 카메라의 위치 선정을 설명한 도면.
도 9는 냉장고의 요부를 도시한 단면도.
도 10은 도어 센서의 작동 방식을 설명한 도면.
도 11은 좌측 힌지부와 우측 힌지부를 구체적으로 도시한 도면.
도 12는 사용자에게 제공되는 화면.
도 13은 카메라에서 촬영된 사진을 조정하는 방식을 설명한 도면.
도 14는 카메라를 도시한 사시도.
도 15는 카메라의 요부를 도시한 도면.
도 16은 도 14의 단면도.
도 17은 히터의 배치를 설명한 도면.
도 18은 카메라가 냉장고에 상하 방향으로 틀어져서 장착된 상태에서 촬영된 사진을 설명한 도면.
도 19는 카메라가 냉장고에 수평 방향으로 틀어진 상태에서 촬영된 사진을 설명한 도면.
도 20은 카메라 하우징이 조립된 상태를 도시한 도면.
도 21은 제1하우징의 정면도.
도 22는 제2하우징의 정면도.
도 23은 제1하우징에 카메라가 설치된 상태를 도시한 정면도.
도 24는 도 23의 측단면도.
도 25는 카메라 하우징가 인너 케이스에 설치된 상태의 단면을 도시한 도면.
도 26은 본 발명에서 카메라의 소모 전력을 비교한 표.
도 27은 공급되는 대기 전류와 구동 전류를 비교한 도면.
도 28과 도 29는 카메라의 사진 촬영 시작 시점 및 카메라의 연속 촬영에 대해 설명한 도면.
도 30은 드로워 감지부의 일 실시예를 도시한 도면.
도 31은 도 30의 드로워 감지부에서 드로워의 이동을 감지하는 방식을 설명한 도면.
도 32는 드로워에 마커 표시된 상태를 도시한 도면.
도 33(a)는 좌우측 드로워가 인출된 상태를 촬영한 사진을 도시한 도면.
도 33(b)는 좌측 드로워는 인입되고, 우측 드로워는 인출된 상태를 도시한 도면.
도 34는 본 발명의 일 실시예에 따른 냉장고 동작 방법을 설명하기 위한 흐름도.
도 35는 본 발명의 일 실시예에 따른 마커 인식 및 추적 방법을 설명하기 위한 흐름도.
도 36은 본 발명의 일 실시예에 따른 드로워의 인출입 시점 감지를 위한 마커를 설명하기 도면.
도 37은 본 발명의 일 실시예에 따른 마커의 모양을 설명하기 위한 도면.
도 38은 본 발명의 일 실시예에 따른 서랍 닫힘 동작의 감지 방법을 설명하기 위한 흐름도.
도 39는 본 발명의 일 실시예에 따른 드로워 닫힘 동작의 완료 감지시 수행되는 냉장고의 동작을 설명하기 위한 흐름도.
도 40은 본 발명의 일 실시 예에 따른 특정 시점에 촬영된 냉장고 내부 특정 영역의 이미지를 제어하는 방법을 설명하기 위한 흐름도.
도 41은 마커의 다양한 형태를 도시한 도면.
도 42는 마커 위치 인식 방법을 설명한 도면.
도 43은 드로워가 개방된 정도를 도시한 도면.
도 44는 마커의 이동을 설명한 도면.
도 45는 본 발명의 일 실시예에 따른 제어 흐름도.
도 46은 도 45의 변형례를 설명한 제어 흐름도.
도 47은 도 46의 다른 변형례를 설명한 제어 흐름도.
도 48은 도 45의 다른 변형례를 설명한 제어 흐름도.
도 49는 도 45를 다르게 변형한 변형례.
도 50은 본 발명의 다른 실시예에 따른 제어 흐름도.
도 51은 저장실을 개폐하기 위해 두 개의 도어와, 두 개의 드로워가 구비된 상태에서 이미지를 업데이트하는 과정에 대해서 설명한 도면.
도 52는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램(ladder diagram).
도 53은 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램.
도 54는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램.
도 55는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램.
도 56은 카메라의 히터의 작동을 설명한 도면.
도 57은 카메라의 투명창에 온도별로 발생되는 결로에 관한 실험 결과를 설명한 도면.
도 58은 투명창의 단면도.
도 59와 도 60은 카메라가 인너 케이스에 설치되는 구조를 간략하게 도시한 도면.
도 61은 본 발명이 적용가능한 다른 형태의 냉장고를 도시한 도면.
도 62는 도 61에 따른 냉장고로부터 사용자에게 제공되는 화면.
도 63은 도 61에 따른 냉장고에서 카메라에서 촬영된 사진을 조정하는 방식을 설명한 도면.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.
도 1은 본 발명에 따른 냉장고의 정면도이고, 도 2는 도 1에서 도어가 개방된 도면이다. 이하 도 1 및 도 2를 참조해서 설명한다.
본 발명에 따른 냉장고는 식품이 저장되는 저장실인 냉동실과 냉장실이 상/하로 구획되어 냉동실이 냉장실의 상측에 배치되는 탑 마운트 타입(Top Mount-Type)과, 냉동실과 냉장실이 좌/우측으로 구획된 사이드 바이 사이드 타입(Side By Side-Type)의 냉장고에도 동일하게 적용가능하다.
다만 본 실시예에서는 설명의 편의상 냉동실과 냉장실이 상/하로 구획되고 냉동실이 냉장실의 하측에 배치되는 바텀 프리져 타입(Bottom Freezer-Type)을 중심으로 설명한다.
냉장고의 본체는 외부에서 사용자가 보았을 때에 전체적인 외관을 형성하는 아우터 케이스(10)와 내부에 식품이 보관되는 저장실(22)을 형성하는 인너 케이스(12)를 포함한다. 상기 아우터 케이스(10)와 상기 인너 케이스(12)의 사이에는 소정의 공간이 형성되어 냉기가 순환되는 통로 등이 형성될 수 있다. 한편 상기 아우터 케이스(10)와 상기 인너 케이스(12)의 사이에는 단열재가 충진되어서 상기 저장실(22)의 내부가 외부에 비해서 상대적으로 저온을 유지할 수 있다.
또한 상기 아우터 케이스(10)와 상기 인너 케이스(12)의 사이 공간에 형성된 기계실(미도시)에는 냉매를 순환시켜 냉기를 발생시키는 냉매사이클장치가 설치된다. 냉매사이클장치를 이용해 냉장고 내부를 저온으로 유지하여 보관하는 식품류의 신선도를 유지될 수 있다. 냉매사이클장치는 냉매를 압축하는 압축기, 액체상태의 냉매를 기체상태로 상변환시켜 외부와 열교환이 이루어지게 하는 증발기(미도시) 등을 포함한다.
냉장고에는 저장실을 개폐하는 도어(20, 30)가 구비된다. 이때 도어는 각각 냉동실 도어(30) 및 상기 냉장실 도어(20)를 포함할 수 있고, 각각의 도어는 그 일단이 힌지에 의해서 냉장고의 본체에 회동가능하게 설치된다. 상기 냉동실 도어(30) 및 상기 냉장실 도어(20)는 복수 개로 이루어질 수 있다. 즉 도 2에 도시된 바와 같이, 상기 냉장실 도어(20) 및 상기 냉동실 도어(30)는 전방을 향해서 냉장고의 양 모서리를 중심으로 개방되는 형태로 설치될 수 있다.
상기 아우터 케이스(10)와 상기 인너 케이스(12)의 사이에는 발포제가 충진되어서, 외부와 상기 저장실(22)의 사이에는 단열될 수 있다.
상기 저장실(22)은 상기 인너 케이스(12)와 상기 도어(20)에 의해서 외부로부터 단열된 공간을 이룬다. 상기 저장실(22)은 상기 도어(20)가 상기 저장실(22)을 밀폐하게 되면, 외부로부터 격리되어 단열되는 공간을 형성할 수 있다.다시 말하면, 상기 저장실(22)은 도어(20)에 의한 단열벽 그리고 케이스(10, 12)에 의한 단열벽을 통해 외부와 격리되는 공간이라 할 수 있다.
상기 저장실(22) 내에는 기계실에서 공급되는 냉기가 곳곳으로 유동가능해서, 상기 저장실(22) 내에 보관되는 식품이 저온 상태를 유지할 수 있다.
상기 인너 케이스(12)는 상기 저장실(22)의 바닥에 베리어(60)를 구성할 수 있다. 상기 저장실(22)의 하단에는 베리어(Barrier)(60)가 설치되어, 상기 냉동실과 상기 냉장실을 구분할 수 있다. 상기 베리어(60)는 소정의 두께로 이루어져, 상기 인너 케이스(12)에 형성될 수 있다. 상기 베리어(60)는 수평방향으로 연장될 수 있다.
상기 저장실(22)에는 상측에 식품이 거치되는 선반(40)을 포함할 수 있다. 이때 상기 선반(40)은 복수 개가 마련되고, 각각의 선반(40)에는 식품이 거치될 수 있다. 상기 선반(40)은 상기 저장실의 내부를 수평 방향으로 구획할 수 있다.
상기 저장실(22)에는 인입 또는 인출이 가능한 드로워(50)가 설치된다. 상기 드로워(50)에는 식품 등이 수용되어 보관된다. 상기 드로워(40)는 상기 저장실(22) 내에 좌우측으로 두 개가 배치되는 것이 가능하다. 사용자는 좌측에 배치되는 드로워에 접근하기 위해서는 상기 저장실(22)의 좌측 도어를 개방할 수 있다. 반면에 사용자가 우측에 배치되는 드로워에 접근하기 위해서는 상기 저장실(22)의 우측 도어를 개방할 수 있다.
상기 베리어(60)에는 식품이 저장되는 공간이 형성될 수 있다. 상기 베리어(60)는 상기 도어에 마련되지 않고, 상기 인너 케이스(12)에 마련되기 때문에, 도어의 회전에 따라 이동되지 않고 고정된 상태가 유지된다. 따라서 사용자가 안정적으로 식품을 수납하거나 인출할 수 있다.
상기 저장실(22) 내에는 상기 선반(40)의 상측에 위치하는 공간, 상기 드로워(50)에 의해서 형성되는 공간, 상기 베리어(60)에 형성되는 공간 등으로 구분되어서, 식품이 저장되는 공간이 복수 개로 구획될 수 있다.
이때 각각의 공간은 하나의 저장실(storage compartment)(22)의 내부에 배치되는 저장 공간으로, 상기 저장실(22)에 공급되는 냉기가 각각의 공간으로 이동될 수 있다. 즉 각각의 공간은 서로 냉기가 이동될 수 있을 정도로 구획되기 때문에, 앞에서 서술한 저장실과는 서로 다른 의미를 가지게 된다.
특히 각각의 공간은 단열되는 공간을 이루는 저장실과는 달리, 하나의 저장실 내에서 온도 차이는 존재할 수 있지만 서로 단열되는 공간을 이루지는 않는다.
하나의 저장실에 공급되는 냉기는 다른 저장실로 자유롭게 이동하지는 않지만, 하나의 저장실에 공급되는 냉기는 하나의 저장실 내부에 설치되는 각각의 구획되는 공간으로 자유롭게 이동할 수 있다. 즉 상기 선반(40)의 상측에 위치하는 냉기는 상기 드로워(50)에 의해서 형성되는 공간으로 이동가능하다.
또한 본 발명은 상기 저장실(22) 내부의 사진을 촬영하는 하나의 카메라(70)를 포함할 수 있다. 이때 상기 카메라(70)는 고정된 위치를 유지하도록 마련되어서, 동일한 부분을 촬영하는 것이 가능하다.
특히 상기 카메라(70)는 상기 인너 케이스(12)의 상측벽에 아래를 향하도록 설치되어서, 상기 저장실(22)에 저장된 식품에 대한 사진을 촬영할 수 있다. 촬영된 사진의 모습은 사용자가 내려다본 형태, 즉 실제 냉장고를 사용할 때에 사용자가 바라보는 형태의 모습을 가질 수 있다.
특히 상기 카메라(70)는 상기 드로워가 완전히 열린 상태에 있을 때에 드로워 내부에 대응되는 위치에 설치되어, 촬영된 사진은 사용자가 드로워 내부를 위에서 바라본 것과 유사한 화면을 제공할 수 있다.
이때 상기 저장실(22)은 상기 선반(40)에 식품이 거치되는 제1영역(42), 상기 드로워(50)의 내측 공간에 의해서 정의되는 제2영역(52)을 포함할 수 있다. 또한 제1영역과 제2영역과는 다른 저장 공간인, 상기 드로워(50)가 인출되면 상기 제2영역(52)에 중첩되는 제3영역(62)을 포함할 수 있다. 이 부분에 대해서는 이후에 보다 상세하게 설명한다.
상기 제1영역(42), 상기 제2영역(52)은 상기 저장실(22) 내에서 전체적으로 높낮이를 달리할 수 있다. 즉 상기 제1영역(42), 상기 제2영역(52)의 순서로 낮아질 수 있다.
상기 카메라(70)에서 촬영된 사진이나 냉장고에 관한 다양한 정보는 냉장고의 전면에 마련되는 디스플레이(14)를 통해서 사용자에게 제공될 수 있다. 또한 사용자는 상기 디스플레이(14)를 통해서 냉장고에 관한 제어를 수행할 수 있다.
상기 저장실(22)에 공급되는 냉기는 상기 제1영역(42), 상기 제2영역(52)으로 이동될 수 있고, 각각의 영역에 위치하는 냉기는 다른 영역으로도 이동될 수 있다.
도 3은 저장실의 바닥에 배치되는 제3영역을 도시한 도면이다. 이하 도 3을 참조해서 설명한다.
상기 베리어(60)에는 함몰된 부분을 마련해서, 해당 부분에 식품이 저장될 수 있고, 이러한 영역을 상기 제3영역(62)이라고 칭할 수 있다. 상기 제3영역(62)는 상기 베리어(60)에 형성되는 공간이다.
이때 상기 제3영역은 제1영역, 제2영역과는 다른 위치에 배치되는 저장 공간으로 사용자에게 식품 저장을 위한 또 다른 공간을 제공할 수 있다.
상기 제3영역(62)에는 달걀과 같은 사용빈도가 높은 식품이 저장되는 것이 가능한데, 이를 위해서 상기 제3영역(62)을 개폐하는 커버(68)를 구비하는 것이 가능하다. 이때 상기 커버(68)는 투명한 재질로 이루어져서, 상기 카메라(70)가 상측에서 촬영을 할 때에 상기 커버(68)가 가리더라도, 상기 제3영역(62)에 저장된 식품을 촬영할 수 있는 것이 바람직하다.
한편 상기 베리어(60)의 상측에는 상기 드로워(50)가 배치되게 된다. 따라서 상기 드로워(50)가 선반의 하부 공간으로 인입된 상태에서는 상기 제3영역(62)에 사용자가 접근할 수 있다.
반면에 상기 드로워(50)가 선반의 하부 공간으로부터 인출된 상태에서는 상기 제3영역(62)의 상측에 상기 드로워(50)가 배치되게 되고, 사용자는 상기 제3영역(62)에 접근할 수 없다.
즉 상기 드로워(50)가 사용자를 향해서 인출된 상태에는 상기 드로워(50)와 상기 제3영역(62)이 서로 중첩되게 된다. 이때, 사용자가 상기 드로워(50)를 내려다 보게 되면, 사용자에게 상기 제3영역(62)은 보여지지 않고, 상기 드로워(50)의 내부가 보여질 수 있다.
반면에 상기 드로워(50)가 사용자를 향해서 인출되지 않은 상태에는, 상기 드로워(50)와 상기 제3영역(62)이 서로 중첩되지 않도록 배치된다. 사용자가 상기 제3영역(62)을 내려다 보게 되면, 상기 드로워(50)의 내부는 사용자에게 보여지지 않고, 상기 제3영역(62)만이 도시될 수 있다.
상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62)은 상기 저장실(22) 내에서 전체적으로 높낮이를 달리할 수 있다. 즉 상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62)의 순서로 낮아질 수 있다.
상기 저장실(22)에 공급되는 냉기는 상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62)으로 이동될 수 있고, 각각의 영역에 위치하는 냉기는 다른 영역으로도 이동될 수 있다.
즉 상기 카메라(70)에 의해서 촬영되는 영역은 상기 저장실(22) 내부의 복수 개의 저장공간이 될 수 있다. 상기 카메라(70)는 하나의 저장실(22) 내부에 관한 사진을 촬영하지만, 하나의 사진의 내부에는 복수 개의 구획된 저장 공간에 관한 정보가 포함될 수 있다.
이때 상기 카메라(70)는 복수 개의 저장 공간이 한 장의 사진에 담기도록 사진을 촬영할 수 있다. 특히 한 장의 사진에는 촬영되는 시간에 따라 다른 저장공간이 촬영되는 것이 가능하다.
예를 들어 고정된 형태로 배치된 카메라는, 사진이 촬영되는 시점과 상기 도어 또는 상기 드로워의 위치의 관계에 따라 제1영역과 제2영역을 촬영하거나, 제2영역과 제3영역을 선택적으로 촬영하는 것이 가능하다. 이에 대한 상세 내용은 후술한다.
도 4a는 본 발명에 따른 일 실시예의 제어 블록도이다. 이하 도 4a를 참조해서 설명한다.
본 발명은 상기 카메라(70)에 의해서 촬영된 하나의 사진을 복수 개의 이미지로 나누어 관리하는 제어부(100)를 포함할 수 있다. 이때 이미지는 상기 제어부(100)에 의해서 가공 또는 보정된 사진의 일부분을 의미하는 것이 가능하다.
상기 제어부(100)는 상기 카메라(70)에서 사진을 촬영하도록 명령할 수 있고, 상기 카메라(70)에서 촬영된 사진을 전송받을 수 있다.
또한 상기 제어부(100)는 나누어진 이미지의 일부를 상기 디스플레이(14)에 제공해서, 사용자에게 상기 저장실(22)에 저장된 식품에 관한 최신 정보를 제공할 수 있다. 이때 상기 디스플레이(14)는 냉장고의 전면에 설치되는 것도 가능하고, 냉장고로부터 분리된 별도의 장치를 이루는 것도 가능하다. 즉 사용자는 핸드폰과 같은 외부 통신 단말기를 통해서 상기 저장실(22)에 관한 이미지를 전송받고, 정보를 획득하는 것이 가능하다.
이때 상기 제어부(100)는 상기 카메라(70)에 의해서 찍힌 사진을 각각의 영역별로 구획하고, 복수 개의 독립된 이미지로 구분해서 상기 디스플레이(14)에 제공할 수 있다. 이때 상기 제어부(100)에 의해서 선택되는 사진은 사용자가 마지막으로 상기 저장실(22)에 접근해서, 저장실에서 식품을 인출하거나 식품을 입고한 최근 저장실 상태에 관한 정보를 포함할 수 있다.
본 발명의 실시예는 상기 도어(20)가 상기 저장실(22)을 개폐하는지 감지할 수 있는 도어 스위치(110)를 포함할 수 있다. 이때 상기 도어 스위치(110)는 상기 아우터 케이스(10)에 마련되어서, 상기 아우터 케이스(10)에 상기 도어(20)가 접촉하게 되면 상기 도어(20)가 상기 저장실(22)을 밀폐하는 것으로 감지할 수 있다. 또한 상기 아우터 케이스(10)에 상기 도어(20)가 접촉하지 않으면, 상기 도어(20)가 상기 저장실(22)을 개방하는 것으로 감지할 수 있다.
또한 본 발명의 실시예는 상기 도어(20)의 회전각을 감지하는 도어 센서(120)를 포함할 수 있다. 이때 상기 도어 센서(120)는 상기 도어(20)의 회전 방향 및 상기 도어(20)의 회전 각도를 감지할 수 있다. 예를 들어, 상기 도어(20)가 일정 각도 이상 회전하게 되면 상기 도어 센서(120)에 변화가 발생해서, 상기 도어 센서(120)에서 상기 도어(20)가 일정 각도 이상 회전된 것을 감지할 수 있다. 또한 상기 도어(20)가 특정 방향으로 회전되면 방향에 따라 발생되는 펄스의 변화를 감지해서 상기 도어(20)의 회전 방향을 감지하는 것이 가능하다. 물론 상기 도어 센서(120)는 상술한 방식 이외에 다양한 형태로 변형될 수 있다.
이 외에도 상기 도어 센서(120)는 발광부와 수광부를 구비해서 발광부에서 조사되는 빛이 수광부로 전달되는지 여부를 판단해서, 상기 도어(20)의 회전 각도를 감지하는 것도 가능하다.
특히 상기 도어 센서(120)는 상기 도어 스위치(110)에서 상기 도어(20)가 상기 저장실(22)을 개방한 것으로 판단되는 경우에 한해서 구동될 수 있다.
한편 상기 도어 센서(120)에서 상기 도어(20)가 특정 각도로 회전되었다고 판단하면 상기 카메라(70)에서 사진을 촬영하는 것도 가능하다. 이 경우에는 상기 도어 스위치(110)에서 상기 도어(20)의 개방이 감지되더라도 상기 카메라(70)가 사진 촬영을 바로 시작하는 것이 아니라, 상기 도어 센서(120)에서 특정 각도에 도달한 경우에 사진을 촬영하게 된다.
상기 카메라(70)는 촬영을 시작하게 되면, 소정 시간 간격으로 계속해서 사진을 촬영하는 것도 가능하다. 물론 상기 도어 센서(120)에서 상기 도어(20)가 일정 각도 만큼 개방된 것으로 판단하면 상기 카메라(70)에서는 한 장의 사진이 아닌, 사진 촬영 중지 명령이 제공될 때까지 계속 사진을 촬영하는 것이 가능하다.
상기 제어부(100)는 상기 드로워(50)의 인출 또는 인입 여부를 감지하는 드로워 감지부(130)를 포함할 수 있다. 이때 상기 드로워 감지부(130)는 상기 카메라(70)에서 촬영된 사진이 상기 제어부(100) 내에서 영상을 판독하는 부분을 의미할 수 있다. 상기 드로워 감지부(130)는 상기 드로워(50)의 이동은 물론, 상기 드로워(50)의 이동 방향까지 감지하는 것이 가능하다.
특히 상기 드로워 감지부(130)는 소프트웨어에 의해서 구현될 수도 있다. 상기 드로워 감지부(130)는 상기 카메라(70)에서 촬영된 사진에서 촬영된 정보를 이용해서, 상기 드로워(50)의 위치를 감지할 수 있다.
상기 드로워(50)에는 마커라는 인식표시를 구비해서, 상기 마커가 촬영된 사진을 통하여 상기 드로워(50)가 특정 구간으로 진입했는지, 진입했다면 정지했는지, 정지 후에는 이동 방향이 전환되는 지에 관한 정보를 알 수 있다. 상기 마커에 대해서는 추후에 구체적으로 다시 설명한다.
상기 마커는 상기 드로워에 표시되어 있기 때문에, 상기 드로워(50)와 동일한 움직임을 가진다. 따라서 드로워의 이동을 감지하기 위한 별도의 센서를 구비하지 않고, 상기 카메라(70)에서 촬영된 사진의 정보를 이용해서 상기 드로워(50)의 이동에 대한 다양한 정보를 획득할 수 있다.
상기 카메라(70)에서 찍힌 사진은 저장부(18)에 저장될 수 있다. 이때 상기 저장부(18)는 냉장고에 마련될 수도 있고, 냉장고와는 별도의 다른 장치에 마련될 수 있다. 이때 상기 저장부(18)는 상기 디스플레이(14)와 함께 냉장고에 배치되거나, 상기 디스플레이(14)와 함께 냉장고와는 다른 장치, 냉장고와 네트워크에 연결된 서버 또는 냉장고와 네트워크에 연결된 단말기에 구비될 수 있다.
이때 상기 저장부(18)는 상기 카메라(70)에서 찍힌 모든 사진을 저장하지 않을 수 있다. 예를 들어, 상기 저장부(18)는 상기 제어부(100)에서 특정 사진을 선택하라는 명령이 발생하지 않은 경우에는, 앞에서 찍혀서 저장된 사진을 삭제하고 현재 촬영된 사진을 저장하는 것이 가능하다(First In, First Out). 상기 저장부(18)는 상기 카메라(70)에서 찍힌 사진 중 일부만 저장해서, 저장 용량을 줄일 수 있다.
도 4b는 본 발명에 따른 일 실시예의 변형된 형태의 제어 블록도이다. 이하 도 4b를 참조해서 설명한다.
도 4b에서는 도 4a와는 달리 상기 드로워 감지부(130)가 상기 카메라(70)에서 촬영된 사진에서 획득된 정보를 이용하지 않고, 별도로 상기 드로워(50)의 이동을 감지할 수 있다.
예를 들어, 상기 드로워 감지부(130)는 복수 개의 홀 센서와 같은 형태로 이루어질 수 있다. 복수 개의 홀 센서가 상기 드로워(50)의 이동 경로에 설치될 수 있다. 상기 드로워(50)가 이동되는 경우에는 복수 개의 홀 센서가 각각 변화되는 것을 감지해서, 상기 드로워(50)의 위치 및 이동 방향을 감지할 수 있다.
상기 드로워 감지부(130)에서 드로워의 이동을 감지해서, 상기 카메라(70)에서 사진을 촬영할 때에 상기 카메라(70)가 찍은 사진에 상기 드로워의 내부 모습이 담기는 시점을 파악할 수 있다. 즉 상기 드로워 감지부(130)는 상기 카메라가 촬영한 사진에 상기 드로워 내부에 저장된 물품에 관한 정보가 표현될 수 있는 시점을 감지할 수 있다.
상기 드로워 감지부(130)는 상기 드로워의 이동을 감지해서, 사용자가 상기 드로워를 사용한 후에 최신 상태라고 판단하는 시점을 감지할 수 있다. 즉 상기 드로워 감지부(130)는 상기 카메라가 촬영한 사진에 사용자가 상기 드로워의 사용을 마친 최신 정보를 포함하는 시점을 감지할 수 있다. 즉, 물품의 입출고의 완료 시점 또는 물품 업데이트의 종료 시점을 간접적으로 파악할 수 있다.
도 5는 카메라의 화각을 설명한 도면이다. 이하 도 5를 참조해서 설명한다.
도 5에서는 설명의 편의를 위해서 상기 드로워(50)는 인출되어서 상기 카메라(70)가 상기 제2영역(52)을 촬영할 수 있고, 선반은 생략한 도면이다.
상기 카메라(70)는 상기 인너 케이스(12)의 상측벽에 상기 인너 케이스(12)의 후방 벽을 향해서 기울어지도록 배치될 수 있다.
한편 상기 카메라(70)에서 촬영된 사진은 상기 저장실(22)의 폭 방향에 따른 수평 화각(angle of view)과 전후 방향에 따른 수직 화각(angle of view)을 가질 수 있다.
이때 상기 카메라(70)에 따른 수평 화각은 두 개의 드로워(50)가 인출된 상태에서 두 개의 드로워(50)의 내측 공간 즉 상기 제2영역(52)에 저장된 식품이 보일 수 있도록 마련되는 것이 바람직하다.
또한 상기 카메라(70)에 따른 수평 화각의 범위는 상기 선반(40)의 좌우 양단이 적어도 일부 포함되도록 하는 것도 가능하다. 상기 선반(40)의 상측에 거치된 식품에 관한 정보를 획득하려면, 상기 카메라(70)에서 상기 선반(40)의 양단까지 촬영하는 것이 바람직하기 때문이다.
상기 카메라(70)의 화각이 변화됨에 따라 사진에서 도시되는 상기 저장실 내부의 범위가 변화된다.
도 6은 도 5의 측단면도이며, 도 7은 도 6의 상태에서 카메라에 찍힌 화면을 도시한다. 이하 도 6 내지 도 7을 참조해서 설명한다.
상기 인너 케이스(12)에는 상기 저장실(22)에 사용자가 접근할 수 있도록 전방에 개구부(14)가 형성된다. 상기 개구부(14)를 통해서 사용자는 상기 저장실(22)로 식품을 넣거나, 상기 저장실(22)로부터 식품을 꺼낼 수 있다. 상기 도어(20)는 상기 개구부(14)를 개폐할 수 있다.
상기 카메라(70)는 상기 드로워의 외부에 설치되어, 상기 드로워가 이동되거나 정지되는 동안 사진을 촬영해서 상기 드로워의 열림 상태, 닫힘 상태, 이동 상태에 대한 사진을 촬영할 수 있다. 즉 상기 카메라(70)가 연속 촬영을 하면 상기 카메라(70)가 촬영한 사진에는 촬영 시점에 따라 상기 드로워의 위치가 변화된 상태의 모습이 표현될 수 있다.
또한 상기 카메라(70)는 상기 저장실(22)의 내부 물품의 최근 입출고 상태를 포함하는 화면을 사용자에게 제공할 수 있다.
상기 카메라(70)는 상기 개구부(14)와 상기 선반(40)의 전단 사이의 범위(l) 내에 설치되는 것이 바람직하다. 선반(40)이 복수 개인 경우 전단들 중 가장 전방에 위치되는 전단과 상기 개구부(14) 사이의 영역(l, 도 8 참조)에 설치됨이 바람직하다. 즉, 이러한 영역에 해당되는 저장실의 천정에 설치되는 것이 바람직하다. 상기 카메라(70)는 상기 제1영역 및 상기 제2영역(52) 또는 상기 제1영역과 상기 제3영역(62)에 대한 사진을 선택적으로 촬영해야 하기 때문에, 상기 선반(40)의 전단 보다 상기 인너 케이스(12)의 후벽으로 이동될 수 없다.
도 6에서는 상기 카메라(70)의 수직 화각을 도시하는데, 수직 화각의 일단(전단)은 상기 드로워(50)가 열린 상태에서 상기 드로워(50)의 전단부까지 촬영할 수 있도록 배치되는 것이 바람직하다. 아울러, 수직 화각의 타단(후단)은 가장 최상측의 선반의 후단까지 촬영할 수 있도록 배치되는 것이 바람직하다.
상기 카메라(70)의 수직 화각의 범위에 상기 드로워(50)에 의한 상기 제2영역(52)까지 포함되기 때문에, 상기 카메라(70)에 의해서 사용자는 상기 제2영역(52)에 대한 정보를 획득할 수 있다.
도 7에서와 같이 상기 카메라(70)에서는 한 장의 사진으로 상기 제1영역(42) 및 상기 제2영역(52)에 대한 사진을 촬영할 수 있다. 이때 상기 카메라(70)는 좌우측에 배치된 두 개의 상기 드로워(50)에 대한 사진을 촬영할 수 있다. 아울러, 복수 개의 선반이 구비되는 경우, 복수 개의 선반으로 구획되는 제1영역(42)과 제2영역(52)을 함께 촬영할 수 있음을 알 수 있다.
상기 카메라(70)는 상기 저장실(22) 내부에 설치되어서, 상기 저장실(22) 내부에 관한 정보를 포함하는 사진을 촬영할 수 있다. 상기 카메라(70)는 상기 저장실 내부에 설치되기 때문에, 이동되지 않는다. 즉, 일반적으로 항상 고정되는 본체의 저장실에 고정되게 설치되기 때문에, 카메라 자체가 이동하지 않는다. 따라서 상기 카메라(70)에서 사진을 촬영할 때에 상기 카메라(70)는 항상 정지된 상태이다.
상기 카메라(70)에 의해서 촬영되는 사진은 상기 제1영역(42)과 상기 제2영역(52)을 포함하거나, 상기 제1영역(42)과 상기 제3영역(62)을 포함한다.
상기 카메라(70)가 상기 제1영역(42)과 상기 제2영역(52)을 포함하는 사진을 촬영하게 되면, 사용자는 해당 사진을 통해서 상기 선반(40)의 상측에 저장되는 식품과 상기 드로워(50)의 내부에 저장되는 식품에 대한 정보를 획득할 수 있다.
반면에 상기 카메라(70)가 상기 제1영역(42)과 상기 제3영역(62)을 포함하는 사진을 촬영하게 되면, 사용자는 해당 사진을 통해서 상기 선반(40)의 상측에 저장되는 식품과 상기 베리어(60)에 저장되는 식품에 대한 정보를 획득할 수 있다.
상기 카메라(70)는 하나의 저장실(22) 내부를 촬영하고 촬영된 사진을 전송하며, 상기 제어부(100)는 복수 개의 저장 공간 정보를 획득할 수 있다.
상기 카메라(70)는 상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62)의 상측에 배치되어서, 아래쪽을 내려다보면서 사진을 촬영한다.
도 8은 카메라의 위치 선정을 설명한 도면이다. 이하 도 8을 참조해서 설명한다.
도 8에 도시된 바와 같이, 상기 카메라는 L1, L2, L3, L4의 위치에 장착되는 것이 가능하다.
L1은 상기 저장실(22)의 외부로, 상기 아우터 케이스(10)에 의해 구획되는 외부 공간이다. 카메라가 L1의 위치에 설치되게 되면, 사용자가 도어를 개방한 상태에서 상기 저장실(22)에 접근하면서 냉장고를 사용하게 되는데, 사용자에 의해서 카메라가 가려진다는 문제가 발생할 수 있다.
상기 공개된 일본 특허에서 개시한 바와 같이, 카메라를 냉장고의 고외에 설치하여 저장실 내부를 촬영하고자 할 경우, 사용자에 의한 영상 간섭이 너무 크고, 특히 드로워가 가려져 드로워의 움직임을 추적할 수 없어 본 발명의 실시예에서 하고자 하는 드로워 내부 영상과 드로워의 움직임 상태를 함께 파악하는 것은 불가능하였다. 아울러, L1 위치는 도어에 카메라가 위치되는 것을 의미할 수 있다. 이 경우 상기 도어는 이동되는 구성이기 때문에 촬영 시 카메라가 이동될 수 있다. 따라서, 안정적이고 선명한 사진을 얻는 것이 매우 어렵다고 할 수 있다.
L2는 상기 저장실(22)의 내부이고, 상기 저장실(22)의 상측벽, 즉 천장을 의미한다. 본 발명의 실시예에서 카메라가 설치되는 위치에 해당하는데, 사용자에 의해서 가려지는 문제가 발생하지 않는다. 또한 상기 저장실(22)의 상측벽은 상기 인너 케이스(12)에 해당되기 때문에 카메라에 전기를 공급하기 위한 전선을 배치하는 데에 편리하다. 그리고, 인너 케이스(12)는 일반적으로 항상 고정되는 구성이므로, 카메라가 고정되는 구성에 안정적으로 장착될 수 있다.
L3는 상기 저장실(22)의 내부이고, 상기 저장실(22)의 측벽이다. 이때 카메라는 상기 저장실(22)의 일측에서 상기 저장실(22)의 타측을 향해서 사진을 촬영할 수 있게 기울어지도록 설치된다. 카메라가 상기 저장실(22)의 최상단이 아니라, 상기 저장실(22)의 높이를 기준으로 중간에 배치되려면, 상기 인너 케이스(12)의 측벽에 설치될 수 밖에 없다.
카메라가 일측벽에 설치되면, 카메라 렌즈가 타측벽을 향하도록 설치될 수 밖에 없고, 따라서 상기 저장실(22)의 내부의 모습이 좌우측 거리 차이로 인해서 비대칭적인 영상이 획득된다는 문제가 있다.
L4는 상기 저장실(22)의 내부이고, 상기 선반(40)의 일단을 의미한다. 카메라가 상기 저장실(22)의 높이를 기준으로 배치되려면, 특정 구조물에 의해서 지지되어야 하는데, 이 경우에 카메라는 상기 선반(40)의 일단에 고정될 수 있다.
이 경우에는 상기 드로워(50)와 카메라의 거리가 L2에 비해서 짧기 때문에, L2의 상태에 비해 큰 화각을 가지는 카메라를 사용해야 한다는 문제가 있다. 또한 얻어지는 사진의 왜곡도가 심해진다는 문제도 발생하게 된다. 이외에도 상기 선반(40)에 카메라에 공급되는 전선을 설치하는 등의 외관상 사용자에게 불편을 발생시키는 다양한 문제를 발생시킬 수 있다. 그리고, 상기 선반(40)은 일반적으로 이동 가능한 구성이다. 따라서, 식품을 선반에 놓을 때 카메라 자체가 흔들리는 문제가 발생될 수도 있다.
본 발명의 실시예에 적용되는 카메라는 화각 120도이고, VGA급으로, 20fps의 성능을 제공하는 것이 가능하다.
도 9는 냉장고의 요부를 도시한 단면도이다. 이하 도 9를 참조해서 설명한다.
상기 도어(20)의 내측에는 식품을 저장할 수 있는 바스켓(21)이 구비될 수 있다. 상기 바스켓(21)은 상기 도어(20)가 상기 저장실(22)을 바라보는 면에 설치될 수 있다.
상기 카메라(70)가 촬영한 사진에 상기 바스켓(21)이 도시된다는 문제가 있을 수 있다. 따라서 본 발명의 실시예에서는 상기 도어 센서(120)를 통해서 상기 도어(20)가 일정 각도(θ) 이상 회전되었는지를 감지해서, 상기 카메라(70)를 통해서 사진을 촬영할 수 있다. 물론 상기 도어 센서(120)에서 감지된 시점에 인접한 시점에 촬영된 사진을 선택하도록, 해당 시점에 관한 정보를 상기 도어 센서(120)에서 상기 제어부(100)에 전달하는 것도 가능하다.
예를 들어 일정 각도(θ)는 60도에서 80도인 것이 가능하다. 물론 각도는 냉장고의 용량이나 도어의 크기 또는 바스켓(21)의 전후 길이에 따라 다양하게 변화될 수 있다.
이때 일정 각도(θ)는 상기 카메라(70)가 사진을 촬영할 때에 해당 사진에 상기 바스켓(21)이 나타나지 않을 수 있는 각도를 의미할 수 있고, 이러한 일정 각도(θ)는 상기 바스켓(21)의 좌우 폭과 전후 의 길이에 따라 달라질 수 있다.
상기 도어(20)의 개폐여부를 감지하는 도어 스위치(110)는 냉장고의 상측에 설치될 수 있다. 이때 상기 도어 스위치(110)는 상기 도어(20)에 의해서 눌려지면 상기 도어(20)가 상기 저장실을 밀폐한다고 감지하고, 상기 도어(20)에 의해 눌려지지 않으면 상기 도어(20)가 상기 저장실을 개방한다고 감지할 수 있다.
좌측 도어(20)를 냉장고에 회동가능하게 설치하는 좌측 힌지부(300)가 구비되고, 우측 도어(20)를 냉장고에 회동가능하게 설치하는 우측 힌지부(320)가 구비될 수 있다. 상기 좌측 힌지부(300)와 상기 우측 힌지부(320)는 상기 도어(20)가 회동가능한 회전축이 마련되어 상기 도어(20)에 결합되는 부분과, 상기 아우터 케이스(10)에 설치되는 부분과, 두 개의 부분을 연결하는 연결부로 구분될 수 있다. 즉, 도어 결합부(300c, 302c), 아우터 케이스 결합부(300a, 320a) 그리고 이들을 연결하는 연결부(300b, 320b)로 구분될 수 있다.
상기 좌측 힌지부(300)에는 상기 좌측 도어(20)의 회전을 감지하는 좌측 도어 센서(120L)이 설치될 수 있다.
상기 우측 힌지부(320)에는 상기 우측 도어(20)의 회전을 감지하는 우측 도어 센서(120R)이 설치될 수 있다.
상기 좌측 도어 센서(120L)과 상기 우측 도어 센서(120R)은 각각의 도어의 회전 각도를 독립적으로 감지할 수 있다.
도 10은 도어 센서의 작동 방식을 설명한 도면이다. 이하 도 10을 참조해서 설명한다.
상기 도어 센서(120)는 빛을 조사하는 발광부(122)와 상기 발광부(122)에서 조사된 빛을 수신하는 수광부(124)를 포함할 수 있다.
상기 발광부(122)에서 조사된 빛이 상기 도어(20)의 상면을 통해서 반사가 되어서 상기 수광부(124)에 전달될 수 있다. 이 경우 빛의 반사가 안정적으로 이루어질 수 있도록 반사가 잘 이루어지는 재질로 구성되는 것도 가능하다.
상기 발광부(122)에서 조사된 빛이 상기 수광부(124)로 전달되면, 상기 도어(20)가 상기 도어 센서(120)가 설치된 각도 보다 작은 각도 만큼 회전된 것으로 감지할 수 있다. 즉 상기 도어(20)가 일정 각도(θ)보다 작은 각도로 회전된 상태이거나, 상기 저장실(22)을 밀폐한 상태에서 회전되지 않은 것을 의미할 수 있다.
반면에 상기 발광부(122)에서 조사된 빛이 상기 수광부(124)로 전달되지 않으면, 상기 도어(20)가 상기 도어 센서(120)가 설치된 각도 보다 큰 각도 만큼 회전된 것으로 감지할 수 있다. 즉 상기 도어(20)가 일정 각도(θ)보다 큰 상태로 회전되어 사용자가 상기 저장실(22)에 접근이 가능한 상태를 의미할 수 있다.
이를 위해서, 도 9에 도시된 바와 같이, 좌측 힌지부(300)와 우측 힌지부(320)는 본체의 아우터 케이스(10)의 최상면과 도어(20)의 최상면 걸쳐 장착될 수 있다. 따라서, 도어(20)가 회전 중심(302, 322)를 기준으로 회전함에 따라 도어의 최상면 또는 도어의 상면 중 일부분(예를 들어 단차지는 부분)이 수광부 기능을 수행할 수 있다. 물론, 좌측 도어 센서(120L)과 우측 도어 센서(120R)은 각각의 연결부(300b, 320b)에 설치되어 발광부 기능을 수행할 수 있다. 이러한, 센서(120L, 120R)와 도어 사이의 위치 관계로 인해, 센서(120L, 120R)은 도어가 열리면서 일정 각도(θ) 이상 열리는 시점과 도어가 닫히면서 일정 각도(θ)로 닫히는 시점을 파악할 수 있다.
도 11은 좌측 힌지부와 우측 힌지부를 구체적으로 도시한 도면이다. 도 11에서는 설명의 편의를 위해서 냉장고의 다른 구성요소는 생략했다. 이하 도 11을 참조해서 설명한다.
상기 도어 센서는 상기 도어의 회전을 감지하기 위해서 상기 인너 케이스의 전면, 즉 상기 개구부보다 전방(즉 사용자가 서 있는 위치)에 배치될 수 있다.
상기 좌측 힌지부(300)에는 상기 좌측 도어(20)의 회전을 감지하기 위한 좌측 도어 센서(120L)가 설치될 수 있다.
상기 우측 힌지부(320)에는 상기 우측 도어(20)의 회전을 감지하기 위한 우측 도어 센서(120R)가 설치될 수 있다.
상기 좌측 도어 센서 또는 상기 우측 도어 센서는 상기 개구부와 상기 각각의 힌지부의 각각의 회전 중심의 사이 영역에 배치될 수 있다. 즉, 각 힌지부의 연결부(300b, 320b)에 배치될 수 있다.
상기 도어 센서(120)는 전기를 공급받거나, 외부에 신호를 전달하기 위해서 커넥터(c)와 와이어(wire)에 의해서 다른 구성요소와 연결될 수 있다. 이때 상기 도어 센서(120)는 상술한 제어부(100)에 연결되어서 획득한 신호 정보를 제공할 수 있다.
상기 좌측 힌지부(300)는 상기 좌측 도어(20)가 회전되는 회전 중심(302)을 구비할 수 있다. 이때 상기 좌측 도어 센서(120L)는 상기 회전 중심(302)에 대해서 우측에 배치될 수 있다. 상기 회전 중심(302)으로부터 우측 공간은 좌측 도어(20)의 회전 각도에 따라 상기 좌측 도어(20) 특히 좌측 도어(20)의 상면이 상기 좌측 도어 센서(120L)의 하부에 위치하거나 위치하지 않을 수 있는 공간이다. 따라서, 상기 좌측 도어 센서(120L)는 상기 좌측 힌지부(300)의 연결부(300b)에 위치됨이 바람직하다. 이를 통해서 도어의 사이즈나 바스켓 사이즈가 달라지는 경우, 상기 일정 각도(θ)를 탄력적으로 가변시킬 수 있게 된다. 즉, 연결부(300b)의 우측 공간을 용이하게 가변시킬 수 있고, 이에 따라 상기 연결부(300b)에서의 좌측 도어 센서(120L)의 위치를 용이하게 가변시킬 수 있기 때문이다.
상기 좌측 도어 센서(120L)에 연결되는 와이어(w)는 상기 회전 중심(302)를 통해서 연결될 수 있다. 또한 와이어(w)는 상기 아우터 케이스(10)를 통해서 냉장고 본체와 연결되는 것이 가능하다.
상기 우측 힌지부(320)는 상기 우측 도어(20)가 회전되는 회전 중심(322)을 구비할 수 있다. 이때 상기 우측 도어 센서(120R)는 상기 회전 중심(322)에 대해서 좌측에 배치될 수 있다. 상기 회전 중심(322)로부터 좌측 공간은 우측 도어(20)의 회전 각도에 따라 상기 우측 도어(20)가 상기 우측 도어 센서(120R)의 하부에 위치하거나 위치하지 않을 수 있는 공간이다. 따라서, 마찬가지 이유로, 우측 도어 센서(120R)는 우측 힌지부(320)의 연결부(320b)에 설치됨이 바람직할 것이다.
상기 도어 센서(120)에서 감지된 시점은 상기 저장실(22) 내부의 각각의 영역, 구체적으로는 상기 제1영역(42) 또는 상기 제3영역(62)에 대한 사진의 캡쳐 시점이 될 수 있다. 즉 상기 도어 센서(120)에서 감지된 시점은 상기 드로워(50)의 외부 저장 공간을 촬영한 사진의 캡쳐 시점을 의미할 수 있다.
한편 상기 도어 센서(120)는 빛을 조사하고 수신하기 때문에 상기 도어 센서(120)는 빛을 하방으로 조사하게 된다. 하방으로 조사된 빛은 상기 도어(20)에 의해서 다시 상측으로 반사된다.
상기 도어 센서(120)와 상기 도어(20)는 상기 도어 센서(120)에서 충분한 양의 빛을 수신할 수 있도록 짧은 간격을 유지할 수 있다. 이때 상기 도어 센서(120)와 상기 도어(20)의 수직 간격은 최대 20mm를 유지하는 것도 가능하다.
도 12는 사용자에게 제공되는 화면의 일례들이다. 이하 도 12를 참조해서 설명한다.
도 12a에서는 제1영역(42), 제2영역(52) 및 제3영역(62)이 모두 사용자에게 제공되는 형태이고, 도 12b는 제2영역(52)과 제3영역(62)이 사용자에게 제공되는 형태이며, 도 12c는 제1영역(42)과 제2영역(52)이 사용자에게 제공되는 형태이다.
우선 도 12a를 기준으로 설명한다.
상기 카메라(70)에서 촬영된 한 장의 사진은 상기 제1영역(42)을 도시하는 제1이미지와, 상기 제2영역(52)을 도시하는 제2이미지 및 상기 제3영역(62)을 도시하는 제3이미지로 구분될 수 있다. 즉 한 장의 사진 또는 복수 개의 사진은 영역별로 구분될 수 있다. 이때 상기 제1이미지, 상기 제2이미지, 상기 제3이미지는 각각 촬영된 한 장의 사진으로부터 해당 영역을 도시하는 범위로 잘려진(cut)된 형태를 의미할 수 있다.
이렇게 구분된 사진은 도 12a에서와 같이 독립적으로 사용자에게 제공될 수 있다. 즉 해당 영역에 대한 사진이 개별적으로 사용자에게 제공되어서 사용자는 해당 영역에 저장된 식품에 대한 정보를 쉽게 획득할 수 있다.
상기 디스플레이(14)는 복수 개의 저장 영역이 프레임 내에 도시될 수 있도록 배치할 수 있다.
즉 하나의 사각 프레임의 상측에는 상기 제2영역(52)을 도시하는 제2이미지가 좌측과 우측에 각각 배치되고, 사각 프레임의 하측에는 상기 제3영역(62)을 도시하는 제3이미지가 좌측과 우측에 각각 배치된다.
복수 개의 영역들이 상기 디스플레이(14)에 하나의 프레임에 동일한 폭을 가지는 이미지로 배치될 수 있다. 이를 위해서 상기 제어부는 촬영된 사진을 자르고, 크기를 보정해서 상기 디스플레이(14)에 제공할 수 있다. 이때 보정된 이미지는 프레임의 대응되는 위치에서 도시되게 된다.
상기 디스플레이에 제공되는 이미지 중 적어도 일부는 동일한 폭을 가지도록 보정되어서, 사용자가 실제 냉장고 도어를 연 상태에서 저장실을 바라본 것과 유사한 느낌을 갖게 하는 것으로 평면적 배열 효과를 가질 수 있다.
상기 디스플레이(14)는 두 개의 중첩된 영역을 하나의 화면을 통해서 제공해서, 실제 사용자가 한 번에 볼 수 없는 상태의 식품 정보를 제공할 수 있다.
특히 상기 제2이미지와 상기 제3이미지는 드로워가 인출된 상태에서는 중첩되도록 배치되는 공간이기 때문에 드로워가 인출된 상태에서는 사용자는 두 개의 저장공간의 정보를 동시에 획득할 수 없다. 그러나 상기 디스플레이(14)는 두 개의 저장 공간 정보를 동시에 제공할 수 있다.
상기 제어부(100)는 각각의 이미지를 개별적으로 업데이트(교체)해서 사용자에게 각각의 영역에 수용된 식품의 종류에 관한 정보를 제공할 수 있다.
예를 들어, 상기 카메라에 의해서 촬영된 사진을 통해서 제2이미지에 해당하는 부분은 업그레이드되고, 제3이미지에 해당하는 부분은 업그레이드될 필요가 없는 경우에는, 제2이미지만 교체될 수 있다.
이와는 반대로, 상기 카메라에 의해서 촬영된 사진을 통해서 제3이미지에 해당되는 부분은 업그레이드되고, 제2이미지에 해당하는 부분은 업그레이드될 필요가 없는 경우에는, 제3이미지만 교체될 수 있다.
하나의 프레임에 제2이미지와 제3이미지가 서로 독립적으로, 다른 이미지에 무관하게 업그레이드되는 것이 가능하다.
그리고 좌우측에 배치되는 두 개의 제2이미지 중에서 좌측에 배치되는 제2이미지만 업그레이드되거나, 우측에 배치되는 제2이미지만 업그레이드되는 것도 가능하다. 이때 제3이미지도 좌측과 우측에 개별적으로 업그레이드되는 것도 가능하다.
즉 상기 디스플레이(14)는 복수 개의 이미지가 제공되는 프레임을 제공해서, 사용자에게 저장실에 저장된 물품에 관한 정보를 제공하되, 복수 개의 이미지가 다른 이미지와 무관하게 개별적으로 업그레이드되는 것이 가능하다. 특히 제2이미지와 제3이미지는 서로 다른 사진에서 선택되는 이미지이기 때문에, 상기 제어부는 해당 사진이 어떤 영역을 표현하는지를 판단해서, 각각의 이미지를 업그레이드하는 것이 가능하다.
이때 상기 제2이미지와 상기 제3이미지는 동일하거나 실질적으로 유사한 크기의 폭을 가지는 것이 가능하다. 즉 사진에서 획득된 제2이미지와 제3이미지에 해당되는 부분은 상기 제어부의 보정에 의해서 폭이 동일한 크기로 변환되어 상기 디스플레이에 제공되는 것이 가능하다.
상기 제2이미지와 상기 제3이미지의 크기가 다른 경우에는 해당 사진에서 상기 제2이미지와 상기 제3이미지의 픽셀수, 즉 픽셀에 따른 크기를 다르게 선택하는 것도 가능하다. 그렇지 않으면, 상기 제2이미지와 상기 제3이미지를 동일한 픽셀수로 선택하고 상기 디스플레이(14)에 표현될 때에는 다른 크기를 가지도록 상기 제어부에서 보정하는 것도 가능하다.
상기 제2이미지와 상기 제3이미지를 상하로 배치해서 상하 배열의 평면감을 가지도록 하는 것이 가능하다. 원래 상기 제2이미지에 의해서 도시되는 영역은 상기 제3이미지에 의해서 도시되는 영역의 상측에 배치된다. 따라서 사용자는 디스플레이에 의해서 제공되는 이미지를 직관적으로 인지할 수 있어서, 이미지가 제공하는 정보를 쉽게 파악할 수 있다.
물론 상기 디스플레이(14)는 상기 제1이미지와 상기 제3이미지가 동시에 대체된 화면을 사용자에게 제공할 수 있다. 이와는 달리 상기 제1이미지와 상기 제3이미지는 그대로인 상태에서, 제2이미지만 대체된 화면을 사용자에게 제공할 수 있다.
도 12a에 도시된 냉장실 선반은 상기 제1영역(42)을 의미하고, 야채실은 상기 제2영역(52)을 의미하며, 멀티수납코너는 상기 제3영역(62)을 의미할 수 있다. 물론 사용자의 선호도나 이미지 제공자의 편의에 따라 다양한 배치와, 다양한 형태로 변형되는 것도 가능하다.
한편 도 12a의 화면은 냉장고에 설치된 디스플레이(14)에도 제공될 수 있지만, 냉장고가 아닌 별도의 외부 장치 예를 들어 스마트폰과 같은 외부 단말 장치에도 제공될 수 있다. 따라서 사용자는 집에서 외출을 한 상태에서 냉장고에 저장된 식품에 대한 정보를 얻을 수 있고, 이를 이용해서 쇼핑에 활용할 수 있다. 따라서 사용자는 도어를 개방하지 않더라도, 냉장고에 저장된 식품의 종류를 파악할 수 있다. 사용자에게 제공되는 화면은 하나의 저장실을 복수 개의 저장 영역으로 구분되어 디스플레이될 수 있다. 따라서 사용자는 하나의 저장실에 각각의 위치에 저장된 식품을 서로 위치별로 분류된 정보를 쉽게 획득할 수 있다.
이때 야채실에 도시되는 이미지는 상기 드로워(50)을 인출했을 때, 상하로는 상기 드로워(50)의 전단부터 상기 선반(40)의 전단까지의 영역을 도시한다. 상기 멀티수납코너에 도시되는 이미지는 상기 도어(20)에 의해서 가려지지 않은 상태에서, 상기 드로워(50)가 인입된 경우에 중첩되는 부분의 영역을 도시한다. 상기 선반에는 사용자에게 상기 선반(40)의 상측의 영역을 도시한다.
본 발명의 일실시예에서는 사용자에게 제공되는 화면이 하나의 저장실을 그대로 도시하는 것이 아니라, 서로 분리된 각각의 부분에 분리된 이미지를 배치하기 때문에 사용자가 정보를 쉽게 획득할 수 있다. 다시 말하면, 도 7에서 도시된 사진을 그대로 이용하는 것이 아니라, 하나의 사진에서 각각의 영역을 분리하여 독립적 그리고 개별적으로 이용하는 것이라 할 수 있다.
도 12b와 같이 도 12a와 다른 형태의 화면이 제공될 수 있다. 이 경우에는 상기 카메라(70)에서 상기 제2영역(52)과 상기 제3영역(62)을 포함하는 사진을 촬영하는 것이 가능하다. 그렇지 않으면, 상기 카메라(70)에서 상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62) 모두를 포함하는 사진을 촬영하더라도, 사용자에게는 두 개의 영역에 해당하는 이미지만을 제공하는 것이 가능하다.
도 12c와 같이 또 다른 형태의 화면이 제공될 수 있다. 이 경우에는 상기 카메라(70)에서 상기 제1영역(42)과 상기 제2영역(52)을 포함하는 사진을 촬영하는 것이 가능하다. 그렇지 않으면, 상기 카메라(70)에서 상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62) 모두를 포함하는 사진을 촬영하더라도, 사용자에게는 두 개의 영역에 해당하는 이미지만을 제공하는 것이 가능하다.
즉, 본 발명의 일실시예에 따르면, 3개의 영역을 모두 촬영한 후에 관련 이미지를 사용자에게 제공하는 것도 가능하다. 그러나 도 12b와 도 12c에 도시된 것처럼 적어도 드로워의 내부 저장 영역, 즉 제2영역에 해당하는 이미지와 제2영역이 아닌 다른 영역에 해당하는 이미지를 사용자에게 함께 제공하는 것이 가능하다.
도 13은 카메라에서 촬영된 사진을 조정하는 방식을 설명한 도면이다. 이하 도 13을 참조해서 설명한다.
도 13은 상기 디스플레이(14)에 표시되는 화면의 일례일 수 있다. 물론 냉장고에 디스플레이가 구비되지 않는다면, 도 13은 냉장고를 제조할 때에 작업자의 별도 디스플레이 장치에 표시되는 화면을 의미할 수 있다. 또한 사용자의 핸드폰에 표시되는 화면일 수 있다.
상기 카메라(70)가 설치된 상태에서는 조립 공차로 인해서, 상기 카메라(70)가 원하는 위치에 정확하게 설치되지 않을 수도 있다.
따라서 본 발명의 실시예에서는 작업자 또는 사용자가 상기 카메라(70)에서 촬영하는 사진 또는 영상을 통해서 각각의 영역을 구획하는 조정선(15)를 변화시키는 것이 가능하다.
조정선(15)은 수직 조정선과 수평 조정선을 포함할 수 있다. 수직 조정선은 이미지의 중앙 또는 양 끝단에 배치될 수 있다. 사용자는 화면에 도시된 버튼을 통해서 수직 조정선을 상하로 이동시키고, 수평 조정선을 좌우로 이동시켜서, 상기 디스플레이(14)에 제공되는 이미지가 잘려지는 부분을 선정할 수 있다.
한편 상기 조정선(15)의 이동 가능한 범위를 한정하는 한계선(16)도 도시될 수 있다. 이때 상기 한계선(16)은 수직 조정선을 중심으로 좌우로 소정 간격을 가지도록 배치되는 것이 가능하다. 또한 상기 한계선(16)은 수평 조정선을 중심으로 상하로 소정 간격을 가지도록 배치되는 것이 가능하다.
상기 한계선(16)을 구비해서, 상기 조정선(15)의 이동에도 불구하고 원하는 정도의 이미지가 획득되지 않으면 불량으로 판단하고 상기 카메라(70)의 설치 위치를 조정할 수 있다.
도 13과 같이 상기 저장실에 두 개의 드로워가 구비되는 형태에서는 수직 조정선은 두 개의 드로워의 사이에 배치되는 것이 가능하다.
그리고 수평 조정선은 상기 선반의 전단에 배치되는 것이 가능하다.
수평 조정선과 수직 조정선의 이동이 완료된 상태에서는, 상기 수평 조정선과 상기 수직 조정선의 교차점의 좌측 하단은 제2영역 또는 제3영역의 좌측부위에 대한 이미지를 구성할 수 있다. 이때 해당 이미지는 수평 방향으로는 상기 수평 조정선으로부터 특정 개수의 픽셀까지일 수 있고, 수직 방향으로는 상기 수직 조정선으로부터 특정 개수의 픽셀까지일 수 있다.
상기 수평 조정선과 상기 수직 조정선의 교차점의 우측 하단은 제2영역 또는 제3영역의 우측부위에 대한 이미지를 구성할 수 있다. 이때 해당 이미지는 수평 방향으로는 상기 수평 조정선으로부터 특정 개수의 픽셀까지일 수 있고, 수직 방향으로는 상기 수직 조정선으로부터 특정 개수의 픽셀까지일 수 있다.
상기 수평 조정선의 상측은 상기 제1영역의 이미지를 구성할 수 있다. 이때 해당 이미지는 수직 방향으로는 상기 수평 조정선으로부터 특정 개수의 픽셀까지일 수 있다.
한편 도 13에서와 같이 야채칸에 해당되는 제3영역의 좌우측 사진을 별도로 도시해서, 드로워에 해당되는 부분의 사진 획득 여부를 확인하는 것도 가능하다.
사용자 또는 작업자에 의한 조정이 완료되면 입력 완료 버튼을 클릭해서, 상기 조정선(15)의 이동이 완료되었음을 입력할 수 있다. 따라서, 카메라의 설치 오차가 작은 경우에는, 촬영된 사진에서 각각의 영역을 구분하는 수직선 및/또는 수평선의 위치를 조정할 수 있게 된다. 이를 통해, 특정 영역에 해당되는 부분들이 명확히 표시될 수 있게 된다. 물론, 상하로 구획되거나 좌우로 구획되는 영역들이 다수 개인 경우 전술한 수평 조정선이나 수직 조정선은 복수 개 구비될 수도 있을 것이다.
도 14는 카메라를 도시한 사시도이고, 도 15는 카메라의 요부를 도시한 도면이며, 도 16은 도 14의 단면도이다. 이하 도 14 내지 도 16을 참조해서 설명한다.
상기 카메라(70)는 카메라 렌즈(71a) 및 몸체(71b)를 포함하는 카메라 모듈(71)과, 상기 카메라 모듈(71)이 수용되는 케이스(73, 74)를 포함할 수 있다.
상기 카메라 모듈(71)에는 상기 카메라 렌즈(71a)를 통과한 영상 정보를 디지털 신호로 전환하는 이미지 센서 등을 포함할 수 있다.
상기 케이스는 제1케이스(73)와, 상기 제1케이스(73)에 결합되어 내부에 소정 공간을 형성하는 제2케이스(74)를 포함할 수 있다. 상기 제1케이스(73)와 상기 제2케이스(74)의 내부에는 상기 카메라 몸체(71b)와 카메라 렌즈(71a)가 수용될 수 있다. 상기 제1케이스(73)와 상기 제2케이스(74)의 사이에는 내부로 습기 또는 먼지가 유입되지 않도록 별도의 실링 부재에 의해서 결합도가 유지되는 것이 가능하다.
상기 카메라 몸체(71b)와 카메라 렌즈(71a)는 상기 제1케이스(73) 및 상기 제2케이스(74)에 의해서 형성되는 공간에 삽입되기 때문에, 상기 인너 케이스(12)와 상기 아우터 케이스(10)의 사이에 충진되는 발포제와 접촉하지 않게 된다. 또한 상기 카메라 모듈(71)은 상기 저장실(22)에 수용된 냉기와 직접 접촉하지 않고, 보호될 수 있다.
상기 제1케이스(73)에는 상기 카메라 렌즈(71a)의 전단에 설치되는 투명창(80)과, 상기 투명창(80)에 열을 제공하는 히터(84)가 구비될 수 있다. 상기 투명창(80)은 투명한 재질로 이루어지는 것이 바람직하다.
상기 히터(84)에 의해서 제공된 열에 의해서 상기 투명창(80)에 이슬이 맺히지 않도록 할 수 있다.
만약 이슬 맺힘 현상을 방지하기 위해서 상기 카메라 렌즈(71a)에 상기 히터(84)를 설치하게 되면 상기 카메라 렌즈(71a)가 변형될 수 있다. 그러한 변형에 의한 수차 발생 및 영구적 손상이 발생할 가능성이 높아지기 때문에, 본 발명의 실시예에서는 상기 투명창(80)을 상기 카메라 렌지(71a)에 직접 접촉시키지 않는다.
상기 투명창(80)의 재질로는 플라스틱이나 유리 모두 카메라 영상 취득 입장에서는 적용이 가능하지만, 플라스틱이 열 전도율이 떨어진다. 따라서 상기 투명창(80)으로 플라스틱을 사용하게 되면 유리를 사용하는 것보다 소비 전력이 증가될 수 있다. 따라서 상기 투명창(80)은 유리 재질로 이루어져, 소비 전력을 줄이는 것이 바람직하다.
열 전도율이 커지면 상기 히터(84)에 의해서 공급되는 열이 상기 투명창(80)에서 상기 히터(84)에 직접 접촉하지 않는 부분까지 쉽게 전도될 수 있다. 예를 들어, 열 전도율이 낮아지면 상기 히터(84)에 인접한 부분은 온도가 높은 반면에, 상기 히터(84)에서 멀어지는 부분에는 온도가 낮아지기 때문에 결로를 방지하기 어렵다. 또한 더 많은 열에너지가 상기 히터(84)에 의해서 공급되어야 하기 때문에 에너지 효율이 떨어지게 된다.
한편 상기 히터(84)는 상기 투명창(80)에 직접 면접촉을 하기 때문에 열 전달 효율이 향상될 수 있다.
상기 히터(84)는 상기 투명창(80)이 상기 저장실(22)에 노출되는 면의 반대편에 배치되어서, 상기 히터(84)에서 발생되는 열이 상기 투명창(80)을 거치지 않고, 상기 저장실(22)로 공급되는 것을 방지할 수 있다.
특히 상기 히터(84)는 열을 발생시키는 열선 코일을 포함하는 것이 가능하고, 상기 열선 코일은 상기 투명창(80)에 면접촉을 할 수 있다.
또한 상기 투명창(80)과 상기 카메라 렌즈(71a)는 소정의 간격(g)를 두도록 마련됨이 바람직하다. 이는 상기 투명창(80)에 열이 공급되어 발생될 수 있는 변형이나, 조립 공차를 고려하기 위함이다.
또한 상기 카메라(70)는 외부에서 공급되는 전기를 공급받고, 획득된 사진에 관한 신호를 전송하는 케이블(79)을 포함할 수 있다. 상기 케이블(79)은 상기 카메라 모듈(71)을 외부의 구성요소와 전기적으로 연결할 수 있다.
한편 상기 케이스에는 상기 카메라(70)을 다른 구성요소에 고정할 수 있는 제1안착편(75)이 마련된다. 이때 상기 제1안착편(75)은 상기 제1케이스(73) 또는 상기 제2케이스(74) 중 어느 곳에 마련되어서 무관하다.
상기 제1안착편(75)은 소정 면적을 가지는 면을 포함해서, 상기 카메라(70)를 원하는 설치 위치에 원하는 각도의 기울기를 가지도록 배치할 수 있다.
상기 제1안착편(75)은 상기 카메라(70)의 양측에 마련되어서, 상기 카메라(70)는 외부 구성요소에 의해서 좌우측이 고정될 수 있다.
상기 제2케이스(74)에는 소정 면적을 가지고 단차지도록 형성된 제2안착편(76)이 형성될 수 있다. 상기 제2안착편(76)은 상기 제1안착편(75)과 다른 부분에 마련되어서, 상기 제1안착편(75)과 마찬가지로 상기 카메라(70)가 다른 구성요소에 특정 위치에 소정 각도로 안정적으로 결합될 수 있도록 한다. 따라서, 상기 카메라(70)는 상기 제1안착편(75)과 제2안착편(76)을 통해 다른 구성요소에 대해서 3점 이상의 지지점으로 소정 각도로 갖도록 고정될 수 있다. 상기 카메라(70)의 지지구조에 대한 상세한 사항은 후술한다.
상기 카메라(70)는 해상도는 VGA Resolution급을 적용할 수 있고, 해상도는 영상 데이터 전송 속도와 처리 시간을 고려하여 VGA(640x480), 30만화소 급이 사용될 수 있다.
상기 카메라(70)의 Interface는 USB Type이며 5V, 500mA USB 전원을 이용해서 구동될 수 있다.
또한 상기 카메라(70)에 공급되는 전류값은 대기 모드 시에는 87mA, 동작 모드시에는 187mA (히터는 67mA)일 수 있다. 따라서, 공급되는 전류값에 비례하는 소비 전력을 소모할 수 있다. 이때 상기 카메라(70)의 동작은 대기 모드와 동작 모드로 구분되며, 상기 투명창(80)의 표면에 결로 현상을 방지하기 위해 상기 히터(84)에는 상시 전원을 인가되는 것이 가능하다.
한편 상기 카메라(70)는 정격 전압이 인가되면 대기 모드로 동작하다가, 상기 도어 스위치(110)에서 상기 도어(20)가 개방된 것으로 감지되면 동작 모드로 전환되어 사진을 촬영할 수 있다. 즉, 냉장고에 전원이 인가되면 상기 카메라는 대기 모드로 동작을 하며, 상기 도어 스위치(110)에서 상기 도어(20)가 개방된 것으로 감지되면, 사진 촬영을 위한 동작 모드로 전환될 수 있다.
도 17은 히터의 배치를 설명한 도면이다. 이하 도 17을 참조해서 설명한다.
상기 카메라(70)는 촬영각이 수평 화각은 115°, 수직 화각은 95°, 대각 화각은 145°을 이룰 수 있다. 즉 상기 카메라(70)는 수평 화각이 수직 화각보다 크게 배치하는 것이 가능하다. 이러한 배치를 통해서 상기 저장실(22)의 폭 방향 길이(도 17에서 수평 방향)가 상기 저장실(22)의 전후 방향 길이(도 17에서 수직 방향)보다 긴 경우에 상기 저장실(22)에 관한 식품 정보를 제공할 수 있는 사진을 획득할 수 있다.
한편 상기 히터(84)는 상기 투명창(80)의 외곽선을 따라 형성되는 것이 가능하다. 이때 상기 히터(84)는 상기 카메라(70)의 화각을 가리지 않도록 사각형을 이루도록 배치될 수 있다.
또한 상기 히터(84)가 사각형의 형상을 가지면, 상기 투명창(80)에 상대적으로 넓은 면적으로 열을 공급할 수 있기 때문에, 상기 히터(84)에 대한 에너지 효율이 향상될 수 있다.
특히 도 16과 같이 상기 카메라 렌즈(71a)와 상기 투명창(80) 사이에 간극(g)가 마련된 경우에는 도 17과 같이 상기 투명창(80)에 대한 화각이 직사각형의 형태를 이루게 된다. 만일 간극(g)가 없고, 상기 투명창(80)과 상기 카메라 렌즈(71a)가 맞닿아 있다면, 상기 히터(84)는 상기 투명창(80)의 일면에 접촉하기 때문에, 상기 카메라 렌즈(71a)의 직경과 동일하거나 큰 길이의 변을 가지는 정사각형 형태로 마련될 수 있다.
그러나 상술한 바와 같이, 간극(g)이 존재하고, 수직 화각과 수평 화각이 서로 상이하기 때문에, 상기 히터(84)는 어느 한 변이 다른 한 변의 길이보다 긴 직사각형의 형태를 이루는 것이 바람직하다.
도 18은 카메라가 냉장고에 상하 방향(전후 방향)으로 틀어져서 장착된 상태에서 촬영된 사진을 설명한 도면이고, 도 19는 카메라가 냉장고에 수평 방향(좌우 방향)으로 틀어진 상태에서 촬영된 사진을 설명한 도면이다. 이하 도 18 및 도 19를 참조해서 설명한다.
도 18a는 카메라가 상측으로 5도 만큼 상측으로 돌아간 상태이고, 도 18b는 원하는 위치에 설치된 것이며, 도 18c는 하측으로 5도 만큼 돌아간 상태이다. 도 18에 도시된 정도의 사진은 사용자에게 저장실에 저장된 식품에 관한 정보를 제공할 수 있지만, 더 큰 각도로 틀어지게 된다면 사용자에게 원하는 정보를 제공할 수 없다.
도 19a는 카메라가 좌측으로 4도 만큼 돌아간 상태이고, 도 19b는 카메라가 좌측으로 2도 만큼 돌아간 상태이며, 도 19c는 카메라가 원하는 위치에 설치된 상태이다.
도 18에서와 같이 상하 방향으로 카메라가 돌아가도록 설치된 사진과 비교했을 때에 도 19에서와 같이 카메라가 수평 방향으로 원하는 각도에 설치되지 않은 사진은 상대적으로 크게 왜곡된 화면을 제공하게 된다.
도 18 및 도 19에서 볼 수 있듯이 카메라의 설치 각도는 미세한 차이이더라도, 촬영되는 사진의 왜곡을 크게 가져올 수 있기 때문에, 카메라의 설치 각도에 조립 공차가 가능하면 적게 발생하도록 관리하는 것이 필요하다. 물론, 미세한 오차는 도 13을 통해 설명된 조정선을 통해서 조정될 수 있어, 최적의 사진을 제공할 수 있게 된다.
도 20은 카메라 하우징이 조립된 상태를 도시한 도면이고, 도 21은 제1하우징의 정면도이고, 도 22는 제2하우징의 정면도이며, 도 23은 제1하우징에 카메라가 설치된 상태를 도시한 정면도이고, 도 24는 도 23의 측단면도, 도 25는 카메라 하우징이 인너 케이스에 설치된 상태의 단면을 도시한 도면이다. 이하 도 20 내지 도 25를 참조해서 설명한다.
상기 카메라(70)를 상기 인너 케이스(12)에 설치하기 위해서 카메라 하우징을 구비할 수 있다. 즉, 도 14에 도시된 카메라를 수용하고, 상기 카메라를 저장실의 천정에 고정시키기 위한 카메라 하우징을 구비할 수 있다.
상기 카메라 하우징은 상기 인너 케이스(12)의 천정의 하면에 결합되는 제1하우징(400), 상기 인너 케이스(12)의 천정의 상면에 결합되는 제2하우징(410), 상기 제1하우징(400)에 결합되는 제3하우징(420) 및 제4하우징(430)를 포함할 수 있다. 여기서, 상기 제1하우징(400)은 저장실의 천정 상면에 결합된다고 할 수 있다.
상기 제3하우징(420)는 상기 카메라(70)의 투명창(80)을 제외한 다른 부분이 상기 저장실(22)에 직접 노출되지 않도록 상기 카메라(70)의 전방을 폐쇄할 수 있다. 즉 상기 제3하우징(420)는 상기 카메라(70)의 전면을 가리는 커버의 기능을 수행할 수 있다. 이때 상기 제3하우징(420)와 상기 제4하우징(430)는 하나의 구성요소로 이루어지는 것도 가능하다. 물론, 상기 제4하우징(430)은 상기 제3하우징(320)과 제1하우징(400) 사이에 개재되는 데코 하우징일 수 있다.
상기 제1하우징(400)에는 상기 카메라(70)가 조립되어서, 상기 카메라(70)의 좌우측 기울어짐 정도(수평방향 기울어짐 정도)와 전후측 기울어짐 정도(수직방향 기울어짐 정도)를 관리할 수 있다.
도 21에 도시된 바와 같이, 상기 제1하우징(400)은 상기 카메라(70)의 상기 제1안착편(75)이 안착되는 제1안착부(402)를 구비할 수 있다. 이때 상기 제1안착부(402)는 두 개가 마련되어서 상기 좌우의 제1안착편(75)이 각각 체결될 수 있다.
상기 제1안착편(75)은 상기 카메라(70)의 좌우측에 소정 각도로 기울어지도록 마련되어서, 상기 카메라(70)가 상기 인너 케이스(12)에 설치된 상태에서 원하는 각도로 기울어지도록 배치할 수 있다.
상기 제1안착부(402)에는 체결공(404)이 마련되어서, 상기 제1안착편(75)과 상기 제1안착부(402)는 스크류에 의해서 고정되는 것이 가능하다. 상기 제1안착부(402)는 수평 방향으로 서로 다른 높이에 배치되도록 마련되어서, 상기 카메라(70)를 안정적으로 고정할 수 있다.
상기 제1하우징(400)은 상기 카메라(70)의 상기 제2안착편(76)이 안착될 수 있는 제2안착부(408)를 구비할 수 있다. 이때 상기 제2안착부(408)도 소정의 면적을 가지도록 형성되어서, 상기 제2안착편(76)과 면접촉을 하면서 상기 카메라(70)의 기울어진 정도를 고정할 수 있다.
즉 상기 카메라(70)는 상기 제1하우징(400)와 복수 개의 면에 의해서 접촉하면서 결합되어서, 상기 카메라(70)가 원하는 각도로 기울어지도록 고정하는 기능을 수행할 수 있다. 다시 말하면, 3개소 이상의 지지점을 갖도록 고정됨과 동시에 상기 제1하우징(400)에 대해서 소정 각도를 갖도록 지지될 수 있다. 물론 수평 각도는 상기 제1하우징(400)과 나란하도록 고정될 수 있고, 수직 각도가 소정 각도가 되도록 고정될 수 있다.
상기 제1하우징(400)은 상기 제2하우징(410)와 스크류에 의해서 결합될 수 있도록 체결공(406)을 구비할 수 있다.
도 22에 도시된 바와 같이, 상기 제2하우징(410)는 상기 인너 케이스(12)의 천정의 상면에 면접촉될 수 있는 접촉면(416)을 구비한다. 이때 상기 접촉면(416)은 전체적으로 사각형의 형태를 이루면서 넓게 분포되어서, 상기 제2하우징(410)가 상기 인너 케이스(12)의 천정의 상면에 안정적으로 안착될 수 있다.따라서, 상기 제2하우징(410)의 접촉면(416)의 인너 케이스(12)의 천정과 나란한 면을 갖게 된다. 이를 통해 카메라의 설치 각도에 대한 기준선 또는 기준면이 상기 인너 케이스(12)의 천정면과 동일하도록 할 수 있다.
상기 제2하우징(410)는 상기 카메라(70)의 케이블(79)이 수용될 수 있는 수용 공간(412)을 구비할 수 있다. 상기 수용 공간(412)의 일측에는 관통공(418)이 형성되어서, 냉장고의 다른 구성요소로부터 연결되는 전선이 상기 수용 공간(412)으로 노출될 수 있다. 이때 상기 수용 공간(412)에서 냉장고의 다른 구성요소로부터 연결되는 전선과 상기 케이블(79)과 연결될 수 있다. 따라서 상기 카메라(70)에는 상기 케이블(79)을 통해서 전기가 공급될 수 있고, 상기 카메라(70)에서 촬영된 사진에 대한 신호가 다른 구성요소로 전달될 수 있다.
상기 제2하우징(410)에는 상기 제1하우징(400)에 결합되는 체결부(414)가 구비될 수 있다. 상기 체결부(414)는 상기 체결공(406)과 스크류에 의해서 결합될 수 있다. 상기 체결부(414)는 상기 체결공(406)과 결합될 때에 조립에 의한 오차가 발생하지 않는 것이 바람직하다. 따라서 상기 체결공(406)과 면접촉이 되도록 소정 높이 만큼 돌출되도록 형성되는 것도 가능하다.
도 23 및 도 24에 도시된 것처럼, 상기 카메라(70)가 상기 제1하우징(400)에 조립되면 상기 카메라(70)는 설정된 각도 만큼 경사진 형태로 배치될 수 있다. 도 24에 도시된 처럼, 상기 제1하우징(400)의 일측면(400a)은 상기 인너 케이스(12)에 접촉될 수 있도록 평면을 이루는 형상이다. 상기 카메라(70)는 상기 제1하우징(400)의 일측면(400a)과 대비했을 때에, 소정 각도로 경사져 있다. 그리고 상기 일측면(400a)는 제2하우징(410)의 접촉면(416)과 나란하도록 상기 인터 케이스(12)의 천정 하면에 결합된다. 따라서, 카메라(70)을 제1하우징(400)에 결합하고, 상기 제1하우징(400)을 제2하우징(420)에 결합함에 따라 상기 저장실의 천정면에 대한 상기 카메라(70)의 설치 각도의 오차를 현저히 줄일 수 있다.
도 25를 참조하면 상기 제2하우징(410)는 상기 인너 케이스(12)의 상부, 즉 상기 인너 케이스(12)와 상기 아우터 케이스(10)의 사이 공간에 발포액이 충진되는 공간에 노출되도록 배치된다. 상기 제2하우징(410)는 상기 저장실(22)의 외부에 배치되지만, 상기 아우터 케이스(10)에 의해서 구획되는 공간에 배치되게 된다. 상기 제2하우징(410)는 상기 인너 케이스(12)에 접착되어 위치가 가고정된 후에, 상기 인너 케이스(12)와 상기 아우터 케이스(10)의 사이에 충진되는 발포액에 의해서 최종적으로 고정될 수 있다.
상기 인너 케이스(12)를 사이에 두고, 상기 제1하우징(400)는 상기 제2하우징(410)에 결합될 수 있다. 상기 제2하우징(410)가 상기 인너 케이스(12)의 특정 위치에 고정된 상태에서, 상기 제1하우징(400)가 상기 제2하우징(410)에 결합되기 때문에 상기 카메라(70)의 위치가 고정될 수 있다.
상기 제1하우징(400)에 상기 카메라(70)가 특정 각도로 기울어진 상태에서, 상기 제3하우징(420)와 상기 제4하우징(430)가 상기 제2하우징(410)에 결합될 수 있다. 상술한 바와 같이, 상기 제3하우징(420)와 상기 제4하우징(430)는 하나의 구성요소로 이루어져서, 상기 제1하우징(400)에 상기 제3하우징(420)의 기능을 수행하는 구성요소만 결합되는 것도 가능하다.
상기 제3하우징(420)는 상기 카메라(70)의 상기 투명창(80)만이 상기 저장실(22)로 노출되도록 하고, 다른 부분은 노출되지 않도록 할 수 있다. 따라서 상기 카메라(70)가 상기 저장실(22)에 존재하는 수분이나 먼지, 냉기 등에 의해서 영향을 받는 것을 방지할 수 있다.
카메라의 하우징의 구조와 상기 인너 케이스에 대한 카메라 하우징의 설치 방향, 설치 형태 등은 상기 투명창(80)에 발생되는 결로 현상을 줄이기 위한 기술적 의미를 또한 가진다. 관련된 구체적인 설명은 추후에 한다.
도 26은 본 발명에서 카메라의 소모 전력을 비교한 표이고, 도 27은 공급되는 대기 전류와 구동 전류를 비교한 도면이다. 도 26a는 비교례에서 카메라에 전류가 공급되는 상태를 도시하고, 도 27b는 본 발명에서 카메라에 전류가 공급되는 상태를 도시한다. 이하 도 26 및 도 27을 참조해서 설명한다.
비교례에서는 상기 카메라(70)에 대기 전류가 70mA가 공급되다가, 도어가 개방되는 시점에 50mA가 추가로 공급되어서 상기 카메라(70)에 구동 전류 120mA가 공급된다. 비교례에서는 상기 카메라(70)에서 1일에 25회 개방되면 1달에 253Wh가 소모되고, 1일에 50회 개방되면 1달에 254Wh가 소모되는 결과가 발생한다.
반면에 본 발명의 실시예에서는 상기 카메라(70)에 대기 전류가 20mA가 공급되다가, 도어가 개방되는 시점에 100mA가 추가로 공급되어서 상기 카메라(70)에 구동 전류 120mA가 공급될 수 있다. 상기 카메라(70)에서 1일에 25회 개방되면 1달에 74Wh가 소모되고, 1일에 50회 개방되면 1달에 76Wh가 소모되는 결과가 발생한다.
두 개의 실험 결과를 비교해보면, 대기 전류를 낮추는 것에 의해서 상기 카메라(70)에서 소모되는 전력을 대략 70% 감소시킬 수 있음을 알 수 있다. 따라서 구동 전류가 동일하다는 전제하에 대기 전류를 낮추는 것에 의해서 상기 카메라(70)에서 소모되는 전력을 크게 감소시킬 수 있다는 것이 확인되었다. 왜냐하면, 24시간 연속으로 냉장고가 운전될 때 도어가 개방되는 시간은 상대적으로 매우 짧기 때문이다. 따라서, 작동 모드에서 촬영을 위해 필요한 전류값이 일정하다고 할 때, 대기 모드에서 카메라에 인가되는 전류값을 낮출수록 소비 전류를 줄일 수 있게 된다.
대기 전류를 낮추게 되면 도 27에 도시된 바와 같이, 상기 카메라(70)에 구동 전류가 공급되는 시점이 늦어지게 된다. 왜냐하면, 대기 전류값과 구동 전류값의 차이로 인해, 딜레이 타임이 증가될 수 밖에 없기 때문이다. 다시 말하면, 대기 모드에서 구동 모드로 전환되면, 곧바로 사진 촬영이 수행되지 않고 소정의 딜레이 타임이 경과되어 사진이 촬영될 수 밖에 없다.
따라서 상기 카메라(70)에서 실제로 사진이 촬영되는 시점이 늦어지게 된다. 상기 카메라(70)에 사진을 촬영하라는 명령이 전달된 시점과 실제 상기 카메라(70)에서 사진을 촬영하는 시점에 차이가 크면 실제로 상기 카메라(70)에서 촬영된 사진은 사용자에게 식품 정보를 바람직하게 제공하지 못할 수 있다.
다시 말해서 대기 전류는 낮으면 낮을수록 상기 카메라(70)에서 소모되는 전력이 줄어든다는 장점이 있지만, 상기 카메라(70)를 구동하기 위한 구동 전류로 상승시키는 데에 딜레이 타임이 길어질 수 있다. 따라서 사용자가 원하는 시점에 사진을 촬영할 수 있는 데에 경과되는 통상의 시간을 산출해서, 해당 시간 보다는 딜레이 타임이 줄어들도록 대기 전류값을 선택하는 것이 바람직하다. 이러한 이유로, 본 발명의 실시예에 따르면, 대기 전류값에서 구동 전류값으로 단계적으로 인가되는 전류를 상승시키는 것이 바람직하다. 즉, 충분한 딜레이 타임을 갖고 상대적으로 낮은 대기 전류값에서 상대적으로 높은 구동 전류값으로 인가되는 전류값 단계적으로 증가시킬 수 있다. 즉, 전류값의 급격한 상승을 방지할 수 있다. 따라서, 소비 전력을 낮춤과 동시에 카메라의 안정성을 도모할 수 있다.
따라서 본 발명의 실시예에서는 도 28 및 도 29에서와 같이, 상기 카메라(70)를 상기 도어(20)가 개방되는 시점에 구동을 시작하도록 제어한다. 즉, 도어 스위치를 통해 도어가 개방되는 것으로 판단하면, 대기 모드에서 구동 모드로 전환한다. 그러나, 카메라가 촬영하는 사진 중에서 유효한 사진은 도어가 개방되는 시점에서 적어도 소정 시간이 경과된 이후이다. 왜냐하면, 도어가 열리고 사용자가 식품을 업데이트 하는 데에도 물리적으로 몇 초 이상 걸릴 수 밖에 없기 때문이다.즉 딜레이 타임이 길어지더라도 충분히 원하는 시점에 사진을 획득할 수 있다. 따라서, 본 실시예에서는 카메라의 대기 모드에서 구동 모드로의 전환 시점은 도어 스위치의 감지 결과에 의해서 수행된다고 할 수 있다. 그리고, 유효한 사진을 선택하는 기준 시점은 도어 센서의 감지 결과에 의해서 수행된다고 할 수 있다.
도 28은 카메라의 사진 촬영 시작 시점 및 카메라의 연속 촬영에 대해 설명한 도면이다. 이하 도 28을 참조해서 설명한다.
한편 본 발명에서는 도 4에 도시된 것처럼, 상기 도어 스위치를 포함할 수 있다. 상기 도어 스위치(110)에서 상기 저장실(22)의 개방이 감지되면, 상기 카메라(70)에서 사진을 촬영하는 것을 시작하도록 상기 제어부(100)에서 명령할 수 있다. 즉 상기 도어(20)가 이동 또는 회전되어 상기 저장실(22)이 개방되면 상기 카메라(70)에서 사진 촬영을 시작할 수 있다.
반면에 상기 도어 스위치(110)에서 상기 저장실(22)의 밀폐가 감지되면, 상기 카메라(70)에서 사진을 촬영하는 것을 중단하도록 상기 제어부(100)에서 명령할 수 있다. 즉 상기 도어(20)가 이동 또는 회전되어 상기 저장실(22)이 밀폐되면 상기 카메라(70)에서 사진 촬영을 종료할 수 있다.
도 28에 도시된 것처럼, 냉장고에 외부 전원에 의한 전기가 공급되면, 상기 카메라(70)에서 대기 전류가 공급된다(S1). 이때 상기 카메라(70)는 대기 모드로 구동되는 상태일 수 있다. 대기 모드에서는 상기 카메라(70)는 사진을 촬영하지는 않는다.
상기 도어 스위치(110)에서 상기 도어(20)의 개방이 감지될 수 있다(S10).
상기 도어(20)가 상기 저장실(22)을 개방한다고 판단되면, 상기 카메라(70)는 사진 촬영을 시작할 수 있다(S14). 특히 상기 카메라(70)는 소정 시간 간격으로 연속적으로 사진을 촬영할 수 있다.
이때 상기 카메라(70)에는 대기 모드에서 공급되던 전류보다 큰 전류가 공급되기 때문에, 상기 카메라(70)는 구동 모드로 수행될 수 있다. 상기 카메라(70)를 구동하기 위해 대기 전류보다 큰 전류, 구동 전류가 공급되기 위해서는 소정의 시간, 즉 딜레이 타임이 발생할 수 밖에 없다. 즉 상기 카메라(70)에 공급되는 전류의 크기가 커지려면 실제로 일정 시간이 필요하기 때문이다. 상기 카메라(70)에 구동 모드 수행을 위한 전류가 공급된 후에 소정 시간의 딜레이 타임이 경과해야 한 후에, 상기 카메라(70)에는 구동 전류가 공급되어서 상기 카메라(70)는 사진을 비로소 촬영할 수 있다.
상기 카메라(70)는 상기 도어(20)가 개방되는 시점부터 촬영을 위한 구동 모드로 전환되기 때문에, 사진이 촬영되는 시작 시점이 빨라서, 특정 시점에 사진을 촬영하지 못할 위험이 줄어든다. 만약 촬영을 원하는 시점 이전까지 대기 전류를 공급하다가, 원하는 시점에 전류값을 상승시킨다면 딜레이 타임으로 인해서 사진의 촬영 시점이 지연되기 때문이다.
또한 상기 카메라(70)에서 1초에 촬영하는 사진의 장수를 줄일 수 있다. 상기 카메라(70)에서 1초에 30장의 사진을 촬영한다고 가정하면, 사진이 촬영되는 시간 간격 즉 1/30초 동안에 상기 저장실(22) 내부의 변화가 발생할 가능성은 극히 작기 때문이다. 상기 저장실(22)의 내부는 사용자의 동작에 의해서 변화될 수 있는데, 일반적인 사람은 상기 저장실(22)에 대해서 1/30초 동안 행위를 종료할 가능성은 적기 때문이다. 즉 상기 카메라(70)에서 촬영되는 시간 간격을 상대적으로 증가시킬 수 있다. 따라서 상대적으로 저가의 상기 카메라(70)를 사용할 수 있어서, 냉장고의 원가가 절감될 수 있다.
상기 카메라(70)에 의해서 촬영된 사진은 상기 저장부(18)에 저장될 수 있다(S16). 또한 상기 카메라(70)에서 1초 동안에 촬영되는 사진의 개수가 줄어들면 상기 저장부(18)에 저장되는 사진의 장수도 줄어들게 되어서, 상기 저장부(18)를 보다 효율적으로 운용할 수 있다.
한편 상기 도어 센서(120)에서 상기 도어(20)가 특정 각도로 회전되는지를 감지할 수 있다(S18).
만약 상기 도어 센서(120)에서 상기 도어(20)가 회전되는지가 감지되지 않으면, 상기 저장부(18)에 저장된 사진 중에서 소정 시간 이전의 사진은 삭제할 수 있다(S90). 즉 사용자에게 제공하기 위해서 가공되지 않는 사진은 삭제해서, 상기 저장부(18)의 용량이 커지는 것을 방지할 수 있다.
반면에 상기 도어 센서(120)에서 상기 도어(20)가 특정 각도로 회전되었다고 판단하면, 해당 시점에 촬영된 사진을 선택한다(S92). 이때 선택된 사진은 유효사진으로서 상기 제어부(100)에 의해서 가공되어서 사용자에게 제공될 수 있다. 예를 들어, 상기 제어부(100)에 의해서 가공된 사진은 상기 디스플레이(14)에 전달될 수 있다.
사용자가 상기 저장실(22)에 접근하기 위해서, 상기 도어(20)를 회전시키는 동작을 수행하는 데에는 일정 시간이 필요하다. 해당 시간 동안 상기 카메라(70)의 딜레이 타임이 경과되기 때문에, 상기 도어(20)가 특정 각도에 회전된 시점에 사진이 촬영될 수 있다. 따라서 상기 제어부(100)는 원하는 시점에 사진을 선택할 수 있다.
만약 상기 도어 센서(120)가 감지한 시점에 상기 카메라(70)에서 사진을 촬영하도록 대기 모드에서 구동 모드로 전환된다면, 해당 시점보다 딜레이 타임이 경과된 후의 저장실 상태를 촬영할 수 밖에 없다는 문제가 있을 수 있다.
한편 상기 도어(20)가 개방된 시점에 상기 카메라(70)에서 촬영을 시작하기 때문에, 상기 카메라(70)에 상대적으로 적은 크기의 대기 전류가 공급되는 것이 가능하다. 대기 전류가 적게 공급되면, 구동 전류가 공급되기까지 딜레이 타임이 커지게 되지만, 상술한 제어 흐름에서는 상기 카메라(70)에서 일찍 촬영을 시작하기 때문에 원하는 시점에 사진을 촬영하지 못하는 문제는 발생하지 않는다.
도 29는 카메라의 사진 촬영 시작 시점 및 카메라의 연속 촬영에 대해 설명한 도면이다. 이하 도 29를 참조해서 설명한다.
도 29는 도 28과 달리, 상기 도어(20)의 회전 상태에 따라 사진 선택 시점이 정해지는 것이 아니라, 상기 드로워(50)의 상태에 따라 사진 선택 시점이 정해진다는 차이가 있다. 이외의 부분은 동일하고, 동일한 부분에 대해서는 설명의 편의를 위해서 생략한다. 그러나, 드로워(50)의 조작은 도어(20)의 개방을 전제로 한다고 할 수 있다. 특정 사진을 선택하는 기준 시점은 도어 센서의 판단에 의해 결정될 수 있고, 특정 사진 내에서 특정 영역에 대한 사진을 선택하는 기준 시점은 도어 센서의 판단과 드로워 감지부(130)의 판단에 의해 결정될 수 있을 것이다. 따라서, 어느 경우나 유효 사진의 기준 시점이 결정되기 위해서는 도어 센서의 판단 결과를 필요로 하게 된다.
상기 드로워(50)에 식품을 저장하거나, 상기 드로워(50)에 저장된 식품을 외부로 반출하기 위해서, 사용자는 상기 드로워(50)를 인출할 수 있다. 이때 사용자는 상기 드로워(50)를 사용하기 위해서 상기 드로워(50)를 충분한 길이 만큼 인출할 수 있다.
사용자가 상기 드로워(50)에 대한 사용을 완료한 후에, 상기 드로워(50)를 밀어 넣을 수 있다. 이러한 상태가 발생되는 시점은 S19에서 기재된 특정 상태를 의미할 수 있다.
상기 카메라(70)는 상기 도어 스위치(110)에서 상기 도어(20)가 개방된 시점부터 촬영을 시작하기 때문에, 상기 드로워(50)가 특정 상태에 놓여지게 된다면, 해당 시점에 촬영된 사진을 선택해서 사용자에게 제공될 수 있다(S92).
상기 도어(20)가 개방되면 상기 카메라(70)에서 사진이 촬영되고, 사진이 촬영되는 시점 즉, 상기 도어(20)가 개방되는 시점부터 상기 드로워(50)의 움직임이 감시될 수 있다.
도 30은 드로워 감지부의 일 실시예를 도시한 도면이고, 도 31은 도 30의 드로워 감지부에서 드로워의 이동을 감지하는 방식을 설명한 도면이다. 이하 도 30 및 도 31을 참조해서 설명한다.
도 30을 참조하면, 상기 드로워 감지부(130)를 상기 제어부(100)에 구비하는 것이 아니라, 별도의 구성요소로 구현하는 것도 가능하다.
상기 드로워 감지부(130)는 한 개의 발광부와 두 개의 수광부를 구비하는 것이 가능하다. 즉 한 개의 발광부로부터 조사된 빛이 두 개의 수광부에 입사되는 시점을 분석해서, 상기 드로워(50)의 이동 방향을 감지할 수 있다.
상기 드로워(50)에는 복수 개의 슬릿(134)를 연속적으로 배치해서, 상기 드로워 감지부(130)의 발광부에서 조사되는 빛이 상기 슬릿(134)에 입사되면 반사되지 않도록 할 수 있다. 따라서 두 개의 수광부에 빛이 순차적으로 입사될 수 있도록 할 수 있다.
도 31에서 x축은 시간을 의미하고, y축은 두 개의 수광부(Photo TR1, Photo TR2)에서 빛이 수신될 때의 신호를 의미한다. 즉 도 31a에서는 Photo TR1에서 Photo TR2보다 먼저 빛이 수신되고, 도 31b에서는 Photo TR2에서 Photo TR2보다 먼저 빛이 수신된다.
도 31b에서는 사용자가 상기 드로워(50)를 사용하기 위해서 인출하는 이동 상태를 의미하고, 도 31a에서는 사용자가 상기 드로워(50)의 사용을 마치고 상기 드로워(50)를 원래 위치로 인입시키는 상태를 의미할 수 있다.
따라서 상기 드로워 감지부(130)에서 도 31a와 같이 신호를 감지하면, 상기 제어부(100)는 카메라(70)에서 촬영된 사진을 획득할 시점이라고 판단하고, 해당 시점에서 상기 드로워(50)의 내부, 즉 상기 제3영역에 해당하는 사진으로 선택할 수 있다. 즉, 드로워 감지부(130)의 감지 또는 판단 결과에 따라 제3영역에 해당하는 사진의 획득 시점이 결정될 수 있다. 물론, 이때 획득된 사진에서 제3영역에 해당하는 부분 다른 영역에 해당하는 부분과는 독립적 그리고 개별적으로 선택, 분리 및 업데이트될 수 있다.
도 32는 드로워에 마커 표시된 상태를 도시한 도면이다. 이하 도 32를 참조해서 설명한다.
도 30 및 도 31과는 달리, 별도의 기계 또는 전자적 장치를 이용하지 않더라도, 상기 드로워(50)에 특정한 표시인 마커(marker)를 이용해서 상기 드로워(50)의 이동을 감지할 수 있다.
상기 드로워(50)에는 다양한 형태의 마커(흑백의 색깔을 가지는 무늬)가 마련될 수 있다. 상기 카메라(70)는 촬영된 사진을 통해서 상기 마커의 이동을 분석해서, 상기 드로워(50)의 이동 여부 및 이동 방향을 판독할 수 있다. 이때 상기 마커의 분석은 상기 제어부(100)의 상기 드로워 감지부(130)에서 이루어지는 것이 가능하다. 즉, 상기 드로워 감지부(130)에서는 연속적으로 촬영되는 사진들에서의 마커의 이동을 분석하여 드로워(50)의 상태를 판단할 수 있다. 따라서, 드러워 감지부(130)의 감지 또는 판단 결과에 따라 제3영역에 해당하는 사진의 획득 시점이 결정될 수 있다. 물론, 이때 획득된 사진에서 제3영역에 해당하는 부분 다른 영역에 해당하는 부분과는 독립적 그리고 개별적으로 선택, 분리 및 업데이트될 수 있다.
도 32에서는 마커가 카메라의 형상을 간략화한 이미지와, '스마트 센서'라는 글자를 포함하고 있다. 한편 상기 마커은 다양한 형태의 무늬를 포함할 수 있고, 흑백이 서로 교차되는 형태로 마련되어서, 상기 카메라(70)에서 인식가능하도록 할수 있다.
이때 마커는 상기 카메라(70)에서 인식이 가능하도록, 상기 드로워(50)의 전면 상측에 표시되는 것이 가능하다.
도 33(a)는 좌우측 드로워가 인출된 상태를 촬영한 사진을 도시한 도면이고, 도 33(b)는 좌측 드로워는 인입되고, 우측 드로워는 인출된 상태를 도시한 도면이다. 이하 도 33(a) 및 도 33(b)를 참조해서 설명한다.
도 33에서 상기 마커는 상기 드로워(50)의 상측의 중앙에 마련되고, 물결 형태의 무늬를 이루는 예가 도시되어 있다.
상기 카메라(70)에 의해서 촬영된 한 장의 사진에는 상기 제1영역(42)이 표현될 수 있다. 또한 한 장의 사진에는 상기 제2영역(52) 또는 상기 제3영역(62) 중에 하나가 도시될 수 있다.
즉 도 33(a)에서와 같이 좌우측 드로워가 인출된 상태에서 촬영된 사진에는 좌우측에 배치된 상기 제1영역(42)과 좌우측에 배치된 상기 제2영역(52)이 도시된다.
반면에 도 33(b)에서와 같이 우측 드로워만 인출된 상태에서 촬영된 사진에는 좌우측에 배치된 상기 제1영역(42)과 좌측의 제3영역(62) 및 우측의 제2영역(52)이 도시될 수 있다.
즉 상기 드로워(50)가 인출되면 사진에서 상기 제3영역(62)은 도시되지 않고 상기 제2영역이 도시된다. 반면에 상기 드로워(50)가 인입되면 사진에서 상기 제2영역(52)은 도시되지 않고 상기 제3영역(62)이 도시된다.
상기 카메라(70)는 동일한 위치에서 사진을 촬영한다. 상기 드로워(50)는 이동될 수 있고, 따라서 상기 드로워(50)의 위치에 따라 상기 카메라(70)에서 획득되는 사진은 다양한 영역에 대한 사진을 촬영할 수 있다.
한편 도 33(b)에 도시된 바와 같이, 좌측에 구비되는 상기 드로워(50)가 상기 선반(40)의 하부 공간으로 완전히 인입되면, 마커는 상기 카메라(70)에 의해서 인식되지 못한다. 즉 상기 카메라(70)에 의해서 찍힌 사진에는 마커가 도시되어 있지 않다.
도 34 내지 도 40을 통해서 마커를 이용해서 드로워의 이동을 감지하는 방법에 대해서 설명한다.
도 34는 본 발명의 일 실시예에 따른 냉장고 동작 방법을 설명하기 위한 흐름도이다.
도 34를 참조하면, 상기 도어 스위치(110)에서 상기 도어(20)의 개방이 감지되면, 상기 카메라(70)는 사진 촬영을 시작하고(S2101), 제어부(100)는 마커 인식 동작 및 마커 추적 동작을 개시한다(S2103).
이하에서는, 도면 부호 S2101 단계 및 S2103 단계를 보다 상세하게 설명하기 위하여, 도 35를 참조하여 설명한다.
도 35은 본 발명의 일 실시예에 따른 마커 인식 및 추적 방법을 설명하기 위한 흐름도이다.
도 35을 참조하면, 상기 도어(20)가 개방되면 상기 카메라(70)는 사진을 촬영을 시작한다(S2301).
상기 제어부(100)는 상기 카메라(70)를 제어하여 드로워(50)의 내부 사진을 획득한다(S2303).
이어서, 제어부(100)는 획득된 사진을 처리하여(S2305), 획득된 사진에서 미리 정해진 마커가 인식되는지 여부를 판단한다(S2307).
제어부(100)는 미리 정해진 마커의 인식 여부를 판단하기 위하여, 획득된 사진으로부터 인식되는 마커가 미리 저장된 마커과 동일한지 비교할 수 있다.
미리 정해진 마커은 사업자 또는 사용자에 의하여 결정될 수 있으며, 사전에 저장부(18) 등에 저장될 수 있다.
마커는 카메라로부터 촬영된 사진에서 검색이 가능한 영역에 형성될 수 있다. 이하에서, 도 36 및 도 37을 참조하여, 제어부(100)에서 인식 및 추적이 가능한 마커에 대하여 상세하게 설명한다.
도 36은 본 발명의 일 실시예에 따른 드로워의 인출입 시점 감지를 위한 마커를 설명하기 도면이다.
도 36의 (a)를 참조하면, 마커(marker)는 상기 드로워(50)가 열리기 시작하는 시점부터 카메라(70)에 의해 검색이 가능한 영역에 형성될 수 있다. 예를 들어, 카메라(70)가 냉장고의 상단에 위치하여, 드로워(50)의 평면을 촬영할 수 있는 경우, 마커는 드로워(50) 상단의 전단부에 위치할 수 있다. 또한, 카메라(70)의 시야는 드로워(50)가 완전히 닫힌 상태로부터 드로워(50)이 완전히 열린 상태까지 촬영할 수 있을 정도로 설치될 수 있다.
마커가 드로워(50)의 상단에 위치하는 경우는, 드로워(50) 내부의 저장물 정리가 완료된 후 드로워(50)가 닫히는 시점에 드로워(50)의 상단에 방해물이 없는 경우를 예정하고 있으며, 이에 한정될 것은 아니다.
도 36의 (b)를 참조하면, 카메라(70)의 시점에서 드로워(50)가 수납되는 드로워칸(54) 및 드로워(50)을 바라볼 때, 카메라(70)는 드로워(50)가 열리기 시작하는 상태로부터 드로워(50)가 완전히 열린 상태까지 모든 범위에서, 마커가 포함된 드로워(50)의 내부를 촬영할 수 있다.
도 37은 본 발명의 일 실시예에 따른 마커의 모양을 설명하기 위한 도면이다.
도 37을 참조하면, 마커는 두 가지 색상의 동일한 모양이 교차하여 반복되는 형태로 형성될 수 있다.
도 37의 (a)를 참조하면, 마커는 흰 색의 정사각형과 검은 색의 정사각형이 교대로 반복된 띠 복수 개가 교차하여 나열된 형태로 형성될 수 있다.
도 37의 (b)를 참조하면, 마커는 흰 색의 기울어진 사각형과 검은 색의 기울어진 사각형이 교대로 반복된 띠 복수 개가 교차하여 나열된 형태로도 형성될 수 있다.
이와 같이, 반복되는 형태의 마커는 카메라 촬영 범위로부터 마커의 일부가 가려지는 경우에도 제어부(100)에서 마커 인식 및 추적이 가능하다는 장점이 있다. 다만, 마커는 반복되는 형태에 한정될 것은 아니고, 복수의 색상으로 한정될 것도 아니다. 마커는 앞서 설명한 바와 같이, 드로워(50) 등의 이동성이 있는 냉장고 내부 구성의 이동 여부를 인식할 수 있을 정도의 형태로 족하다.
다시, 도 35를 참조하면, 미리 정해진 마커가 인식된 경우, 제어부(100)는 인식된 마커의 이동을 감지한다(S2311). 제어부(100)는 지속적으로 또는 주기적으로 획득된 사진을 분석 처리하여, 인식된 마커가 이동하는지 또는 정지하는지를 판단할 수 있다. 예컨대, 제어부(100)는 드로워(50)의 열림 동작이 지속 또는 완료되거나, 드로워(50)의 닫힘 동작이 개시, 지속 또는 완료되는 경우에, 마커의 이동 또는 정지 여부를 판단할 수 있다.
또는, 미리 정해진 마커가 인식되지 않는 경우, 제어부(100)는 마커 인식에 실패하였음을 사용자에게 알린다(S2309).
예컨대, 마커에 방해물이 위치하는 경우, 카메라가 마커가 포함된 사진을 획득하지 못하거나, 제어부(100)가 획득된 사진으로부터 마커를 인식할 수 없을 수 있다. 이러한 경우, 제어부(100)는 마커 인식에 실패하였음을 알리는 정보, 방해물 제거 등 마커 인식에 성공하기 위한 방법을 알리는 정보 등을 디스플레이(14) 등을 통해 사용자에게 알릴 수 있다.
이어서, 제어부(100)는 마커 인식에 실패한 경우, 카메라를 통해 새롭게 획득된 사진을 처리하여 미리 정해진 마커를 인식하는 단계를 반복하여 수행할 수 있다.
다시 도 34를 참조하면, 마커 인식 후, 드로워 닫힘 동작이 감지되면(S2105), 제어부(100)는 해당 시점에 촬영된 사진을 통해 드로워 내부(상기 제3영역(62))를 포함하는 최종 사진을 획득한다(S2107). 이때, 제어부(100)가 획득하는 드로워 내부의 최종 사진에는, 드로워 닫힘 동작이 감지되기 직전의 드로워 내부의 모습 또는 드로워 닫힘 동작이 감지된 직후의 드로워 내부의 모습일 수 있으며, 이에 한정되는 것은 아니다.
드로워 닫힘 동작의 감지 여부는 도 38를 참조하여 설명한다.
도 38는 본 발명의 일 실시예에 따른 드로워 닫힘 동작의 감지 방법을 설명하기 위한 흐름도이다.
도 38를 참조하면, 제어부(100)는 드로워(50)의 열림 동작 종료가 감지되었는지 여부를 판단한다(S2501). 예컨대, 제어부(100)는 앞서 획득된 드로워(50)의 사진으로부터 마커을 인식하고, 마커의 움직임을 추적하여, 마커의 이동을 멈추었음을 감지하는 경우에, 드로워(50)의 열림 동작이 종료되었음을 감지할 수 있다.
이어서, 제어부(100)는 드로워(50)의 닫힘 동작 개시가 감지되었는지 여부를 판단한다(S2503). 예컨대, 제어부(100)는 마커가 이동을 멈추었다가 반대 방향으로 다시 이동을 시작하는 경우에, 드로워(50)의 닫힘 동작이 개시되었음을 감지할 수 있다.
한편, 본 발명의 또 다른 실시예와 관련된 드로워 닫힘 동작을 감지한 제어부(100)의 동작에 대하여 도 39를 참조하여 설명한다.
도 39는 본 발명의 일 실시예에 따른 드로워 닫힘 동작의 완료 감지시 수행되는 냉장고의 동작을 설명하기 위한 흐름도이다.
제어부(100)는 드로워 닫힘 동작 종료가 감지된 경우(S2701), 마커 인식을 통한 최종 사진 획득에 성공하였는지 여부를 판단한다(S2703).
제어부(100)는 상기 드로워 감지부(130)의 영상 처리를 통해 드로워(50)의 닫힘 동작이 종료되었음을 감지할 수 있다.
제어부(100)는 방해물 등에 의하여 마커가 정상적으로 인식되지 않은 결과, 최종 사진 획득에 실패한 경우, 마커 인식에 실패하였음을 사용자에게 알린다(S2705).
제어부(100)는 디스플레이(14) 등을 통하여 사용자에게 마커 인식에 실패하였다는 정보를 알려줄 수 있다. 이는 사용자로 하여금 방해물을 제거하도록 안내하고, 정상적인 마커 인식과 최종 이미지 획득을 위하여 드로워을 인출입하도록 유도할 수 있다.
다시 도 34를 참조하면, 제어부(100)는 디스플레이(14) 등을 이용하여 최종 이미지를 표시한다(S2109). 이때 사용자에게 제공되는 형태는 획득된 최종 사진에서 제3영역(62)에 해당되는 부분만을 발췌한 부분일 수 있다. 다음은 도 40을 참조하여, 본 발명의 또 다른 실시 예에 따른 최종 이미지 제어에 대하여 설명한다.
도 40은 본 발명의 일 실시 예에 따른 특정 시점에 촬영된 냉장고 내부 특정 영역의 이미지를 제어하는 방법을 설명하기 위한 흐름도이다.
도 40을 참조하면, 제어부(100)는 최종 사진을 획득하여(S2901), 최종 사진 중에 원하는 영역에 해당하는 이미지를 잘라낼 수 있다. 그리고 획득된 최종 이미지를 저장부(18)에 저장한다(S2903).
이어서, 제어부(100)는, 사용자의 입력 등을 통해서 최종 이미지 표시를 위한 사용자 입력을 수신하는지 여부를 판단한다(S2905).
예컨대, 최종 사진 획득시, 제어부(100)는 터치 스크린으로 구성된 디스플레이(14)에 최종 사진 획득 성공을 알리는 정보와 함께 아이콘 형태의 사용자 입력부를 형성할 수 있으며, 해당 아이콘이 선택되는지 여부에 따라 사용자 입력 수신 여부를 판단할 수 있다. 사용자 입력부는 터치 스크린에 형성된 아이콘 이외에도 앞서 설명한 바와 같이 물리 키 등을 포함할 수 있으며, 이에 한정되지 않는다.
이어서, 제어부(100)는 최종 사진에서 가공된 최종 이미지 표시를 위한 사용자 입력을 수신한 경우, 최종 이미지를 표시한다(S2907). 제어부(100)는 디스플레이(14)를 이용하여 최종 이미지를 표시할 수 있다. 이러한 최종 이미지의 표시는 기존의 이미지를 대체하여 표시하는 것이라 할 수 있다. 따라서, 최종 이미지의 업데이트라 할 수 있다.
물론, 이러한 최종 이미지의 업데이트는 사용자의 입력과 무관하게 자동적으로 수행될 수도 있을 것이다.
이와 같은 본 발명의 실시 예에 따르면, 냉장고는 드로워 등에 미리 형성된 마커을 인식하여 드로워 등의 이동 여부를 감지할 수 있다. 또한, 냉장고는 내부에 설치된 카메라를 이용하여 드로워 등에 보관된 저장물의 최종 상태를 이미지 형태로 획득할 수 있다. 이때, 냉장고는 드로워 등에 형성된 마커을 이용하여, 드로워 등의 최종 저장 상태를 획득할 수 있는 최적의 시점을 결정할 수 있다.
이하, 카메라의 설치위치 및 그에 따라 획득가능한 사진에 관해서 설명한다.
본 발명의 실시예는 상기 드로워(50)의 바깥, 즉 상기 저장실(22)에 카메라(70)를 설치하여 드로워(50) 내부와 드로워(50)를 형성하는 드로워 몸체(즉, 전후측벽, 양측벽의 상부 등을 포함)의 이동 경로까지를 포함하는 사진을 연속적으로 촬영해서 드로워 내부 물품 보관 상태 뿐만 아니라 드로워의 이동상태를 동시에 인식할 수 있다. 물론 카메라(70)에서 촬영되는 사진은 드로워(50)의 상측 공간, 즉 제1영역(42)에 해당되는 부분까지 함께 촬영된다.
기본적으로 카메라에서 촬영되는 사진은 드로워의 개폐 동작과 드로워가 이동하는 경로를 모두 포함할 수 있어야 한다. 따라서 카메라는 드로워의 외부에서 드로워의 개폐 및 이동 경로를 촬영할 수 있는 위치에 설치되어야 한다. 즉, 카메라는 적어도 드로워가 닫힌상태와 완전히 개방된 상태를 모두 하나의 사진으로 촬영 가능한 위치에 설치되는 것이 바람직하다.
더 나아가, 카메라(70)는 상기 드로워 영역 뿐만 아니라 저장실의 또 다른 저장영역, 예를 들어 선반에 의해 분할되어 식품 또는 물품이 보관되고 있는 선반 영역까지 한 번의 촬영으로 하나의 사진에 모두 포함되게 하여 하나의 카메라로 드로워영역을 포함한 다른 저장영역, 즉 복수 개의 저장영역을 커버하도록 구성할 수 있다.
이를 위해 상기 드로워(50)는 냉장고 저장실 내의 저면에 형성되는 것이 바람직하다. 상기 드로워(50)는 전면벽(front wall)과 두 개의 양측벽(side walls), 후면벽(rear wall)과 바닥면(bottom wall)과 상부의 개구로 이루어질 수 있다. 상기 카메라(70)는 상기 드로워(50)에 대해 적어도 드로워 내부의 일부와 드로워가 완전 개방된 상태의 드로워의 전면벽 상부가 노출될 수 있도록 드로워 상부에 마련해야 한다.
그리고, 특정 무늬로 이루어진 인쇄부(Marker)를 상기 카메라에 노출되는 드로워의 전면벽 또는 양측벽 상면의 어느 위치에 형성 또는 부착시킨다.
이때, 카메라(70)는 정해진 위치에 고정되기 때문에, 상기 드로워(50)의 인쇄부의 위치가 상대적으로 변하도록 구성할 필요가 있다. 즉, 상기 카메라(70)는 제어부로부터 구동 명령을 받으면 일정 속도로 연속 촬영을 하게 되고, 촬영된 고내 영상들을 순차적으로 제어부(100)에 전송하게 된다. 제어부(100)는 카메라(70)로부터 전송 받은 고내 물품 보관에 관한 사진으로부터 상기 인쇄부의 위치를 추적하여 드로워의 개방 상태는 물론 드로워의 이동 등에 관한 정보를 판단하게 되는 것이다.
상기 카메라가 촬영할 수 있는 범위는 카메라의 화각에 의해 결정될 수 있으며, 이는 수직 방향에 대한 촬영 범위를 의미하는 수직 화각과 수평방향에 대한 촬영 범위를 결정하는 수평 화각으로 이루어진다.
상기 카메라(70)의 수직 화각의 일단은 적어도 상기 드로워가 완전 개방된 상태에서의 드로워 전면벽을 포함하여야 하며, 타단은 드로워 닫힘 상태에서 드로워 전면벽 또는 양측벽 상면에 위치하고 있는 인쇄부가 드러나지 않는 것을 확인할 수 있는 부분까지, 일례로 드로워 상부 개구를 덮고 있는 드로워 상측의 전면 일부까지는 포함하도록 결정되어야 한다.
이때 하나의 카메라로 드로워 내부영역과 더불어 또 다른 저장공간을 동시에 인식하는 것도 가능하다. 본 발명의 또 다른 실시예는 드로워가 닫힌 상태의 드로워 전면벽과 상기 저장실의 전면 개구부 사이에 상기 드로워가 열린 상태에서 적어도 일부가 중첩되는 부분인 저장실 바닥면에 별도의 수납공간(이하 저장실 바닥 수납칸)을 구성할 수 있다. 이러한 경우에는 상기 카메라(70)의 수직 화각이 드로워 완전 개방과 드로워 완전 닫힘 상태를 포함하는 촬영 범위에서도 드로워 내부 영역을 포함한 또 다른 저장공간(바닥 수납칸)을 함께 인식할 수 있도록 구성할 수도 있다.
한편, 상기 카메라(70)의 수직 화각에 대한 본 발명의 또 다른 실시예는 드로워 내부 영역과 상기 선반 영역을 동시에 촬영할 수 있다. 따라서 상하로 일정 간격을 두고 배치되어 있는 복수 개의 선반들 중 어느 한 부분까지를 포함할 수 있도록 수직 화각의 타단 범위를 결정할 수 있다. 카메라 수직각이 선반영역을 포함하도록 함에 있어서, 바람직한 일례는 상기 복수 개의 선반들 중에서 가장 최상단의 선반의 일부까지를 포함하게 할 수 있으며, 더욱 바람직하게는 적어도 상기 저장실 최상단에 배치되어 있는 최상단 선반의 후단부까지를 포함하도록 하는 것이다.
이러한 실시예들에 의하면, 하나의 카메라에 의해 드로워 내부영역을 포함한 적어도 두 개의 저장공간의 물품 보관 상태를 하나의 카메라로 촬영한 하나의 사진 으로 확인가능하게 되는 것이다.
이를 위해 저장실 저부에 형성된 드로워에 대해 카메라의 바람직한 설치 위치가 필요한데, 본원 발명의 발명자들은 우선 본 발명의 출원 시점에 공개된 자료를 통해 개시되거나 알려 진 카메라 설치 위치에 대해서 검토를 실시하였다. 냉장고 저장실 외부의 도어 상단에 설치하여 저장실 내부를 촬영 할 수 있는지를 검토하였다.
저장실 외부(도어)에 카메라를 설치할 경우, 카메라가 항상 외부 온도에 노출되어 있어 카메라 주변에 결로가 형성되지 않아 별도의 결로 방지 구조가 불필요하다는 장점이 있다. 그러나, 드로워 내부와 저장실 내의 저장공간에 사용자가 물품을 수납하는 작업은 항상 도어를 개방한 상태에서 이루어지기 때문에 도어에 장착되어 있는 카메라로 저장실 내부를 촬영하는 것은 곤란하였다. 특히, 본 발명의 일 취지는 드로워 외부에서 드로워의 움직임 상태 뿐만 아니라 드로워 내부의 물품 보관 상태를 얻고자 하는 것이다. 그런데 드로워에서의 사용자 작업은 항상 도어가 열린 상태이며, 도어가 닫힌 상태에서는 드로워 또한 닫혀 있는 상태가 되므로, 본 발명의 일 취지에는 전혀 부합되지 않는다.
따라서, 본 발명의 일 취지인 적어도 드로워 내부와 드로워의 움직임 상태를 촬영하기 위해서는 냉장고 고외가 아닌 고내, 즉 촬영하고자 하는 드로워가 존재하는 본체 저장실에서 상기 저장실을 촬영할 수 있도록 배치하는 것이 바람직하다.
한편, 본 발명의 일 취지에 맞추어, 상기 카메라를 드로워 상부에 위치하는 선반들 중에서 어느 하나의 하부에서 카메라 방향을 본체 저장실의 개구부측을 향하도록 하여 설치할 경우, 우선 선반영역의 촬영은 불가능하고 선반에 카메라를 구동할 수 있는 구동부 설치와 배선이 곤란하며, 드로워의 이동경로를 모두 담아 내기 위해서는 광각의 카메라를 사용해야 하므로 촬영된 영상에 왜곡현상이 커지는 문제가 있을 수 있다.
본 발명의 발명자들은 드로워가 노출될 수 있는 범위에서의 저장실 측벽에 카메라를 설치할 경우 냉장고 저장실 좌우 방향으로 카메라로부터의 거리 차이로 인한 비대칭 영상 때문에 드로워 내부의 물품 보관 상태를 보이는 이미지에 왜곡이 심하다는 것을 알 수 있었다. 따라서 이러한 사용자의 만족도가 크게 떨어질 수 있음을 알 수 있었다.
무엇보다도 본 발명의 일 취지는 별도의 센서 없이도 드로워의 이동상태를 추적하여 드로워의 열림/닫힘 상태와 그 정도를 감지하고자 하는 것인데 상기 비대칭 영상에는 드로워 전면벽 또는 양측벽 상면에 위치한 인쇄부(Marker)가 상대적으로 확대된 상태(영상 왜곡)로 촬영될 수 있다. 따라서 하나의 이미지를 구성하는 전체 크기에 대해 상기 마커 부분이 차지하는 크기(픽셀크기)가 커져 상대적으로 위치 변경이 잘 드러나지 못할 수 있다. 또한 마커 위치의 변화 여부를 판단하기 위해 처리해야 할 범위가 커져 영상 처리 시간이 커질 수 있으므로 연속으로 전송되는 영상을 놓치거나 처리하지 못하는 경우도 발생할 수도 있다.
따라서, 본 발명의 출원 시점에 이미 알려진 저장실 측벽이나 모서리에 카메라를 설치하는 것은 본원 발명의 취지에 부합되지 못함을 알 수 있었다.
본 발명의 일 실시예는 상기 카메라를 상기 드로워 상부 개구면에 대응되는 저장실 상부벽에 설치하되, 상기 드로워가 닫힘 상태와 상기 드로워가 완전히 개방된 상태가 투영된 상기 저장실의 상부면의 범위 내에 설치하고, 상기 카메라의 방향은 저장실의 후벽측을 향해 저장실 내부를 향하되, 상기 카메라의 초점은 저장실의 후벽면의 어느 한 지점을 향하도록 일정 각도 기울여 설치하였다. 이로써, 앞서 상술한 본 발명의 카메라의 수직각에 대한 실시예들에 대해 왜곡 현상이 최소화된 영상을 얻을 수 있었다.
상기 카메라의 위치를 정함에 있어서, 본 발명의 다른 실시예는 냉장고 저장실 상부벽에 설치하되, 상기 저장실의 전면 개구부에서 상기 저장실에 상하로 배치된 선반들 중에서 최상단 선반의 전단부가 상기 저장실 상부벽에 투영되는 위치 사이에 위치시키는 것이다. 또한 상기 상기 카메라의 방향은 저장실의 후벽측을 향해 저장실 내부를 향하되, 상기 카메라의 초점은 저장실의 후벽면의 어느 한 지점을 향하도록 일정 각도 기울여 설치하는 것이다.
상기 카메라는 상기 저장실 상부의 중앙부에 위치하는 것이 바람직하고, 이에 대응하도록 상기 드로워 전면벽 또는 양측벽 상면에 위치되는 인쇄부는 상기 드로워의 전면벽의 상면에 설치되는 것이 바람직하다. 더욱 바람직하게는 상기 저장실 상부면에 설치되어 있는 카메라 위치에 하방으로 대응되는 드로워 전면벽 상면 부근을 제안한다.
하나의 저장실의 개구부를 한 개 이상의 도어들, 즉 좌우측 도어로 개폐하는 냉장고에 있어서는 상기 좌우측 도어의 경계가 되는 위치의 저장실 상면부(천정면)에 상기 카메라를 설치하고, 좌우 각각 존재하는 드로워일 경우 인쇄부는 좌우 경계부에 가까운 부분에 위치시킨다. 즉, 저장실 내부를 바라보는 입장에서 좌측 드로워는 전면벽 우측 상면 또는 우측 측벽 상면 끝단에, 우측 드로워는 전면벽 좌측 상면 또는 좌측 측벽 상면 끝단에 위치하는 것이 바람직하다. 다시 말하면, 카메라의 수직 하부에 근접하는 위치에 인쇄부들이 형성됨이 바람직하다. 왜냐하면, 수직 하부에서 좌우로 멀어질수록 인쇄부의 왜곡 발생 우려가 높기 때문이다. 이러한 예가 도 41b에 도시되어 있다.
이때, 상기 좌우측 드로워의 전면벽 상면 양측이나 양측면 상면 끝단에 모두 인쇄부를 설치할 경우, 좌우측 도어에 의해 개폐되는 저장실에 사용되는 드로워들은 좌우측 위치에 관계없이 공통으로 사용될 수 있어 드로워의 사용에 있어 효율성을 높일 수 있다.
상술한 바와 같이 본 발명에 의한 카메라 위치와 인쇄부 위치에 따르면, 고정된 카메라의 촬영 범위 안에 드로워가 닫힌 상태에서부터 열림 상태가 될 때까지의 이동경로 모두가 포함되므로, 별도의 센서장치 없이 드로워의 개폐상태 뿐만 아니라 개폐 정도 그리고 드로워의 정지 또는 이동 까지를 감지할 수 있음과 동시에 드로워 내부의 물품의 보관상태를 하나의 카메라에 의해 감지 또는 확인할 수 있게 되는 것이다.
또한, 드로워 내부영역 이외에 저장실 바닥면에 설치된 바닥 수납칸의 물품 보관 상태도 드로워가 닫힌 상태에서 확인할 수 있으므로 하나의 카메라로 복수개의 저장영역을 인식할 수 있게 되는 것이다.
그리고, 상기 카메라의 화각이 선반영역까지 확대할 경우에는 드로워내부영역은 물론, 저장실 바닥 수납칸과 선방영역까지 하나의 카메라로 3가지 저장영역을 선택적으로 인식할 수 있게 된다.
한편, 저장실 상부면에 설치되어 있는 카메라와 드로워 상부에 형성 또는 부착된 인쇄부가 상하로 대략 일렬로 배열(Alignment)되어 있기 때문에, 상기 카메라로 촬영되어 전송된 고내에 대한 전체 이미지에서 인쇄부 부분의 왜곡이 거의 없으며, 인쇄부가 차지하는 공간이 상대적으로 최소화할 수 있어 이미지 처리를 통해 인쇄부의 위치를 추적하고 판단하는 시간을 최소화할 수 있게 된다.
이하 드로워에 형성된 마커 추적 인식 방법에 대해 설명한다.
카메라에 노출되는 드로워 몸체의 특정 부분에 영상 판독에 의해 인식할 수 있는 인쇄부(marker 또는 Printing paper)를 설치할 수 있다. 상기 Marker부의 위치를 추적하여 드로워의 열림/닫힘 정도, 열림과 닫힘 상태를 감지할 수 있다. 상기 Marker부가 상기 드로워의 이동경로 상에서 닫힘 위치에서 완전 개방 위치까지 카메라에 노출될 수 있도록 구성하여, 상기 Marker부의 위치에 의해서 드로워의 개폐 상태를 판단할 수 있다. 즉 연속 촬영되는 사진들 내에서 마커의 위치 변화를 통해서, 드로워의 다양한 상태 정보를 판단할 수 있다.
인쇄부(Marker) 구조는 상술한 바와 같이 드로워의 이동상황 또는 개폐상태를 추적하여 인식하기 위하여 특정 형태의 무늬로 이루어질 수 있다. 이때 인쇄부는 카메라에 노출된 드로워 상부면의 다양한 위치에 배치될 수 있다.
상기 인쇄부는 드로워의 전면벽 상단이나 드로워의 양측벽의 상단에서 드로워의 최대 열림 부분의 경계가 될 수 있는 부분에 설치되는 것이 바람직하다.
상기 인쇄부의 무늬 형태는 일정 크기의 일정 모양을 갖는 무늬가 서로 대비되는 색으로 반복되어 이루어진 패턴으로 형성되는 것이 가능하며, 상기 모양은 사각형, 삼각형, 원형, 물결형상 등 다양한 형태로 이루어질 수 있다.
이러한 인쇄부는 냉장고의 전체적인 미감을 떨어지게 할 수 있는 우려가 있을 수 있어 사용자에 따라 거부감을 가질 수 있다. 따라서, 사용자가 느끼는 미감에 거부감이 없도록 패턴의 반복을 최소화할 필요가 있고 나아가서는 사용자에게 미감을 어필할 수 있는 형태의 인쇄부를 고려할 수 있다.
그러나, 이러한 디자인적 측면의 제한은 단순히 디자인 문제로 국한되는 것이 아니고, 드로워의 위치를 정확히 인식 못하게 되는 경우를 발생하게 된다. 즉, 드로워의 인쇄부의 인식률에 영향을 주게 되어 궁극적으로는 드로워의 위치를 정확히 감지하지 못하게 되는 결과를 초래할 수 있게 된다.
즉, 인쇄부의 크기를 대폭 줄여야 하는 디자인적 요소를 감안하면, 일정한 형상의 무늬로 대비되는 색을 가지고 수차례 반복하지 못하고, 2회~4회 정도만 반복하는 정도를 선택할 수 있다. 이러한 경우에는 고내를 촬영한 영상을 처리하는 제어부가 전체 이미지에서 인쇄부(마커)의 경계를 정확히 인식하지 못하게 될 수 있다.
따라서, 이러한 문제점을 해결하기 위한 본 발명의 바람직한 실시예에 따르면, 통상 드로워는 밝은 색이나 투명 또는 반투명으로 이루어지므로 이에 대비되는 색을 선정하는 것이 가능하다. 도 41a를 참조하면, 그리고 드로워의 이동방향(전후 진행)에 대해 수직 방향의 길이(L1)가 드로워 이동방향의 길이(L2)보다 길게 설정할 수 있다. 그리고 수직 방향으로 일정 길이를 가지는 제1색상부를 형성하되, 상기 드로워 진행방향에 대해 상기 제1색상부 전방 또는 후방에 대략 동일 두께로 상기 제1색상부와 대비되는 색 또는 드로워와 동일한 색상으로 이루어진 제2색상부를 형성하고, 연속적으로 상기 제1색상부와 동일한 색으로 대략 동일한 두께로 동일 길이로 반복 형성한다. 즉 제1색상부와 제2색상부를 서로 순차적으로 배치하는 것이 가능하다. 이때, 제1색상부, 제2색상부, 제1색상부로 배치된 마커의 외곽 사이즈에서 드로워 방향의 길이(L2)보다 수직 방향의 길이(L1)가 더 크게 하는 것이 더 바람직하다.
본 발명의 또 다른 마커 형태에 의하면, 도 41b에서와 같이 상기 전후단의 제1색상부의 양끝단이 서로 연결되어 상기 제2색상부를 감싸는 형태도 가능하다. 앞에서 보이는 마커 형태의 제3실시예는 바로 이러한 구조를 보이는 예가 될 수 있다.
즉, 본 발명에서 제시하는 바람직한 마커의 실시예는 드로워 이동방향에 대해 수직방향의 길이(L1)가 드로워 이동방향의 길이(L2)보다 크게 형성하되, 드로워와 경계되는 부분(특히 드로워 진행방향에 대해)에 드로워와 대비되는 색(어두운 색)을 형성시키고, 그 가운데는 어두운 색에 대비되는 밝은 색 부분을 포함하도록 하는 것이다.
이렇게 인쇄부를 구성하면, 작은 크기로 구성할 수 있기 때문에 사용자의 미감에 대한 요구사항을 충족시킬 수 있을 뿐만 아니라 카메라로 촬영된 하나의 전체 이미지에서 인쇄부 부분의 크기가 상대적으로 작게 된다. 따라서 인쇄부의 위치 변화를 감지하기 위한 영상 처리 영역이 그만큼 작아져 영상 처리 속도를 향상시킬 수 있게 된다. 이는 연속으로 촬영되어 전송되는 영상 촬영 속도에 제어부의 영상 처리속도가 부합하는데 유리하게 작용되어, 정확한 시점에 영상을 획득하는 정확성이 더욱 향상되게 된다. 일례로, 연속 촬영되는 사진들에서 처리되어야 하는 부분의 크기가 크다면 제어부의 부하가 많이 걸린다. 따라서, 매우 고가의 제어부를 사용하여야 한다. 그러나, 처리되어야 하는 부분의 크기가 작다면, 제어부의 부하를 줄일 수 있다. 따라서, 저가의 제어부를 사용하더라도 효과적으로 영상을 처리할 수 있게 된다.
한편, 도 41b에 도시된 바와 같이, 마커를 보고 사용자가 직관적으로 이의 용도를 파악할 수 있도록 상기 마커는 문자, 기호 또는 문양을 포함함이 바람직할 것이다.
이하 드로워의 마커 좌표 인식과 카메라 영상 처리 방법에 대해 설명한다.
도 42는 마커 위치 인식 방법을 설명한 도면이다. 이하 도 42를 참조해서 드로워의 마커 위치 인식 방법에 대해 설명한다.
사용자가 드로워 내부에 물품을 새로이 수납(입고)하거나 출고하고자 할때, 사용자는 먼저 도어를 오픈하게 된다. 도어가 저장실의 전면에서 분리되면 도어 스위치가 감지하고, 제어부는 상기 도어 스위치의 신호를 받아 고내에 설치되어 있는 대기 중에 있는 카메라를 구동하게 된다. 제어부의 구동명령을 받은 카메라는 대기전압 상태가 아닌 카메라 구동 전압을 인가하면, 카메라를 구동 준비를 마치고 연속 촬영을 개시하게 된다.
사용자는 이어서 냉장고 저장실에 장착되어 있는 드로워의 전면벽의 손잡이를 잡고 드로워을 잡아 당겨 드로워를 개방하려 할 것이다. 이때, 상기 카메라는 연속 촬영을 하고 있으므로 드로워의 열림 상태를 일정 간격으로 촬영하여 상기 제어부로 영상을 보내게 된다.
한편, 상기 드로워의 일 부분 중에서 상기 카메라에 노출되는 부위에는 일정 형태의 마커가 형성되어 있으며, 상기 카메라에서 보내진 영상을 받은 제어부는 전체 이미지를 일정 픽셀로 나누어 일정한 간격으로 좌표값을 부여하고, 상기 이미지의 좌표상에 상기 마커의 좌표를 분석하게 된다.
따라서, 드로워가 닫힌 상태에서 촬영된 영상이 제어부로 보내지면, 해당 이미지 마커 부분이 노출되지 않게 될 것이고, 이때의 마커 좌표는 0의 좌표를 갖게 되는 것이다.
사용자가 닫힌 상태의 드로워를 열게 되면 마커가 노출된 상태에서 카메라가 촬영하게 되고, 카메라는 마커가 포함된 사진을 촬영할 수 있다. 이 영상이 제어부로 보내지면 제어부는 전체 이미지 상에서 마커의 좌표값을 인식하고 이전 위치와 비교하게 된다. 예를 들어 도 42의 'A' 지점은 마커의 좌표값이 '0'에서 일정 좌표값 예로써 '50'으로 바뀌게 되면, 제어부를 좌표값이 변경된 것으로부터 드로워가 이동하고 있는 것으로 판단할 수 있다. 특히, '0'에서 변화 되었을 경우에는 드로워가 이제 막 열리기 시작한 것으로 판단할 수 있다.
사용자가 계속해서 드로워를 개방하면, 제어부는 상기와 같이 일련의 과정을 거쳐 드로워가 이동하고 있으며, 좌표값이 더 큰 값으로 변하는 것으로부터 드로워가 열리고 있다는 것으로 판단할 수 있다.
사용자가 드로워를 완전 개방된 상태까지 열게 되면, 제어부는 좌표값이 더 이상 변화가 없음을 인식하고 드로워가 완전 개방되었거나, 또는 드로워가 열려 정지되어 있다고 판단하게 된다. 예를 들어, 도 42의 'B'의 지점은 마커의 좌표값이 '90'에서 '90'으로 변하지 않은 지점이므로 '드로워가 정지된 상태'로 인식하거나 '드로워가 완전히 개방 상태'로 판단할 수 있다.
통상 드로워가 열린 후에, 완전 개방되었거나 일부 개방되었거나 상관없이, 정지된 상태가 되면 사용자가 드로워에 대해 어떤 작업을 행하고 있는 것으로 판단할 수 있다. 이렇게 드로워가 정지된 상태에서도 카메라는 계속해서 고내 영상을 촬영하여 제어부에 보내고 제어부는 마커의 좌표에 변화가 있는지를 감시하게 된다.
사용자가 드로워에 물품을 입고하거나 드로워로부터 물품을 빼내는 행위가 완료되면, 사용자는 다시 드로워를 닫게 되고, 이때 카메라에 촬영된 영상으로부터 제어부에서 전체 이미지에 대한 마커 좌표값이 변동된 것을 확인하게 되어 드로워가 다시 움직이고 있다고 판단한다. 예를 들어, 도 42의 'C' 지점은 마커의 좌표값이 '90'에서 '70'으로 변화되는 지점이고 좌표값의 크기가 축소되는 방향으로 변화 된 것으로부터 드로워가 이제 막 닫히기 시작한 것으로 사용자가 드로워에 대해 작업을 완료한 직후라고 판단할 수 있게 된다.
동일한 방법으로 마커의 좌표값이 '0', 즉 마커가 이미지로부터 인식되지 않게 되면, 드로워가 완전히 닫힌 상태가 되었다고 판단하게 된다.
카메라가 촬영한 영상으로부터 제어부가 한 개의 전체 사진의 좌표에 의해 마커 위치를 파악하여, 드로워의 이동과 정지상태, 드로워의 닫힘과 열림, 드로워의 개방 정도, 드로워가 열리기 시작하는지, 드로워가 닫히기 시작하는 지등에 대해 추적하고 판단하는 방법을 설명하였다.
이하, 드로워의 마커 위치에 따른 카메라 영상 처리 및 원하는 영상 획득 방법에 대해서 설명한다. 상기 드로워의 이동 상태로부터 드로워의 내부 영상을 어떻게 처리하고 획득하는가에 대한 구체적인 방법, 특히 사용자가 드로워에 대한 작업을 마무리한 직후라고 판단되는 시점의 영상을 얻는 방법에 대해 설명한다.
드로워의 마커 좌표가 '0'에 그 이상으로 변하여 드로워가 열리는 방향으로 이동하는 과정이라고 판단될 때에는 카메라에서 촬영되어 제어부로 보내진 고내 영상에 대해 제어부는 좌표 변화만을 감지하고, 상기 전체 사진을 임시 버퍼에서 버퍼링하고 사진에 구획된 각 저장 영역에 대해 아무런 처리를 하지 않는다.
드로워가 계속 열려 완전 개방상태에 이르거나 일정 정도 개방되어 정지상태가 되면, 사용자가 드로워에 대해 작업을 행하는 상황이 진행된다. 상기 제어부는 마커의 좌표가 변화없다는 것으로부터 이러한 상태를 판단하게 되고, 이때부터 전송되는 영상에 대해 전체 이미지에서 각각 구획된 저장영역에서 드로워영역에 해당되는 이미지를 드로워 임시 버퍼로 이동하여 저장한다. 즉, 상기 그림에서 'D'지점에 해당되는 구간에서는 제어부는 고내 전체 사진 중 드로워 영역으로 구획된 부분에서 필요한 부분을 잘라내어 드로워 영역에 대한 임시 버퍼로 이동시키는데 이를 '드로워 내부 영상 refresh 구간'이라고 정의한다.
다시 말해, 드로워가 열리고 있는 구간과 드로워가 정지 상태에 있는 구간에서의 이미지 처리 방법이 다르다는 것이다. 그 이유는 사용자의 드로워에 대한 작업 행위는 드로워가 정지 상태에서 이루어질 것임을 반영했기 때문이다. 이로 인해 드로워가 이동하는 구간에서는 좌표 변화를 추적하기 위한 영상 처리 시간이 그만큼 빨라 질 수 있게 되어 데이터 처리의 효율성을 기할 수 있다.
한편, 드로워가 정지 상태에서 다시 닫히기 시작하면, 제어부는 좌표값이 더 작은 값으로 변화하는 것으로부터 사용자가 작업을 완료한 직후라고 판단하고, 그 시점에서 상기 드로워 내부 영상에 대한 임시 버퍼에서 임시적으로 버퍼링되고 있는 이미지 중에서 가장 최근 이미지를 선택하여 저장하게 된다. 즉, 사용자가 작업을 완료한 직후의 드로워 내부 영역의 이미지를 캡처하게 된다.
이렇게 캡처(저장)된 가장 최신의 드로워영역의 물품 보관 상태에 대한 이미지는 제어부에 온라인 또는 직접 연결되어 있는 디스플레이의 해당 영역의 이미지를 교체하거나, 네트웍 서버로 전송하게 된다. 그리고, 상기 네트웍 서버로 전송되어 저장되어 있는 최신 이미지를 사용자가 원할 때 수시로 냉장고에 설치되어 있는 디스플레이 또는 상기 네트웍 서버와 연결되는 모바일 단말기를 통해 확인할 수 있게 제공된다.
다음으로, 드로워가 촬영된 사진 전체에 대해 마커의 위치를 검색하는 것이 아니라, 특정 구간을 선택해서 마커의 위치를 검색하는 방법에 대해서 설명한다.
즉 드로워 영역에 대한 검색 범위(Search Range)를 설정하는 것이 가능하다. 드로워의 이동경로 상에서 드로워의 개방 정도를 구간별로 구분하여 각 구간에서 마커를 추적하는 방법을 달리할 수 있다. 이에 의해서 카메라에서 촬영되어 전송된 사진의 처리(분석) 시간을 단축시켜, 영상 처리 속도와 카메라 촬영 속도와 맞추는 것이 가능하다.
일반적으로 냉장고에 사용 중인 드로워는 드로워를 완전히 개방한 상태라 하더라도 저장실로부터 드로워가 분리되어 외부로 떨어져 나갈 정도로 드로워의 전체가 인출되지 못한다. 즉 드로워가 통상적으로 인출 가능한 거리, 통상 개방 거리는 드로워 전체 깊이(드로워 이동방향에 대한 드로워 전후 길이)의 약 50% 정도가 인출되게 되는 것이 일반적이다.
상기 드로워 인출거리는 제어부가 처리하는 전체 이미지에서 드로워 마커의 좌표를 부여해야 하는 영역으로 결정될 수 있다. 이 경우 제어부에서는 드로워가 인출되는 시점부터 드로워의 위치를 파악할 수 있다. 특히 드로워의 마커 좌표의 변화를 감지하기 위해서 상기 제어부가 상기 드로워 인출거리에 해당되는 크기가 처리해야 하는 데이터 크기가 된다. 또한, 좌표의 변화를 감지하기 위하여 제어부는 2개의 영상을 동시에 비교해서 판단해야 하고, 이러한 과정의 처리 시간은 상기 카메라에서 촬영하는 속도에 대응할 수 있어야 하는 부담이 발생될 수 있다.
상기 카메라에서 고내를 촬영하는 속도(사진을 촬영하는 시간 간격)는 제어부가 전송된 영상으로부터 판단하고 처리하는 속도와 대략 매칭되도록 카메라의 촬영 속도가 결정하는 것이 바람직하다.
이런 방식을 따르게 되면 카메라에서 촬영된 사진에 대해서 지체없이 마커의 위치를 파악하고, 결국 드로워의 위치를 판단할 수 있다. 그리고 제어부가 고내에 대한 전체 사진에서 각 저장공간 별로 구획되어 있는 영역별 이미지를 처리하면서, 상기 카메라에서 연속으로 보내오는 새로운 영상을 이미지화하여 처리하는데는 무리가 없게 된다. 즉, 전체 이미지로부터 도어가 열림 상태인지 드로워가 열림상태인지에 따라 해당 영역별 이미지를 잘라 각 영역별 임시 버퍼로 이동하는 등의 처리를 하는데 카메라에서 찰영한 모든 영상에 대해 놓치지 않고 처리가 가능하게 되는 것이다.
그러나, 위에서 설명한 크기만큼의 두 개의 이미지(이전 이미지와 현재 이미지)에 대한 데이터를 처리해야 하므로 제어부의 처리 능력이 커져야 하므로, 이런 조건에 맞추어 제어부의 처리용량을 키우면 프로세서 단가가 급격히 상승하게 될 수 있다. 또한 드로워가 열리지 않았을 때의 이미지 처리를 위해서는 처리 능력이 지나치게 크게 되어 효율적인 부품 선택이 이루어지지 않게 되는 문제가 발생하게 된다.
이러한 문제를 해결하기 위해 본 발명의 발명자들은 드로워의 인출거리가 완전 개방이 아닐 경우, 즉 일정 거리만큼 드로워가 개방된 상태에서는 드로워 내부를 충분히 파악하는데 실질적으로 어렵다는 점에서 착안하여, 상기 드로워의 인출 거리에 따라 드로워 영역에 해당되는 이미지를 단계별로 분리하여 데이터 처리를 달리하는 방법을 제공한다.
도 43은 드로워가 개방된 정도를 도시한 것이다. 도 43a는 드로워가 최대로 개방된 상태, 즉 드로워 전체 길이의 약 50%가 개방된 것이고, 도 43b는 드로워가 전체 길이의 약 30%가 개방된 것이며, 도 43c는 드로워가 전체 길이의 약 10%가 개방된 상태이다.
예를 들어 도 43c에서와 같이 사용자가 드로워를 드로워 전체 전후방향 길이에 대해 약 10% 정도만을 개방한 상태에서는 드로워 내부에 보관 되어 있는 물품을 충분히 파악할 수 없는 정도가 되며, 도 43b약 30% 정도를 개방했을 때 비로소 드로워 내부의 물품 보관 상태를 어느 정도 파악할 수 있게 되어, 이러한 상태는 드로워가 열린 상태로 인식할 정도가 되는 것이다.
도 43a와 같이 드로워가 최대 개방이 될 때는 전체의 약 50% 정도가 인출이 되는데 이때는 완전 개방 상태로 드로워 내부의 물품을 충분히 파악할 수 있게 된다. 다시 말해서, 상기 약 30% ~ 50% 정도의 열림 상태가 되어야 사용자가 드로워에 대해 물품을 수납 또는 반출 작업이 가능한 정도가 되는 것으로 이러한 구간을 드로워가 실질적으로 열린 상태로 볼 수 있는 것이다.
이러한 점에서 착안하여, 상기 드로워 인출거리가 30% 이내는 '드로워가 열리지 않은 상태'로 판단하고, 30% 이상은 '드로워가 열린 상태'로 구분하여 영상 처리를 다르게 함으로써, 제어부가 처리해야 할 데이터 로드를 대폭 감소시킬 수 있다.
제어부는 카메라가 촬영한 영상을 이미지화 하여 드로워 이동 궤적에 해당되는 이미지 크기를 정하고, 상기 정해진 드로워 이동 영역에서 상기 드로워가 약 30% 정도 인출되는 시점 또는 거리까지의 픽셀 크기를 정하여 이미지 구간을 구획한다.
즉 도 43a부터 도 43b에 해당하는 범위까지 드로워가 인출되었을 때에 제어부에서는 마커의 좌표의 이동을 판단할 수 있다. 이 경우 도 43a부터 도 43c에 해당하는 범위까지 마커의 좌표의 이동을 판단하는 경우에 비해서 필요로 하는 제어부의 부하가 줄어들게 된다.
드로워가 닫힌 상태에서 30% 인출되는 구간에서는 마커의 위치가 30%에 해당되는 거리 만큼의 픽셀의 위치에 도달했는지 여부만을 판단한다. 다시 말해 이전 사진의 마커 좌표와 현재 사진의 마커 좌표를 비교(마커의 위치 변화를 판단하기 위한 전제 조건)는 수행하지 않고 단순히 마커의 위치가 일정 픽셀 범위 내에 있는지만을 판단하고 전체 이미지를 임시 버퍼링하게 된다.
이는 상기 구간에서는 두 개의 사진 데이터를 비교하는 처리할 필요가 없이 하나의 사진 데이터만을 처리하기 때문에 제어부의 데이터 처리 능력이 커야 할 필요가 없으며, 카메라 촬영 속도에 원할 하게 대응할 수 있게 된다.
한편, 상기 드로워가 30% 수준을 넘어서 그 이상 열렸을 경우, 즉 제어부가 처리하는 사진에서 마커가 특정 픽셀 이상의 위치에 도달되었을 때부터는 드로워의 정지 상태를 판단하기 위해 두 개의 사진(직전에 촬영된 사진과 그 이후에 촬영된 사진)을 비교하는 것에 의해서 마커의 좌표값을 판단할 수 있다.
이렇게 검색 구간을 한정하면, 검색 구간을 한정하지 않은 것에 비해서 사진의 크기가 약 2/5 크기 수준이 된다. 나아가 처리되어야 할 두 개의 사진에 해당되는 사진의 크기가 그렇지 않은 경우의 한 장의 사진에 비해서도 약 4/5 수준이 되기 때문에, 제어부에서 처리해야 하는 데이터는 한 장의 전체 사진에 비해서 작아지거나 실질적으로 동일한 수준이 될 수 있다.
따라서, 두 개의 사진의 좌표 변화값을 추적하기 위한 데이터 처리 속도가 카메라가 촬영하는 속도에 대응할 수 있게 되므로 카메라에서 촬영되는 영상 모두에 대해 놓치지 않고 데이터 처리(좌표 추적이나 감시)가 가능하므로, 제어부의 처리 용량을 더 이상 키우지 않은 상태에서도 처리 속도의 시간 지체 현상을 방지할 수 있게 되므로 정확한 시점에 원하는 영상을 획득할 수 있게 되는 것이다.
결론적으로 말하면, 도 44에서와 같이 카메라로 촬영된 사진으로부터 드로워가 인출가능한 거리 중 일부를 제1구간과 제2구간으로 나누는 것이 가능하다.
제1구간에서는 촬영된 사진의 픽셀에 대한 마커의 위치를 판단할 수 있다. 이때 제1구간은 마커의 좌표값을 비교하지 않고, 한 장의 사진에서 마커가 어떤 픽셀 위치에 있는지를 판단할 수 있다.
한편 제1구간에서는 드로워가 실제로는 개방되었다고 하더라도, 사용자가 드로워에 물품을 인출하거나 반입하기가 어렵기 때문에 드로워가 실질적으로 닫힌 상태라고 구분하는 것도 가능하다.
제2구간은 연속 촬영된 두 개의 사진에 도시된 마커의 좌표값을 비교하는 '좌표 검색 범위(Search Range)'로 설정할 수 있다. 제2구간에서는 2개의 사진을 비교하기 때문에 마커의 좌표 변화를 감지할 수 있다. 예를 들어서, 2개의 연속된 사진에서 마커가 동일한 위치라면 2개의 사진이 촬영된 시간 동안 드로워가 정지된 것으로 판단할 수 있다. 2개의 연속된 사진에서 마커의 위치가 변화되었다면 2개의 사진이 촬영된 시간 동안 드로워가 이동된 것으로 판단할 수 있다. 이때 마커의 위치 변화 방향에 따라 드로워가 닫히는 방향으로 이동되는지 또는 드로워가 열리는 방향으로 이동되는지를 판단할 수 있다.
제2구간에서는 사용자가 드로워에 물품을 인출하거나 반입할 정도의 개구가 사용자에게 노출되기 때문에 실질적으로 드로워가 열린 상태라고 구분하는 것도 가능하다.
도 45는 본 발명의 일 실시예에 따른 제어 흐름도이다. 이하 도 45를 참조해서 설명한다.
상기 도어(20)가 상기 저장실(22)을 개방한다고 판단한다(S10). 이때 상기 도어 스위치(110)에 의해서 상기 도어(20)의 개폐가 감지될 수 있다.
상기 도어(20)가 개방되면, 상기 도어 센서(120)가 구동될 수 있다. 즉 상기 도어 센서(120)에서 상기 도어(20)가 일정 각(θ) 이상 회전되는 지를 감지할 수 있다. 즉 상기 도어 센서(120)는 상기 도어(20)가 개방되지 않으면 작동하지 않다가, 상기 도어(20)가 개방되면 작동이 시작될 수 있다.
또한 상기 도어(20)가 개방되면, 상기 카메라(70)가 동작되어 사진 촬영을 시작할 수 있다(S14). 이때 상기 카메라(70)는 소정 시간 간격, 예를 들어 1초에 10장 등의 사진을 촬영하는 것이 가능하다.
상기 카메라(70)에 의해서 찍힌 사진은 상기 저장부(18)에 저장된다(S16). 이때 상기 카메라(70)에 의해서 복수 장의 사진이 찍히면 최근에 찍힌 사진은 저장되고, 그 전에 찍힌 사진은 상기 저장부(18)의 용량 제한으로 인해서 삭제되는 것도 가능하다.
한편 상기 드로워 감지부(130)에 의해서 상기 드로워(50)가 열리는 지를 감지할 수 있다(S20). 상기 드로워 감지부(130)는 상기 드로워(50)가 상기 선반(40)의 하부 공간으로부터 인출되는 것을 감지할 수 있다.
그리고 상기 드로워 감지부(130)에 의해서 상기 드로워(50)가 닫히는 지를 감지되면, 그 시각에 찍힌 사진 또는 그 시각에 가장 인접한 때에 찍힌 사진을 최종 사진(드로워 열린 상태)로 선택한다(S40). 상기 카메라(70)는 1초에 정해진 개수의 사진을 촬영하기 때문에, 상기 드로워(50)가 닫히기 시작하는 시점에 정확히 사진이 촬영되지 않는 것도 가능하다. 다만, 상기 드로워 감지부(130)가 상기 카메라(70)에서 촬영된 사진에 표현된 마커의 이동을 분석하는 것에 의해서 상기 드로워(50)의 이동을 판단하면, 닫힌다고 판단한 시점에 사진을 선택하는 것이 가능하다.
상기 제어부(100)는 상기 최종 사진을 상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62)으로 구분한다(S42). 이때 상기 제어부(100)는 상기 조정선(15)을 기준으로 픽셀의 개수를 특정해서 각각의 영역을 구분하고, 각각의 영역에 대한 최종 이미지를 획득하는 것이 가능하다.
상술한 바와 같이 상기 드로워(50)가 인출되면 상기 제2영역(52)과 상기 제3영역(62)은 서로 중첩되는 부분이기 때문이다.
한편 S20에서 상기 드로워(50)가 인출되었다는 정보를 얻었기 때문에, 상기 제어부(100)에서 제2이미지를 얻은 것으로 판단할 수 있다.
그리고 상기 제2영역(52)에 대한 정보를 업데이트할 수 있다(S46). 상기 제어부(100)는 상기 제2영역(52)을 도시하는 제2이미지를 상기 디스플레이(14)에 전송해서, 해당 부분을 최종 사진에 근거하도록 변경할 수 있다.
반면에 S30에서 상기 드로워(50)가 닫히지 시작하지 않는다고 판단하면, S14에서와 같이 다시 사진을 촬영할 수 있다.
S30에서 상기 드로워(50)가 닫히지 않는 상태는 사용자가 상기 제2영역(52)에 대한 액세스를 종료하지 않은 것으로 볼 수 있다. 즉 사용자는 상기 드로워(50)를 정지시킨 상태에서 상기 제2영역(52)에 새로운 식품을 저장하거나, 저장된 식품을 상기 제2영역(52)으로부터 꺼낼 수 있다.
반면에 상기 드로워(50)가 닫히는 상태는 사용자가 상기 제2영역(52)에 대한 액세스를 종료하고, 상기 드로워(50)를 상기 선반(40)의 하부 공간으로 인입시킨다고 예측할 수 있다.
한편 S20에서 상기 드로워(50)가 열리지 않은 상태에서, 상기 도어(20)가 닫히기 직전 인지를 판단할 수 있다(S60).
이때 상기 도어(20)가 닫히기 직전 인지 여부는 상기 도어 센서(120)에서 감지될 수 있다.
사용자는 상기 저장실(22)에 대한 액세스를 종료하면 상기 도어(20)를 닫고, 상기 저장실(22)을 밀폐하게 된다. 즉 사용자는 상기 도어(20)가 상기 개구부(14)를 개방하도록 한 상태에서 상기 저장실(22)에 새로운 식품을 저장하거나, 저장된 식품을 상기 저장실(22)로부터 꺼낼 수 있다.
만약 사용자가 상기 도어(20)를 닫게 되면, 사용자가 상기 저장실에 대한 접근을 종료하고, 다시 상기 도어(20)가 개방되기 전까지는 그 상태에서 식품이 저장된 상태를 유지하는 것으로 판단할 수 있다.
S60에서 상기 도어(20)가 닫히기 직전이라고 판단하면, 상기 제어부(100)는 그 시각에 찍힌 사진 또는 그 시각에 가장 인접한 때에 찍힌 사진을 최종 사진(드로워 닫힌 상태)로 선택한다(S70). 즉 상기 제어부(100)는 상기 카메라(70)의 사진 촬영이 종료된 시점 또는 그 시점에 인접한 시점에 찍힌 사진을 최종 사진으로 선택할 수 있다.
상기 제어부(100)는 상기 최종 사진을 상기 제1영역(42), 상기 제2영역(52) 및 상기 제3영역(62)으로 구분한다(S72). 이때 상기 최종 사진에는 상기 제1영역(42)을 도시하는 제1이미지를 포함할 수 있다. 상기 제1영역(42)에 저장된 식품에 대한 최신 상태는 사용자가 상기 저장실(22)에 대한 접근을 종료한 상태이기 때문이다. 따라서 이때 획득된 제1이미지를 통해서 사용자는 상기 제1영역(42)에 대한 정확한 식품 정보를 획득할 수 있다.
한편 S60에서 상기 드로워(50)가 인입되었다는 정보를 얻었기 때문에, 상기 제어부에서 제1이미지와 제3이미지를 얻은 것으로 판단할 수 있다. 상술한 바와 같이 상기 드로워(50)가 인출되면 상기 제2영역(52)과 상기 제3영역(62)은 서로 중첩되는 부분이이지만, 상기 제1영역과 상기 제3영역은 서로 중첩되지 않고 함께 촬영이 가능한 위치이기 때문이다.
그리고 상기 제1영역(42) 및 상기 제3영역(62)에 대한 정보를 업데이트할 수 있다(S76). 상기 제어부(100)는 상기 제1영역(42)을 도시하는 제1이미지와 상기 제3영역(62)을 도시하는 제3이미지를 상기 디스플레이(14)에 전송해서, 해당 부분을 최종 사진에 근거하도록 변경할 수 있다.
한편 도면에는 도시되지 않았지만, 상기 도어(20)가 상기 저장실(22)을 밀폐하도록 회전되어, 상기 저장실(22)을 닫으면 상기 카메라(70)의 구동을 중지하는 것이 가능하다. 이때 상기 도어 스위치(110)에서 상기 도어(20)가 상기 저장실(22)을 밀폐하는지를 감지할 수 있다.
즉 본 발명에서는 사용자가 사용을 종료한 시점을 고려해서, 해당 시점에서 획득된 사진을 가공해서 사용자에게 해당 영역에 저장된 식품에 대한 정보를 제공하게 된다. 따라서 사용자는 상기 저장실(22)에 저장된 식품에 대한 정확한 정보를 얻을 수 있다.
한편 상기 도어 센서(120), 상기 도어 스위치(110) 및 상기 드로워 감지부(130)는 좌우측에 각각 두 개씩 설치가 될 수 있다. 이러한 경우에 좌우측 도어, 좌우측 드로워에 대한 개별 정보를 획득할 수 있다. 물론 상기 드로워 감지부(130)가 촬영된 사진에서 마커의 분석을 통해서 드로워의 이동을 감지한다면, 상기 드로워 감지부(130)는 한 개인 반면에, 마커가 2개의 드로워에 각각 설치되는 것이 가능하다.
따라서 이러한 정보를 기반으로, 좌측 도어만 개방된 경우에는 한 장의 사진의 좌측 부분만을 업데이트하는 것이 가능하다. 반면에 우측 도어만 개방된 경우에는 한 장의 사진의 우측 부분만을 업데이트 하는 것이 가능하다.
물론 좌측 도어와 우측 도어가 함께 개방된 경우에는 상술한 조건을 만족한다면, 한 장의 사진의 좌측 부분과 우측 부분을 함께 업데이트해서 상기 디스플레이(14)에 제공하는 것도 가능하다.
도 46은 도 45의 변형례를 설명한 제어 흐름도이다. 이하 도 46을 참조해서 설명한다.
도 46의 변형례에서는 S60가 S62와 S64로 구체적으로 구분된 형태이고, 차이가 되는 부분에 대해서만 구체적으로 설명한다.
즉 상기 도어(20)가 닫히기 직전인지 여부는 상기 도어(20) 닫히는 방향으로 회전되는지를 판단하는 단계(S62)와 상기 도어(20)가 일정 각도(θ) 이상 회전되는지로 구체적으로 판단할 수 있다.
다시 말해서, 상기 도어(20)가 닫히는 방향으로 회전되고(S60), 상기 도어가 일정 각 이하로 회전되면(S64), 상기 카메라(70)에 의한 사진 촬영을 종료할 수 있다.
상기 카메라(70)에서 촬영되는 사진에서 상기 저장실(22)에 저장된 식품에 관한 정보를 얻기 위해서는, 상기 도어(20)는 물론 상기 도어(20)에 설치된 바스켓 등의 간섭이 발생하면 안된다. 따라서 상기 도어(20)가 닫히기 직전이라는 표현은, 상기 카메라(70)에서 촬영된 사진에 상기 도어(20) 및 기타 구성요소가 표현되지 않는 상태를 의미하는 것도 가능하다.
도 47은 도 46의 다른 변형례를 설명한 제어 흐름도이다. 이하 도 47을 참조해서 설명하되, 도 46과의 차이만을 설명한다.
도 47에 따른 다른 변형례는 도 46과 달리, 상기 도어(20)의 회전 방향을 판단하지 않는다.
S12에서 도어가 일정각 이상 회전되었다고 판단하면, 상기 도어(20)는 해당되는 순간에 열리는 방향으로 회전된다. 따라서 통상적으로 사용자가 상기 도어(20)를 다시 회전시켜서, 상기 도어(20)가 일정각 만큼 회전된 상태에 도달하면 사용자가 상기 도어(20)를 닫는 경우에 해당될 수 있다.
따라서 다른 변형례에서는 도 46에서의 S62를 생략하고, S20에서 드로워가 열리지 않았다고 판단하면, 도어가 일정각 이하로 회전되었는지 여부를 판단하는 S64를 바로 수행하게 된다.
도 48은 도 45의 다른 변형례를 설명한 제어 흐름도이다. 이하 도 48을 참조해서 설명한다.
도 48에서는 상기 드로워(50)의 이동을 마커에 의해서 감지하는 제어 흐름을 설명한다. 설명의 편의상 중복되는 부분은 생략하고, 차이가 되는 부분에 대해서만 설명한다.
전체적으로 S20과 S30이 S22, S24, S26의 단계로 구체적으로 구분될 수 있다.
S16에서 같이 사진이 상기 저장부(18)에 저장된 후에, 상기 카메라(70)에서 마커가 인식되는 지를 판단한다(S22).
상기 카메라(70)는 상기 인너 케이스(12)의 상측에서 하측을 향해서 사진을 촬영하기 때문에, 상기 카메라(70)에서 마커가 보이지 않는 경우도 발생할 수 있다. 즉 상기 선반(40)의 전단에서 상기 드로워(50)의 손잡이 부분이 가려지는 경우에, 즉 상기 드로워(50)가 전혀 인출되지 않은 상태에서는 마커가 인식되지 않을 수 있다.
상기 카메라(70)에 찍힌 사진에서 마커가 인식되면, 마커가 정지되는 지를 판단할 수 있다(S24). 이때 상술한 바와 같이 한 장의 사진에서 마커의 이동 경로를 파악한 후에 제1구간과 제2구간으로 구분해서, 제2구간에서만 마커의 이동을 판단하는 것도 가능하다.
상기 카메라(70)는 복수 장의 사진을 소정 시간 간격으로 촬영하기 때문에, 해당 사진을 비교하면서 분석하면 마커의 이동 여부를 판단할 수 있다. 마커은 상기 드로워(50)에 표시되기 때문에, 마커이 이동되면 상기 드로워(50)도 이동되는 것으로 판단할 수 있다.
그리고 마커이 상기 드로워(50)가 닫힌 상태의 위치부터 일정 거리 이상 이동했는지를 판단할 수 있다(S26).
만약 마커이 일정 거리 이상 이동하지 않았다면, 상기 드로워(50)가 충분히 개방되지 않은 상태이기 때문에 상기 제2영역(52)에 대한 적당한 이미지를 획득할 수 없다. 예를 들어 상기 드로워(50)가 1/3만 인출된 상태에서 찍힌 사진에서는 상기 드로워(50)의 내측 공간이 충분히 도시되지 않고, 해당 사진에서 획득된 이미지로는 사용자는 상기 제2영역(52)에 대한 정보를 얻을 수 없기 때문이다. 이때 일정 거리는 마커의 이동을 판단하기 위한 검색 구간(search range)에 마커가 진입했는지 여부로 판단할 수 있다.
마커이 일정 거리 이상 이동했다고 판단하면 사용자가 상기 제2영역(52)에 대한 접근을 종료하고, 상기 제2영역(52)에 대한 사용을 마쳤다고 볼 수 있다.
따라서 세 가지 조건이 만족하는 상태의 시각 또는 그 시각에 인접한 시각에서 획득된 사진은 상기 제2영역(52)에 저장된 식품에 관한 정보를 포함할 수 있다.
도 49는 도 45를 다르게 변형한 변형례를 도시한 도면이다. 이하 도 49를 참조해서 설명한다.
도 49에서는 도 45와 달리, 상기 도어 스위치(110)에서 상기 도어(20)가 개방되는 시점에 즉시 상기 카메라가 구동되지 않는다는 차이가 있다.
상기 도어 스위치(110)에서 상기 도어(20)가 개방된 것으로 판단되면, 상기 도어 센서(120)가 구동된다.
그리고 상기 도어 센서(120)에서 상기 도어(20)가 일정각 이상 회전되었는지를 판단한다(S12). 이때 상기 도어(20)가 일정각 이상 회전되지 않은 상태에서는 상기 카메라(70)는 사진을 촬영하지 않는다.
상기 도어(20)가 일정 각도 이상 회전되면, 상기 카메라(70)는 사진을 촬영한다(S14). 이때 상기 카메라(70)는 소정 시간 간격, 예를 들어 1초에 10장 등의 사진을 촬영하는 것이 가능하다.
이때 찍힌 사진은 상기 제1영역(42)에 대한 제1이미지를 포함한다. 한편 상기 도어(20)가 일정 각도(θ) 이상 회전되었기 때문에 사진에는 상기 도어(20)에 설치된 바스켓 등의 간섭이 발생하지 않을 수 있다. 즉 사진에는 상기 도어(20)에 설치된 바스켓의 모습이 나타나지 않을 수 있다.
나아가 S60에서 상기 도어 센서(120)에서 상기 도어(20)가 닫히기 직전인지를 감지할 수 있다. 이때 상기 도어(20)가 닫히기 직전이라는 의미는, 상기 도어(20)가 닫히는 방향으로 회전되면서, 상기 도어(20)가 일정각 이하로 회전된 상태를 의미할 수 있다.
상기 도어(20)가 닫히기 직전까지 상기 카메라(70)는 사진을 촬영하고, 사진 촬영을 중지할 수 있다(S49). 도 45에서는 상기 도어(20)가 닫혀서, 상기 도어 스위치(110)가 눌려지는 순간 부근까지 상기 카메라(70)는 사진을 촬영한다. 그러나 변형례에서는 상기 도어(20)가 상기 도어 센서(120)에 의해서 일정각까지 회전되면, 상기 카메라(70)는 사진 촬영을 중지하게 된다. 이때 일정각은 상기 카메라(70)에서 촬영된 사진에 상기 도어(20)는 물론, 상기 도어(20)에 설치된 바스켓 등에 의한 간섭이 발생하지 않도록 하는 각도를 의미하는 것이 가능하다.
도 50은 본 발명의 다른 실시예에 따른 제어 흐름도이다. 이하 도 50을 참조해서 설명한다. 도 50의 제어 흐름은 상기 도어 스위치(110)에 의해서 상기 도어(20)가 개방된 것으로 판단되면 소정 시간을 간격으로 계속 수행되는 것이 가능하다.
우선 상기 도어 센서(120)에 의해서 상기 도어(20)가 일정 각도(θ) 이상 개방되는지를 판단한다(S100).
상기 도어(20)가 일정 각도 이상 개방되면, 상기 도어(20)에 간섭이 발생하지 않는 것으로 판단하고, 상기 카메라(70)는 사진 촬영을 한다(S110). 이때 상기 카메라(70)는 한 장의 사진을 촬영하는 것이 가능하다.
그리고 상기 드로워(50)가 제1설정 거리 이상 인출되었는지를 판단한다(S120). 이때 상기 제1설정 거리는 상기 카메라(70)에서 사진을 촬영했을 때에 상기 제2영역(52)에 대한 식품 정보가 충분히 획득가능한 거리를 의미할 수 있다. 예를 들어, 상기 제1설정 거리는 상기 드로워(50)의 전체 길이의 2/3 또는 1/2를 의미하는 것도 가능하다.
상기 드로워(50)의 인출 거리는 상기 드로워 감지부(130)에 의해서 감지될 수 있다.
한편 상기 드로워(50)가 상기 제1설정 거리 이상 인출되었다고 판단하면, 상기 제어부(100)는 사진을 영역별로 구획해서, 복수 개의 이미지로 구분할 수 있다(S122).
상기 드로워(50)가 인출된 상태에서 획득된 사진이기 때문에, 해당 사진에서는 제1이미지와 제2이미지가 획득될 수 있다.
상기 제어부(100)는 제1이미지와 제2이미지를 업데이트할 수 있다(S124).
반면에 S120에서 상기 드로워(50)가 상기 제1설정 거리 이상 인출되지 않았다고 판단하면, 상기 드로워(50)가 제2설정 거리 이하로 인출되었는지를 판단할 수 있다(S130).
이때 상기 제2설정 거리는 상기 카메라(70)에서 사진을 촬영했을 때에 상기 제3영역(62)에 대한 식품 정보가 충분히 획득가능한 거리를 의미할 수 있다. 예를 들어, 상기 제2설정 거리는 상기 드로워(50)의 전체 길이의 1/3을 의미하는 것도 가능하다. 물론 상기 제2설정 거리는 '0'으로 선택해서, 상기 드로워(50)가 상기 선반의 하부 공간으로 완전히 인입된 상태를 선택하는 것도 가능하다.
한편 상기 드로워(50)가 상기 제2설정 거리 이하 인출되었다고 판단하면, 상기 제어부(100)는 사진을 영역별로 구획해서, 복수 개의 이미지로 구분할 수 있다(S132).
상기 드로워(50)가 인출된 상태에서 획득된 사진이기 때문에, 해당 사진에서는 제1이미지와 제3이미지가 획득될 수 있다.
상기 제어부(100)는 제1이미지와 제3이미지를 업데이트할 수 있다(S134).
도 50에 따른 본 발명의 다른 실시예에서는 상기 도어(20)가 개방되면 제어가 반복되고, 상기 도어(20)가 상기 저장실(22)을 밀폐하면 완전히 종료된다. 종료된 상태에서는 더 이상 이미지에 대한 업데이트가 발생되지 않기 때문에, 상기 저장실(22)에 저장된 식품에 대한 최종 이미지가 획득될 수 있다
도 51은 저장실을 개폐하기 위해 두 개의 도어와, 두 개의 드로워가 구비된 상태에서 이미지를 업데이트하는 과정에 대해서 설명한 도면이다. 이하 도 51을 참조해서 설명한다.
상술한 실시예에서 중복되는 내용에 대해서는 간략하게 설명한다.
냉장고에 전기가 공급되면, 좌측 및 우측에 각각 설치된 상기 도어 스위치(110)에서 좌측 도어 또는 우측 도어가 열리는지 개별적으로 판단될 수 있다(S302, S303).
좌측 도어나 우측 도어 중 어느 하나가 개방된 것으로 상기 도어 스위치(110)에서 판단하면(S303), 상기 카메라(70)는 사진 촬영을 시작한다(S304).
좌측 도어와 우측 도어 중 어느 하나가 개방된 것은 물론, 좌측 도어와 우측 도어서 시간 간격을 두거나 동시에 모두 개방되더라도 상기 카메라(70)는 사진 촬영을 할 수 있다. 왜냐하면, 어느 하나의 도어 스위치를 통해서 도어가 개방된다고 판단되면, 고내에는 조명이 켜지기 때문이다.
좌측에 배치된 드로워가 130mm보다 많이 인출되면(S310), 좌측 드로워에 관련된 영상을 캡쳐한다(S312). 좌측 드로워에 관련된 영상은 촬영된 사진 중에 좌측 드로워에 해당되는 부분을 의미할 수 있고, 촬영된 전체 사진을 의미할 수 있다.
이때 130mm는 냉장고 제조자 또는 사용자에 의해서 변화될 수 있지만, 사용자가 드로워를 인출해서, 드로워 내부에 저장 공간에 접근가능한 정도의 인출거리를 의미할 수 있다.
만약 좌측 드로워가 130mm보다 적게 인출되면(S310), 상기 카메라(70)에서 촬영된 직전 영상을 유지한다(S310).
그리고 좌측 도어 센서에서 좌측 도어의 개방 각도를 감지한다. 이때 좌측 도어가 80도보다 작은 각도로 개방된다면, 좌측 드로워가 인출된 상태의 하부 공간에 마련되는 좌측 멀티 수납 공간에 대한 영상을 캡쳐한다(S332).
이때 80도는 좌측 도어와 좌측 도어에 설치된 여러 구조물이 상기 카메라(70)에서 수납 공간을 촬영할 때에 간섭하지 않을 정도의 각도를 의미할 수 있다. 냉장고의 구체적인 구조나 크기에 따라 80도는 변화되는 것이 가능하다.
만약 좌측 도어가 80도보다 큰 각도로 개방되면, 상기 카메라(70)에 의해서 촬영된 직전 영상을 유지하는 것이 가능하다(S336).
그리고 좌측 도어가 닫히는 것이 상기 도어 스위치(110)에서 감지되는 것이 가능하다(S334).
한편 우측 드로워와 우측 도어에 대해서도 좌측 드로워와 좌측 도어에서 설명한 것과 동일한 형태의 제어 흐름이 구현되는 것이 가능하다. 즉 S320~S324, S340~S346에서는 상술한 내용이 동일하게 적용되기 때문에 구체적인 설명을 생략한다.
좌측 도어와 우측 도어가 닫히게 되면, 위에서 캡쳐된 영상을 제어부(100)에서 가공해서, 가공된 이미지를 디스플레이(14)에 표시하는 것이 가능하다(S350). 이때 디스플레이는 냉장고에 설치된 디스플레이인 것이 가능하다.
그리고 카메라는 사진 촬영을 중지할 수 있다(S352).
한편 냉장고는 와이파이(wifi)에 연결되어 통신이 가능한지를 판단하고(S354), 통신이 가능하다면 외부 서버에 이미지를 전송할 수 있다(S356).
서버에서는 사용자가 사용하는 단말기의 어플리케이션에 동기화되는지를 판단하고(S358), 동기화된다면 이미지를 단말기의 디스플레이(14)에 표시하는 것이 가능하다.
따라서 사용자는 냉장고의 앞에 있지 않더라도, 사용자 단말기를 통해서 냉장고에 저장된 물품에 대한 정보를 제공받을 수 있다.
만약 냉장고가 와이파이에 연결되지 않아 외부와 통신이 불가한 상태이거나, 단말기의 어플리케이션에 동기화가 되어 있지 않다면, 사용자 단말기의 디스플레이(14)에는 직전 이미지를 유지하고, 사용자에게 직전 이미지를 제공하는 것이 바람직하다.
이하, 사진을 촬영하고, 원하는 시점에 사진을 획득하기 위해서 구비된 구성요소에 대해 개략적으로 설명한다.
도어 스위치가 사용자가 도어를 열기 시작한 것을 감지하면, 제어부는 카메라를 구동하여 고내를 촬영하기 시작한다. 카메라는 초당 일정 프레임으로 연속해서 촬영을 하게 되는데, 사용자의 도어를 여는 행위는 냉장고 내에서 원하는 물품을 인출하거나 새로운 물품을 냉장고 내에 저장하기 위한 것을 의미하기 때문에 냉장고 내를 연속으로 촬영함으로써 냉장고 저장실 내의 저장 공간의 상태에 변화가 있는지를 감시할 수 있다.
상기 저장실은 각종 선반, 드로워 또는 바스켓 등으로 분리되어 각각 저장 공간을 형성하게 되며, 물품이나 용기 등의 형태나 내용에 따라 저장 공간에 보관되고 저장된다.
상기 카메라는 저장 공간에 대하여 선반에 의해 구분되는 선반영역과 드로워 영역 그리고 기타 저장영역으로 구분하여 감시할 수 있다. 이를 통해, 사용자가 인출 또는 입고 동작을 완료한 직후 상기 영역에서의 물품 보관 상태를 사용자가 체크 할 수 있도록 하고자 한다. 만약 드로워가 두 개가 구비되고, 기타 저장영역이 두 개가 양측에 평행하게 구비되는 경우에는, 상기 카메라를 통해 두 개의 드로워, 두 개의 기타 저장영역 각각을 사용자가 체크할 수 있는 정보를 제공할 수 있다.
본 발명의 일 실시예는 상기 기타 저장영역을 상기 저장실 바닥에 형성되고, 상기 드로워 저장영역의 앞에 위치되어 드로워가 열릴 경우 적어도 일부가 중첩되는 수납공간으로 정하고, 이를 감시 대상에 포함시키는 것을 제시한다.
상기 도어 스위치가 상기 도어의 개방을 감지하면 제어부는 냉장고 힌지 어셈블리에 구성되어 있는 도어 센서를 온(on)하여 도어의 회전에 따른 이동을 감지하게 된다. 상기 도어 센서는 항상 온(on)되어 있는 것도 가능하지만, 상기 도어 스위치에서 도어가 개방된 경우에 한해서 상기 도어 센서가 온(on)되는 것도 가능하다.
도어가 일정 각도 이상 개방이 되면, 제어부는 사용자가 저장실에 접근해서 물품을 반입 또는 반출할 수 있을 정도로 실질적으로 도어가 열린 상태라고 판단하고 선반영역의 보관상태를 업그레이드할 대상으로 결정한다.
또한, 상기 드로워 감지부에서 상기 드로워가 열림 정도를 감지하여 드로워가 열렸을 경우에는 드로워영역의 보관 상태를 업그레이드 할 대상으로 결정하고, 드로워가 열리지 않았을 때에는 상기 수납영역을 업그레이드 할 대상으로 결정한다.
본 발명의 일 실시예의 도어 센서는 도어가 열리고 닫히는 과정에서 일정 각도를 경과하고 있을 때를 감지하여 관련 정보를 제어부에 보내게 된다. 여기서, 상기 도어센서는 도어의 회전 방향 즉, 닫히는 방향인지 열리는 방향인지에 대해서도 감지할 수 있다.
본 발명의 실시예에서는 도어 스위치의 온(on)신호가 감지되면, 제어부는 도어 센서를 온(on)시키고, 도어 센서는 도어가 일정각도를 지나칠 때를 감지하여 이에 해당하는 시점을 제어부로 보내게 된다. 제어부는 이때 도어가 열린 상태로 판단하게 된다. 구체적으로 이때 도어는 일정 각도 만큼 회전되어 개방된 상태이다.
한편 도어가 열린 상태에서 사용자의 물품의 인출 또는 입고 행위를 마치면 개방되어 있던 도어를 닫게 되고, 상기 도어가 도어 센서를 지나쳤을 때 도어 센서는 신호를 제어부로 보내고, 제어부는 이 신호로부터 사용자가 물품의 입출고 행위를 마치고 도어가 닫히기 직전이라고 판단하게 된다. 구체적으로 이때 도어는 일정 각도 만큼 회전되어 개방되어 있지만, 닫히도록 회전이 되는 상태이다.
도어의 개폐 과정에서 카메라로부터 고내의 영상을 촬영하고, 사용자가 물품의 입출고 행위를 마친 직후에 촬영된 영상으로 업그레이드(upgrade)를 하는 과정에 대해 본원 발명의 일 실시예를 들어 구체적으로 설명한다.
도어가 닫혀 있는 상태에서 냉장고 도어 스위치가 온(on)되면, 제어부는 카메라와 도어 센서를 온(on)시킨다. 카메라는 대기 모드에서 구동 모드로 전환되는 것을 의미하고, 도어 센서는 도어의 열림 각도를 판단할 수 있는 상태로 전환되는 것을 의미할 수 있다.
상기 카메라는 일정 시간당 정해진 속도로 냉장고 고내를 연속으로 촬영할 수 있다. 촬영된 영상은 제어부로 보내지고, 상기 제어부는 전송된 영상을 고내 전체를 포함하는 이미지로써 임시적으로 버퍼링한다.
본 명세서에서 사용된 영상[Picture(or photograph)]과 이미지(Image)는 서로 구분되어서 사용될 수 있다.
구체적으로 영상(Picture 또는 photograph)는 카메라에서 촬영된 후 바로 전송된 로 데이터(raw data)를 의미이며, 이미지(Image)는 상기 로 데이터(raw data)인 영상(picture 또는 photograph)가 제어부에 의해 버퍼링되거나 보정 처리 또는 전송되는 data를 의미할 수 있다.
상기 도어 스위치가 온(on)되고, 도어가 일정 각도 개방되어 제어부가 도어가 열린 상태라고 판단되면, 제어부는 드로워의 열림 상태에 따라 상기 전체 이미지가 어떤 영역에 대한 물품의 보관 상태를 담고 있는지를 결정하게 된다.
예를 들어, 드로워가 열린 상태일 경우에는 상기 제어부는 상기 저장된 전체 이미지가 냉장고 선반 상부에 저장되는 영역(선반영역)과, 드로워 내부에 저장되는 드로워저장영역(드로워영역)에 대한 물품의 보관상태를 담고 있는 것으로 판단한다. 반면에, 상기 드로워가 닫혀 있는 상태라고 판단되면, 제어부는 상기 저장된 전체 이미지가 냉장고 선반영역과 드로워 앞단에 형성되어 드로워의 개방에 의해 중첩되는 영역인 상기 수납공간 내부 영역(수납영역)의 물품 보관 상태를 담고 있는 것으로 판단한다.
여기서, 상기 카메라에 의해 촬영되어 전송된 냉장고 저장실의 전체에 관한 사진은 3가지의 서로 다른 저장 공간으로 구획되어 있으며, 상기 선반영역은 항상 포함되어 있고, 상기 드로워영역과 상기 수납영역은 상기 드로워의 개폐 상태에 따라 선택적으로 포함되게 된다. 상기 드로워영역과 상기 수납영역은 사진 내에서 서로 공존하지는 않게 된다.
따라서, 상기 카메라에서 전송된 하나의 전체 사진은 적어도 두 개의 영역을 포함하고 있으며, 이중 하나는 선반영역이고, 나머지 부분이 어떠한 저장 영역에 해당되는지는 드로워 개폐 상태에 의해 결정되는 것이다.
본 발명은 하나의 카메라로 드로워 내부 공간과 그외의 또 다른 저장 공간 등 적어도 드로워의 내부를 포함한 두 개의 서로 다른 공간을 촬영하여 물품의 최근 입출고 상태를 사용자에게 전달하고자 하는 것이므로, 상기 드로워영역과 선반영역만을 고정적으로 촬영하여 업그레이드(upgrade)하는 방법도 본원 발명의 또 다른 실시 예가 될 수 있으며, 상기 드로워영역과 상기 수납공간만을 고정적으로 촬영하는 것도 본 발명의 일 실시 예가 될 수 있다.
한편, 냉장고에서 하나의 독립된 단열 공간을 구성하는 상기 저장실에 관한 하나의 전체 사진을 상기 저장실 내의 저장영역들로 구획하는 것은 상기 저장실을 개폐하는 도어의 개수에 의해 결정될 수 있다. 예를 들어, 상기 저장실을 하나의 도어로 개폐하는 냉장고에서는 상기 촬영되는 저장영역은 크게 2가지 또는 3가지로 구분될 수 있고, 상기 저장실을 두 개의 좌우측 도어로 개폐하게 될 경우는 상기 저장영역은 크게 4가지 또는 6가지로 구분될 수 있다.
이때, 상기 드로워영역과 수납영역은 좌우측으로 구획하여 상기 전체 사진에 각각 2개의 구획된 영역으로 관리될 수 있으며, 선반영역은 하나의 영역으로 통합하여 관리할 수도 있다. 이럴 경우 상기 전체 사진 내에 구획된 부분은 모두 5가지로 구성될 수도 있다.
이는 선반영역은 좌우 도어를 마주하는 저장공간이 서로 연결되어 있다. 선반영역에는 물품이나 식품 또는 야채 등이 좌우측에 걸쳐 보관되는 경우도 발생할 수 있다. 걸쳐서 보관되면 물품이 좌우 도어 중에서 어느 한쪽 도어만 개방하여 인출하거나 입고될 수 있기 때문에, 비록 좌우 도어 중 한쪽 도어만 열렸다 하더라도 촬영된 전체 이미지에서 선반 영역 전체를 통합하여 최신 데이터(data)로 교체해 줄 필요가 있기 때문이다. 이러한 점을 고려해서, 좌우 도어 중 어느 하나만이 개방되더라도, 선반 영역은 전체가 업데이트되는 것이 가능하다.
이를 더 상세히 설명하면, 도어가 열림 상태에서 드로워가 열린 것으로 판단되면, 제어부는 전송된 전체 사진으로부터 선반영역과 드로워영역을 분리하여 임시적으로 버퍼링한다. 그리고, 사용자가 드로워영역 또는/과 선반영역에서 물품 입출고 행위를 마치고, 드로워를 닫을려고 했을 때, 즉 드로워가 열린 후 정지된 상태에서 움직이기 시작했을 때, 임시 버퍼링된 영상 중에서 가장 최근에 촬영된 영상에서 드로워영역 내의 필요한 부분을 캡처(capture or cut)하여 최근 드로워영역의 보관 상태의 이미지로써 저장부에 저장한다. 이와 함께, 냉장고 디스플레이에 표시된 냉장고 고내 영상에서 드로워영역에 대해 상기 캡처된 이미지를 최근 영상으로 교체하여 업그레이드(upgrade)한다. 그리고, 이와 더불어 제어부는 상기 캡처된 드로워영역의 이미지를 네트웍으로 연결되어 있는 서버시스템으로 송부한다.
한편, 상기 도어가 열림 상태에서 드로워의 열림이 감지되지 않아 닫혀 있는 것으로 판단되면, 제어부는 전송된 영상의 전체 사진이 상기 선반영역과 상기 수납영역을 포함하고 있는 것으로 판단한다. 따라서, 상기 전체 사진으로부터 선반영역과 수납영역을 분리하여 임시적으로 버퍼링한다.
사용자가 수납영역 및/또는 선반영역에서 물품을 입고, 출고하는 작업을 완료하고 도어를 닫으면, 상기 도어 센서는 도어가 지정된 각도를 지나칠 때를 감지하여 제어부에 신호를 송출한다. 제어부는 상기 도어 센서로부터 송신된 신호에 의해 도어가 닫히기 직전(도어 등의 방해물에 의해서 사진이 가려지기 직전이라고 표현될 수 있다)이라고 판단하고, 임시 버퍼링된 영상 중에서 가장 최근의 촬영된 영상에서 수납영역 내의 필요한 부분을 캡처하여 상기 수납영역의 최근 보관 상태의 이미지로써 메모리에 저장한다. 이와 함께, 디스플레이에 표시된 냉장고 고내 영상에서 수납영역에 대해 상기 캡처된 이미지를 교체하여 upgrade한다.
이때 업그레이드는 기존 이미지에서 최신 이미지로 대체되는 것을 의미할 수 있다. 그리고, 이와 더불어 제어부는 상기 캡처된 드로워영역의 이미지를 네트웍으로 연결되어 있는 서버시스템으로 송부한다.
한편, 드로워가 열림 상태이거나 닫힘 상태이거나, 선반 영역은 도어가 닫히기 직전이라고 판단되는 시점에 버퍼링되고 있는 이미지 중에서 가장 최근 이미지를 캡처하여 메모리에 선반영역의 최근 물품 보관 상태로써 저장된다.
상기 캡쳐된 이미지(최근 선반영역 이미지, 최근 드로워영역의 이미지 또는 최근 수납영역 이미지 중 어느 하나 또는 이들 모두)에 의해 냉장고 디스플레이의 표시된 이미지를 교체하거나 서버시스템으로의 전송 또는 냉장고와 통신으로 연결되어 있는 사용자의 모바일 장치로의 전송은 상기 캡처된 이미지를 상기 냉장고 메모리에 저장하면서 동시에 진행할 수도 있으며, 사용자가 요구가 있을 때 한꺼번에 이루어지거나, 개별 영역별로 사용자의 요구 신호에 의해 이루어질 수도 있다.
여기서, 카메라로부터 전송된 하나의 영상은 제어부에 의해 하나의 이미지로 버퍼링될 수 있다. 상기 하나의 이미지는 도어가 열린 상태에 촬영된 것이라고 판단되면, 드로워 개폐 상태에 따라 상기 하나의 이미지에서 드로워영역을 포함하는지, 수납영역을 포함하는지가 판단될 수 있다. 그러한 판단이 되면서 해당되는 이미지를 추출하여 별도의 임시 버퍼에 각각 버퍼링된다.
하나의 이미지가 드로워가 닫히기 시작하는 시점에 촬영된 것이라고 판단되면, 상기 임시 버퍼링되고 있는 이미지 중에서 가장 최근 이미지를 메모리에 저장하고, 다시 사용자에 의한 새로운 입출고 행위가 완료되면 최근 이미지로 교체되게 된다. 또한, 도어가 닫히기 직전이라고 판단되면, 상기 임시 버퍼링 되고 있는 수납영역의 이미지 중에서 가장 최근 이미지를 메모리에 저장한다.
한편, 상기 선반영역은 버퍼링되고 있는 전체 이미지 중에서 도어가 닫히기 직전 가장 최근 이미지에서 선반영역만을 추출하여 메모리에 저장할 수 있고, 별도의 선반영역 용으로 임시 버퍼를 준비하여 선반영역만을 추출하여 버퍼링해 갈 수도 있다.
이하에서는, 도 52 내지 도 55를 참조하여, 앞서 설명한 다양한 방법에 의해 획득된 가장 최근의 냉장고 내부 이미지가 개인의 이동 단말기 또는 사업자 서버로 전송되어 활용되는 다양한 실시 예에 대하여 설명한다.
도 52는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램(ladder diagram)이다.
도 52를 참조하면, 제어부(100)는 도 34를 참조하여 설명한 바와 같은 단계를 거쳐 냉장고 내부 특정 영역의 최종 사진이 획득되었다고 판단되는 경우(S1101), 보정 처리된 최종 이미지를 이벤트 형식으로 단말기(2)에 전송한다(S1103). 단말기(2)는 스마트폰, PDA(Personal Digital Assistant), 태블릿 PC(Tablet PC) 등을 포함할 수 있으며, 이에 한정되는 것은 아니다. 이때. 제어부(100)는 냉장고 내부의 최종 이미지 뿐만 아니라, 이하에서 설명하는 최종 이미지와 관련된 각종 정보 역시 단말기(2)에 전송할 수 있다.
이때, 제어부(100)는 최종 사진을 통해서 최종 이미지가 획득되는 즉시, 최종 이미지를 단말기(2)에 전송할 수도 있고, 획득된 최종 이미지를 저장부(18)에 저장한 후, 미리 정해진 주기에 따라 이벤트 형식으로 저장된 이미지를 단말기(2)에 전송할 수도 있으며, 이에 한정되는 것은 아니다.
이어서, 단말기(2)는 사용자 선택에 따라 수신된 최종 이미지를 표시한다(S1105). 예컨대, 단말기(2)는 사용자 선택에 따라 냉장고 내부 이미지를 수신 및 표시할 수 있는 애플리케이션을 실행할 수도 있고, 멀티미디어 서비스를 수행하여 수신된 냉장고 내부 이미지를 표시할 수도 있다.
이와 같은 본 발명의 실시 예에 따르면, 사용자가 직접 냉장고 내부를 들여다보지 않더라도, 이동 단말기를 이용하여 냉장고 내부 이미지를 확인할 수 있으므로, 원격으로 현재의 냉장고 내부 상황을 파악할 수 있는 실익이 있다.
도 53은 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 53을 참조하면, 제어부(100)는 앞서 설명한 바와 같이 냉장고 내부 특정 영역의 최종 사진이 획득되었다고 판단되는 경우(S1301), 최종 사진을 영역별로 구분해서 이미지를 생성한 후에, 획득된 최종 이미지가 저장부(18)에 저장되도록 제어한다(S1303).
이어서, 단말기(2)는 현재의 냉장고 내부 이미지 즉, 냉장고 특정 영역의 최종 이미지 표시를 위한 사용자 입력이 수신되면(S1305), 냉장고에, 최종 이미지 요청 명령(request)을 전송한다(S1307).
그리고, 제어부(100)는 최종 이미지 요청 명령(request)에 대한 응답(response)으로 저장부(18)에 저장된 이미지 중에서 가장 최근에 촬영 및 저장된 냉장고 내부 이미지가 단말기(2)에 전송되도록, 통신부(270)를 제어한다(S1309).
이와 같은 본 발명의 실시 예에 따르면, 사용자가 필요한 경우에 한하여 이동 단말기와 냉장고 간의 통신이 수행됨으로써, 보다 효율적이고 경제적일 수 있다. 이하에서는 요청(request)에 대한 응답(response)으로 이미지 등이 전송되는 경우만을 설명하나, 도 35를 참조하여 설명한 바와 같은 이벤트(event) 형식으로 이미지 등이 전송되는 경우 역시 포함되는 것이며, 이에 한정되는 것은 아니다.
도 54는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 54를 참조하면, 제어부(100)는 앞서 설명한 바와 같이 냉장고 내부 특정 영역의 최종 사진이 획득되었다고 판단되는 경우(S1501), 최종 사진으로부터 획득된 최종 이미지가 저장부(18)에 저장되도록 제어한다(S1503).
이어서, 마켓 서버(3)와 같은 사업자 서버가 현재의 냉장고 내부 이미지 표시를 위한 사용자 입력을 수신하면(S1505), 마켓 서버(3)는 냉장고에 최종 이미지 요청 명령(request)을 전송한다(S1507). 이때, 마켓 서버(3)는 사용자 입력이 없이, 미리 정해진 주기에 따라 냉장고에 최종 이미지 요청 명령(request)을 전송할 수도 있다.
그리고, 제어부(100)는 이미지 요청 명령(request)에 대한 응답(response)으로 저장부(18)에 저장된 이미지 중에서 가장 최근에 촬영 및 저장된 냉장고 내부 최종 이미지가 마켓 서버(3)에 전송되도록 한다(S1509).
냉장고 내부의 최종 이미지를 수신한 마켓 서버(3)는 최종 이미지를 분석한다(S1511). 마켓 서버(3)는 최종 이미지를 분석하여, 해당 냉장고에 현재 저장된 저장물, 현재 저장되어 있지 않은 저장물을 알아내고, 과거 해당 냉장고에 저장되어 있었으나, 현재 저장되어 있지 않은 저장물 등을 분석하는 등 서비스 제공에 필요한 정보를 추출할 수 있다.
마켓 서버(3)는 최종 이미지 분석을 통해 추출한 부족한 물품 리스트를 해당 냉장고에 전송한다(S1513).
도 55는 본 발명의 또 다른 실시 예에 따른 냉장고 동작 방법을 설명하기 위한 래더 다이어그램이다.
도 55를 참조하면, 제어부(100)는 앞서 설명한 바와 같이 냉장고 내부 특정 영역의 최종 사진이 획득되었다고 판단되는 경우(S1701), 최종 사진으로부터 보정된 최종 이미지가 저장부(18)에 저장되도록 제어한다(S1703).
이어서, 방송국 서버(4)와 같은 사업자 서버가 냉장고 내부의 최종 이미지 표시를 위한 사용자 입력을 수신하면(S1705), 방송국 서버(4)는 냉장고에 최종 이미지 요청 명령(request)을 전송한다(S1707). 이때, 방송국 서버(4)는 사용자 입력이 없이, 미리 정해진 주기에 따라 냉장고에 최종 이미지 요청 명령(request)을 전송할 수도 있다.
그리고, 제어부(100)는 최종 이미지 요청 명령(request)에 대한 응답(response)으로 저장부(18)에 저장된 이미지 중에서 가장 최근에 촬영 및 저장된 냉장고 내부의 최종 이미지가 방송국 서버(4)에 전송되도록 제어한다(S1709).
최종 이미지를 수신한 방송국 서버(4)는 최종 이미지를 분석한다(S1711). 방송국 서버(4)는 최종 이미지를 분석하여, 해당 냉장고에 현재 저장된 저장물을 알아내고, 현재 저장된 저장물을 이용하여 만들 수 있는 요리 등을 분석하는 등 서비스 제공에 필요한 정보를 추출할 수 있다.
방송국 서버(4)는 최종 이미지 분석을 통해 현재 저장된 저장물을 이용하여 만들 수 있는 요리의 레시피 정보 등을 해당 냉장고에 전송한다(S1713).
제어부(100)는 방송국 서버(4)로부터 수신된 현재 저장된 저장물을 이용하여 만들 수 있는 요리의 레시피 정보 등을 냉장고에 설치된 디스플레이(14)에 표시한다(S1715)
이와 같은 본 발명의 실시 예에 따르면, 관련 사업자가 가정 또는 기업에 위치한 냉장고 내부 상황을 정확하게 파악하여, 해당 가정 또는 기업에 적합한 냉장고 관련 서비스를 제공할 수 있는 실익이 있다.
도 56은 카메라의 히터의 작동을 설명한 도면이고, 도 57은 카메라의 투명창에 온도별로 발생되는 결로에 관한 실험 결과를 설명한 도면이다. 이하 도 56을 참조해서 설명한다. 도 56에서는 도 14 내지 도 17에서 설명된 형태의 히터를 기준으로 설명한다.
도 56(a)는 상기 히터(84)에 단속적으로 전원이 공급되어서 단속적으로 가동되는 형태의 그래프이고, 도 56(b)는 상기 히터(84)가 지속적으로 전원이 공급되어서 계속 가동되는 형태의 그래프이다.
도 56(a)는 상기 투명창(80)의 온도를 평소 제어하지 않고 상기 저장실(22) 온도와 같이 평형상태로 유지하다가, 냉장고 카메라 촬영 필요 시점에 순간 높은 전력을 인가하는 방식이다. 특히 사진 촬영을 하는 직전에 상기 히터(84)를 작동해서 상기 투명창(80)에 발생된 결로를 제거할 수 있다.
상기 도어(20)가 열리면서, 상기 투명창(80)이 상기 도어(20)를 통해서 들어온 따뜻한 외기에 포함된 수분에 접촉할 수 있다. 이때 상기 투명창(80)은 외기에 비해서 상대적으로 온도가 낮기 때문에, 외기에 포함된 수분이 상기 투명창(80)에서 응결되면서, 결로현상이 발생된다.
이런 결로 현상으로 발생된 이슬을 제거하기 위해서, 상기 히터(84)가 순간적으로 구동된다면, 실제 상기 투명창(80)의 이슬이 제거될 때까지 시간이 필요하다는 문제가 있을 수 있다. 따라서 촬영이 필요한 시점이 이슬이 제거되는 시점보다 빠르다면 상기 투명창(80)에 이슬이 맺혀있을 수 있다는 문제가 발생할 수 있다.
반면에 도 56(b)는 상기 히터(84)가 계속 구동되어서, 상기 투명창(80)에 열이 공급되는 방식이다. 상기 투명창(80)의 온도는 항상 결로 발생 온도 이상으로 유지하기 때문에 상기 투명창(80)에 항상 결로가 발생되지 않는다. 따라서 상기 도어(20)가 개방되어 상기 투명창(80)이 외기에 접촉하더라도 외기에 포함된 수분이 상기 투명창(80)에 이슬로 맺히지는 않게 된다. 따라서 순간적으로 상기 카메라(70)가 사진을 촬영해야하는 시점에 상기 투명창(80)에 이슬이 맺혀있는 것을 방지할 수 있다.
상기 히터(84)를 구동함에 있어서, 결로에 의한 영상품질 문제를 없도록 하는 점과, 상기 히터(84)의 소비전력으로 인해서 냉장고의 소비전력이 급격히 증가하지 않도록 해야 한다. 또한 상기 히터(84)에 의해서 공급되는 열로 인해서 고내 온도에 영향을 주지 않도록 해야 한다는 점도 고려하는 것이 바람직하다.
본 발명자들은 히터의 소비전력을 최소화하고 냉장고 고내에 영향을 주지 않기 위해서는 히터를 오프(off)하는 시간을 크게 하여 운전하는 것이 필요할 것으로 보았다. 그러나, 히터의 오프(off)하는 시간을 길게 설정하면, 결로가 발생할 것임을 우려하여, 카메라 투명창에 목표 온도를 설정하고, 냉장고 외기 온도 섭씨 32도, 상대습도 85% 조건(이슬점 온도는 대략 섭씨 29도~30도 수준이 되는 조건)에서 실험했다(도 57 참조). 도 57a에서 y축은 투명창에 발생되는 결로량을 의미하고, 57b에서 y축은 현재 수증기량 대비 해당 온도에서 실제로 발생되는 결로량의 백분율을 의미한다.
반복된 실험에서 도출된 히터의 온/오프(on/off) 운전 주기는 고내의 특수한 온도 조건 하에서는, 카메라에서 촬영된 사진의 영상 품질에 악화시킬 수 있었다.
히터의 적절한 온/오프(on/off) 주기를 찾는다 하더라도, 히터가 off되는 시간 동안에 사용자의 냉장고 사용 패턴은 예측할 수 없을 정도로 다양할 수 있다.
예를 들어 사용자가 냉장고 도어를 장시간 동안 열어 놓았을 경우, 카메라 커버 글래스(Cover Glass)(커버 글래스는 상술한 투명창을 의미할 수도 있고, 카메라 렌즈의 앞단에 놓여지는 다양한 형태의 창을 의미할 수 있다) 표면에 많은 량의 결로가 생기게 된다. 이러한 경우에 히터를 작동시켜 커버 글래스를 가열하더라도 증발에는 많은 시간이 소요되기 때문에, 해당 시점에 촬영을 하면 영상 품질에 문제가 있다. E또한 이미 발생된 이슬을 커버 글래스로부터 증발시키는 데에는 많은 시간은 물론 많은 전력이 소모되었다.
또한 저장실이 냉장실일 경우, 고내 온도가 통상 섭씨 0도에서 7도 사이로 유지되고, 내부 체적 또한 커버 글래스 표면적에 보다 크다. 히터에 의해서 공급되는 열은 저장실 내부의 냉기로 많은 부분이 누출될 수밖에 없다. 따라서 커버 글래스에 생성된 이슬을 증발시키기 위해서는 짧은 시간 동안 많은 양의 열이 가해져야 한다. 그러한 열을 짧은 시간 동안 집중적으로 공급하기 위해서는 용량이 큰 히터를 사용하고, 순간 사용 전력이 크게 증가하기 때문에 전력 사정이 좋지 않은 상태에서는 다양한 문제가 발생될 수 있다.
따라서, 커버 글래스에 일정 이상의 결로량이 처음부터 지속적으로 발생되지 않게 하는 것이 바람직하고, 본 발명에서는 상기 히터를 온/오프(on/off) 주기 없이 상시 운전을 하도록 전원을 인가하는 것을 특징으로 한다.
상기 히터에 전원을 상시 인가하는 방법은 냉장고에 전원이 인가되면 바로 상기 카메라 히터에 해당 전원을 인가되게 구성할 수도 있고, 냉장고 제어부를 통해 저장실이 정상 운전 동안에 히터에 상시 전원을 인가하도록 제어할 수도 있다.
이어서, 커버 글래스의 가열온도에 대해 설명한다. 온도 대별로 얻은 영상 샘플을 토대로 품질 평가를 해 본 결과 상기 커버 글래스의 중심 부분의 온도가 대략 이슬점 온도에 대해 ½ 인 온도까지는 샘플 영상의 품질에 큰 문제가 없다는 것을 확인할 수 있었다. 영상 품질에 문제가 없다는 것은 촬영된 사진을 통해서 저장실에 저장된 물품의 종류 및 수량을 파악할 수 있을 정도를 의미할 수 있다.
특히 도 57b의 제(3)지점인 13.5도에서 얻은 영상 샘플의 품질은 적용가능한 수준이었다. 물론 커버 글래스의 가열 온도를 이슬점 이상의 온도로 유지하는 것도 가능하지만, Cover Glass의 가열온도가 약 섭씨 13도에서 약 30도 사이가 유지되도록 히터에 전력을 공급할 수 있다.
한편 실험 결과를 통해서커버 글래스의 가열온도는 동일한 인가전력이 공급되는 조건에서는 커버 글래스의 외곽 크기에 따라 차이가 있으며, 커버 글래스의 두께에는 큰 차이가 없었다. 따라서, 동일한 커버 글래스 크기에서 이슬점 온도의 1/2수준에서 영상품질은 만족하였으므로, 이를 하한점으로 하되, 히터의 소비전력(인가전력) 차원에서 적절한 상한점을 두고 선택하는 것이 바람직하다.
커버 글래스를 가열할 때에 이슬점 온도(29.2도) 근처에서의 인가전력이 0.45W이고, 이슬점 온도의 약 0.58배 수준(섭씨 17.1도)에서의 인가전력이 0.27W였다. 따라서, 이슬점 온도의 0.5 ~ 0.7 범위에서는 소모 전력도 대략 0.5 배이기 때문에 소비전력 감소에 큰 효과를 볼 수 있었다.
통상 가변될 수 있는 외기 조건에서 이슬점 온도의 중간 대역이 대략 섭씨 12 도 내지 17도로 결정될 수 있다. 따라서, 상기 히터에는 상기 투명창의 중앙 부분의 온도가 대략 섭씨 12 도 내지 17도로 유지하기 위한 전류값이 인가됨이 바람직하다.
즉 본 발명에서는 커버 글래스의 온도를 이슬점이 아닌, 이슬점보다 낮은 온도로 유지해서 히터에 의해서 소모되는 전력을 감소하는 효과를 얻을 수 있다.
도 58은 투명창의 단면도이다. 이하 도 58을 참조해서 설명한다.
상기 투명창(80)은 친수코팅된 것이 가능하다. 이때 상기 투명창(80)은 상술한 커버(90)를 의미할 수 있다.
상기 투명창(80)에 순간적으로 이슬이 맺히더라도, 도 58에서와 같이 친수코팅으로 인해서 물의 접촉각(α)가 15도 이내로 형성될 수 있다. 친수코팅이 되면 해당 표면에 대한 물의 표면 장력이 작아지게 된다. 따라서 물이 상기 투명창(80)의 표면에 넓게 펴질 수 있기 때문이다. 따라서, 투명창과 저장실의 천정면 사이의 각도가 대략 10도 내지 20도 사이가 되도록, 상기 카메라가 저장실의 천정면에 고정될 수 있다.
따라서 상기 투명창(80)에 맺힌 물로 인해서 촬영된 사진에 대한 왜곡을 최소화하는 것이 가능하다. 또한 친수코팅은 한 번 제작된 이후에 추가적인 전기를 공급하는 등의 제어를 할 필요가 없기 때문에, 에너지 효율 측면에서 장점을 가질 수 있다.
도 59와 도 60은 카메라가 인너 케이스에 설치되는 구조를 간략하게 도시한 도면이다. 참고로 도 59a와 도 60a는 저장실의 측면을 바라본 도면이고, 도 59b와 도 60b는 인너 케이스의 상측으로 올려다본 도면이다. 이하 도 59 및 도 60을 참조해서 설명한다. 이러한 실시예들을 통해서 외부 공기가 커버(90)에 이르는 경로를 우회시켜 커버(90)에서 응축이 발생되는 것을 최소화할 수 있다.
상기 카메라(70)는 상기 인너 케이스(12)의 천정으로부터 하측으로 돌출된 돌출부(500)에 설치될 수 있다. 이때 상기 돌출부(500)는 상기 인너 케이스(12)의 다른 부분에 비해서 하방을 향해서 튀어나와 있는 부분을 의미할 수 있다. 이러한 돌출부(500)는 전술한 카메라 하우징들을 통해 구현될 수도 있다.
이때도 59에 도시된 바와 같이, 상기 카메라(70)는 상기 돌출부(500) 내에서, 상기 저장실(22)의 내측벽을 바라보도록 설치된다. 커버(90)를 통해서 상기 카메라(70)는 상기 저장실(22) 내부의 사진을 촬영할 수 있다. 따라서 상기 커버(90)는 상기 돌출부(500)에서 상기 저장실(22)의 후벽을 바라보는 위치에 배치된다.
이때 상기 커버(90)에 외기에 포함된 수분이 접촉하면서 냉각되어 이슬이 발생하게 된다.
그러나 상기 커버(90)는 상기 저장실(22)의 후벽을 바라보도록 배치되기 때문에, 외기가 상기 커버(90)에 도달하는 경로가 길어질 수 있다.
즉 상기 도어(20)를 통과하는 외기가 상기 저장실(22)을 통과해서 상기 커버(90)에 접촉하기 위해서는 도 59b와 같은 경로를 통해야 하는데, 이때 외기는 상기 저장실(22)의 냉기와 접촉하면서 포함하고 있던 수분 중 일부가 다른 부분에서 응결될 수 있다. 따라서 외기는 상기 저장실(22) 내에서 수분의 양이 점차 줄어들면서 상기 커버(90)에 도달될 수 있다.
즉 상기 도어(20)가 열려있더라도 상기 저장실(22) 내부는 상기 저장실(22) 외부에 비해서 저온을 유지하고, 즉시 외기와 동일한 온도로 바뀌지는 않기 때문에 외기가 상기 저장실(22)로 진입하면서 열교환이 이루어진다.
다시 말해서, 상기 커버(90)가 상대적으로 외기와 접촉하기 어려운 위치에 배치된다면 상기 커버(90)에 발생되는 이슬의 양이 줄어들 수 있고, 이슬이 발생되는 시점이 늦어질 수 있다.
먼저, 외기는 고내로 진입하면서 돌출부(500)의 전방면(501)에 접하게 된다. 이때, 전방면(501)에 접하는 외기는 돌출부의 좌우로 경로가 변경되면서 고내로 더욱 진입한다. 이러한 외기는 돌출부(500)의 측면(502)에 접하면서 커버(90)로 도달될 수 있다. 따라서, 커버(90)로 도달되기 전에 많은 양의 수분이 응축될 수 있다.
또한, 돌출부(500)의 전방면(501)에 접하는 외기는 하강하여 돌출부의 하면(503)을 타고 상승할 수 있다. 따라서, 전방면(501)과 하면(503)으로 이동하면서 많은 양의 수분이 응축될 수 있다.
아울러, 상기 커버(90)는 전방면(501), 측면(502) 그리고 하면(503)으로 둘러싸인 형태에서 기울어지게 장착된다. 따라서, 외기의 경로와 커버(90)가 수직을 이루지 않게 된다. 따라서, 외기가 커버(90)에 도달하여 급격하게 응축되는 것 또한 방지될 수 있다.
특히 상기 돌출부(500)의 폭, 특히 전방면(5010)의 좌우 폭은 상기 카메라(70)의 폭보다 넓은 것이 가능하다.
도 60에 도시된 실시예는 도 59에 도시된 실시예와 매우 유사하다. 다만, 카메라가 수직 하부를 바라보도록 장착된 것이 다르다고 할 수 있다. 따라서, 도 59에 도시된 예와 동일한 효과를 가져올 수 있다.
또한 상기 돌출부(500)는 후방면(504)을 포함할 수 있다. 상기 전방면(501)의 상하 길이가 상기 후방면(504)의 상하 길이보다 큰 것이 바람직하다. 즉, 상기 전방면(501)이 상기 인너 케이스(12)의 하방으로 더 많이 돌출되어 있는 것이 가능하다.
따라서 외기가 상기 커버(90)에 도달하기 위해서는, 수평 방향으로는 상기 돌출부(500)의 폭에 의해서 경로가 길어지고, 수직 방향으로는 상기 돌출부(500)의 돌출된 높이 차이에 의해서 경로가 길어지게 된다.
이러한 돌출부(500)의 구조 또는 카메라를 장착하는 구조를 통해 커버(90)에서의 응축 방지는 카메라의 설치 위치와 매우 관련이 있다. 즉, 저장실의 천정에서 수직 하부에서 수직에서 소정 각도 후방으로 기울어지는 각도 범위로 카메라를 설치할 수 있기 때문이다. 따라서, 저장실 내에서 저장실 내의 전체 영역을 효과적으로 촬영하면서 외기의 유입 경로를 효과적으로 우회시킬 수 있다.
종래 기술에서는 카메라를 본체 저장실의 측벽이나 본체 외부 상단, 도어 또는 도어 상부에 장착하는 기술을 개시한 것들이 있다.
종래 기술은 저장실 측벽에 카메라를 장착하는 경우에는 측벽에 카메라를 수용할 수 있는 함몰부를 마련하고, 함몰부에 카메라를 장착하는 기술이 있다. 즉 카메라는 저장실의 내부로 돌출되지 않도록 하고 있다. 이는 저장실의 선반이나 물품을 인출할 때에 사용자에게 불편을 주지 않기 위한 구성이라고 추측된다.
그러나 본 발명에서는 카메라가 상기 인너 케이스(12)의 천장에 설치되어서 사용자가 상기 저장실(22)을 사용할 때에 방해를 받지는 않는다. 왜냐하면 사용자가 물품을 저장실로부터 인출하고자 할 때, 물품이나 선반의 이동 경로에 카메라가 위치하지 않기 때문에 카메라와 충돌될 이유가 없기 때문이다.
나아가 본 발명에서는 상기 카메라(70)의 커버(90)가 후방을 바라보도록 배치되어서, 외기가 상기 커버(90)에 도달하는 경로를 연장시킬 수 있다.
도 59a에서는 상기 커버(90)가 후방을 바라보도록 배치되면서, 상기 돌출부(500)가 하방으로 돌출되어서, 외기가 상기 커버(90)에 도달하기 위해서는 3차원적인 이동 경로를 가지게 되어, 외기의 이동 경로가 길어지게 된다.
도 60a에서는 상기 커버(90)가 하방을 바라보도록 배치되지만, 상기 돌출부(500)에 개구부에 수평하게 배치되는 전방면(504), 상기 전방면(504)의 양단에 상기 전방면(504)에 대해서 수직하게 배치되는 측면(508)가 설치된다. 이때 상기 전방면(504)와 상기 측면(508)는 상기 돌출부(500)로부터 하방으로 더 튀어나오도록 설치되어, 외기가 상기 커버(90)에 도달하는 경로가 길어지도록 할 수 있다.
즉 저장실 개구측에 외부에서 유입되는 고온의 공기가 카메라의 커버(90)에 일직선으로 바로 도달하여 접촉되지 못하고, 상기 돌출부(500)를 따라 좌우 그리고 하방으로 우회하여 도달한다. 따라서 외기는 고내의 냉기와 열교환되어 온도가 낮아지면서 포화수증기량이 작아지므로 함유하고 있는 수증기가 결로되어 고내 냉기와 섞여 없어진다. 최종적으로 상기 커버(90)에 도달되었을 때에는 줄어든 수증기량을 가지고 있기 때문에 상기 커버(90)를 가열하고 있는 히터에 의해 충분히 증발될 수 있게 된다.
따라서 상기 히터(84)에 제공되어야 하는 전력이 줄어들게 되어, 냉장고 전체적으로 소모되는 소비 전력이 개선되는 효과를 얻을 수 있다.
도 59 또는 도 60에 도시된 실시예에서는 내부에 저장실(a storage compartment)이 형성된 본체 (a cabinet)와; 상기 저장실은 전면에 개구부(an access opening)와, 단열물질로 이루어진 상부벽, 하부벽, 양측벽, 그리고 후벽으로 이루어지고, 복수의 선반에 의해 구획되는 선반영역과, 적어도 하나 이상의 드로어를 갖는 드로어 영역을 포함하여 구성되고; 상기 저장실 전면에 밀착되어 상기 저장실을 개폐하는 적어도 하나 이상으로 도어(at least one of doors)와; 상기 저장실의 개구부와 상기 저장실에 설치되는 선반의 전단부(a front edge of the shelves) 사이의 상기 저장실 상부벽에 설치되는 카메라 장치(a camera device)를 포함하고;
상기 카메라장치는 카메라렌즈를 포함한 카메라 구동에 필요한 전기적 부품을 수용하고, 상기 렌즈와 일정 간격을 가지고 형성되는 카메라창(a camera window)이 형성된 카메라 모듈부(a camera module part)와, 상기 카메라 모듈부를 내부의 정해진 위치에 안착시켜 고정시키는 카메라 하우징부(a camera housing part)를 포함 하여 구성되고;
상기 카메라 하우징부는 상기 저장실 상부벽에 접하는 고정면 (a fixing surface), 상기 저장실의 개구측에 형성되는 전면(a front surface)과, 상기 전면과 후면을 연결하는 양측면(side surfaces)과, 상기 카메라 모듈부의 카메라창이 노출되도록 개구(an opening)가 형성되어 있는 상면(a top surface)을 포함 하여 구성되고, 상기 카메라 하우징부의 전면은 상기 카메라 하우징부의 상면에 형성된 개구 보다 더 높게 형성되는 냉장고를 제공할 수 있다.
상기 카메라 하우징부의 상면은 상기 저장실의 상부벽면에 대하여 상기 저장실의 개구의 반대 방향을 향해 일정 각도 기울어져 있는 것이 가능하다.
상기 카메라 하우징부는 상기 저장실의 후벽 측에 상기 전면과 반대 위치에 후면을 더 형성하고, 상기 전면의 높이는 상기 후면의 높이보다 더 높게 형성될 수 있다.
상기 카메라하우징부 상면의 개구는 상기 카메라하우징부의 측면보다 낮은 위치에 형성될 수 있다.
상기 저장실의 상부벽의 내측으로 함몰된 공간 (a recessed space)에 대응되도록 함몰부 (a recessed portion)을 갖는 하우징장착부(a housing installation part)를 더 포함하여 될 수 있다.
상기 하우징장착부는 냉장고 단열재 충진과 함께 저장실 상부벽에 장착되고, 상기 카메라 하우징부는 상기 하우징장착부에 고정될 수 있다.
상기 카메라 하우징부에 고정된 상기 카메라 모듈부는 상기 하우징장착부에 형성된 함몰부에 수용될 수 있다.
상기 하우징장착부의 함몰부에 수용되는 상기 카메라모듈부는 상기 하우징 장착부 내면과 간격을 갖도록 상기 카메라 하우징부에 고정될 수 있다.
상기 카메라하우징부의 전면과 양측면은 상기 카메라 하우징 상면의 개구 위치보다 더 높게 형성될 수 있다.
상기 카메라하우징부의 상면은 상기 저장실의 개구측이 상기 저장실의 후벽측보다 상기 저장실 상부벽면으로부터 더 멀리 형성될 수 있다.
상기 카메라 모듈부는 카메라창이 형성되는 전면부 (a front portion)과 그 반대편의 후면부(a rear portion)을 가지고, 상기 전면부와 후면부 중 적어도 한쪽에는 적어도 하나의 평평한 면(a flat surface)이 형성될 수 있다.
상기 카메라 하우징부의 내측에는 상기 카메라 모듈부가 수용되는 수용부(a receiving portion)가 형성되고, 상기 수용부에는 상기 저장실의 상부벽면에 대하여 일정 각도 기울어져 상기 카메라 모듈부에 형성된 평평한 면이 놓이게 되는 안착부 (a seating part)를 포함할 수 있다.
상기 하우징장착부의 함몰부에는 상기 저장실의 상부벽면에 대하여 일정각도 기울어져 상기 카메라 모듈부에 형성된 평평한 면이 놓이게 되는 안착부(a seating part)를 포함할 수 있다.
상기 카메라 모듈부의 전면부의 카메라창 주변에 평평한 면(a flat surface)을 형성하고, 상기 평평한 면은 상기 카메라 렌즈 중심부의 높이와 대략 동일하게 형성할 수 있다.
도 61은 본 발명이 적용가능한 다른 형태의 냉장고를 도시한 도면이다. 이하 도 61을 참조해서 설명한다.
도 61의 냉장고는 양문형 냉장고로, 좌우측이 서로 다른 저장실을 이루는 형태이다. 즉 좌측의 저장실은 냉동실이고, 우측의 저장실은 냉동실이고, 좌측의 저장실은 냉장실을 구성하는 것이 가능하다.
상기 저장실(22)의 천정에는 상기 저장실(22)의 하부를 향하도록 카메라(70)가 설치될 수 있다.
그리고 상기 저장실(22)에는 물품을 수납할 수 있고, 인출입이 가능한 드로워(50)가 설치될 수 있다.
다른 내용은 앞에서 설명한 냉장고와 동일하기 때문에 생략한다.
도 62는 도 61에 따른 냉장고로부터 사용자에게 제공되는 화면이다. 이하 도 62를 참조해서 설명한다.
사용자에게는 상기 드로워(50, 51)에 저장된 물품에 관한 이미지와 상기 선반(40)의 상측에 저장된 물품에 관한 이미지가 제공될 수 있다. 냉장고에서는 하나의 드로워(50)가 구비될 수 있다. 따라서 도 62에서도 하나의 드로워에 관한 이미지가 제공될 수 있다. 그러나 도 61에 도시된 바왁 kx이 상하로 두 개의 드로워(50, 51)가 구비될 수 있다. 이 경우, 각각의 드로워 내부에 관한 이미지가 제공되는 것도 가능하다.
도 2를 통해 설명된 예에서는 드로워가 좌우로 각각 구비되는 형태이다. 그러나, 도 62에서는 상하로 드로워가 각각 구비되는 형태일 수 있다. 따라서, 드로워 영역이 두 개일 수 있으며, 상부 드로워(51)에 비해 하부 드로워(50)가 전방으로 돌출된 형태일 수 있다. 이 경우 각각의 드로워(50, 51)에서도 마찬가지로 마커가 구비될 수 있다.
이를 통해서, 하나의 카메라를 통해 복수 개의 선반 영역, 복수 개의 드로워 영역에 저장된 식품 정보를 용이하게 파악할 수 있게 된다.
사용자 화면에 제공되는 이미지를 업그레이드하는 방식 등에 대해서는 상술한 냉장고와 동일하기 때문에 생략한다.
도 63은 도 61에 따른 냉장고에서 카메라에서 촬영된 사진을 조정하는 방식을 설명한 도면이다. 이하 도 63을 참조해서 설명한다.
통상적으로 드로워가 하나만 제공되거나 상하로 각각 배치되기 때문에, 도 61의 형태의 냉장고에서는 하나의 수평 조정선(15)이 마련될 수 있다. 물론, 두 개의 드로워를 각각 구분하기 위하여 두 개의 수평 조정선이 마련될 수도 있다. 아울러, 평행하게 배치되는 두 개의 수직 조정선을 배치해서 조정선의 위치를 조정하는 것도 가능하다. 물론 도 63에 도시된 것과는 달리 수직 조정선을 사용하지 않고, 수평 조정선만을 이용해서 원하는 이미지를 선택하는 것도 가능하다.
사용자에게는 상기 조정선(15)을 이동시키는 한계 범위를 표시하는 한계선(16)이 제공될 수 있는데, 이때 상기 한계선(16)은 소정 간격을 가지면서 평행하게 배치되는 것이 가능하다.
이러한 조정선(15)을 통한 오차의 보정은 전술한 실시예와 동일 또는 유사하다고 할 수 있다.
본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.
10: 아우터 케이스 12: 인너 케이스
20: 도어 40: 선반
42: 제1영역 50: 드로워
52: 제2영역 60: 베리어
62: 제3영역 70: 카메라
100: 제어부

Claims (31)

  1. 냉장고의 본체에, 고정된 단열벽에 의해서 형성되고, 개구부가 마련된 저장실;
    상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어;
    상기 저장실 내에 공간에 식품이 저장되는 영역을 촬영하는 카메라;
    상기 카메라에 의해 촬영된 사진 및/또는 영상에서 추출된 이미지를 표시하는 디스플레이;
    상기 디스플레이에 표시되며 상기 영역의 이미지를 구획하며 이동 가능한 조정선;
    상기 디스플레이에 표시되고 상기 조정선의 이동 가능한 범위를 한정하는 한계선;을 포함하는 냉장고.
  2. 제 1 항에 있어서,
    상기 카메라는 드로어의 외측 공간에 식품이 저장되는 영역(제1영역)과 상기 드로어의 내측 공간에 식품이 저장되는 영역(제2영역)을 함께 촬영하는 냉장고.
  3. 제 2 항에 있어서,
    상기 디스플레이는 상기 제1영역과 제2영역이 함께 촬영된 이미지를 표시하고, 상기 이미지에서 상기 제1영역에 대한 부분(제1영역 이미지)과 제2영역에 대한 부분(제2영역 이미지)이 상기 조정선에 의해 서로 구분되며, 상기 영역별 이미지 범위를 조정되도록 이동 가능하게 표시되는 냉장고.
  4. 제 3 항에 있어서,
    상기 카메라의 개수는 하나인 냉장고.
  5. 제 3 항에 있어서,
    상기 디스플레이에는 상기 조정선의 위치를 이동을 조정하는 버튼 영역을 더 포함하는 냉장고.
  6. 제 5 항에 있어서,
    상기 버튼 영역은 상기 조정선을 상하로 이동 가능하게 하는 상하조정버튼과 상기 조정선을 좌우로 이동 가능하게 하는 좌우조정버튼을 포함하는 냉장고.
  7. 제 3 항에 있어서,
    상기 디스플레이에는 상기 조정선의 이동에 따라 조정되는 영역별 이미지를 구분하여 표시하는 조정된 영역별 표시부를 더 포함하는 냉장고.
  8. 제 7 항에 있어서,
    상기 조정된 영역별 표시부는 제2영역을 대상으로 하는 냉장고.
  9. 제 3 항에 있어서,
    상기 조정선은 상기 복수 개의 영역들을 구획하며, 작업자 또는 사용자에 의해 변화될 수 있는 냉장고.
  10. 제 6 항에 있어서,
    상기 조정선은 수직 조정선과 수평 조정선을 포함하는 냉장고.
  11. 제 10 항에 있어서,
    상기 수직 조정선은 상기 이미지의 중앙 또는 양 끝단에 배치되는 냉장고.
  12. 냉장고의 본체에, 고정된 단열벽에 의해서 형성되고, 개구부가 마련된 저장실;
    상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어;
    상기 저장실 내에 공간에 식품이 저장되는 영역을 촬영하는 카메라;
    상기 카메라에 의해 촬영된 사진 및/또는 영상에서 추출된 이미지를 표시하는 디스플레이;
    상기 디스플레이에 표시되며 상기 영역의 이미지를 구획하며 이동 가능한 조정선;
    상기 디스플레이에 표시되고 상기 디스플레이의 최외곽선과 상기 조정선의 사이에 위치하며 상기 조정선의 이동 가능한 범위를 한정하는 한계선;을 포함하는 냉장고.
  13. 제 12 항에 있어서,
    상기 카메라는 드로어의 외측 공간에 식품이 저장되는 영역(제1영역)과 상기 드로어의 내측 공간에 식품이 저장되는 영역(제2영역)을 함께 촬영하는 냉장고.
  14. 제 13 항에 있어서,
    상기 디스플레이는 상기 제1영역과 제2영역이 함께 촬영된 이미지를 표시하고, 상기 이미지에서 상기 제1영역에 대한 부분(제1영역 이미지)과 제2영역에 대한 부분(제2영역 이미지)이 상기 조정선에 의해 서로 구분되며, 상기 영역별 이미지 범위를 조정되도록 이동 가능하게 표시되는 냉장고.
  15. 제 14 항에 있어서,
    상기 카메라의 개수는 하나인 냉장고.
  16. 제 14 항에 있어서,
    상기 조정선은 상기 복수 개의 영역들을 구획하며, 작업자 또는 사용자에 의해 변화될 수 있는 냉장고.
  17. 제 16 항에 있어서,
    상기 조정선은 수직 조정선과 수평 조정선을 포함하는 냉장고.
  18. 제 17 항에 있어서,
    상기 수직 조정선은 상기 이미지의 중앙 또는 양 끝단에 배치되는 냉장고.
  19. 제 17 항에 있어서,
    상기 디스플레이에는 상기 조정선의 위치를 이동을 조정하는 버튼영역을 더 포함하는 냉장고.
  20. 제 19 항에 있어서,
    상기 버튼영역은 상기 조정선을 상하로 이동 가능하게 하는 상하조정버튼과 상기 조정선을 좌우로 이동 가능하게 하는 좌우조정버튼을 포함하는 냉장고.
  21. 제 19 항에 있어서,
    상기 디스플레이에는 상기 조정선의 이동에 따라 조정되는 영역별 이미지를 구분하여 표시하는 조정된 영역별 표시부를 더 포함하는 냉장고.
  22. 제 19 항에 있어서,
    상기 조정된 영역별 표시부는 제2영역을 대상으로 하는 냉장고.
  23. 냉장고의 본체에, 고정된 단열벽에 의해서 형성되고, 개구부가 마련된 저장실;
    상기 본체에 회전 가능하게 구비되어 상기 개구부를 개폐하는 도어;
    상기 저장실 내에 공간에 식품이 저장되는 영역을 촬영하는 카메라;
    상기 카메라에 의해 촬영된 사진 및/또는 영상에서 추출된 이미지를 표시하는 디스플레이;
    상기 카메라는 드로어의 외측 공간에 식품이 저장되는 영역(제1영역)과 상기 드로어의 내측 공간에 식품이 저장되는 영역(제2영역)을 함께 촬영하고;
    상기 디스플레이는 상기 제1영역과 제2영역이 함께 촬영된 이미지를 표시하고, 상기 이미지에서 상기 제1영역에 대한 부분(제1영역 이미지)과 제2영역에 대한 부분(제2영역 이미지)이 조정선에 의해 서로 구분되며, 상기 영역별 이미지 범위가 조정되도록 이동 가능하게 표시되는 냉장고.
  24. 제 23 항에 있어서,
    상기 카메라의 개수는 하나인 냉장고.
  25. 제 23 항에 있어서,
    상기 조정선은 상기 복수 개의 영역들을 구획하며, 작업자 또는 사용자에 의해 변화될 수 있는 냉장고.
  26. 제 23 항에 있어서,
    상기 조정선은 수직 조정선과 수평 조정선을 포함하는 냉장고.
  27. 제 26 항에 있어서,
    상기 수직 조정선은 상기 이미지의 중앙 또는 양 끝단에 배치되는 냉장고.
  28. 제 23 항에 있어서,
    상기 디스플레이에는 상기 조정선의 위치를 이동을 조정하는 버튼영역을 더 포함하는 냉장고.
  29. 제 28 항에 있어서,
    상기 버튼영역은 상기 조정선을 상하로 이동 가능하게 하는 상하조정버튼과 상기 조정선을 좌우로 이동 가능하게 하는 좌우조정버튼을 포함하는 냉장고.
  30. 제 23 항에 있어서,
    상기 디스플레이에는 상기 조정선의 이동에 따라 조정되는 영역별 이미지를 구분하여 표시하는 조정된 영역별 표시부를 더 포함하는 냉장고.
  31. 제 30 항에 있어서,
    상기 조정된 영역별 표시부는 제2영역을 대상으로 하는 냉장고.






KR1020220036827A 2020-08-31 2022-03-24 냉장고 및 그 제어 방법 KR102495013B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220036827A KR102495013B1 (ko) 2020-08-31 2022-03-24 냉장고 및 그 제어 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200110324A KR102259582B1 (ko) 2014-04-15 2020-08-31 냉장고 및 그 제어 방법
KR1020210066215A KR102479414B1 (ko) 2020-08-31 2021-05-24 냉장고 및 그 제어 방법
KR1020220036827A KR102495013B1 (ko) 2020-08-31 2022-03-24 냉장고 및 그 제어 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210066215A Division KR102479414B1 (ko) 2020-08-31 2021-05-24 냉장고 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20220042336A KR20220042336A (ko) 2022-04-05
KR102495013B1 true KR102495013B1 (ko) 2023-02-06

Family

ID=72471494

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020200110324A KR102259582B1 (ko) 2014-04-15 2020-08-31 냉장고 및 그 제어 방법
KR1020210066218A KR102512750B1 (ko) 2020-08-31 2021-05-24 냉장고 및 그 제어 방법
KR1020210066215A KR102479414B1 (ko) 2020-08-31 2021-05-24 냉장고 및 그 제어 방법
KR1020220036827A KR102495013B1 (ko) 2020-08-31 2022-03-24 냉장고 및 그 제어 방법
KR1020220065907A KR20220075302A (ko) 2020-08-31 2022-05-30 냉장고 및 그 제어 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020200110324A KR102259582B1 (ko) 2014-04-15 2020-08-31 냉장고 및 그 제어 방법
KR1020210066218A KR102512750B1 (ko) 2020-08-31 2021-05-24 냉장고 및 그 제어 방법
KR1020210066215A KR102479414B1 (ko) 2020-08-31 2021-05-24 냉장고 및 그 제어 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220065907A KR20220075302A (ko) 2020-08-31 2022-05-30 냉장고 및 그 제어 방법

Country Status (1)

Country Link
KR (5) KR102259582B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114484982B (zh) * 2020-11-12 2024-05-03 海信冰箱有限公司 冰箱及冰箱内的图像处理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002267337A (ja) 2001-03-12 2002-09-18 Matsushita Refrig Co Ltd 冷蔵庫の食材管理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236798A (ja) * 2001-02-13 2002-08-23 Matsushita Refrig Co Ltd 冷蔵庫の食品管理装置及び食品管理方法
JP2003207258A (ja) 2002-01-16 2003-07-25 Toshiba Corp 冷蔵庫
KR100430296B1 (ko) * 2002-01-17 2004-05-04 엘지전자 주식회사 영상기기를 이용한 냉장고 냉기 제어방법
KR100479616B1 (ko) * 2002-03-09 2005-03-30 엘지전자 주식회사 냉장고내 정보 취득 장치 및 방법
KR100834107B1 (ko) * 2002-11-14 2008-06-02 엘지전자 주식회사 도어바스켓을 구비하는 냉장고 도어어셈블리
US20060096303A1 (en) 2004-11-10 2006-05-11 Kavounas Gregory T Home refrigerator systems imaging their interior and methods
KR20060098515A (ko) * 2005-03-03 2006-09-19 엘지전자 주식회사 홈 서버에서의 카메라 영상 표시 제어방법
KR100677269B1 (ko) * 2005-03-15 2007-02-02 엘지전자 주식회사 카메라가 구비된 냉장고
KR100867118B1 (ko) * 2007-03-15 2008-11-06 삼성전자주식회사 냉장고의 식품 판독 시스템
KR101821196B1 (ko) * 2010-02-23 2018-01-23 엘지전자 주식회사 단말기를 구비하는 냉장고 및 그 제어방법
KR20120117464A (ko) * 2011-04-15 2012-10-24 엘지전자 주식회사 냉장고 및 냉장고의 제어방법
KR20120118376A (ko) * 2011-04-18 2012-10-26 엘지전자 주식회사 냉장고의 제어방법
JP2012251722A (ja) 2011-06-03 2012-12-20 Panasonic Corp 冷蔵庫
KR101946367B1 (ko) * 2012-09-26 2019-02-11 엘지전자 주식회사 냉장고 및 냉장고에 보관된 식품의 잔여량을 통지하기 위한 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002267337A (ja) 2001-03-12 2002-09-18 Matsushita Refrig Co Ltd 冷蔵庫の食材管理装置

Also Published As

Publication number Publication date
KR102259582B1 (ko) 2021-06-01
KR20210062620A (ko) 2021-05-31
KR102479414B1 (ko) 2022-12-19
KR20210062619A (ko) 2021-05-31
KR20220042336A (ko) 2022-04-05
KR102512750B1 (ko) 2023-03-21
KR20200106474A (ko) 2020-09-14
KR20220075302A (ko) 2022-06-08

Similar Documents

Publication Publication Date Title
CN105241154B (zh) 冰箱及其控制方法
EP2998671B1 (en) Refrigerator and control method for the same
KR101678444B1 (ko) 냉장고 및 그 제어 방법
KR102152400B1 (ko) 냉장고 및 그 제어 방법
KR102347134B1 (ko) 냉장고 및 그 제어 방법
KR102152399B1 (ko) 냉장고 및 그 제어 방법
KR102495013B1 (ko) 냉장고 및 그 제어 방법
KR20150127013A (ko) 냉장고 및 그 제어 방법
KR102417850B1 (ko) 냉장고 및 그 제어 방법
KR102232657B1 (ko) 냉장고 및 그 제어 방법
KR101662087B1 (ko) 냉장고 및 그 제어 방법
KR102377310B1 (ko) 냉장고 및 그 제어 방법
KR102231593B1 (ko) 냉장고 및 그 제어 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant