KR20230053858A - 냉장고 및 냉장고의 제어 방법 - Google Patents

냉장고 및 냉장고의 제어 방법 Download PDF

Info

Publication number
KR20230053858A
KR20230053858A KR1020210137141A KR20210137141A KR20230053858A KR 20230053858 A KR20230053858 A KR 20230053858A KR 1020210137141 A KR1020210137141 A KR 1020210137141A KR 20210137141 A KR20210137141 A KR 20210137141A KR 20230053858 A KR20230053858 A KR 20230053858A
Authority
KR
South Korea
Prior art keywords
door
refrigerator
user
gaze
detected
Prior art date
Application number
KR1020210137141A
Other languages
English (en)
Inventor
이상용
김주언
하지형
이장우
장경아
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210137141A priority Critical patent/KR20230053858A/ko
Priority to PCT/KR2022/013850 priority patent/WO2023063600A1/ko
Publication of KR20230053858A publication Critical patent/KR20230053858A/ko
Priority to US18/599,565 priority patent/US20240210101A1/en

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F25D23/02—Doors; Covers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F25D23/02—Doors; Covers
    • F25D23/028—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/765—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using optical sensors
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/767—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/30—Application of doors, windows, wings or fittings thereof for domestic appliances
    • E05Y2900/31—Application of doors, windows, wings or fittings thereof for domestic appliances for refrigerators
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2323/00—General constructional features not provided for in other groups of this subclass
    • F25D2323/02—Details of doors or covers not otherwise covered
    • F25D2323/021—French doors
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/04—Sensors detecting the presence of a person

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Thermal Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Refrigerator Housings (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

도어를 자동으로 개폐할 수 있는 냉장고가 개시된다. 구체적으로, 영상 획득 센서에 의해 획득된 사용자의 영상 데이터를 이용하여 사용자의 응시 지점을 검출하고, 검출된 사용자의 응시 지점에 대응하는 도어를 결정하고, 도어 구동부를 제어하여 결정된 도어를 개방하는, 냉장고가 개시된다.

Description

냉장고 및 냉장고의 제어 방법{REFRIGERATOR AND METHOD FOR CONTROLLING REFRIGERATOR}
본 개시는 자동으로 도어를 개폐(open and close)하는 냉장고 및 냉장고의 제어 방법에 관한 것이다.
냉장고는 저온 저장실(low-temperature storage room)에 대상물(object)을 저장할 수 있는 전자 장치이다. 냉장고는 저장실의 개수 또는 구조에 따라 하나 이상의 도어를 포함할 수 있다. 냉장고에 포함되는 도어는 저장실에 대상물을 입고하거나 출고할 때 사용되며, 닫혀진 상태에서 저장실의 냉기가 외부로 유출되는 것을 방지하여 저장실 내부의 온도를 일정하게 유지시킨다.
이러한 냉장고의 도어의 개폐 동작은 사용자의 물리적인 접촉을 기반으로 하는 사용자의 별도의 조작에 의해 수행된다. 그러나, 냉장고의 기능이 스마트해지면서, 사용자의 별도의 조작 없이 사용자의 의도를 기반으로 도어를 개폐할 수 있는 냉장고가 제안되고 있다.
본 개시의 일 실시 예에 의하면, 사용자의 시선 추적(eye tracking)을 기반으로 사용자가 원하는 도어를 자동으로 개폐하는 냉장고 및 냉장고의 제어 방법이 제공될 수 있다.
본 개시의 일 실시 예에 의하면, 사용자의 위치 및 사용자의 시선 추적을 기반으로 사용자가 원하는 도어를 자동으로 개폐하는 냉장고 및 냉장고의 제어 방법이 제공될 수 있다.
본 개시의 일 실시예에 따른 냉장고는, 본체; 본체의 전면에 회전 가능하게 연결된 적어도 하나의 도어: 적어도 하나의 도어를 자동으로 개폐하는 도어 구동부; 냉장고의 주변에 위치하는 사용자의 영상 데이터를 획득하는 영상 획득 센서; 및 사용자의 영상 데이터를 이용하여 사용자의 시선이 사전에 설정된 시간 이상 머무는 응시 지점을 검출하고, 적어도 하나의 도어 중에서 검출된 응시 지점에 대응하는 도어를 결정하고, 도어 구동부를 제어하여 결정된 도어를 개방하는 적어도 하나의 프로세서를 포함할 수 있다.
본 개시의 일 실시예에 따른 냉장고의 제어방법은, 냉장고에 포함된 영상 획득 센서를 이용하여 냉장고의 주변에 위치하는 사용자의 영상 데이터를 획득하는 단계; 획득된 사용자의 영상 데이터를 이용하여 사용자의 시선이 사전에 설정된 시간 이상 머무는 응시 지점을 검출하는 단계; 냉장고에 포함된 적어도 하나의 도어 중에서 검출된 사용자의 응시 지점에 대응하는 도어를 결정하는 단계; 및 냉장고에 포함된 도어 구동부를 제어하여 결정된 도어를 개방하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 의하면, 냉장고는 사용자의 시선 추적을 기반으로 사용자가 원하는 냉장고의 도어를 자동으로 개방함으로써, 냉장도의 도어를 개폐할 때, 사용자의 편의성을 향상시킬 수 있다.
본 개시의 일 실시예에 의하면, 냉장고는 사용자의 시선 추적과 사용자의 위치를 기반으로 사용자가 원하는 도어를 보다 정확한 시점에 개폐함으로써, 냉장고 도어의 잘못된 개폐를 방지할 수 있고, 냉장고의 도어와 사용자 간의 충돌을 방지할 수 있다.
본 개시의 일 실시예에 의하면, 냉장고는 사용자가 적어도 하나의 도어를 개방하기 위해 응시할 수 있는 영역을 가이드함으로써, 사용자가 개방할 도어를 보다 정확하게 결정할 수 있도록 한다.
도 1은 본 개시의 일 실시예에 따른 냉장고를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 냉장고의 기능을 설명하기 위한 블록 구성도이다.
도 3은 본 개시의 일 실시 예에 따른 냉장고에 포함된 영상 획득부가 장착될 수 있는 위치의 예시도이다.
도 4는 본 개시의 일 실시 예에 따른 냉장고의 도어의 개수가 1개이거나 적어도 하나의 슬라이딩을 기반으로 하는 드로어를 포함하는 경우에, 영상 획득부의 배치 위치에 대한 예시도이다.
도 5는 본 개시의 일 실시 예에 따른 영상 획득부에 의해 획득된 영상 데이터로부터 추출된 눈동자의 모양에 대한 예시도이다.
도 6은 본 개시의 일 실시 예에 따른 냉장고의 2차원 평면 좌표값과 응시 영역간의 관계 예시도이다.
도 7은 본 개시의 일 실시 예에 따른 냉장고에 장착되는 도어 구동부의 위치 예시도이다.
도 8은 본 개시의 일 실시 예에 따른 냉장고의 기능을 설명하기 위한 블록 구성도이다.
도 9는 도 8의 영상 획득부와 센서가 장착된 냉장고의 예시도이다.
도 10은 본 개시의 일 실시 예에 따른 냉장고의 기능을 설명하기 위한 블록 구성도이다.
도 11은 본 개시의 일 실시예에 따른 냉장고에 포함된 출력부를 통해 개방될 도어에 대한 안내 정보를 제공하는 예이다.
도 12는 본 개시의 일 실시예에 따른 냉장고에 포함된 프로세서들의 기능을 설명하기 위한 블록 구성도이다.
도 13은 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 순서도이다.
도 14는 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 순서도이다.
도 15는 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 순서도이다.
도 16은 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 순서도이다.
도 17은 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 순서도이다.
도 18은 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 순서도이다.
본 개시에서 사용되는 용어에 대해 간략히 설명하고, 본 개시의 일 실시예에 대해 구체적으로 설명하기로 한다.
본 개시에서 사용되는 용어는 본 개시의 일 실시예에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 본 개시의 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 개시에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시의 일 실시예는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시의 일 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 본 개시 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시예에 따른 냉장고를 설명하기 위한 도면이다.
본 개시의 일 실시예에 따른 냉장고(100)는 본체(101), 제 1 내지 제 4 도어(102~105), 영상 획득부(106), 및 센서(107)를 포함할 수 있다. 냉장고(100)에 포함되는 도어의 수는 도 1에 도시된 바로 제한되지 않는다. 예를 들어, 냉장고(100)는 하나 이상의 도어를 포함할 수 있다. 또한, 냉장고(100)의 도어는 도어 외부에서 내부를 육안으로 확인할 수 있는 유리 도어로 구성될 수도 있고, 도어 외부에서 내부를 육안으로 확인할 수 없는 불투명 도어로 구성될 수도 있다. 냉장고(100)의 도어는 여닫이 형태로 구성될 수도 있고, 슬라이딩 형태로 구성될 수도 있다. 냉장고(100)는 제 1 내지 제 4 도어(102~105)를 본체(101)의 전면에 회전 가능하게 연결시키는 힌지를 포함할 수 있다.
도 1에 도시된 냉장고(100)는 제 1 내지 제 4 도어(102~105)에 의해 각각 밀폐될 수 있는 복수개의 저장실을 포함할 수 있다. 저장실은 대상물을 보관하기 위해 냉동실 또는 냉장실로 설정될 수 있다. 냉장실은 예를 들어, 약 섭씨(Celsius) 0도 내지 5도의 온도에서 대상물을 보관할 수 있는 저장실을 나타낼 수 있으나, 냉장실의 온도는 이로 제한되지 않는다. 냉동실은 예를 들어, 약 섭씨 0도 내지 영하 30도의 온도에서 대상물을 보관할 수 있는 저장실을 나타낼 수 있으나 냉동실의 온도는 이로 제한되지 않는다. 예를 들어, 냉장실과 냉동실은 각각 복수의 온도 범위 중 하나의 온도 범위를 선택하여 동작시킬 수 있다.
냉장고(100)의 본체(101)는 박스 형상을 가질 수 있으며 전면이 개방된 형태를 가질 수 있다. 냉장고(100)의 본체(101)는 단열재(insulating material)를 포함할 수 있다. 제 1 내지 제 4 도어(102~105)의 개폐 동작은 본체(101)에 구비된 저장실을 개방시키거나 폐쇄시키기 위해 수행된다. 제 1 내지 제 4 도어(102~105)가 폐쇄된 상태에서, 본체(101)에 구비된 저장실의 냉기가 외부로 유출되는 것을 방지하기 위하여, 본체(101)와 제 1 내지 제 4 도어(102~105) 사이에 필러(filler) 또는/및 실링(ceiling) 부재가 포함될 수 있다. 필러 또는 실링 부재는 고무 재질로 구성될 수 있다. 저장실은 제 1 내지 제 4 도어(102~105)에도 구비될 수 있다. 제 1 내지 제 4 도어(102~105)에 구비되는 저장실은 도어 선반 형태로 구성될 수 있다.
영상 획득부(106)는 사용자(110)의 시선(120)(예컨대, 시선 방향)을 추적하기 위해 사용될 수 있다. 영상 획득부(106)는 사용자(110)의 시선(120)(예컨대, 시선 방향)을 추적하기 위한 영상 획득 센서로 구성될 수 있다. 냉장고(100)는 영상 획득부(106)를 이용하여 획득된 영상 데이터를 기반으로 사용자(110)의 시선(120)을 추적하여 사용자(110)가 개방하기 원하는 도어를 결정하고, 결정된 도어를 자동으로 개방하고, 개방된 도어를 폐쇄할 수 있다.
사용자(110)의 시선(120)을 추적하여 검출된 사용자(110)의 응시 지점(gaze point)을 기반으로 제 1 내지 제 4 도어(102~105)중 개방하기 위한 도어를 결정하기 위하여, 냉장고(100)는 본체(101)의 전면에 대한 2차원 평면 좌표값 (x,y)을 갖고 있을 수 있다. 사용자(110)의 시선(120)을 추적하여 검출된 사용자(110)의 응시 지점은 사용자의 시선이 사전에 설정된 시간 이상 머무는 냉장고(100)의 전면의 하나의 지점(또는 위치)로서, 2차원 평면 좌표값 (x,y)로 표현될 수 있다. 사용자의 응시 지점은 시점(view point)으로 언급될 수 있다. 사전에 설정된 시간은, 냉장고(100)가 제조될 때, 냉장고(100)에 저장될 수도 있고, 사용자(110)에 의해 설정될 수도 있다.
냉장고(100)는 센서(107)를 이용하여 사용자(110)와 냉장고(100) 간의 거리값을 검출하고, 검출된 거리값을 기반으로, 냉장고(100)의 적어도 하나의 도어를 개방하기 위한 사용자의 의도를 판단할 수 있다. 사용자(110)와 냉장고(100) 간의 거리값은 사용자(110)의 현재 위치와 냉장고(100)의 전면간의 거리값을 나타낼 수 있다.
센서(107)는 사용자(110)와 냉장고(100) 간의 거리값(130)을 검출하기 위해 사용된다. 냉장고(100)는 센서(107)를 이용하여 센싱된 값을 이용하여 냉장고(100)의 전면과 사용자(110)의 현재 위치 간의 거리값이 사전에 설정된 거리 조건을 만족하면, 영상 획득부(106)의 동작을 활성화하여 사용자(110)의 시선을 추적하고, 추적된 결과를 기반으로 개방할 도어를 결정하고, 결정된 도어를 개방하고, 개방된 도어를 폐쇄할 수 있다. 사전에 설정된 거리 조건은, 냉장고(100)의 도어를 개방 또는 폐쇄할 때, 냉장고(100)의 도어와 사용자(110)의 신체간의 충돌을 방지하면서, 사용자(110)가 냉장고(100)의 도어를 개방하려는 의도를 갖고 있다고 판단되는 조건을 나타낼 수 있다. 예를 들어, 사전에 설정된 거리 조건은 냉장고(100)의 전면과 사용자(110)의 현재 위치 간의 거리값이 30cm이상이면서 60cm미만으로 설정될 수 있으나 사전에 설정된 거리 조건은 이로 제한되지 않는다.
본 개시의 일 실시예에 의하면, 냉장고(100)는 영상 획득부(106)를 이용하여 사용자(110)의 시선을 추적한 결과를 기반으로 사용자(110)가 개방하기 원하는 도어를 결정하고, 결정된 도어를 개방한 후, 일정 시간이 경과하면, 개방되었던 도어를 폐쇄할 수 있다. 따라서, 본 개시의 일 실시예에 의하면, 사용자(110)의 시선에 따라 자동으로 냉장고(100)의 도어가 개방될 수 있으므로, 사용자(110)의 편의성이 증대될 수 있다. 특히, 사용자(110)가 냉장고(100)의 도어를 개방하기 위하여 손잡이를 잡아 당기지 않더라도 냉장고(100)의 도어가 자동으로 개방될 수 있으므로, 손의 힘이 약한 사용자에게 유용할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 냉장고의 기능을 설명하기 위한 블록 구성도이다.
도 2를 참조하면, 냉장고(100)는 영상 획득부(106), 프로세서(210), 도어 구동부(220), 및 제 1 내지 제 4 도어(102~105)를 포함하나 본 개시의 일 실시 예에 따른 냉장고(100)에 포함되는 구성 요소는 도 2에 도시된 바로 제한되지 않는다. 예를 들어, 냉장고(100)의 본체(101)와 제 1 내지 제 4 도어(102~105)를 연결시키는 힌지, 본체(101)에 구비되는 저장실 등은 설명의 편의를 위하여 도시되지 않았지만, 냉장고(100)에 포함되는 구성 요소이다.
영상 획득부(106)는 사용자(110)의 시선을 추적하기 위하여, 냉장고(100)의 주변에 위치한 사용자의 영상 데이터를 획득한다. 영상 획득부(106)는 영상 획득 센서로 언급될 수 있다. 영상 획득부(106)는 냉장고(100)의 전면의 적어도 하나의 위치에 장착될 수 있다. 예를 들어, 영상 획득부(106)는 도 1에 도시된 바와 같이 냉장고(100)의 중앙의 프레임에 장착되거나 도 3의 301 내지 309에 도시된 위치에 장착될 수 있다.
도 3은 본 개시의 일 실시 예에 따른 냉장고(100)에 포함된 영상 획득부(106)가 장착될 수 있는 위치의 예시도이다. 도 3에서, 영상 획득부(106)는 냉장고(100)의 전면 프레임의 적어도 하나의 위치 또는 제 1 내지 제 4 도어(102~105)중 적어도 하나의 전면에 배치될 수 있다.
예를 들어, 도 3의 301을 참조하면, 영상 획득부(106)는 제 1 도어(102)와 제 3 도어(104) 사이 중에서 좌측 일부 및 제 2 도어(103)와 제 4 도어(105) 사이 중에서 우측 일부에 위치할 수 있다. 도 3의 302를 참조하면, 영상 획득부(106)는 제 1 도어(102)와 제 2 도어(103) 사이의 하측 일부에 위치할 수 있다. 도 3의 303을 참조하면, 영상 획득부(106)는 제 1 도어(102)의 상단 우측 일부 및 제 2 도어(103)의 상단 좌측 일부에 위치할 수 있다. 도 3의 304를 참조하면, 영상 획득부(106)는 제 1 도어(102)의 상단 좌측 일부 및 제 2 도어(103)의 상단 우측 일부에 위치할 수 있다. 도 3의 305를 참조하면, 영상 획득부(106)는 제 1 도어(102)와 제 2 도어(103) 사이 중에서 상측 일부에 위치할 수 있다. 도 3의 306를 참조하면, 영상 획득부(106)는 제 1 도어(102)의 전면에서 우측 하단의 코너와 제 2 도어(103)의 전면에서 좌측 하단의 코너에 위치할 수 있다. 도 3의 307를 참조하면, 영상 획득부(106)는 제 1 도어(102)의 전면에서 좌측 하단의 코너와 제 2 도어(103)의 전면에서 우측 하단의 코너에 위치할 수 있다. 도 3의 308를 참조하면, 영상 획득부(106)는 제 3 도어(104)와 제 4 도어(105)의 사이의 전면에서 우측 하단의 코너와 제 2 도어(103)의 전면에서 좌측 하단의 코너에 위치할 수 있다. 냉장고(100)의 도어가 도 3의 309에 도시된 바와 같이 유리 도어인 경우에, 영상 획득부(106)는 유리 도어의 내부에서 외부로 향하는 방향으로 배치될 수 있다. 예를 들어, 영상 획득부(106)는 유리 도어의 내측 상단 중앙의 일부(310), 좌측 중앙의 일부(314), 센터의 일부(311), 및 하단 중앙의 일부(313) 중 적어도 하나의 위치에 배치될 수 있다. 본 개시의 일 실시예에 따른 냉장고(100)에 포함되는 영상 획득부(106)의 배치 위치는 상술한 바로 제한되지 않는다.
도 3은 냉장고(100)에 포함되는 영상 획득부(106)의 배치 위치를 도시하였지만, 영상 획득부(106)의 근접된 위치에 센서(107)가 배치될 수 있다.
도 4는 본 개시의 일 실시 예에 따른 냉장고(100)의 도어의 개수가 1개이거나 적어도 하나의 슬라이딩을 기반으로 하는 드로어(drawer)를 포함하는 경우에, 영상 획득부(106)의 배치 위치에 대한 예시도이다.
도 4의 401에 도시된 냉장고(100)는 1개의 도어를 포함하고, 도어의 손잡이의 중앙의 일부에 영상 획득부(106)를 배치한 예이다. 도 4의 402에 도시된 냉장고(100)는 1개의 도어를 포함하고, 도어 상단의 중앙의 일부에 영상 획득부(106)를 배치한 예이다. 도 4의 403에 도시된 냉장고(100)는 1개의 도어를 포함하고, 도어의 좌측 중앙에 근접된 위치와 우측 손잡이 위치에 영상 획득부(106)를 배치한 예이다. 도 4의 404에 도시된 냉장고(100)는 1개의 도어를 포함하고, 도어의 전면의 중앙에 근접한 위치에 영상 획득부(106)를 배치한 예이다. 도 4의 405에 도시된 냉장고(100)는 1개의 도어를 포함하고, 도어의 우측 손잡이 상단에 영상 획득부(106)를 배치한 예이다. 도 4의 406에 도시된 냉장고(100)는 1개의 도어와 하단에 2개의 드로어(drawer)를 포함하고, 상단의 드로어의 중앙의 일부에 영상 획득부(106)를 배치한 예이다. 도 4의 406의 드로어는 적어도 하나의 슬라이딩을 기반으로 구성될 수 있지만 이로 제한되지 않는다. 도 4는 냉장고(100)에 포함되는 영상 획득부(106)의 배치 위치를 도시하였지만, 영상 획득부(106)의 근접된 위치에 센서(107)가 배치될 수 있다.
영상 획득부(106)는 여러가지 방법으로 냉장고(100)의 주변에 또는 냉장고(100)의 도어 주변에 위치하는 사용자(110)의 영상데이터를 획득할 수 있다. 예를 들어, 영상 획득부(106)가 적외선 추적 방식으로 시선 추적을 수행하도록 구성된 경우에, 영상 획득부(106)는 카메라와 적외선 또는 근적외선 조명(Infrared/near Infrared light)을 포함할 수 있다. 적외선 또는 근적외선 조명은 카메라에 근접한 위치에 배치될 수 있다. 영상 획득부(106)가 카메라와 적외선 또는 근적외선 조명을 포함하는 경우에, 영상 획득부(106)는 적외선 또는 근적외선 조명을 사용자(110)에게 조사한 상태에서 카메라를 이용하여 사용자(110)를 촬영한 흑백 영상 데이터를 획득할 수 있다.
예를 들어, 영상 획득부(106)가 RGB(Red Green Blue) 카메라 추적 방식으로 시선 추적을 수행할 경우에, 영상 획득부(106)는 RGB 카메라와 적외선 또는 근적외선 조명을 포함할 수 있다. 영상 획득부(106)가 카메라와 적외선 또는 근적외선 조명을 포함하는 경우에, 영상 획득부(106)는 적외선 또는 근적외선 조명을 사용자(110)에게 조사한 상태에서 RGB카메라를 이용하여 사용자(110)를 촬영한 칼라 영상 데이터를 획득할 수 있다.
영상 획득부(106)는 움직이는 물체를 인지하여 물체가 이동하는 방향에 따라 사전에 설정된 각도범위내에서 자동적으로 카메라의 틸트(tilt) 제어를 수행하는 틸트 제어부를 추가로 포함할 수 있다. 영상 획득부(106)는 카메라만으로 구성될 수 있다. 영상 획득부(106)가 카메라만으로 구성된 경우에, 카메라는 상술한 시선 추적 기능을 가질 수 있다. 이에 따라 영상 획득부(106)는 카메라로 언급될 수 있다.
프로세서(210)는 영상 획득부(106)에 의해 획득된 사용자(110)의 영상 데이터가 수신되면, 사용자(110)의 시선 벡터(gaze vector)를 검출한다. 사용자(110)의 시선 벡터를 검출하기 위하여, 프로세서(210)는 수신된 사용자(110)의 영상 데이터에서 사용자(110)의 얼굴 영역을 검출하고, 검출된 사용자(110)의 얼굴 영역에서 얼굴의 윤곽을 인식하여 얼굴의 방향, 눈의 형상, 눈동자의 모양을 검출한다. 수신된 사용자(110)의 영상 데이터로부터 눈동자의 모양을 검출하기 위해, 프로세서(210)는 얼굴 인식 프로그램을 사용할 수 있다.
영상 획득부(106)가 적외선 추적 방식을 사용하도록 구성된 경우에, 프로세서(210)는 도 5에 도시된 바와 같이 눈동자의 모양(510, 520)을 검출하고, 검출된 눈동자의 모양(510, 520)에 포함되는 적외선/근적외선 조명(512)이 동공(511)에서 반사되는 빛을 기반으로 동공(511)의 움직임과 방향을 추적하여 사용자(110)의 시선 벡터를 검출할 수 있다. 도 5는 영상 획득부(106)에 의해 획득된 영상 데이터로부터 추출된 눈동자의 모양에 대한 예시도이다.
영상 획득부(106)가 RGB 카메라를 사용하는 경우에, 프로세서(210)는 도 5에 도시된 바와 같이 눈동자의 모양(530)을 검출하고, 검출된 눈동자의 모양(530)에 포함되는 홍채(513)의 중심(514)과 각막의 반사되는 빛망울(516)을 감지하고, 홍채(513)의 중심(514)과 빛망울(516)간의 벡터값(517)을 이용하여 사용자(110)의 시선 벡터(gaze vector)를 검출한다. 사용자(110)의 시선 벡터는 사용자(110)의 눈동자로부터 냉장고(100)의 전면까지의 시선 방향 및 크기를 나타낼 수 있다.
프로세서(210)는 사용자(110)의 시선 벡터가 검출되면, 검출된 시선 벡터를 기반으로 냉장고(100)의 전면의 2차원 평면 좌표값을 검출한다. 검출된 냉장고(100)의 전면의 2차원 평면 좌표값은 사용자(110)의 응시 지점(gaze point)으로 언급될 수 있다.
본 개시의 일 실시예에 의하면, 프로세서(210)는 냉장고(100)의 전면을 가상의 복수개의 영역으로 분할하고, 가상의 복수의 영역을 응시 영역으로 정의할 수 있다. 예를 들어, 프로세서(210)는, 냉장고(100)의 도어 수 또는 냉장고(100)의 구조에 기초하여, 냉장고(100)의 전면을 6개의 영역으로 분할할 수도 있고, 4개의 영역으로 분할할 수도 있고, 3개의 영역으로 분할할 수도 있고, 2개의 영역으로 분할할 수 있다. 한편, 프로세서(210)는 사용자(110)의 입력에 기초하여 냉장고(100)의 전면을 가상의 복수개의 영역으로 분할할 수도 있다. 예를 들어, 프로세서(210)는 사용자(110)의 입력에 따라 냉장고(100)의 전면을 6개의 영역으로 분할할 수도 있고, 4개의 영역으로 분할할 수도 있고, 3개의 영역으로 분할할 수도 있고, 2개의 영역으로 분할할 수 있다.
본 개시의 일 실시예에 의하면, 프로세서(210)는 냉장고(100)의 전면 전체를 복수개의 영역으로 분할하고, 분할된 복수 개의 영역을 모두 응시 영역으로 정의할 수 있다. 또한, 프로세서(210)는 냉장고(100)의 전면의 일부 영역만을 응시 영역으로 정의할 수도 있다. 프로세서(210)가 일부 영역을 응시 영역으로 정의하는 동작에 대해서는 도 9를 참조하여 후에 살펴보기로 한다. 프로세서(210)는 냉장고(100)에 포함된 도어 중 도 11에 도시된 바와 같이 전면에 디스플레이를 기반으로 하는 출력부(1030)를 포함하는 도어의 경우에, 출력부(1030)가 배치된 도어의 전면 영역을 응시 영역에서 제외시킬 수 있다. 출력부(1030)가 디스플레이를 기반으로 구성되는 경우에, 출력부(1030)는 디스플레이부라고 언급될 수 있다.
도 6은 냉장고(100)의 전면을 6개의 영역으로 분할할 경우에, 냉장고(100)의 2차원 평면 좌표값과 응시 영역간의 관계 예시도이다. 도 6을 참조하면, 냉장고(100)는 제 1 내지 제 4 도어(102~105)를 포함하고, 냉장고(100)의 전면을 제 1 내지 제 6 응시 영역(601~606)으로 정의한 경우이다.
프로세서(210)는 도 6에 도시된 제 1 내지 제 6 응시 영역(601~606) 각각에 대한 2차원 평면 좌표 값을 사전에 갖고 있을 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 냉장고(100)의 제 1 응시 영역(601)의 2차원 평면 좌표 값은 (x1, y1) 지점부터 (x2, y2) 지점까지이다. 냉장고(100)의 제 2 응시 영역(602)의 2차원 평면 좌표 값은 (x2, y1) 지점부터 (x3, y2) 지점까지이다. 냉장고(100)의 제 3 응시 영역(603)의 2차원 평면 좌표 값은 (x3, y1) 지점부터 (x4, y2) 지점까지이다. 냉장고(100)의 제 4 응시 영역(604)의 2차원 평면 좌표 값은 (x1, y2) 지점부터 (x2, y3) 지점까지이다. 냉장고(100)의 제 5 응시 영역(605)의 2차원 평면 좌표 값은 (x2, y2) 지점부터 (x3, y3) 지점까지이다. 냉장고(100)의 제 6 응시 영역(606)의 2차원 평면 좌표 값은 (x3, y2) 지점부터 (x4, y3) 지점까지이다. 제 1 응시 영역(601)은 냉장고(100)의 좌상 도어 영역(left upper door area), 제 2 응시 영역(602)은 냉장고(100)의 상위 도어 영역(upper door area), 제 3 응시 영역(603)은 냉장고(100)의 우상 도어 영역(right upper door area), 제 4 응시 영역(604)은 냉장고(100)의 좌하 도어 영역(left lower door area), 제 5 응시 영역(605)은 냉장고(100)의 하위 도어 영역(lower door area), 및 제 6 응시 영역(606)은 냉장고(100)의 우하 도어 영역(right lower door area)으로 언급될 수 있다.
제 1 내지 제 6 응시 영역(601~606)의 2차원 평면 좌표 값은 프로세서(210)와 별도로 구비된 메모리(1020)에 저장될 수 있다. 메모리(1020)에 제 1 내지 제 6 응시 영역(601~606)의 2차원 평면 좌표 값이 저장될 경우에, 프로세서(210)는 메모리(1020)에 저장된 제 1 내지 제 6 응시 영역(601~606)의 2차원 평면 좌표 값을 리드(read)하여 사용할 수 있다. 냉장고(100)의 응시 영역의 2차원 평면 좌표 값은 냉장고(100)의 도어 수에 따라 다르게 설정될 수 있다. 예를 들어, 사용자(110)의 시선 추적에 의해 검출된 응시 지점이 2차원 평면 좌표값 (x1+i, y1+j)인 지점(607)으로 검출되면, 프로세서(210)는 사용자(110)의 응시 지점(607)이 포함되는 제 1 응시 영역(601)을 응시 지점(607)에 대응하는 응시 영역으로서 검출할 수 있다.
프로세서(210)는 상술한 바와 같이 영상 획득부(106)로부터 수신된 사용자의 영상 데이터를 기반으로 사용자(110)의 시선을 추적하고, 추척된 사용자(110)의 응시 지점을 포함하는 응시 영역을 검출하기 위하여, 시선 추적 프로그램 또는 시선 추적 애플리케이션을 이용할 수 있다. 시선 추적 프로그램 또는 시선 추적 애플리케이션은 프로세서(210)와 별도로 구비된 메모리(1020)에 저장되어 프로세서(210)에 의해 이용될 수 있다. 사용자(110)의 시선 방향을 검출하는 것은 사용자(110)의 동공을 촬영한 영상 획득부(106)에 포함된 카메라 좌표계를 냉장고(100)에 대한 사용자(110)의 응시 지점(gaze point)의 좌표계로 변환하는 동작을 포함하는 것으로 언급될 수 있다.
프로세서(210)는 냉장고(100)의 응시 영역에 대한 좌표 값이 검출되면, 검출된 좌표 값을 기반으로 제 1 내지 제 4 도어(102~105) 중 사용자(110)의 응시 지점을 포함하는 응시 영역을 검출하고, 검출된 응시 영역을 기반으로 도어를 결정할 수 있다. 예를 들어, 사용자(110)의 응시 지점이 제 1 응시 영역(601)에 포함되는 것으로 검출되면, 프로세서(210)는 제 1 도어(102)를 개방할 도어로서 결정한다. 사용자(110)의 응시 지점이 제 2 응시 영역(602)에 포함되는 것으로 검출되면, 프로세서(210)는 제 1 도어(102)와 제 2 도어(103)간의 경계 영역이므로, 경계 영역에 인접한 제 1 도어(102)와 제 2 도어(103)를 개방할 도어로서 결정한다. 사용자(110)의 응시 지점이 제 3 응시 영역(603)에 포함되는 것으로 검출되면, 프로세서(210)는 제 2 도어(103)를 개방할 도어로서 결정한다. 사용자(110)의 응시 지점이 제 4 응시 영역(604)에 포함되는 것으로 검출되면, 프로세서(210)는 제 3 도어(104)를 개방할 도어로서 결정한다. 사용자(110)의 응시 지점이 제 5 응시 영역(605)에 포함되는 것으로 검출되면, 프로세서(210)는 제 3 도어(104)와 제 4 도어(105)의 경계 영역이므로, 경계 영역에 인접한 제 3 도어(104)와 제 4 도어(105)를 개방할 도어로서 결정한다. 사용자(110)의 응시 지점이 제 6 응시 영역(606)에 포함되는 것으로 판단되면, 프로세서(210)는 제 4 도어(105)를 개방할 도어로서 결정한다.
프로세서(210)는 개방할 도어가 결정되면, 결정된 도어를 개방하기 위한 제어 신호를 도어 구동부(220)로 전송한다. 프로세서(210)가 결정된 도어를 개방하기 위한 제어 신호를 도어 구동부(220)로 전송하는 것은 프로세서(201)에 의해 도어 구동부(220)가 제어되는 것을 의미한다. 따라서 이하 설명에서, 프로세서(210)로부터 도어 구동부(220)로 도어를 개방하기 위한 제어 신호가 전송되는 것은 프로세서(210)가 도어 구동부(220)를 제어하여 도어를 개방하는 것을 나타낼 수 있다. 또한, 프로세서(210)로부터 도어 구동부(220)로 도어를 폐쇄하기 위한 제어 신호가 전송되는 것은 프로세서(210)가 도어 구동부(220)를 제어하여 도어를 폐쇄하는 것을 나타낼 수 있다. 도 2에 도시된 도어 구동부(220)는 제 1 내지 제 4 도어(102~105)의 개방 및 폐쇄를 자동으로 각각 구동하는 제 1 내지 제 4 모터 구동부(221, 222, 223, 224)와 제 1 내지 제 4 모터(225, 226, 227, 228)를 포함하나 이로 제한되지 않는다. 도어 구동부(220)는 도 7에 도시된 바와 같은 위치에 배치될 수 있지만, 이로 제한되지 않는다.
도 7은 본 개시에 따른 냉장고(100)에 장착되는 도어 구동부(220)의 위치 예시도이다. 도 7은 제 1 내지 제 4 도어(102~105)를 각각 개방 및 폐쇄하기 위해 제 1 내지 제 4 모터 구동부(221~224)와 제 1 내지 제 4 모터(225~228)를 각기 서로 다른 위치에 배치한 도어 구동부(220)의 예이다. 예를 들어, 제 1 모터 구동부(221)와 제 1 모터(225)는 제 1 도어(102)의 상측에 근접한 냉장고(100)의 상단 프레임의 일부에 배치되고, 제 2 모터 구동부(222)와 제 2 모터(226)는 제 2 도어(103)의 상측에 근접한 냉장고(100)의 상단 프레임의 일부에 배치되고, 제 3 모터 구동부(223)와 제 3 모터(227)는 제 3 도어(104)의 하측에 근접한 냉장고(100)의 하단 프레임의 일부에 배치되고, 제 4 모터 구동부(224)와 제 4 모터(228)는 제 4 도어(105)의 하측에 근접한 냉장고(100)의 하단 프레임의 일부에 배치될 수 있다.
프로세서(210)로부터 결정된 도어를 개방하기 위한 제어 신호가 수신되면, 도어 구동부(220)는 해당되는 도어를 개방한다. 개방할 도어가 제 1 도어(102)인 경우에, 프로세서(210)로부터 도어 구동부(220)로 전송되는 제어 신호는 제 1 모터 구동부(221)와 제 1 모터(225)의 동작을 활성화하고, 제 2-4 모터 구동부(222~224)와 제 2-4 모터(226~228)의 동작을 비활성화하기 위한 제어 신호를 나타낼 수 있다. 개방할 도어가 제 2 도어(103)인 경우에, 프로세서(210)로부터 도어 구동부(220)로 전송되는 제어 신호는 제 2 모터 구동부(222)와 제 2 모터(226)의 동작을 활성화하고, 제 1, 3-4 모터 구동부(221, 223, 224)와 제 1, 3-4 모터(225, 227, 228)의 동작을 비활성화하기 위한 제어 신호를 나타낼 수 있다. 개방할 도어가 제 3 도어(104)인 경우에, 프로세서(210)로부터 도어 구동부(220)로 전송되는 제어 신호는 제 3 모터 구동부(223)와 제 3 모터(227)의 동작을 활성화하고, 제 1, 2, 4 모터 구동부(221, 222, 224)와 제 1, 2, 4 모터(225, 226, 228)의 동작을 비활성화하기 위한 제어 신호를 나타낼 수 있다. 개방할 도어가 제 4 도어(105)인 경우에, 프로세서(210)로부터 도어 구동부(220)로 전송되는 제어 신호는 제 4 모터 구동부(224)와 제 4 모터(228)의 동작을 활성화하고, 제 1~3 모터 구동부(221~223)와 제 1~3 모터(225~227)의 동작을 비활성화하기 위한 제어 신호를 나타낼 수 있다.
프로세서(210)는 사용자(110)의 응시 지점이 사전에 설정된 시간 이상 머무는 영역을 응시 지점을 포함하는 응시 영역으로서 검출할 수 있다. 사전에 설정된 시간은 냉장고(100)를 제작할 때 설정되거나 사용자(110)에 의해 설정될 수 있다. 프로세서(210)로부터 도어를 개방하기 위한 제어 신호가 수신되면, 모터 구동부(220)는 도어의 개방 속도를 가변적으로 구동시킬 수 있다. 예를 들어, 제 1 모터 구동부(221)에 포함된 도어 스위치에 의해 제 1 도어(102)의 개방이 감지되면 모터(225)를 일정 시간 동안 또는 일정 각도까지 고속으로 회전시킨 후, 일정 시간 또는 일정 각도에 도달하면, 제 1 모터(225)의 회전수를 줄여 낮은 속도로 제 1 모터(225)를 회전시킬 수 있다. 제 1 모터(225)가 고속으로 회전하는 것은 제 1 도어(102)의 개방 속도가 빠른 것을 나타내고, 제 1 모터(225)가 저속으로 회전하는 것은 제 1 도어(102)의 개방 속도가 느린 것을 나타낸다. 상술한 제 1 도어(102), 제 1 모터 구동부(221) 및 제 1 모터(225) 간의 동작 관계는 제 2 내지 제 4 도어(103~105), 제 2 내지 제 4 모터 구동부(222~224), 및 제 2 내지 제 4 모터(226~228) 간의 동작 관계에 적용된다.
프로세서(210)는 도어를 개방한 후, 사전에 설정된 시간이 경과하면, 개방된 도어를 폐쇄하기 위한 제어 신호를 도어 구동부(220)로 전송할 수 있다. 예를 들어, 개방된 도어가 제 1 도어(102)이면, 프로세서(210)로부터 도어 구동부(220)로 전송되는 제어 신호는 제 1 모터 구동부(221)와 제 1 모터(225)의 동작을 활성화하고, 제 2-4 모터 구동부(222~224)와 제 2-4 모터(226~228)의 동작을 비활성화하기 위한 제어 신호를 나타낼 수 있다. 개방된 도어가 제 2 도어(103)이면, 프로세서(210)로부터 도어 구동부(220)로 전송되는 제어 신호는 제 2 모터 구동부(222)와 제 2 모터(226)의 동작을 활성화하고, 제 1, 3-4 모터 구동부(221, 223, 224)와 제 1, 3-4 모터(225, 227, 228)의 동작을 비활성화하기 위한 제어 신호를 나타낼 수 있다. 개방된 도어가 제 3 도어(104)이면, 프로세서(210)로부터 도어 구동부(220)로 전송되는 제어 신호는 제 3 모터 구동부(223)와 제 3 모터(227)의 동작을 활성화하고, 제 1, 2, 4 모터 구동부(221, 222, 224)와 제 1, 2, 4 모터(225, 226, 228)의 동작을 비활성화하기 위한 제어 신호를 나타낼 수 있다. 개방된 도어가 제 4 도어(105)이면, 프로세서(210)로부터 도어 구동부(220)로 전송되는 제어 신호는 제 4 모터 구동부(224)와 제 4 모터(228)의 동작을 활성화하고, 제 1~3 모터 구동부(221~223)와 제 1~3 모터(225~227)의 동작을 비활성화하기 위한 제어 신호를 나타낼 수 있다. 프로세서(210)가 개방된 도어를 폐쇄하기 위한 제어 신호를 도어 구동부(220)로 전송하는 것은 프로세서(210)에 의해 도어 구동부(220)가 제어되어 개방된 도어가 폐쇄되는 것을 나타낼 수 있다.
도어 구동부(220)는 도어가 개방된 각도에 따라 모터의 회전 속도를 다르게 제어할 수 있다. 예를 들어, 제 1 도어(102)가 90도에서 30도 개방된 상태에서, 저속으로 제 1 도어(102)가 폐쇄되도록 제 1 모터(225)를 구동하고, 제 1 도어(102)의 개방 상태가 30도 이내이면, 제 1 모터(225)의 구동 속도를 고속으로 제어할 수 있다. 상술한 제 1 도어(102), 제 1 모터 구동부(221) 및 제 1 모터(225) 간의 동작 관계는 제 2 내지 제 4 도어(103~105), 제 2 내지 제 4 모터 구동부(222~224), 및 제 2 내지 제 4 모터(226~228) 간의 동작 관계에 적용된다.
도 8은 본 개시의 일 실시 예에 따른 냉장고(100)의 기능을 설명하기 위한 블록 구성도이다. 도 8은 냉장고(100)가 센서(107)를 이용하여 사용자(110)가 냉장고(100)에 접근하는 것으로 판단되면, 영상 획득부(106)를 활성화하여 사용자(110)의 시선을 추적하고, 추척된 사용자(110)의 시선에 기초하여 사용자(110)가 개방하기 원하는 도어를 결정하고, 결정된 도어를 개방한 후, 사용자(110)가 냉장고(100)로부터 일정 거리 이상 멀어지면, 개방되었던 도어를 폐쇄하는 예이다.
도 8을 참조하면, 냉장고(100)는 영상 획득부(106), 센서(107), 프로세서(820), 도어 구동부(830), 및 제 1 및 제 2 도어(840, 850)를 포함하나 냉장고(100)의 구성은 도 8에 도시된 바로 제한되지 않는다.
센서(107)는 사용자(110)의 현재 위치와 냉장고(100)간의 거리값을 측정하고, 측정한 값을 프로세서(820)로 전송한다. 이를 위하여 센서(107)는 초음파 센서, RF 센서(RADAR), 적외선 센서 또는 근접 센서를 포함할 수 있으나 이로 제한되지 않는다. 센서(107)는 냉장고(100)에 사용자(110)가 접근하는 것을 감지하는 역할을 수행하는 것으로, 근접 센서로 언급될 수 있다.
도 9는 도 8의 영상 획득부(106)와 센서(107)가 장착된 냉장고(100)의 예시도이다. 도 9의 냉장고(100)는 2개의 도어를 포함하며, 중간 높이에 3개의 응시 영역(911, 912, 913)을 포함할 수 있다. 도 9를 참조하면, 센서(107)에 의해 사용자(110)가 인지되면(예컨대, 사용자(110)가 소정 거리 이내로 냉장고(100)에 접근한 경우), 프로세서(820)는 영상 획득부(106)를 활성화하여 사용자(110)의 영상 데이터를 획득하고, 획득된 사용자(110)의 영상 데이터를 이용하여 사용자(110)의 시선 방향을 분석하고, 3개의 응시 영역(911, 912, 913) 중 사용자(110)의 응시 지점이 사전에 설정된 시간 이상 머무는 응시 영역이 검출되면, 검출된 응시 영역에 대응하는 도어를 개방할 도어로서 결정한다. 센서(107)는 도 9에 도시된 제 1 위치(901) 및 제 2 위치(902)에 추가로 배치될 수 있다. 도 9에 도시된 바와 같이 응시 영역(911, 912, 913)은 냉장고(100)의 전면의 일부 영역 또는 도어 전면의 일부 영역으로 정의될 수 있다.
프로세서(820)는 도 9에 도시된 테이블(900)과 같이 개방할 도어를 결정할 수 있다. 예를 들어, 사용자(110)의 응시 지점이 3개의 응시 영역(911, 912, 913) 중 1번 영역(911)에 사전에 설정된 시간이상 머무는 것으로 판단되면, 프로세서(820)는 제 1 도어(840)를 개방하기 위한 제어 신호를 도어 구동부(830)로 전송한다. 예를 들어, 사용자(110)의 응시 지점이 3개의 응시 영역 중 2번 영역(912)에 사전에 설정된 시간이상 머무는 것으로 판단되면, 프로세서(820)는 제 2 도어(850)를 개방하기 위한 제어 신호를 도어 구동부(830)로 전송한다. 예를 들어, 사용자(110)의 응시 지점이 1번 영역(911)과 2번 영역(912)의 중앙 영역(913)에 사전에 설정된 시간동안 머무는 것으로 판단되면, 프로세서(820)는 제 1 도어(840)와 제 2 도어(850)를 동시에 개방하기 위한 제어 신호를 도어 구동부(830)로 전송한다. 제 1 도어(840)는 냉장고(100)의 좌측 도어(Left door)라고 표현할 수 있다. 제 2 도어(850)는 냉장고(100)의 우측 도어(Right door)라고 표현할 수 있다. 또한, 중앙 영역(913)은 제 1 도어(840)와 제 2 도어(850)의 경계 영역으로 표현될 수도 있다.
본 개시의 일 실시예에 의하면, 사용자(110)의 응시 지점이 1번 영역(911)에 사전에 설정된 시간이상 머무른 후에 2 번 영역(912)에 사전에 설정된 시간이상 머무르는 것으로 판단되면, 프로세서(820)는 제 1 도어(840)와 제 2 도어(850)를 순차적으로 개방하기 위한 제어 신호를 도어 구동부(830)로 전송할 수도 있다. 이때, 제 1 도어(840)가 개방된 후에 제 2 도어(850)도 순차적으로 개방될 수 있다. 제 1 도어(840)가 개방된 후에 제 2 도어(850)도 순차적으로 개방되는 경우에, 제 2 도어(850)는 개방되지 않은 도어로서, 제 1 도어(840)에 대한 다른 도어로 정의할 수 있고, 2번 영역(912)은 1번 영역(911)에 대한 다른 응시 지점으로 정의할 수 있다.
영상 획득부(106)로부터 수신된 사용자(110)의 영상 데이터에 기초하여 사용자(110)의 시선을 추적하는 프로세서(820)의 동작은 도 2에서 설명한 프로세서(210)의 동작과 같이 수행될 수 있다. 개방이 결정된 도어에 따라 프로세서(820)로부터 도어 구동부(830)로 전송되는 제어 신호는 도 2에서 설명한 프로세서(210)로부터 도어 구동부(220)로 전송되는 제어 신호와 같이 전송될 수 있다. 프로세서(820)로부터 도어 구동부(830)로 제어 신호가 전송되는 것은 프로세서(820)에 의해 도어 구동부(830)가 제어되는 것은 나타낼 수 있다.
프로세서(820)는 도어를 개방 또는 폐쇄할 때, 사용자(110)와 도어가 충돌되지 않도록 센서(107)의 출력값을 이용할 수 있다. 예를 들어, 센서(107)의 출력값에 의해 사용자(110)와 냉장고(100) 간의 제 1 거리값이 제 1 임계값(예를 들어, 30cm) 이상이면서 제 2 임계값(예를 들어, 60cm) 미만인 것으로 판단되면, 프로세서(820)는 결정된 도어를 개방하기 위한 제어 신호를 도어 구동부(830)로 전송할 수 있다. 결정된 도어를 개방한 후, 센서(107)의 출력값을 기반으로 냉장고(100)와 사용자(110) 간의 제 2 거리값이 제 2 임계값 이상인 것으로 판단되면, 프로세서(820)는 개방된 도어를 폐쇄하기 위한 제어 신호를 도어 구동부(830)로 전송할 수 있다. 프로세서(820)는 결정된 도어를 개방한 후에, 일정 시간이 경과하면, 센서(107)의 동작을 활성화하여 냉장고(100)와 사용자(110) 간의 제 2 거리값을 검출할 수 있다. 제 1 거리값은 도어가 개방되기 전에 냉장고(100)와 사용자(110) 간의 거리값을 나타내고, 제 2 거리값은 도어가 개방된 후, 냉장고(100)와 사용자(110) 간의 거리값을 나타낸다.
본 개시의 일 실시예에 의하면, 센서(107)의 출력값에 의해 사용자(110)와 냉장고(100) 간의 거리값이 제 1 임계값(예를 들어, 30cm)미만이면, 도어의 개방에 의해 사용자(110)와 도어가 충돌할 수 있으므로, 프로세서(820)는, 도어를 개방하기 위한 제어 신호를 도어 구동부(830)로 전송하지 않을 수 있다. 프로세서(820)가 도어를 개방하기 위해 도어 구동부(830)로 제어 신호를 전송하지 않는 것은 프로세서(820)가 도어를 개방하기 위해 도어 구동부(830)를 제어하지 않는 것을 나타낸다. 또한, 사용자(110)와 냉장고(100) 간의 거리값이 제 1 임계값(예를 들어, 30cm)미만이면, 프로세서(820)는, 사용자(110)에게 냉장고(100)로부터 제 1 거리값 이상 떨어지도록 안내하는 메시지를 출력할 수도 있다. 이때, 메시지는 도 10에 도시된 출력부(1030)를 통해 출력될 수 있다.
결정된 도어를 개방한 후, 냉장고(100)와 사용자(110) 간의 제 2 거리값이 제 2 임계값 미만이면, 프로세서(820)는 냉장고(100)와 사용자(110) 간의 제 2 거리값이 제 2 임계값 이상이 될 때까지 개방된 도어를 폐쇄하기 위한 제어 신호를 도어 구동부(830)로 전송하지 않을 수 있다. 이는 프로세서(820)가 개방된 도어를 폐쇄하기 위해 도어 구동부(830)를 제어하지 않는 것을 의미한다.
프로세서(820)는 결정된 도어가 폐쇄된 상태에서, 센서(107)로부터 수신된 센싱값(또는 출력값)을 이용하여 검출된 제 1 거리값이 제 2 임계값 미만으로 판단되면, 영상 획득부(106)의 동작을 활성화할 수 있다. 또한, 프로세서(820)는, 결정된 도어를 개폐한 후, 센서(107)의 출력값이 제 2 임계값 이상이 되면, 영상 획득부(106)의 동작을 비활성화할 수 있다. 이와 같이, 프로세서(820)는 사용자(110)가 냉장고(100)에 임계 거리 이내로 접근하는 경우에, 영상 획득부(106)의 동작을 활성화하고, 사용자(110)가 냉장고(100)로부터 임계 거리 이상 멀어지는 경우에, 영상 획득부(106)의 동작을 비활성화함으로써, 냉장고(100)의 리소스를 효율적으로 관리할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 냉장고(100)의 기능을 설명하기 위한 블록 구성도이다. 도 10에 도시된 냉장고(100)는 영상 획득부(106), 센서(107), 프로세서(1010), 메모리(1020), 출력부(1030), 통신부(1040), 도어 구동부(830), 제 1 도어(840), 및 제 2 도어(850)를 포함한다. 도 10에 도시된 메모리(1020), 출력부(1030), 및 통신부(1040)는 도 2 및 도 8에 도시된 냉장고(100)에 추가될 수 있다.
메모리(1020)는 냉장고(100)의 2차원 평면 좌표 값, 사용자(110)의 시선 추적 프로그램 또는 시선 추적 애플리케이션과 같은 프로그램, 프로세서(1010)의 동작을 수행하기 위한 프로그램 및 데이터를 저장할 수 있다.
메모리(1020)는 롬(ROM), 고속 랜덤 액세스 메모리(RAM), 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 비휘발성 메모리 또는 비휘발성 반도체 메모리 장치를 포함할 수 있다. 예를 들어, 메모리(1020)는 반도체 메모리 장치로서 SD(Secure Digital) 메모리 카드, SDHC(Secure Digital High Capacity) 메모리 카드, mini SD 메모리 카드, mini SDHC 메모리 카드, TF(Trans Flach) 메모리 카드, micro SD 메모리 카드, micro SDHC 메모리 카드, 메모리 스틱, CF(Compact Flach), MMC(Multi-Media Card), MMC micro, XD(eXtreme Digital) 카드 등을 이용할 수 있다. 메모리(1020)는 저장부라고 할 수 있다. 또한, 메모리(1020)는 네트워크를 통하여 액세스되는 네트워크 부착형(attached) 저장 장치를 포함할 수 있다.
출력부(1030)는 디스플레이 또는/및 음성 출력부를 포함하고, 냉장고(100)의 도어를 개방 또는 폐쇄하기 위해 필요한 안내 정보를 출력할 수 있다. 도 11은 본 개시의 일 실시예에 따른 냉장고(100)에 포함된 출력부(1030)를 통해 개방될 도어(예를 들어, 제 1 도어(840))에 대한 안내 정보를 제공하는 예이다. 도 11을 참조하면, 출력부(1030)가 디스플레이이고, 디스플레이를 통해 냉장고(100)에 대응되는 이미지(1110)와 냉장고(100)의 도어에서 개방될 제 1 도어(840)에 대한 안내 정보(1120)를 디스플레이하는 예이다. 이에 따라 출력부(1030)는 디스플레이부로 언급될 수 있다. 안내 정보(1120)는 개방될 제 1 도어(840)에 대해 하이라이트 형태와 같이 마킹하는 정보로 제공되거나, 음성 메시지가 함께 제공되거나, 음성 메시지만 제공될 수 있다.
또한, 출력부(1030)는, 도 8에서 설명한 사용자(110)에게 냉장고(100)로부터 제 1 거리값 이상 떨어지도록 안내하는 메시지를 출력할 수도 있다. 출력부(1030)는 도 9에 도시된 1번 영역(911)과 2번 영역(912)에 근접한 위치에 배치된 LED와 같은 조명을 포함할 수 있다. 출력부(1030)는 조명을 이용하여 사용자(110)가 적어도 하나의 도어를 개방하기 위해 응시할 수 있는 응시 영역을 가이드하는 정보를 표시할 수 있다. 출력부(1030)가 응시 영역을 가이드하는 정보를 표시하는 것은 출력부(1030)가 응시 영역을 가이드하는 정보를 제공하는 것을 나타낼 수 있다. 프로세서(1010)는 출력부(1030)의 상술한 동작을 제어할 수 있다.
통신부(1040)는 유선 또는 무선으로 냉장고(100)의 외부 디바이스와 통신을 수행할 수 있다. 외부 디바이스는 냉장고(100)와 통신 채널이 설정된 디바이스이다. 외부 디바이스는 홈 서버, 홈 서버와 연결된 다른 서버, 댁내의 다른 가전 기기, 사용자(110)의 휴대 단말 중 적어도 하나일 수 있다. 통신부(1040)는 홈 서버의 표준에 따라 데이터 통신을 수행할 수 있다.
통신부(1040)는 네트워크를 통해 원격 조정과 관련된 데이터를 송수신할 수 있으며, 다른 가전기기의 동작과 관련된 정보 등을 송수신할 수 있다. 나아가, 통신부(1040)는 서버로부터 사용자(110)의 생활 패턴에 대한 정보를 수신하여 냉장고(100)의 동작에 활용할 수 있다. 또한, 통신부(1040)는 댁내의 서버나 리모콘 뿐만 아니라, 사용자(110)의 휴대 단말과 데이터 통신을 수행할 수 있다.
통신부(1040)는, 예를 들어, 근거리 통신 모듈, 유선 통신 모듈, 및 이동 통신 모듈을 포함할 수 있다.
근거리 통신 모듈은 소정 거리 이내의 근거리 통신을 위한 모듈일 수 있다. 근거리 통신 기술로는 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스, 지그비(zigbee), WFD(Wi-Fi Direct), UWB(Ultra WideBand), 적외선 통신(IrDA, infrared Data Association), BLE(Bluetooth Low Energy) 또는 NFC(Near Field Communication) 등이 있을 수 있으나, 이에 제한되는 것은 아니다.
유선 통신 모듈은 전기적 신호 또는 광 신호를 이용한 통신을 위한 모듈을 의미한다. 유선 통신 기술은 페어 케이블(pair cable), 동축 케이블, 광섬유 케이블, 이더넷(ethernet) 케이블 등이 있을 수 있으나, 이에 제한되는 것은 아니다.
이동 통신 모듈은 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다. 무선 신호는 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
도 12는 냉장고(100)에 포함된 프로세서들(210, 820, 1010)에 의해 수행되는 동작에 기초한 프로세서들(210, 820, 1010)의 기능을 설명하기 위한 블록 구성도이다. 냉장고(100)에 포함된 프로세서들(210, 820, 1010)은 냉장고(100)의 전반적인 동작을 처리하거나 제어할 수 있고, 도 12에 도시된 바와 같이, 시선 벡터 검출부(1210), 좌표 변환부(1220), 및 개방 도어 결정부(1230)를 포함할 수 있으나, 프로세서들(210, 820, 1010)에 포함되는 구성 요소는 이로 제한되지 않는다.
시선 벡터 검출부(1210)는 영상 획득부(106)에 의해 획득된 사용자의 영상 데이터를 기반으로 도 2에서 설명한 바와 같이 사용자(110)의 시선 벡터를 검출한다. 좌표 변환부(1220)는 도 2에서 설명한 바와 같이 검출된 사용자(110)의 시선 벡터에 기초한 좌표 정보를 냉장고(100)의 전면의 2차원 평면 좌표 정보로 변환한다. 개방 도어 결정부(1230)는 사용자(110)의 시선 벡터에 기초한 좌표 정보에 대응하는 냉장고(100)의 전면의 2차원 평면 좌표 정보를 포함하는 응시 영역에 대응하는 도어를 결정한다.
도 13은 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 순서도이다.
단계 S1310에서, 냉장고(100)는 영상 획득부(106)를 이용하여 냉장고(100)의 주변에 위치한 사용자(110)의 영상 데이터를 획득한다. 냉장고(100)는 도 1에서 설명한 바와 같이 적어도 하나의 도어를 포함할 수 있다. 냉장고(100)는 도 2에서 설명한 바와 같이, 영상 획득부(106)를 이용하여 냉장고(100)의 주변 또는 냉장고(100)의 도어의 주변에 위치하는 사용자(110)의 영상 데이터를 획득할 수 있다. 사용자(110)의 영상 데이터는 사용자(110)의 눈동자의 이미지를 포함할 수 있다. 사용자(110)의 영상 데이터는 적외선 영상 데이터일 수도 있고, 칼라 영상 데이터일 수도 있고, 흑백 영상 데이터일 수도 있으나, 이에 한정되는 것은 아니다.
본 개시의 일 실시예에 의하면, 냉장고(100)는, 도어가 폐쇄된 상태에서, 센서(107)에 의해 측정된 사용자(110)와 냉장고(100) 간의 거리값(또는 센서(107)의 출력값)이 제 2 임계값(예컨대, 60cm) 미만인 경우, 영상 획득부(106)의 동작을 활성화할 수 있다. 이 경우, 영상 획득부(106)는 비활성화 상태로 유지되다가 사용자(110)가 냉장고(100)의 근처로 다가오는 경우에 활성화되어, 사용자(110)의 시선을 추적하기 위해 눈동자의 이미지를 획득할 수 있다.
단계 S1320에서, 냉장고(100)는 획득된 사용자(110)의 영상 데이터를 이용하여 사용자(110)의 응시 지점을 도 2에서 설명한 바와 같이 검출한다. 예를 들어, 냉장고(100)는, 도 5에서 설명한 바와 같이, 눈동자의 모양을 검출하고, 검출된 눈동자의 모양에 포함되는 홍채(513)의 중심(514)과 각막의 반사되는 빛망울(516)을 감지하고, 홍채(513)의 중심(514)과 빛망울(516) 간의 벡터값(517)을 이용하여 사용자(110)의 시선 벡터(gaze vector)를 검출할 수 있다. 냉장고(100)는 사용자(110)의 시선 벡터가 검출되면, 검출된 시선 벡터를 기반으로 냉장고(100)의 전면의 2차원 평면 좌표값을 검출할 수 있다. 냉장고(100)는, 냉장고(100)의 전면의 2차원 평면 좌표값을 사용자(110)의 응시 지점으로 정의할 수 있다.
단계 S1330에서, 냉장고(100)는 검출된 사용자(110)의 응시 지점에 대응하는 도어를 결정한다. 예를 들어, 도 9에 도시된 바와 같이, 사용자(110)의 응시 지점이 1번 영역(911)이면, 냉장고(100)는 제 1 도어(840)를 개방할 도어로 결정할 수 있다. 도 9에 도시된 바와 같이, 사용자(110)의 응시 지점이 2번 영역(912)이면, 냉장고(100)는 제 2 도어(850)를 개방할 도어로 결정할 수 있다. 도 9에 도시된 바와 같이, 사용자(110)의 응시 지점이 중앙 영역(932)이면, 냉장고(100)는 제 1 도어(840)와 제 2 도어(850)를 개방할 도어로서 결정할 수 있다.
단계 S1340에서, 냉장고(100)는 결정된 도어를 개방하기 위해 도어 구동부(220, 830)를 제어한다. 도어 구동부(220, 830)를 제어하기 위하여, 냉장고(100)의 프로세서(210, 820, 1010)로부터 도어 구동부(220, 830)로 전송되는 제어 신호는 도 2 또는 도 8에서 설명한 바와 같다. 예를 들어, 결정된 도어가 제 1 도어(840)이면, 냉장고(100)의 프로세서(820, 1010)는 제 1 도어(840)를 개방하기 위한 제어 신호를 도어 구동부(830)로 전송할 수 있다. 결정된 도어가 제 2 도어(850)이면, 냉장고(100)의 프로세서(820, 1010)는 제 2 도어(850)를 개방하기 위한 제어 신호를 도어 구동부(830)로 전송할 수 있다. 결정된 도어가 제 1 도어(840)와 제 2 도어(850)이면, 냉장고(100)의 프로세서(820, 1010)는 제 1 도어(840)와 제 2 도어(850)를 모두 개방하기 위한 제어 신호를 도어 구동부(830)로 전송할 수 있다. 프로세서(820, 1010)로부터 도어 구동부(830)로 제어 신호를 전송하는 것은 프로세서(820, 1010)에 의해 도어 구동부(830)가 제어되는 것을 나타낸다.
도 14는 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 순서도이다.
단계 S1410에서, 냉장고(100)는 영상 획득부(106)를 이용하여 냉장고(100)의 주변에 위치한 사용자(110)의 영상 데이터를 획득한다. 냉장고(100)는 도 1에서 설명한 바와 같이 적어도 하나의 도어를 포함할 수 있다. 냉장고(100)는 도 2에서 설명한 바와 같이, 영상 획득부(106)를 이용하여 냉장고(100)의 주변에 위치한 사용자(110)의 영상 데이터를 획득할 수 있다. 사용자(110)의 영상 데이터는 사용자(110)의 눈동자의 이미지를 포함할 수 있다. 사용자(110)의 영상 데이터는 적외선 영상 데이터일 수도 있고, 칼라 영상 데이터일 수도 있고, 흑백 영상 데이터일 수도 있으나, 이에 한정되는 것은 아니다.
본 개시의 일 실시예에 의하면, 냉장고(100)는, 도어가 폐쇄된 상태에서, 센서(107)에 의해 측정된 사용자(110)와 냉장고(100) 간의 거리값(또는 센서(107)의 출력값)이 제 2 임계값(예컨대, 60cm) 미만인 경우, 영상 획득부(106)의 동작을 활성화할 수 있다. 이 경우, 영상 획득부(106)는 비활성화 상태로 유지되다가 사용자(110)가 냉장고(100)의 근처로 다가오는 경우에 활성화되어, 사용자(110)의 시선을 추적하기 위해 눈동자의 이미지를 획득할 수 있다.
단계 S1420에서, 냉장고(100)는 획득된 사용자(110)의 영상 데이터를 이용하여 사용자(110)의 응시 지점을 도 2에서 설명한 바와 같이 검출한다. 예를 들어, 냉장고(100)는, 도 5에서 설명한 바와 같이, 사용자(110)의 눈동자의 모양을 검출하고, 검출된 눈동자의 모양에 포함되는 홍채(513)의 중심(514)과 각막의 반사되는 빛망울(516)을 감지하고, 홍채(513)의 중심(514)과 빛망울(516) 간의 벡터값(517)을 이용하여 사용자(110)의 시선 벡터(gaze vector)를 검출할 수 있다. 냉장고(100)는 사용자(110)의 시선 벡터가 검출되면, 검출된 시선 벡터를 기반으로 냉장고(100)의 전면의 2차원 평면 좌표값을 검출할 수 있다. 냉장고(100)는, 냉장고(100)의 전면의 2차원 평면 좌표값을 사용자(110)의 응시 지점으로 정의할 수 있다.
단계 S1430에서, 냉장고(100)는 검출된 사용자(110)의 응시 지점을 포함하는 냉장고(100)의 응시 영역을 도 2에서 설명한 바와 같이 검출한다. 응시 영역은 사용자(110)가 적어도 하나의 도어를 개방하기 위해 냉장고(100)의 전면에서 사전에 설정된 시간 이상 응시하는(또는 머무는) 영역일 수 있다. 응시 영역은 하나의 도어와 관련된 영역일 수도 있고, 복수의 도어와 관련된 영역(예컨대, 도어들의 경계 영역)일 수도 있다. 예를 들어, 응시 영역은 냉장고(100)의 전면의 특정 포인트일 수 있다. 특정 포인트는, 예를 들어, 도 9에 도시된 1번 영역(911), 2번 영역(912), 및 중앙 영역(913)중 적어도 하나를 포함할 수 있다.
본 개시에 따른 응시 영역은 냉장고(100)의 전면을 임의로 분할한 가상의 영역일 수 있다. 응시 영역은 하나일 수도 있고, 복수일 수도 있다. 응시 영역은 냉장고(100)의 전면의 전체를 분할한 영역일 수도 있고, 냉장고(100)의 전면의 일부 영역(예컨대, 중간 높이 영역)을 분할한 영역일 수도 있다. 응시 영역은, 도 6에 도시된 바와 같이, 냉장고(100)의 도어가 4개인 경우에 6개의 영역으로 분할될 수 있다. 또한, 냉장고(100)가 디스플레이를 기반으로 하는 출력부(1030)를 포함하는 경우, 냉장고(100)는 출력부(1030)가 배치된 영역을 제외한 전면의 영역을 응시 영역으로 정의할 수 있다. 사용자(110)는 디스플레이를 기반으로 하는 출력부(1030)에 표시되는 정보를 확인하기 위해서 출력부(1030)를 자주 응시할 수 있으며, 이때 사용자(110)는 출력부(1030)가 포함된 도어를 개방하기 위해 출력부(1030)를 응시하는 것이 아닐 수 있다. 따라서, 디스플레이 기반 출력부(1030)가 배치된 도어의 전면 영역을 냉장고(100)의 응시 영역에서 제외함으로써, 사용자(110)가 디스플레이 기반 출력부(1030)에 표시되는 정보를 확인하기 위해서 출력부(1030)를 응시할 때 사용자(110)의 의사에 반해서 출력부(1030)가 배치된 도어가 자동으로 개방되는 것을 방지할 수 있다.
단계 S1440에서, 냉장고(100)는 검출된 응시 영역에 대응하는 도어를 도 2에서 설명한 바와 같이 결정한다. 예를 들어, 도 6에 도시된 바와 같이 냉장고(100)의 응시 영역을 제 1 내지 제 6 응시 영역(601~606)으로 분할하고, 사용자(110)의 응시 지점이 607인 경우에, 냉장고(100)는 응시 지점(607)을 포함하는 제 1 응시 영역(601)을 응시 영역으로 결정하고, 제 1 응시 영역(601)에 대응하는 제 1 도어(102)를 개방할 도어로서 결정할 수 있다.
단계 S1450에서, 냉장고(100)는 결정된 도어를 개방하기 위하여 도어 구동부(220)를 제어한다. 이를 위하여, 냉장고(100)의 프로세서(210)는 도어 구동부(220)로 제어 신호를 전송한다. 도어 구동부(220)로 전송되는 제어 신호는 도 2에서 설명한 바와 같다. 예를 들어, 제 1 도어(102)를 개방할 도어로 결정하면, 냉장고(100)의 프로세서(210)는 제 1 도어(102)를 개방하기 위한 제어 신호를 도어 구동부(220)로 전송한다. 제 2 도어(103)를 개방할 도어로 결정하면, 냉장고(100)의 프로세서(210)는 제 2 도어(103)를 개방하기 위한 제어 신호를 도어 구동부(220)로 전송한다. 제 3 도어(104)를 개방할 도어로 결정하면, 냉장고(100)의 프로세서(210)는 제 3 도어(104)를 개방하기 위한 제어 신호를 도어 구동부(220)로 전송한다. 제 4 도어(105)를 개방할 도어로 결정하면, 냉장고(100)의 프로세서(210)는 제 4 도어(105)를 개방하기 위한 제어 신호를 도어 구동부(220)로 전송한다. 프로세서(210)로부터 도어 구동부(220)로 제어 신호를 전송하는 것은 프로세서(210)가 도어 구동부(220)를 제어하는 것을 나타낸다.
도 15는 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 순서도이다. 도 15는 도 14의 순서도에 결정된 도어에 관한 정보를 안내하는 기능을 추가한 예이다.
도 15의 단계 S1510에서, 냉장고(100)는 사용자(110)의 영상 데이터를 획득할 수 있다. 단계 S1520에서, 냉장고(100)는 획득된 사용자(110)의 영상 데이터를 이용하여 사용자(110)의 응시 지점을 검출할 수 있다. 단계 S1530에서, 냉장고(100)는 검출된 사용자(110)의 응시 지점을 포함하는 응시 영역을 검출할 수 있다. 단계 S1540에서, 냉장고(100)는 검출된 응시 영역에 대응하는 도어를 결정할 수 있다. 도 15의 단계 S1510 내지 S1540, 및 단계 S1560은 도 14의 단계 S1410 내지 단계 S1450에 대응되므로, 구체적인 설명은 생략하기로 한다.
단계 S1550에서, 냉장고(100)는 결정된 도어에 관한 정보를 안내한다. 예를 들어, 냉장고(100)는 도 11에 도시된 바와 같이 출력부(1030)에 포함된 디스플레이를 통해 결정된 도어에 관한 정보를 안내할 수 있다. 이 때, 디스플레이 기반의 출력부(1030)는 사용자(110)의 응시 지점에서 제외될 수 있다. 또한, 냉장고(100)는 출력부(1030)에 포함된 스피커를 통해 결정된 도어에 관한 정보를 안내할 수도 있다. 예를 들어, 냉장고(100)는 ‘우측 상단의 도어가 열릴 예정입니다’와 같은 음성 안내 메시지를 출력할 수 있다. 이에 따라 사용자(110)는 사용자(110)의 의도에 따라 개폐될 도어가 정확하게 선택되었는지를 확인할 수 있다.
도 16은 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 순서도이다. 도 15은 도 14의 순서도에 개방된 도어를 폐쇄하는 기능을 추가한 예이다.
단계 S1610에서, 냉장고(100)는 사용자(110)의 영상 데이터를 획득할 수 있다. 단계 S1620에서, 냉장고(100)는 획득된 사용자(110)의 영상 데이터를 이용하여 사용자(110)의 응시 지점을 검출할 수 있다. 단계 S1630에서, 냉장고(100)는 검출된 사용자(110)의 응시 지점을 포함하는 응시 영역을 검출할 수 있다. 단계 S1640에서, 냉장고(100)는 검출된 응시 영역에 대응하는 도어를 결정할 수 있다. 단계 S1650에서, 냉장고(100)는 결정된 도어를 개방하기 위한 제어 신호를 도어 구동부(220, 830)로 전송할 수 있다. 도 16의 단계 S1610 내지 단계 S1650은 도 14의 단계 S1410 내지 S1450에 대응되므로, 구체적인 설명은 생략하기로 한다.
단계 S1650에서, 냉장고(100)는 도어를 개방한 후, 일정 시간이 경과하면, 개방된 도어를 폐쇄하기 위해 도어 구동부(220, 830)를 제어한다. 이를 위하여, 프로세서(210, 820, 1010)는 도어 구동부(220, 830)로 개방된 도어를 폐쇄하기 위한 제어 신호를 전송한다. 일정 시간은 사용자(110)가 냉장고(100)에 대상물(예컨대, 음식물, 식재료, 용기 등)을 넣거나 빼는데 충분한 시간일 수 있다. 일정 시간은 냉장고(100)의 출고시에 미리 설정된 시간일 수도 있고, 사용자(110)가 설정한 시간일 수도 있다. 사용자(110)는 냉장고(100)의 출력부(1030)에 포함된 디스플레이 또는 휴대 단말의 애플리케이션을 이용하여, 일정 시간을 변경할 수 있다.
한편, 본 개시의 일 실시예에 의하면, 일정 시간이 경과하더라도 센서(107)(예컨대, 근접 센서)에 의해 사용자(110)가 감지되는 경우, 도어와 사용자(110)가 충돌하는 것을 방지하기 위해, 냉장고(100)는 도어를 폐쇄하기 위한 제어 신호를 도어 구동부(220, 830)로 전송하지 않을 수 있다. 도어를 폐쇄하기 위한 제어 신호를 도어 구동부(220, 830)로 전송하지 않는 것은 냉장고(100)의 프로세서(210, 820, 1010)가 도어를 폐쇄하기 위해 도어 구동부(220, 830)를 제공하는 것을 나타낸다.
도 17은 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 순서도이다. 도 17은 도 14의 순서도에 냉장고(100)와 사용자(110) 간의 거리 값을 기반으로 도어 개폐 기능을 제어하는 기능을 추가한 예이다.
단계 S1710에서, 냉장고(100)는 센서(107)로부터 센싱값(또는 출력값)을 수신한다. 단계 S1711에서, 냉장고(100)는 수신된 센싱값에 기초하여 냉장고(100)와 사용자(110)간의 거리값을 검출한다.
단계 S1712에서, 냉장고(100)는 검출된 거리값이 제 1 임계값(d1)이상이면서 제 2 임계값(d2)미만으로 판단되면, 단계 S1713에서, 냉장고(100)의 주변 또는 냉장고(100)의 도어 주변에 위치한 사용자(110)의 영상 데이터를 획득할 수 있다. 이 때, 단계 S1712에서 검출된 거리값은 도어가 개폐되기 전이므로, 제 1 거리값으로 정의될 수 있다.
단계 S1714에서, 냉장고(100)는 획득된 사용자(110)의 영상 데이터를 이용하여 사용자(110)의 응시 지점을 검출할 수 있다. 단계 S1715에서, 냉장고(100)는 검출된 사용자(110)의 응시 지점을 포함하는 응시 영역을 검출할 수 있다. 단계 S1716에서, 냉장고(100)는 검출된 응시 영역에 대응하는 도어를 결정할 수 있다. 단계 S1717에서, 냉장고(100)는 결정된 도어를 개방하기 위해 도어 구동부(220, 830)를 제어한다. 이를 위하여, 프로세서(210, 820, 1010)는 도어 구동부(220, 830)로 제어 신호를 전송할 수 있다. 단계 S1714 내지 단계 S1717은 도 14의 단계 S1420 내지 단계 S1450 대응되므로, 구체적인 설명은 생략하기로 한다.
도어 구동부(220, 830)로 결정된 도어를 개방하기 위한 제어 신호를 전송한 후, 단계 S1710으로 리턴되어 센서(107)로부터 수신되는 센싱값(또는 출력값)에 기초하여 냉장고(100)와 사용자(110)간의 거리값과 제 1 임계값(d1) 및 제 2 임계값(d2) 간의 관계를 판단한다. 이 때 거리값은 도어가 개방된 후이므로, 제 2 거리값으로 정의될 수 있다. 단계 S1718 및 S1719에서, 냉장고(100)는 판단 결과, 냉장고(100)와 사용자(110) 간의 거리값(제 2 거리값)이 제 2 임계값(d2)이상이고, 냉장고(100)의 도어가 개방 상태이면, 단계 S1720에서, 냉장고(100)는 개방된 도어를 폐쇄하기 위해도어 구동부(220, 830)를 제어하고, 도어 개폐 동작을 종료한다. 냉장고(100)의 프로세서(210, 820, 1010)는 개방된 도어를 폐쇄하기 위해 도어 구동부(220, 830)를 제어한다. 개방된 도어가 폐쇄되도록 도어 구동부(220, 830)를 제어하기 위하여, 프로세서(210, 820, 1010)는 개방된 도어를 폐쇄하기 위한 제어 신호를 도어 구동부(220, 830)로 전송한다.
단계 S1718에서, 냉장고(100)와 사용자(110) 간의 제 2 거리값이 제 2 임계값(d2)이상이 아닌 것으로 판단되면, 단계 S1721에서, 냉장고(100)는 냉장고(100)와 사용자(110) 간의 거리값(제 2 거리값)이 제 1 임계값(d1)보다 작은지 판단한다. 단계 S1721에서, 냉장고(100)와 사용자(110) 간의 거리값(제 2 거리값)이 제 1 임계값(d1) 보다 작은 것으로 판단되면, 단계 S1723에서, 냉장고(100)는 도어 개폐동작을 중단하고, 단계 S1710으로 리턴한다. 이로 인하여 냉장고(100)의 도어 개폐 동작으로 냉장고(100)의 도어와 사용자(110)간의 충돌을 방지할 수 있다.
단계 S1721에서, 냉장고(100)와 사용자(110) 간의 거리값(제 2 거리값)이 제 1 임계값(d1)보다 작지 않은 것으로 판단되면, 냉장고(100)는 단계 S1710으로 리턴되어 센서(107)로부터 수신되는 센싱값(또는 출력값)을 모니터링한다.
도 17에서 언급된 냉장고(100)와 사용자(110)간의 거리값은 결정된 도어가 개방되기 전에는 제 1 거리값으로 정의되고, 결정된 도어가 개방된 후에는 제 2 거리값으로 정의될 수 있다.
도 17의 순서도는, 도 15의 단계 S1550에 기재된 결정된 도어에 관한 정보를 안내하는 기능을 개방할 도어가 결정되고, 결정된 도어가 개방되기 전에 추가하도록 변형될 수 있다. 도 17의 순서도는, 하기 도 18의 단계 S1810에 기재된 응시 영역을 가이드하는 기능을 응시 지점을 포함하는 응시 영역을 검출하고, 개방할 도어를 결정하기 전에 추가하도록 변형될 수 있다.
도 18은 본 개시의 일 실시 예에 따른 냉장고의 제어 방법을 설명하기 위한 순서도이다. 도 18은 도 14의 순서도에 사용자(110)의 응시 영역을 가이드하는 기능을 추가한 예이다.
단계 S1810에서, 냉장고(100)는 사용자(110)가 도어를 개방하기 위해 응시할 수 있는 응시 영역을 출력부(1030)를 이용하여 가이드할 수 있다. 예를 들어, 도 9에 도시된 1번 영역(911) 및 2번 영역(912)에 근접한 위치에 LED 조명을 배치하여, 사용자(110)에게 응시 영역을 가이드할 수 있다. 출력부(1030)는 프로세서(1010)에 의해 제어되어, 빛을 냉장고(100)에서 외부 방향으로 연속적으로 발광하거나 일정 시간 간격 단위로 발광하는 조명을 포함할 수 있다.
단계 S1820에서, 냉장고(100)는 냉장고(100)의 주변 또는 냉장고(100)의 도어 주변에 위치한 사용자(110)의 영상 데이터를 획득할 수 있다. 단계 S1830에서, 냉장고(100)는 획득된 사용자(110)의 영상 데이터를 이용하여 사용자(110)의 응시 지점을 검출할 수 있다. 단계 S1840에서, 냉장고(100)는 검출된 사용자(110)의 응시 지점을 포함하는 응시 영역을 검출할 수 있다. 단계 S1850에서, 냉장고(100)는 검출된 응시 영역에 대응하는 도어를 결정할 수 있다. 단계 S1860에서, 냉장고(100)는 결정된 도어를 개방하기 위하여 도어 구동부(220, 830)를 제어할 수 있다. 결정된 도어가 개방되도록 도어 구동부(220, 830)를 제어하기 위하여, 냉장고(100)의 프로세서(210, 820, 1010)는 도어 구동부(220, 830)로 제어 신호를 전송할 수 있다. 도 18의 단계 S1820 내지 단계 S1860은 도 14의 단계 S1410 내지 S1450에 대응되므로, 구체적인 설명은 생략하기로 한다.
또한, 도 14 내지 도 18에 도시된 순서도는, 순서도에 기초한 동작을 수행하기 전에, 사용자(110)의 응시 지점을 포함하는 응시 영역을 냉장고(100)의 도어의 개수 또는 냉장고(100)의 구조를 기반으로 적어도 하나 이상 설정하는 단계를 더 포함하도록 변형될 수 있다. 예를 들어, 도 14 내지 도 18에 도시된 순서도는, 냉장고(100)의 도어가 4개인 경우에, 도 6에 도시된 바와 같이 6개의 응시 영역을 분할하거나 냉장고(100)의 도어가 2개인 경우에, 도 9에 도시된 바와 같이 3개의 특정 포인트(911, 912, 913)를 응시 영역으로 설정하는 단계를 더 포함할 수 있다.
도 13 내지 도 18에 도시된 순서도는, 영상 획득부(106)를 이용하여 냉장고(100)의 주변에 위치한 사용자(110)의 영상 데이터를 획득하는 경우를 예시하였지만, 도 13 내지 도 18에 도시된 순서도는 각각 냉장고(100)와 사용자(110) 간의 거리값이 제 2 임계값(d2) 미만으로 판단될 경우에, 영상 획득부(106)를 활성화하여 냉장고(100)의 주변 또는 냉장고(100)의 도어의 주변에 위치한 사용자(110)의 영상 데이터를 획득하는 기능을 추가할 수 있다. 또한, 도 13 내지 도 18에 도시된 순서도는 각각 냉장고(100)의 도어가 개폐 동작을 수행한 후, 센서(107)의 센싱값(또는 출력값)에 의해 사용자(110)와 냉장고(100) 간의 거리값이 제 2 임계값 이상이면, 영상 획득부(106)의 동작을 비활성화하는 동작을 추가할 수 있다. 냉장고(100)의 도어가 개폐 동작을 수행한 후, 센서(107)의 센싱값(또는 출력값)에 의해 사용자(110)와 냉장고(100) 간의 거리값이 제 2 임계값 이상인 것은 사용자(110)의 위치가 냉장고(100)로부터 멀어진 것을 나타낼 수 있다.
도 13 내지 도 18에 도시된 순서도는 냉장고(100)의 하나의 도어를 개폐하는 경우를 예시하였지만, 결정된 도어를 개방한 후, 폐쇄하기 전에 영상 획득부(106)를 이용하여 획득된 사용자(110)의 영상 데이터를 이용하여 다른 응시 지점이 검출되면, 냉장고(100)의 개방되지 않은 도어 중에서 검출된 다른 응시 지점에 대응하는 도어를 결정하여 개방하도록 제어하는 기능을 추가할 수 있다. 예를 들어, 도 13 내지 도 18에 도시된 순서도는, 도 6에 도시된 제 1 도어(102)가 개방된 상태에서, 제 2 도어(103)에 대응되는 제 3 응시 영역(603)에 포함된 하나의 지점을 사용자(110)가 응시하는 응시 지점으로 검출되면, 냉장고(100)가 제 2 도어(103)를 추가로 개방하는 기능을 추가할 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims (20)

  1. 냉장고에 있어서,
    본체;
    상기 본체의 전면에 회전 가능하게 연결된 적어도 하나의 도어:
    상기 적어도 하나의 도어를 자동으로 개폐하는 도어 구동부;
    상기 냉장고의 주변에 위치하는 사용자의 영상 데이터를 획득하는 영상 획득 센서; 및
    상기 사용자의 영상 데이터를 이용하여 상기 사용자의 시선이 사전에 설정된 시간 이상 머무는 응시 지점(gaze point)을 검출하고,
    상기 적어도 하나의 도어 중에서 상기 검출된 응시 지점에 대응하는 도어를 결정하고,
    상기 도어 구동부를 제어하여, 상기 결정된 도어를 개방하는 적어도 하나의 프로세서를 포함하는 냉장고.
  2. 제 1 항에 있어서, 상기 냉장고는,
    상기 냉장고에 상기 사용자의 접근을 감지하는 근접 센서를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 도어가 폐쇄된 상태에서, 상기 근접 센서의 출력값을 이용하여 상기 냉장고와 상기 사용자 간의 제 1 거리값을 검출하고, 상기 검출된 제 1 거리값이 제 1 임계값 이상이면서 제 2 임계값미만인 것으로 판단되면, 상기 도어 구동부를 제어하여, 상기 결정된 도어를 개방하는, 냉장고.
  3. 제 2 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 도어가 폐쇄된 상태에서, 상기 검출된 제 1 거리값이 상기 제 2 임계값 미만이면, 상기 영상 획득 센서의 동작을 활성화하여 상기 적어도 하나의 도어의 주변에 위치한 사용자의 영상 데이터를 획득하는, 냉장고.
  4. 제 2 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 결정된 도어를 개방한 후, 상기 근접 센서의 출력값을 이용하여 상기 냉장고와 사용자 간의 제 2 거리값을 검출하고, 상기 검출된 제 2 거리값이 상기 제 2 임계값 이상이면, 상기 도어 구동부를 제어하여 상기 개방된 도어를 폐쇄하는, 냉장고.
  5. 제 4 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 결정된 도어를 개방한 후에, 일정 시간이 경과하면, 상기 근접 센서를 제어하여 상기 냉장고와 상기 사용자 간의 상기 제 2 거리값을 검출하는, 냉장고.
  6. 제 5 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 결정된 도어를 개폐한 후, 상기 검출된 제 2 거리값이 상기 제 2 임계값 이상이면, 상기 영상 획득 센서의 동작을 비활성화하는, 냉장고.
  7. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 냉장고의 도어의 수 또는 상기 냉장고의 구조에 따라 상기 냉장고의 전면을 가상의 복수의 응시 영역으로 분할하고,
    상기 복수의 응시 영역 중에서 상기 응시 지점이 사전에 설정된 시간 이상 머무는 영역을 상기 응시 지점을 포함하는 상기 냉장고의 전면의 응시 영역으로서 검출하는, 냉장고.
  8. 제 7 항에 있어서, 상기 냉장고는,
    상기 사용자가 상기 적어도 하나의 도어를 개방하기 위해 응시할 수 있는 상기 복수의 응시 영역을 가이드하는 정보를 표시하는 출력부를 더 포함하는, 냉장고.
  9. 제 8 항에 있어서, 상기 출력부는 빛을 발광하는 조명을 포함하는, 냉장고.
  10. 제1항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 검출된 응시 지점이 상기 적어도 하나의 도어 간의 경계 영역이면, 상기 도어 구동부를 제어하여 상기 경계 영역에 인접한 모든 도어를 개방하는, 냉장고.
  11. 제 1 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 결정된 도어를 개방한 후, 상기 영상 획득 센서에 의해 획득된 사용자의 영상 데이터를 이용하여 다른 응시 지점이 검출되면, 개방되지 않은 도어 중에서 상기 검출된 다른 응시 지점에 대응하는 다른 도어를 결정하고, 상기 도어 구동부를 제어하여, 상기 결정된 다른 도어를 개방하는, 냉장고.
  12. 냉장고의 제어 방법에 있어서,
    상기 냉장고에 포함된 영상 획득 센서를 이용하여 상기 냉장고의 주변에 위치하는 사용자의 영상 데이터를 획득하는 단계;
    상기 획득된 사용자의 영상 데이터를 이용하여 상기 사용자의 시선이 사전에 설정된 시간 이상 머무는 응시 지점을 검출하는 단계;
    상기 냉장고에 포함된 적어도 하나의 도어 중에서 상기 검출된 응시 지점에 대응하는 도어를 결정하는 단계; 및
    상기 냉장고에 포함된 도어 구동부를 제어하여 상기 결정된 도어를 개방하는 단계를 포함하는 냉장고의 제어방법.
  13. 제 12 항에 있어서, 상기 결정된 도어를 개방하는 단계는,
    상기 적어도 하나의 도어가 폐쇄된 상태에서, 상기 냉장고에 포함된 근접 센서의 출력값을 이용하여 상기 냉장고와 상기 사용자 간의 제 1 거리값을 검출하는 단계; 및
    상기 검출된 제 1 거리값이 제 1 임계값이상이면서 제 2 임계값미만이면, 상기 도어 구동부를 제어하여 상기 결정된 도어를 개방하는 단계를 포함하는, 냉장고의 제어방법.
  14. 제 13 항에 있어서, 상기 사용자의 영상 데이터를 획득하는 단계는,
    상기 적어도 하나의 도어가 폐쇄된 상태에서, 상기 검출된 제 1 거리값이 상기 제 2 임계값 미만이면, 상기 영상 획득 센서의 동작을 활성화하여 상기 적어도 하나의 도어의 주변에 위치한 사용자의 영상 데이터를 획득하는 단계를 포함하는 냉장고의 제어 방법.
  15. 제 13 항에 있어서, 상기 냉장고의 제어방법은,
    상기 결정된 도어를 개방한 후, 상기 근접 센서의 출력값을 이용하여 상기 냉장고와 사용자 간의 제 2 거리값을 검출하는 단계; 및 상기 검출된 제 2 거리값이 상기 제 2 임계값 이상이면, 상기 도어 구동부를 제어하여 상기 개방된 도어를 폐쇄하는 단계를 더 포함하는 냉장고의 제어방법.
  16. 제 15 항에 있어서, 상기 냉장고의 제어방법은,
    상기 결정된 도어를 개폐한 후, 상기 검출된 제 2 거리값이 상기 제 2 임계값 이상이면, 상기 영상 획득 센서의 동작을 비활성화하는 단계를 더 포함하는 냉장고의 제어 방법.
  17. 제 12 항에 있어서, 상기 냉장고의 제어방법은,
    상기 냉장고의 도어의 수 또는 상기 냉장고의 구조에 따라 상기 냉장고의 전면을 가상의 복수의 응시 영역으로 분할하는 단계; 및
    상기 복수의 응시 영역 중에서 상기 응시 지점이 사전에 설정된 시간 이상 머무는 영역을 상기 응시 지점을 포함하는 상기 냉장고의 전면의 응시 영역으로서 검출하는 단계를 더 포함하는 냉장고의 제어방법.
  18. 제 17 항에 있어서, 상기 냉장고의 제어방법은,
    상기 사용자가 상기 적어도 하나의 도어를 개방하기 위해 응시할 수 있는 상기 복수의 응시 영역을 가이드하는 정보를 상기 냉장고의 출력부를 통해 표시하는 단계를 더 포함하는 냉장고의 제어방법.
  19. 제 12 항에 있어서, 상기 결정된 도어를 개방하는 단계는,
    상기 검출된 응시 지점이 상기 적어도 하나의 도어 간의 경계 영역이면, 상기 도어 구동부를 제어하여 상기 경계 영역에 인접한 모든 도어를 개방하는 단계를 포함하는 냉장고의 제어 방법.
  20. 제 12 항에 있어서, 상기 냉장고의 제어방법은,
    상기 결정된 도어를 개방한 후, 상기 영상 획득 센서에 의해 획득된 사용자의 영상 데이터를 이용하여 다른 응시 지점이 검출되면, 개방되지 않은 도어 중에서 상기 검출된 다른 응시 지점에 대응하는 도어를 결정하는 단계; 및
    상기 도어 구동부를 제어하여 상기 결정된 다른 도어를 개방하는 단계를 더 포함하는 냉장고의 제어 방법.

KR1020210137141A 2021-10-15 2021-10-15 냉장고 및 냉장고의 제어 방법 KR20230053858A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210137141A KR20230053858A (ko) 2021-10-15 2021-10-15 냉장고 및 냉장고의 제어 방법
PCT/KR2022/013850 WO2023063600A1 (ko) 2021-10-15 2022-09-16 냉장고 및 냉장고의 제어 방법
US18/599,565 US20240210101A1 (en) 2021-10-15 2024-03-08 Refrigerator and method for controlling refrigerator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210137141A KR20230053858A (ko) 2021-10-15 2021-10-15 냉장고 및 냉장고의 제어 방법

Publications (1)

Publication Number Publication Date
KR20230053858A true KR20230053858A (ko) 2023-04-24

Family

ID=85988386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210137141A KR20230053858A (ko) 2021-10-15 2021-10-15 냉장고 및 냉장고의 제어 방법

Country Status (3)

Country Link
US (1) US20240210101A1 (ko)
KR (1) KR20230053858A (ko)
WO (1) WO2023063600A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015140106A1 (en) * 2014-03-17 2015-09-24 IT-Universitetet i København Computer-implemented gaze interaction method and apparatus
JP2017040422A (ja) * 2015-08-19 2017-02-23 東芝ライフスタイル株式会社 冷蔵庫
KR20170082009A (ko) * 2016-01-05 2017-07-13 엘지이노텍 주식회사 냉장고 및 이의 제어 방법
KR102071650B1 (ko) * 2018-06-01 2020-01-30 엘지전자 주식회사 냉장고 및 제어 방법
JP2021165622A (ja) * 2020-04-08 2021-10-14 パナソニックＩｐマネジメント株式会社 食材貯蔵システム、嗜好情報取得方法および嗜好情報取得装置

Also Published As

Publication number Publication date
WO2023063600A1 (ko) 2023-04-20
US20240210101A1 (en) 2024-06-27

Similar Documents

Publication Publication Date Title
US10066869B2 (en) Refrigerator
KR102023013B1 (ko) 냉장고 및 그 동작 방법
EP3913286B1 (en) Oven and oven door opening and closing method
US10330377B2 (en) Refrigeration appliance comprising a camera module
US20170123491A1 (en) Computer-implemented gaze interaction method and apparatus
US20160138859A1 (en) Refrigeration appliance system
US20180089973A1 (en) Refrigerator and home automation system having the same
CN104102344A (zh) 可佩戴装置及可佩戴装置的显示控制方法
EP3577417A1 (en) Imaging apparatus
KR20170051136A (ko) 헤드 마운트 디스플레이의 사용자에게 알림을 제공하기 위한 방법 및 장치
US10482749B2 (en) Controlling electronic device alerts by operating head mounted display
US20210254884A1 (en) Refrigerator, server, and method for controlling the refrigerator
KR20210157151A (ko) 냉장고 및 그 제어 방법
US11335010B2 (en) Methods for viewing and tracking stored items
CN109725719A (zh) 设备控制方法、装置及电子设备、存储介质
KR20190106430A (ko) 냉장고 및 그 제어방법
KR20230053858A (ko) 냉장고 및 냉장고의 제어 방법
KR20210157119A (ko) 냉장고
KR20210157217A (ko) 전자 장치 및 그 제어 방법
US20180196592A1 (en) Controlling electronic devices by operating head mounted display
US20190294237A1 (en) Controlling graphic field of view by operating head mounted display
KR20170023465A (ko) 네트워크를 통해 냉장고의 관리 정보를 제공하기 위한 냉장고 제어 시스템 및 그 방법
CN105786165B (zh) 一种信息处理方法和电子设备
KR20240053306A (ko) 냉장고 및 그 제어 방법
KR20200041201A (ko) 온도 표시 영역에서 도어 열림을 표시하는 냉장고