KR20200084584A - 가전 기기 및 그 제어 방법 - Google Patents

가전 기기 및 그 제어 방법 Download PDF

Info

Publication number
KR20200084584A
KR20200084584A KR1020190000651A KR20190000651A KR20200084584A KR 20200084584 A KR20200084584 A KR 20200084584A KR 1020190000651 A KR1020190000651 A KR 1020190000651A KR 20190000651 A KR20190000651 A KR 20190000651A KR 20200084584 A KR20200084584 A KR 20200084584A
Authority
KR
South Korea
Prior art keywords
information
board screen
image
display
home appliance
Prior art date
Application number
KR1020190000651A
Other languages
English (en)
Other versions
KR102679851B1 (ko
Inventor
홍주환
배상준
조규호
이문근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190000651A priority Critical patent/KR102679851B1/ko
Priority claimed from KR1020190000651A external-priority patent/KR102679851B1/ko
Priority to US17/296,712 priority patent/US11500537B2/en
Priority to PCT/KR2019/018572 priority patent/WO2020141809A1/ko
Priority to EP19907662.1A priority patent/EP3882754A4/en
Priority to CN201980087475.XA priority patent/CN113260971A/zh
Publication of KR20200084584A publication Critical patent/KR20200084584A/ko
Application granted granted Critical
Publication of KR102679851B1 publication Critical patent/KR102679851B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06K9/00852—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/226—Character recognition characterised by the type of writing of cursive writing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G06K2209/01—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가전 기기가 개시된다. 가전 기기는, 가전 기기의 전면에 구비된 디스플레이, 스토리지, 회로를 포함하는 통신 인터페이스 및 디스플레이 상에 보드 스크린을 제공하고, 통신 인터페이스를 통해 이미지가 수신되면, 이미지의 해상도 정보에 기초하여 이미지의 디스플레이 크기를 식별하고, 식별된 디스플레이 크기에 기초하여 이미지를 보드 스크린 상에 추가하고, 이미지에 대한 제1 터치 입력이 감지되면, 제1 터치 입력에 대응되도록 이미지의 디스플레이 위치 또는 크기 중 적어도 하나를 조정하고, 보드 스크린에 대한 제2 터치 입력이 감지되면, 제2 터치 입력에 대응되는 드로잉 오브젝트를 보드 스크린 상에 추가하는 프로세서를 포함한다.

Description

가전 기기 및 그 제어 방법 { Home appliance and control method thereof }
본 개시는 가전 기기 및 그 제어 방법에 관한 것으로서, 보다 상세하게는, 디스플레이를 구비하는 가전 기기 및 그 제어 방법에 관한 것이다.
전자 기술이 발달함에 따라, 다양한 유형의 전자 장치가 개발 및 보급되고 있는 실정이다.
특히, 최근 가정에 보급되는 다양한 가전 기기들은 사물 인터넷(Internet of things) 기술과 접목하여 상호 데이터를 송수신할 수 있으며, 이러한 데이터 송수신을 통한 활용도 다양해지고 있는 실정이다.
냉장고의 경우에는 기존의 식품의 저장고 역할에 더하여 가족 구성원들에게 정보를 제공하는 허브(Hub)로서도 활용될 수 있다. 예를 들어, 냉장고는 디스플레이를 구비하여 가족 구성원들에게 뉴스, 레시피, 스케줄 등을 제공할 수 있다.
다만, 종래의 가전 기기들은 사물 인터넷과 접목된 디스플레이를 통해 정보를 제공할지라도, 형식이 제한된 템플릿 내에서만 뉴스, 레시피 등을 제공하는데 그치고 있다. 종래의 가전 기기들은 사용자가 자유롭게 이미지, 스케치 등을 추가하는 데에는 형식적 제약이 있는 문제점이 있었다.
가전 기기에 구비된 디스플레이를 통해 스케줄, 이미지, 할 일(Things to do) 리스트 등을 자유롭게 추가 및 편집하기 위한 기술의 필요성이 대두되었다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 가전 기기에 보드 스크린을 통해 이미지, 스케치, 드로잉 등을 추가하는 가전 기기 및 그 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 개시에 따른 가전 기기는, 상기 가전 기기의 전면에 구비된 디스플레이, 스토리지, 회로를 포함하는 통신 인터페이스 및 상기 디스플레이 상에 보드 스크린을 제공하고, 상기 통신 인터페이스를 통해 이미지가 수신되면, 상기 이미지의 해상도 정보에 기초하여 상기 이미지의 디스플레이 크기를 식별하고, 상기 식별된 디스플레이 크기에 기초하여 상기 이미지를 상기 보드 스크린 상에 추가하고, 상기 이미지에 대한 제1 터치 입력이 감지되면, 상기 제1 터치 입력에 대응되도록 상기 이미지의 디스플레이 위치 또는 크기 중 적어도 하나를 조정하고, 상기 보드 스크린에 대한 제2 터치 입력이 감지되면, 상기 제2 터치 입력에 대응되는 드로잉 오브젝트를 상기 보드 스크린 상에 추가하는 프로세서를 포함하고, 상기 프로세서는, 상기 보드 스크린에 추가된 상기 이미지에 대한 정보 및 상기 드로잉 오브젝트에 대한 정보를 상기 스토리지에 저장한다.
여기서, 상기 이미지에 대한 정보는, 상기 이미지의 파일 경로, 상기 이미지의 파일 타입, 상기 보드 스크린 상에 추가된 상기 이미지의 좌표 정보 또는 상기 이미지의 크기 정보 중 적어도 하나를 포함하고, 상기 드로잉 오브젝트에 대한 정보는, 상기 드로잉 오브젝트의 형태 정보 또는 상기 보드 스크린 상에 추가된 상기 드로잉의 좌표 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 프로세서는, 기 설정된 주기가 도래하는 이벤트 또는 저장 메뉴가 선택되는 이벤트에 따라, 상기 보드 스크린을 캡쳐하여 상기 보드 스크린의 캡쳐 이미지를 획득하고, 상기 캡쳐 이미지, 상기 이미지에 대한 정보 및 상기 드로잉 오브젝트에 대한 정보를 서버로 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
또한, 상기 프로세서는, 새로운 보드 스크린을 제공하기 위한 커맨드가 수신되면, 상기 디스플레이 상에 제공되는 상기 보드 스크린에 대한 정보를 상기 스토리지에 저장한 후 상기 새로운 보드 스크린을 상기 디스플레이를 통해 제공하며, 상기 보드 스크린에 대한 정보는, 상기 보드 스크린에 대한 캡쳐 이미지, 상기 이미지에 대한 정보 또는 상기 드로잉 오브젝트에 대한 정보 중 적어도 하나를 포함할 수 있다.
여기서, 상기 프로세서는, 상기 스토리지에 저장된 보드 스크린의 개수가 임계 개수를 초과하면, 상기 스토리지에 저장된 상기 보드 스크린에 대한 정보를 상기 통신 인터페이스를 통해 서버로 전송할 수 있다.
또한, 상기 프로세서는, 상기 스토리지에 포함된 복수의 어플리케이션 중 어느 하나를 실행시키기 위한 아이콘을 상기 보드 스크린 상에 제공하고, 상기 아이콘을 선택하는 사용자 커맨드가 입력되면, 상기 보드 스크린 상의 일 영역에 상기 선택된 아이콘에 대응되는 어플리케이션의 실행 화면을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 스토리지는, 복수의 사용자 각각에 대응되는 사용자 식별 정보 및 사용자 기기 정보를 저장하며, 상기 프로세서는, 상기 드로잉 오브젝트에 대응되는 텍스트를 인식하고, 상기 텍스트 및 상기 저장된 사용자 식별 정보에 기초하여 상기 복수의 사용자 중 적어도 하나의 사용자를 식별하고, 상기 식별된 사용자에 대응되는 사용자 기기 정보에 기초하여 상기 드로잉 오브젝트와 관련된 정보를 상기 통신 인터페이스를 통해 전송할 수 있다.
또한, 상기 프로세서는, 상기 드로잉 오브젝트에 대응되는 텍스트를 인식하고, 상기 인식된 텍스트에 기초하여 상기 드로잉 오브젝트를 기 설정된 폰트의 텍스트 오브젝트로 변경할 수 있다.
또한, 상기 프로세서는, 상기 스토리지에 저장된 보드 스크린에 대한 정보를 로딩하기 위한 커맨트가 수신되면, 상기 저장된 보드 스크린에 대응되는 캡쳐 이미지, 상기 저장된 보드 스크린의 생성 시점 및 저장 시점에 대한 정보를 포함하는 리스트를 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 가전 기기는 센서를 포함하고, 상기 프로세서는, 상기 디스플레이가 턴 오프된 대기 모드에서 상기 센서를 통해 사용자가 감지되면, 상기 저장된 보드 스크린에 대한 정보에 기초하여 상기 디스플레이가 턴 오프되기 전의 보드 스크린을 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른 가전 기기의 제어 방법은, 상기 가전 기기의 전면에 구비된 디스플레이 상에 보드 스크린을 제공하는 단계, 이미지가 수신되면, 상기 이미지의 해상도 정보에 기초하여 상기 이미지의 디스플레이 크기를 식별하는 단계, 상기 식별된 디스플레이 크기에 기초하여 상기 이미지를 상기 보드 스크린 상에 추가하는 단계, 상기 이미지에 대한 제1 터치 입력이 감지되면, 상기 제1 터치 입력에 대응되도록 상기 이미지의 디스플레이 위치 또는 크기 중 적어도 하나를 조정하는 단계, 상기 보드 스크린에 대한 제2 터치 입력이 감지되면, 상기 제2 터치 입력에 대응되는 드로잉 오브젝트를 상기 보드 스크린 상에 추가하는 단계, 및 상기 보드 스크린에 추가된 상기 이미지에 대한 정보 및 상기 드로잉 오브젝트에 대한 정보를 저장하는 단계를 포함한다.
여기서, 상기 이미지에 대한 정보는, 상기 이미지의 파일 경로, 상기 이미지의 파일 타입, 상기 보드 스크린 상에 추가된 상기 이미지의 좌표 정보 또는 상기 이미지의 크기 정보 중 적어도 하나를 포함하고, 상기 드로잉 오브젝트에 대한 정보는, 상기 드로잉 오브젝트의 형태 정보 또는 상기 보드 스크린 상에 추가된 상기 드로잉의 좌표 정보 중 적어도 하나를 포함한다.
또한, 기 설정된 주기가 도래하는 이벤트 또는 저장 메뉴가 선택되는 이벤트에 따라, 상기 보드 스크린을 캡쳐하여 상기 보드 스크린의 캡쳐 이미지를 획득하는 단계 및 상기 캡쳐 이미지, 상기 이미지에 대한 정보 및 상기 드로잉 오브젝트에 대한 정보를 서버로 전송하는 단계를 포함할 수 있다.
또한, 새로운 보드 스크린을 제공하기 위한 커맨드가 수신되면, 상기 디스플레이 상에 제공되는 보드 스크린에 대한 정보를 저장한 후 상기 새로운 보드 스크린을 상기 디스플레이를 통해 제공하는 단계를 포함할 수 있다. 여기서, 상기 보드 스크린에 대한 정보는, 상기 보드 스크린에 대한 캡쳐 이미지, 상기 이미지에 대한 정보 또는 상기 드로잉 오브젝트에 대한 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 가전 기기에 저장된 보드 스크린의 개수가 임계 개수를 초과하면, 상기 가전 기기에 저장된 상기 보드 스크린에 대한 정보를 서버로 전송하는 단계를 포함할 수 있다.
또한, 복수의 어플리케이션 중 어느 하나를 실행하기 위한 아이콘을 상기 보드 스크린 상에 제공하는 단계 및 상기 아이콘을 선택하는 사용자 커맨드가 입력되면, 상기 보드 스크린 상의 일 영역에 상기 선택된 아이콘에 대응되는 어플리케이션의 실행 화면을 디스플레이하는 단계를 포함할 수 있다.
상기 가전 기기는, 복수의 사용자 각각에 대응되는 사용자 식별 정보 및 사용자 기기 정보를 저장할 수 있고, 일 실시 예에 따른 제어 방법은, 상기 드로잉 오브젝트에 대응되는 텍스트를 인식하는 단계, 상기 텍스트 및 상기 저장된 사용자 식별 정보에 기초하여 상기 복수의 사용자 중 적어도 하나의 사용자를 식별하는 단계 및 상기 식별된 사용자에 대응되는 사용자 기기 정보에 기초하여 상기 드로잉 오브젝트와 관련된 정보를 전송하는 단계를 포함할 수 있다.
또한, 상기 드로잉 오브젝트에 대응되는 텍스트를 인식하는 단계 및 상기 인식된 텍스트에 기초하여 상기 드로잉 오브젝트를 기 설정된 폰트의 텍스트 오브젝트로 변경하는 단계를 포함할 수 있다.
또한, 상기 가전 기기에 저장된 보드 스크린에 대한 정보를 로딩하기 위한 커맨드가 수신되면, 상기 저장된 보드 스크린에 대응되는 캡쳐 이미지, 상기 저장된 보드 스크린의 생성 시점 및 저장 시점에 대한 정보를 포함하는 리스트를 디스플레이하는 단계를 포함할 수 있다.
또한, 상기 디스플레이가 턴-오프된 대기 모드에서 상기 가전 기기에 구비된 센서를 통해 사용자가 감지되면, 상기 저장된 보드 스크린에 대한 정보에 기초하여 상기 디스플레이가 턴-오프되기 전의 보드 스크린을 디스플레이하는 단계를 포함할 수 있다.
이상 설명한 바와 같이 본 개시의 다양한 실시 예에 따르면, 형식적 제약이 있는 템플릿 내에서 이미지, 스케치 등을 추가하는 것이 아니라 사용자가 디스플레이 상에 자유롭게 다양한 유형의 오브젝트를 추가할 수 있게 된다.
도 1은 본 개시의 일 실시 예에 따른 가전 기기의 외관을 도시한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 가전 기기의 구성을 나타내는 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 가전 기기의 세부 구성을 나타내는 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 보드 스크린 및 이미지를 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 드로잉 오브젝트를 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 오브젝트에 대한 정보를 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 보드 스크린에 대한 정보를 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 아이콘을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 가전 기기 및 서버를 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 가전 기기 및 사용자 기기를 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예에 따른 보드 스크린 리스트를 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시 예에 따른 가전 기기의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른 가전 기기(100)의 외관을 도시한 도면이다.
본 명세서의 다양한 실시 예들에 따른 가전 기기(100)는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 여기서, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시 예들에서, 가전 기기(100)는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
이하에서는 설명의 편의를 위해 가전 기기(100)를 냉장고로 한정하여 설명하나, 이는 일 실시 예로서 이에 한정되지 않음은 물론이다. 본 개시의 일 실시 예에 따른 가전 기기(100)는 디스플레이(110)를 통해 스크린을 제공할 수 있는 다양한 형태의 가전 기기(100)로 구현될 수 있음은 물론이다.
도 1을 참조하면, 가전 기기(100)는 전면(前面)이 개방된 본체와, 본체 내부에 형성되며 식품이 냉장 및/또는 보관되는 저장실과 본체의 개방된 전면을 개폐하는 도어를 포함할 수 있다.
여기서, 본체는 가전 기기(100)의 외관을 형성할 수 있다. 본체는 저장실을 형성하는 내상과, 내상과 결합되어 본체의 외관을 형성하는 외상을 포함할 수 있다.
저장실은 수평 격벽 및 수직 격벽에 의해 복수 개로 구획될 수 있다. 일 예로, 저장실은 상부 저장실과 하부 저장실로 구획될 수 있고, 저장실에는 선번 및 밀폐 용기 등이 마련될 수 있다.
저장실은 도어에 의해 개폐될 수 있다. 예를 들어, 상부 저장실의 일 영역은 상부 제1 도어에 의해 개폐될 수 있고, 상부 저장실의 나머지 영역은 상부 제2 도어에 의해 개폐될 수 있다. 하부 저장실의 일 영역은 하부 제1 도어에 의해 개폐될 수 있고, 나머지 영역은 하부 제2 도어에 의해 개폐될 수 있다.
도어는 도어를 용이하게 개폐할 수 있도록 핸들을 포함할 수 있다. 일 예로, 핸들은 상부 제1 도어 및 상부 제2 도어의 사이를 따라 상하방향으로 길게 형성될 수 있고, 하부 제1 도어 및 하부 제2 도어의 사이를 따라 상하방향으로 길게 형성될 수 있다.
특히, 본 개시의 일 실시 예에 따른 가전 기기(100)는 전면에 구비된 디스플레이(110)를 포함할 수 있다. 도 1을 참조하면, 도어의 전면(前面) 일 영역에 디스플레이(110)가 구비될 수 있다. 본 개시의 일 실시 예에 따른 가전 기기(100)는 디스플레이(110)를 통해 다양한 스크린을 제공할 수 있다. 이하에서는 디스플레이(110)를 통해 제공되는 다양한 스크린을 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 가전 기기의 구성을 나타내는 블록도이다.
도 2를 참조하면, 가전 기기(100)는 디스플레이(110), 스토리지(120), 통신 인터페이스(130) 및 프로세서(140)를 포함한다.
디스플레이(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110)내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(110)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
또한, 본 발명의 일 실시 예에 따른, 디스플레이(110)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 발명의 일 실시 예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서를 포함할 수 있다. 이하에서는 설명의 편의를 위해 디스플레이(110)가 터치 스크린 디스플레이(Touch Screen Display)로 구현되는 것으로 상정하여 설명하도록 한다.
일 실시 예에 따른 디스플레이(110)는 사용자의 터치 입력을 수신하고, 수신된 터치 입력에 대응하는 전기적 신호를 프로세서(140)로 전송할 수 있다. 예를 들어, 디스플레이(110)는 전기적 저항값의 변화 또는 정전 용량의 변화로부터 디스플레이(110)에 대한 사용자의 터치를 감지하고, 터치 지점의 좌표에 대응하는 전기적 신호를 프로세서(140)로 전송할 수 있다. 이어서, 프로세서(140)는 수신된 전기적 신호에 기초하여 사용자의 터치 지점의 좌표를 식별할 수 있다. 한편, 이는 일 실시 예로서, 디스플레이(110)는 사용자의 터치를 감지할 수 있는 다양한 형태의 터치 패널을 포함하는 터치 스크린 디스플레이로 구현될 수 있음은 물론이다.
일 실시 예에 따른 디스플레이(110)는 사용자의 편의를 위해 도어에 설치될 수 있다. 예를 들어, 디스플레이(110)는 상부 저장실을 개폐하기 위한 상부 제1 또는 제2 도어 중 어느 하나에 마련될 수 있다. 이는 일 실시 예로서 이에 한정되지 않는다. 예를 들어, 디스플레이(110)는 하부 제1 또는 제2 도어 중 어느 하나에 마련될 수도 있음은 물론이다.
스토리지(120)는 가전 기기(100)를 구동하기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장한다. 특히, 스토리지(120)는 보드 스크린 및 보드 스크린에 추가된 이미지, 드로잉 오브젝트 등에 대한 정보를 저장할 수 있다. 보드 스크린에 대한 구체적인 설명은 후술하도록 한다.
회로를 포함하는 통신 인터페이스(130)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 특히, 통신 인터페이스(130)는 사용자 단말 장치, 서버 등과 통신을 수행하여 이미지, 텍스트 등 다양한 데이터를 송수신할 수 있다.
프로세서(140)는 가전 기기(100)의 전반적인 동작을 제어한다.
일 실시 예에 따라 프로세서(140)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 프로세서(140)는 스토리지(120)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다. 프로세서(140)는 스토리지(120)에 액세스하여, 스토리지(120)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 스토리지(120)에 저장된 각종 프로그램, 컨텐츠 데이터 등을 이용하여 다양한 동작을 수행한다.
특히, 프로세서(130)는 디스플레이(110)를 통해 보드 스크린을 제공할 수 있다. 여기서, 보드 스크린은 정지 영상, 동영상, 메모, 드로잉(또는, 스케치) 또는 어플리케이션 등을 형식, 위치의 제약 없이 다양하게 추가할 수 있는 스크린을 의미한다. 예를 들어, 종래에 스크린은 특정한 템플릿에 기초하여 메모, 드로잉 또는 이미지 등의 컨텐츠를 기설정된 영역만에 추가할 수 있었으나, 보드 스크린은 화이트 보드(White Board)처럼 위치의 제약 없이 다양한 컨텐츠를 자유롭게 추가할 수 있는 스크린을 의미한다.
여기서, 보드 스크린은 패밀리 보드(Family Board), 표시 스크린, 홈(Home) 스크린 등으로 불릴 수 있으나, 이하에서는 설명의 편의를 위해 보드 스크린으로 통칭하도록 한다.
본 개시의 일 실시 예에 따른 프로세서(140)는 통신 인터페이스(130)를 통해 이미지가 수신되면, 이미지의 해상도 정보에 기초하여 이미지의 디스플레이 크기를 식별하고, 식별된 크기에 기초하여 이미지를 보드 스크린 상에 추가할 수 있다. 이에 대한 구체적인 설명은 도 4를 참조하여 하도록 한다.
도 4는 본 개시의 일 실시 예에 따른 보드 스크린 및 이미지를 설명하기 위한 도면이다.
도 4를 참조하면, 본 개시의 일 실시 예에 따른 보드 스크린(10)은 이미지(20)가 추가되기 전에 최소한의 오브젝트만을 제공할 수 있다. 예를 들어, 프로세서(140)는 보드 스크린(10)을 통해 현재 시각, 위치 및 온도 등을 제공할 수 있다. 이어서, 프로세서(140)는 이미지(20)가 수신되면, 이미지(20)를 보드 스크린(10) 상에 추가할 수 있다. 여기서, 프로세서(140)는 수신된 이미지(20)의 해상도 정보에 기초하여 이미지(20)의 디스플레이 크기를 설정할 수 있다. 예를 들어, 이미지(20)의 해상도가 4K(3840 × 2160)이면 프로세서(140)는 이미지(20)의 크기를 기설정된 제1 크기로 변경하여 보드 스크린(10) 상에 추가할 수 있다. 다른 예로, 프로세서(140)는 이미지(20)의 해상도가 FHD(1920 × 1080)이면 프로세서(140)는 이미지(20)의 크기를 기설정된 제2 크기로 변경하여 보드 스크린(10) 상에 추가할 수 있다. 여기서, 기설정된 제1 크기는 기설정된 제2 크기에 비해 상대적으로 클 수 있다.
일 실시 예에 따른 프로세서(140)는 수신된 이미지(20)를 보드 스크린(10) 상 임의의 위치에 추가할 수 있다. 다른 예로, 프로세서(140)는 수신된 이미지(20)를 보드 스크린(10) 상 기설정된 위치에 추가할 수 있다. 한편, 후술하는 바와 같이, 이미지(20)에 대한 터치 입력에 따라 프로세서(140)는 보드 스크린(10) 상 이미지(20)의 위치 또는 크기를 다양하게 조정할 수 있음은 물론이다.
도 4를 참조하면, 프로세서(140)는 이미지(20)에 대한 제1 터치 입력이 감지되면, 제1 터치 입력에 대응되도록 이미지(20)의 위치 또는 크기 중 적어도 하나를 조정할 수 있다. 예를 들어, 제1 터치 입력이 핀치(Pinch)이면, 프로세서(140)는 핀치 입력에 대응되도록 이미지(20)의 크기를 확대할 수 있다. 다른 예로, 제1 터치 입력이 스프레드(Spread)이면, 프로세서(140)는 스프레드 입력에 대응되도록 이미지(20)의 크기를 축소할 수 있다. 또한, 프로세서(140)는 제1 터치 입력이 드래그(Drag)이면, 드래그 입력에 대응되도록 이미지(20)의 위치를 조정할 수 있다. 여기서, 핀치는 사용자의 두 손가락이 서로 근접하는 터치 입력을 의미하고, 스프레드는 사용자의 두 손가락이 서로 멀어지는 터치 입력을 의미할 수 있다.
이어서, 프로세서(140)는 제1 터치 입력에 따라 위치 또는 크기 중 적어도 하나가 조정된 이미지(20’)를 보드 스크린(10)을 통해 디스플레이할 수 있다.
한편, 본 개시의 일 실시 예에 따른 프로세서(140)는 보드 스크린(10) 상에 추가되는 이미지(20)의 개수를 제한할 수 있다. 예를 들어, 기 설정된 개수를 초과하는 복수의 이미지들이 보드 스크린(10)에 추가되면, 프로세서(140)는 알람, 노티를 제공할 수 있다. 다만, 이는 일 실시 예로서, 프로세서(140)는 개수의 제한 없이 복수의 이미지들을 보드 스크린(10)에 추가할 수도 있음은 물론이다.
도 2로 돌아와서, 본 개시의 일 실시 예에 따른 프로세서(140)는 보드 스크린(10)에 대한 제2 터치 입력이 감지되면, 제2 터치 입력에 대응되는 드로잉 오브젝트를 보드 스크린(10) 상에 추가할 수 있다. 이에 대한 구체적인 설명은 도 5을 참조하여 하도록 한다.
도 5는 본 개시의 일 실시 예에 따른 드로잉 오브젝트를 설명하기 위한 도면이다.
도 5를 참조하면, 제2 터치 입력이 드래그이면, 프로세서(140)는 기설정된 굵기 및 기설정된 색상으로 드래그 입력에 대응되도록 드로잉 오브젝트(30)를 생성할 수 있다. 여기서, 드래그는 사용자의 손가락이 끊김 없이 연속적으로 이동하는 터치 입력을 의미할 수 있다. 본 개시의 일 실시 예에 따른 프로세서(140)는 보드 스크린(10) 상의 일 영역에 기설정된 굵기 및 기설정된 색상을 변경하기 위한 UI를 디스플레이할 수 있다. 터치는 사용자의 손가락 외에도 터치 펜 등을 통해 수행될 수 있음은 물론이다. 한편, 제2 터치 입력은 드래그 외에 팬(Pan), 스와이프(Swipe), 플릭(Flick) 등 다양한 형태의 터치 입력이 될 수 있고, 프로세서(140)는 이와 같은 다양한 형태의 터치 입력에 대응되는 드로잉 오브젝트(30)를 생성할 수 있다.
도 2로 돌아와서, 본 개시의 일 실시 예에 따른 프로세서(140)는 보드 스크린(10)에 추가된 이미지(20)에 대한 정보 및 드로잉 오브젝트(30)에 대한 정보를 스토리지(120)에 저장할 수 있다. 이미지(20)에 대한 정보 및 드로잉 오브젝트(30)에 대한 정보는 도 6을 참조하여 구체적으로 설명하도록 한다.
도 6은 본 개시의 일 실시 예에 따른 오브젝트에 대한 정보를 설명하기 위한 도면이다.
도 6을 참조하면, 프로세서(140)는 보드 스크린(10)에 추가된 이미지(20)에 대한 정보로서 이미지(20)의 식별 번호(object_id), 파일 경로(data_source_id, data_source_file), 보드 스크린(10) 상에 추가된 이미지(20)의 좌표 정보(x, y) 또는 이미지(20)의 크기 정보(width, height, angle) 중 적어도 하나를 포함할 수 있다.
여기서, 이미지(20)는 가전 기기(100)와 통신을 수행하는 외부 전자 장치(미도시)로부터 수신된 이미지(20)일 수 있다. 예를 들어, 가전 기기(100)가 냉장고로 구현되면, 냉장고는 냉장고가 비치된 가정의 구성원들 각각의 사용자 단말 장치를 등록할 수 있다. 이어서, 냉장고는 등록된 사용자 단말 장치로부터 수신된 이미지(정지 영상, 동영상 등)를 보드 스크린(10)에 추가할 수 있다.
일 실시 예에 따른 프로세서(140)는 보드 스크린(10)에 추가된 드로잉 오브젝트(30)에 대한 정보로서 드로잉 오브젝트(30)의 식별 번호(object_id), 드로잉 오브젝트의 형태 정보(frame_style), 드로잉 오브젝트(30)의 좌표 정보(x, y) 또는 드로잉 오브젝트(30)의 크기 정보(width, height, angle) 중 적어도 하나를 포함할 수 있다.
한편, 도 6에 도시된 오브젝트에 대한 정보는 이미지(20) 및 드로잉 오브젝트(30)에 대한 정보에 한정되지 않는다. 예를 들어, 스토리지(120)는 보드 스크린(10)에 추가할 수 있는 다양한 형태의 오브젝트, 메모, 어플리케이션, 텍스트 등에 대한 정보를 저장할 수도 있음은 물론이다.
도 2로 돌아와서, 본 개시의 일 실시 예에 따른 프로세서(140)는 새로운 보드 스크린을 제공하기 위한 커맨드(Command)가 수신되면, 디스플레이(110) 상에 제공되는 보드 스크린(10)에 대한 정보를 스토리지(120)에 저장한 후 새로운 보드 스크린을 디스플레이(110)를 통해 제공할 수 있다. 여기서, 보드 스크린(10)에 대한 정보는 보드 스크린(10)에 대한 캡쳐 이미지, 보드 스크린(10)에 추가된 이미지(20)에 대한 정보 또는 드로잉 오브젝트(30)에 대한 정보 중 적어도 하나를 포함할 수 있다. 이에 대한 구체적인 설명은 도 7을 참조하여 하도록 한다.
도 7은 본 개시의 일 실시 예에 따른 보드 스크린에 대한 정보를 설명하기 위한 도면이다.
도 7을 참조하면, 보드 스크린(10)에 대한 정보는 보드 스크린(10)의 식별 번호(board_id), 보드 스크린(10)의 생성 시점(create_time), 보드 스크린(10)의 저장 시점 또는 최종 업데이트 시점(update_time), 보드 스크린(10)에 대한 캡쳐 이미지(thumbnail_path) 또는 보드 스크린(10)에 추가된 오브젝트에 대한 정보(object_id_list) 중 적어도 하나를 포함할 수 있다. 여기서, 캡쳐 이미지는 보드 스크린(10)을 캡쳐한 썸네일 이미지를 의미할 수 있다. 일 실시 예에 따른 프로세서(140)는 보드 스크린(10)의 캡쳐 이미지를 통신 인터페이스(130)를 통해 외부 전자 장치로 전송할 수 있다. 여기서, 외부 전자 장치는 가전 기기(100)가 비치된 가정의 구성원들의 사용자 단말 장치를 의미할 수 있다.
새로운 보드 스크린(10’)을 제공하기 위한 커맨드는 디스플레이(110)를 통해 디스플레이 중인 보드 스크린(10)을 스토리지(120)에 저장하고, 새로운 보드 스크린(10’)을 생성하는 커맨드일 수 있다. 프로세서(140)는 해당 커맨드가 수신되면, 현재 디스플레이(110)를 통해 제공 중인 보드 스크린(10) 및 해당 보드 스크린(10)에 대한 정보를 스토리지(120)에 저장하고 새로운 보드 스크린(10’)을 디스플레이(110)를 통해 제공할 수 있다. 여기서, 새로운 보드 스크린(10’)은 이미지(20), 드로잉 오브젝트(30), 메모, 어플리케이션 등이 추가되어 있지 않은 기본 오브젝트(예를 들어, 현재 시각, 날씨 등)만이 추가된 보드 스크린을 의미할 수 있다.
도 2로 돌아와서, 프로세서(140)는 스토리지(120)에 포함된 복수의 어플리케이션 중 어느 하나를 실행시키기 위한 아이콘을 보드 스크린(10) 상에 제공할 수 있다. 이에 대한 구체적인 설명은 도 8을 참조하여 하도록 한다.
도 8은 본 개시의 일 실시 예에 따른 아이콘을 설명하기 위한 도면이다.
도 8을 참조하면, 프로세서(140)는 보드 스크린(10) 상에 어플리케이션을 실행시키기 위한 아이콘(50)을 디스플레이할 수 있다. 여기서, 아이콘(50)은 보드 스크린(10) 상의 기설정된 영역에만 위치 가능한 것이 아니라, 보드 스크린(10) 상의 모든 영역에 자유롭게 위치할 수 있음은 물론이다. 예를 들어, 아이콘(50)에 대한 사용자 터치가 입력되면, 해당 터치에 대응하는 위치로 아이콘(50)을 이동시킬 수 있다. 아이콘(50)은 타 오브젝트(예를 들어, 이미지(20), 드로잉 오브젝트(30), 메모(40))등과 오버랩되도록 위치할 수도 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 아이콘(50)을 선택하는 사용자 커맨드가 입력되면, 보드 스크린(10) 상의 일 영역에 선택된 아이콘(50)에 대응되는 어플리케이션의 실행 화면을 디스플레이할 수 있다. 예를 들어, 음악 어플리케이션에 대응되는 아이콘이 선택되면, 프로세서(140)는 음악 어플리케이션을 보드 스크린(10) 상의 일 영역에 디스플레이하여 실행시킬 수 있다. 프로세서(140)는 어플리케이션 실행 화면을 새로운 스크린이 아닌, 보드 스크린(10) 상의 일 영역을 통해 제공할 수 있다.
일 실시 예에 따른 프로세서(140)는 어플리케이션의 실행 화면에 대한 터치 입력이 수신되면, 해당 터치 입력에 대응되도록 어플리케이션의 실행 화면의 위치 또는 크기 중 적어도 하나를 조정할 수 있다. 예를 들어, 해당 터치 입력이 핀치 또는 스프레드이면, 프로세서(140)는 어플리케이션의 실행 화면을 확대 또는 축소시킬 수 있다. 다른 예로, 해당 터치 입력이 드래그이면, 프로세서(140)는 어플리케이션의 실행 화면의 위치를 드래그에 대응하는 위치로 조정할 수 있다.
도 2로 돌아와서, 본 개시의 일 실시 예에 따른 프로세서(140)는 기 설정된 주기가 도래하는 이벤트 또는 저장 메뉴가 선택되는 이벤트에 따라 보드 스크린(10)을 캡쳐하여 보드 스크린(10)의 캡쳐 이미지를 획득할 수 있다. 이어서, 프로세서(140)는 캡쳐 이미지, 이미지(20)에 대한 정보 및 드로잉 오브젝트(30)에 대한 정보를 서버로 전송하도록 통신 인터페이스(130)를 제어할 수 있다. 이에 대한 구체적인 설명은 도 9를 참조하여 하도록 한다.
도 9는 본 개시의 일 실시 예에 따른 가전 기기 및 서버를 설명하기 위한 도면이다.
도 9를 참조하면, 본 개시의 일 실시 예에 따른 프로세서(140)는 복수의 보드 스크린(10-1, 10-2)을 스토리지(120)에 저장할 수 있다. 일 예로, 스토리지(120)는 과거에 생성된 제1 보드 스크린(10-1)에 대한 정보 및 현재 디스플레이 중인 제2 보드 스크린(10-2)에 대한 정보를 저장할 수 있다.
현재 디스플레이 중인 보드 스크린이 제2 보드 스크린(10-2)이면, 프로세서(140)는 기 설정된 주기가 도래하는 이벤트에 따라 제2 보드 스크린(10-2)에 대한 정보를 스토리지(120)에 저장할 수 있다. 여기서, 기 설정된 주기는 1시간 주기, 1일 주기 등 제조사의 설정 또는 사용자의 설정 등에 따라 다양하게 설정될 수 있음은 물론이다. 다른 예로, 프로세서(140)는 사용자 커맨드에 따라 저장 메뉴가 선택되는 이벤트가 발생하면, 현재 디스플레이 중인 제2 보드 스크린(10-2)에 대한 정보를 스토리지(120)에 저장할 수 있다. 여기서, 제2 보드 스크린(10-2)에 대한 정보는 제2 보드 스크린(10-2)을 캡쳐하여 획득한 캡쳐 이미지, 제2 보드 스크린(10-2)에 추가된 이미지(20)에 대한 정보 및 제2 보드 스크린(10-2)에 추가된 드로잉 오브젝트(30)에 대한 정보를 포함할 수 있다. 한편, 이는 일 예로서 이에 한정되지 않는다. 예를 들어, 메모(40)에 대한 정보, 아이콘(50)에 대한 정보가 모두 포함될 수 있고, 제2 보드 스크린(10-2)의 생성 시점, 저장 시점 등이 포함될 수도 있음은 물론이다.
이어서, 프로세서(140)는 보드 스크린(10)에 대한 정보를 서버(200)로 전송하도록 통신 인터페이스(130)를 제어할 수 있다. 예를 들어, 프로세서(140)는 보드 스크린(10)의 캡쳐 이미지, 보드 스크린(10)에 추가된 이미지(20)에 대한 정보 및 드로잉 오브젝트(30)에 대한 정보를 서버(200)로 전송할 수 있다.
다른 예로, 프로세서(140)는 스토리지(120)에 저장된 보드 스크린(10)의 개수가 임계 개수를 초과하면, 스토리지(120)에 저장된 보드 스크린에 대한 정보를 서버(200)로 전송하도록 통신 인터페이스(130)를 제어할 수 있다. 예를 들어, 스토리지(120)가 10 개의 보드 스크린(10-1, 10-2, ..., 10-10)을 저장할 수 있는 경우를 상정할 수 있다. 프로세서(140)는 스토리지(120)에 저장된 복수의 보드 스크린의 개수가 10개를 초과하면, 복수의 보드 스크린(10-1, 10-2, ..., 10-10) 각각에 대한 정보를 서버(200)로 전송하도록 통신 인터페이스(130)를 제어할 수 있다. 이는 일 실시 예로서 이에 한정되는 것은 아니다. 예를 들어, 프로세서(140)는 스토리지(120)의 남은 용량이 임계 용량 미만인 것으로 식별되면, 스토리지(120)에 저장된 보드 스크린(10)에 대한 정보를 서버(200)로 전송하도록 통신 인터페이스(130)를 제어할 수도 있다.
도 2로 돌아와서, 본 개시의 일 실시 예에 따른 프로세서(140)는 드로잉 오브젝트(30)에 대응되는 텍스트를 인식할 수 있다. 이어서, 프로세서(140)는 인식된 텍스트에 기초하여 드로잉 오브젝트(30)를 기 설정된 폰트의 텍스트 오브젝트로 변경하고, 텍스트 오브젝트를 보드 스크린(10)에 추가할 수 있다. 이에 대한 구체적인 설명은 도 10을 참조하여 하도록 한다.
도 10은 본 개시의 일 실시 예에 따른 가전 기기 및 사용자 기기를 설명하기 위한 도면이다.
도 10을 참조하면, 본 개시의 일 실시 예에 따른 프로세서(140)는 보드 스크린(10)에 대한 제2 터치 입력이 감지되면, 제2 터치 입력에 대응되는 드로잉 오브젝트(30)를 보드 스크린(10) 상에 추가할 수 있다. 이어서, 프로세서(140)는 드로잉 오브젝트(30)에 대응되는 텍스트를 인식할 수 있다. 예를 들어, 프로세서(140)는 다양한 문자 인식 알고리즘에 기초하여 보드 스크린(10) 상에 추가된 드로잉 오브젝트(30)에 대응되는 텍스트를 인식할 수 있다. 도 10을 참조하면, 프로세서(140)는 드로잉 오브젝트(30)에 OCR(Optical Character Recognition)을 수행하여 텍스트‘HAPPY BIRTHDAY JOHN’을 인식할 수 있다. 여기서, OCR은 문자 인식 알고리즘의 일 실시 예로서, 이에 한정되지 않는다. 다른 예로, 프로세서(140)는 텐서플로(Tensorflow), 다양한 기계 학습 모델(Machine Learning Model)등에 기초하여 드로잉 오브젝트(30)에 포함된 텍스트를 식별할 수도 있음은 물론이다.
이어서, 프로세서(140)는 인식된 텍스트에 기초하여 기 설정된 폰트의 텍스트 오브젝트를 획득할 수 있다. 프로세서(140)는 드로잉 오브젝트(30)를 획득된 텍스트 오브젝트로 변경할 수 있다. 여기서, 기 설정된 폰트는 사용자 설정에 따라 다양한 폰트로 변경할 수 있음은 물론이다.
본 개시의 일 실시 예에 따른 스토리지(120)는 복수의 사용자 각각에 대응되는 사용자 식별 정보 및 사용자 기기 정보를 저장할 수 있다.
일 예로, 가전 기기(100)는 복수의 사용자들에 의하여 이용될 수 있다. 가전 기기(100)가 가정에 설치되는 경우, 가족 구성원들 모두가 가전 기기(100)의 사용자가 될 수 있다. 일 실시 예에 따른 가전 기기(100)는 복수의 사용자(예를 들어, 가족 구성원) 각각에 대응되는 식별 정보를 저장할 수 있다.
여기서, 식별 정보는 사용자 프로 파일, 사용자를 식별하기 위한 이름, 명칭, 별칭, 약칭 등을 포함할 수 있다. 일 실시 예에 따라, 가전 기기(100)는 사용자 식별 정보에 기초하여 사용자를 등록할 수 있다. 이어서, 가전 기기(100)는 복수의 사용자 각각에 대응되는 사용자 기기 정보를 저장할 수 있다. 여기서, 사용자 기기 정보는 가전 기기(100)가 특정 사용자에 대응되는 기기와 통신을 수행하기 위해 요구되는 식별 정보, 인증 정보를 포함할 수 있다.
일 실시 예에 따른 프로세서(140)는 사용자 식별 정보에 기초하여 복수의 사용자 중 특정 사용자를 식별하고, 식별된 사용자에 대응되는 사용자 기기 정보를 획득할 수 있다. 이어서, 프로세서(140)는 획득된 사용자 기기 정보에 기초하여 특정 사용자의 기기와 통신을 수행할 수 있다.
일 실시 예에 따른 프로세서(140)는 드로잉 오브젝트(30)에 대응되는 텍스트를 인식하고, 인식된 텍스트 및 사용자 식별 정보에 기초하여 복수의 사용자 중 적어도 하나의 사용자를 식별할 수 있다. 예를 들어, 인식된 텍스트가 ‘John’이면, 사용자 식별 정보에 포함된 사용자 프로 파일에 기초하여 복수의 사용자 중 ‘John’을 식별할 수 있다.
이어서, 프로세서(140)는 ‘John’에 대응되는 사용자 기기 정보에 기초하여 ‘John’의 사용자 단말 장치(300)와 통신을 수행할 수 있다. 프로세서(140)는 드로잉 오브젝트(30)를 식별된 사용자에 대응되는 사용자 단말 장치(300)로 전송할 수 있다. 도 10을 참조하면, 프로세서(140)는 ‘HAPPY BIRTHDAY JOHN’을 포함하는 드로잉 오브젝트(30)와 관련된 정보를 ‘John’의 사용자 단말 장치(300)로 전송하도록 통신 인터페이스(130)를 제어할 수 있다. 사용자 단말 장치(300)는 수신된 드로잉 오브젝트(30’)를 디스플레이할 수 있다. 한편, 이는 일 실시 예로서, 프로세서(140)는 드로잉 오브젝트(30) 외에 이미지(20), 메모(40), 아이콘(50) 등에 포함된 텍스트를 인식하고, 인식된 텍스트에 대응되는 사용자 및 사용자의 기기를 식별할 수 있다. 이어서, 프로세서(140)는 식별된 사용자의 기기로 오브젝트(예를 들어, 이미지(20), 메모(40), 아이콘(50) 등)를 전송할 수 있다.
일 실시 예에 따른 프로세서(140)는 가전 기기(100)에 등록된 사용자를 삭제 또는 편집하거나, 새로운 사용자를 추가할 수 있다. 예를 들어, 새로운 사용자를 추가하는 경우, 프로세서(140)는 새로운 사용자의 식별 정보를 수신하거나, 입력받을 수 있다. 이어서, 새로운 사용자의 기기 정보를 수신하여 스토리지(120)에 저장할 수 있다.
도 2로 돌아와서, 본 개시의 일 실시 예에 따른 프로세서(140)는 스토리지(120)에 저장된 보드 스크린(10)에 대한 정보를 로딩하기 위한 커맨드가 수신되면, 저장된 보드 스크린(10)에 대응되는 캡쳐 이미지, 보드 스크린(10)의 생성 시점 및 저장 시점에 대한 정보를 포함하는 리스트(List)를 디스플레이하도록 디스플레이(110)를 제어할 수 있다. 이에 대한 구체적인 설명은 도 11을 참조하여 하도록 한다.
도 11은 본 개시의 일 실시 예에 따른 보드 스크린 리스트를 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 스토리지(120)는 복수의 보드 스크린(10-1, 10-2, ..., 10-10)을 저장할 수 있다. 이어서, 스토리지(120)에 저장된 보드 스크린(10)을 불러오기 위한 커맨드가 수신되면, 프로세서(140)는 보드 스크린(10)에 대한 정보를 리스트 형태로 디스플레이할 수 있다.
도 11을 참조하면, 프로세서(140)는 제1 보드 스크린(10-1)에 대한 정보 내지 제4 보드 스크린(10-4)에 대한 정보를 리스트 형태로 제공할 수 있다. 예를 들어, 제1 보드 스크린(10-1)에 대한 정보는 제1 보드 스크린(10-1)의 썸네일 이미지(또는, 캡쳐 이미지), 제1 보드 스크린(10-1)의 생성 날짜(또는, 생성 시점), 최종 저장일(또는, 최종 업데이트 시점)를 포함할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(140)는 보드 스크린(10)의 생성 시점 또는 최종 업데이트 시점 중 어느 하나에 기초하여 오름차순 또는 내림차순으로 리스트를 정렬하여 디스플레이할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 가전 기기의 세부 구성을 나타내는 블록도이다.
도 3에 따르면, 가전 기기(100)는 디스플레이(110), 스토리지(120), 통신 인터페이스(130), 프로세서(140), 센서(150), 오디오(160), 카메라(170), 디스펜서(180) 및 냉각부(190)를 포함한다. 도 3에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
디스플레이(110)는 가전 기기(100)를 통해 제공 가능한 다양한 컨텐츠 화면을 제공할 수 있다. 여기서, 컨텐츠 화면은 이미지, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠, 다양한 컨텐츠를 포함하는 어플리케이션 실행 화면, GUI(Graphic User Interface) 화면 등을 포함할 수 있다.
디스플레이(110)는 LCD(liquid crystal display), OLED(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), Micro LED, QD(quantum dot) 디스플레이 패널 등과 같은 다양한 형태로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다.
또한, 본 개시의 일실시 예에 따른, 디스플레이(110)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 발명의 일 실시예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
한편, 가전 기기(100)에 구비된 디스플레이(110)는 그래픽 처리부에서 생성된 다양한 화면을 디스플레이할 수 있다. 가전 기기(100)는 디스플레이(110)를 구성요소로 포함하고 있을 수 있으나, 인터페이스(미도시)를 통해 연결된 외부 장치로 화면에 대응되는 신호를 전송하여 외부 장치의 디스플레이를 통해 다양한 화면을 디스플레이할 수도 있음은 물론이다. 예를 들어, 디스플레이(110)는 미러링(Mirroring) 기능을 통해 외부 장치의 화면을 디스플레이할 수 있다.
특히, 디스플레이(110)는 외부 전자 장치로부터 수신된 이미지(20), 드로잉 오브젝트(30), 메모(40) 및 어플리케이션을 실행시키기 위한 아이콘(50)등을 프로세서(140)의 제어에 따라 디스플레이할 수 있다.
스토리지(120)는 프로세서(140)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(140)와 별도의 메모리로 구현될 수도 있다. 이 경우, 스토리지(120)는 데이터 저장 용도에 따라 가전 기기(100)에 임베디드된 메모리 형태로 구현되거나, 가전 기기(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 가전 기기(100)의 구동을 위한 데이터의 경우 가전 기기(100)에 임베디드된 메모리에 저장되고, 가전 기기(100)의 확장 기능을 위한 데이터의 경우 가전 기기(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 가전 기기(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 가전 기기(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
프로세서(140)는 스토리지(120)에 저장된 각종 프로그램을 이용하여 가전 기기(100)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(140)는 RAM, ROM, 메인 CPU, 제1 내지 n 인터페이스, 버스를 포함한다.
RAM, ROM, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.
ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴-온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 스토리지(120)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 스토리지에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
메인 CPU는 스토리지(120)에 액세스하여, 스토리지(120)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 스토리지(120)에 저장된 각종 프로그램, 컨텐츠 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스는 상술한 각종 구성 요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
한편, 프로세서(140)는 그래픽 처리 기능(비디오 처리 기능)을 수행할 수 있다. 예를 들어, 프로세서(140)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 여기서, 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산할 수 있다. 그리고, 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. 또한, 프로세서(140)는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
한편, 프로세서(140)는 오디오 데이터에 대한 처리를 수행할 수 있다. 구체적으로, 프로세서(140)는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
통신 인터페이스(130)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(130)는 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함한다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
프로세서(140)는 통신 인터페이스(130)를 이용하여 각종 외부 장치와 통신을 수행할 수 있다. 여기서, 외부 장치는 TV와 같은 디스플레이 장치, set-top box와 같은 영상 처리 장치, 외부 서버, 리모컨과 같은 제어 장치, 블루투스 스피커와 같은 음향 출력 장치, 조명 장치, 스마트 청소기, 스마트 냉장고와 같은 가전 기기, IOT 홈 매니저 등과 같은 서버 등을 포함할 수 있다.
와이파이 모듈, 블루투스 모듈은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
적외선 통신 모듈은 시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
그 밖에 통신 인터페이스(130)는 LAN(Local Area Network) 모듈, 이더넷 모듈, 또는 페어 케이블, 동축 케이블 또는 광섬유 케이블 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수 있다.
일 예에 따라 통신 인터페이스(130)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 동일한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다.
다른 예에 따라 통신 인터페이스(130)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 상이한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다. 예를 들어, 통신 인터페이스(130)는 외부 서버와 통신하기 위해 이더넷 모듈 또는 WiFi 모듈 중 적어도 하나를 이용할 수 있고, 리모컨과 같은 외부 장치와 통신하기 위해 BT 모듈을 이용할 수도 있다. 다만 이는 일 실시 예에 불과하며 통신 인터페이스(130)는 복수의 외부 장치 또는 외부 서버와 통신하는 경우 다양한 통신 모듈 중 적어도 하나의 통신 모듈을 이용할 수 있다.
본 개시의 일 실시 예에 따른 가전 기기(100)는 센서(150)를 포함할 수 있다. 여기서, 센서(150)는 가전 기기(100)에 배치된 위치, 목적 등에 따라 다양한 신호를 감지할 수 있다.
일 예로, 가전 기기(100)는 본체 또는 도어에 개폐감지센서를 구비하고, 개폐감지센서를 통해 도어의 개폐를 감지할 수 있다. 또한, 가전 기기(100)는 도어의 개폐 시 강도를 감지할 수도 있다. 예를 들어, 센서(150)는 본체 또는 도어의 떨림의 정도, 개폐 시 발생한 소음의 크기 등을 감지하고, 프로세서(140)는 센서(150)에서 감지된 떨림, 소음 등에 기초하여 도어의 개폐 강도를 감지할 수도 있다. 한편, 이는 일 실시 예로 가전기기(100)는 다양한 유형의 센서(150)를 구비하여 도어의 개폐를 감지할 수 있음은 물론이다.
일 실시 예에 따른 가전 기기(100)는 전면에 구비된 센서(150)를 통해 사용자를 감지할 수 있다. 일 예로, 센서(150)는 임계 거리 이내에 근접한 사용자를 감지하고, 프로세서(140)는 감지된 사용자에 대응되는 동작을 수행할 수 있다.
가전 기기(100)는 사용자가 일정 범위 이내로 접근할 때 자동으로 활성화되는 웨이크 업(wake up) 기능을 구비할 수 있다. 예를 들어, 사용자가 일정 범위 이내로 접근하면 디스플레이(110)가 활성화될 수 있다. 프로세서(140)는 스토리지(120)에 저장된 보드 스크린(10)에 대한 정보에 기초하여 디스플레이(110)가 턴-오프되기 전의 보드 스크린(10)을 디스플레이하도록 디스플레이(110)를 제어할 수 있다.
또한, 사용자가 일정 범위 이내에서 벗어난 이후 일정 시간이 경과하면 프로세서(140)는 디스플레이(110)를 비활성화할 수 있다. 즉, 디스플레이(110)은 턴-오프(off)상태가 될 수 있다.
또 다른 예로, 가전 기기(100)는 본체의 내부의 온도를 감지하는 내부 온도 센서들(inner temperature sensors)(미도시)를 포함할 수 있다. 예를 들어, 내부 온도 센서들은 복수의 저장실(예를 들어, 상부 저장실, 하부 저장실 등) 각각에 설치되어, 복수의 저장실 각각의 온도를 감지하고 감지된 온도에 대응하는 전기적 신호를 프로세서(140)로 전송할 수 있다. 이어서, 프로세서(140)는 감지된 온도에 대응하는 동작을 수행할 수 있다. 일 예로, 프로세서(140)는 내부 온도를 제어하기 위한 동작, 내부 온도를 디스플레이(110)를 통해 제공하는 동작 등을 수행할 수 있다. 여기서, 내부 온도 센서들 각각은 온도에 따라 전기적 저항이 변화하는 서미스터(thermistor)를 포함할 수 있다.
오디오(160)는 프로세서(140)로부터 수신되는 전기적 신호를 음향 신호로 변환하고 변환된 음향 신호를 출력하는 스피커를 포함할 수 있다. 일 실시 예에 따른 프로세서(140)는 기 설정된 이벤트 발생 시에 오디오(160)를 통해 음향 신호를 출력할 수 있다. 예를 들어, 가전 기기(100)는 브리핑 모드를 포함하고, 프로세서(140)는 브리핑 모드 동작 시에 현재 시각, 현재 위치, 현재 위치에 대응하는 날씨, 할일 리스트(to-do list) 어플리케이션 등을 출력하도록 오디오(160)를 제어할 수 있다. 다른 예로, 가전 기기(100)는 도어의 개방이 임계 시간 이상 지속되면, 비프음(beep sound)을 출력하도록 오디오(160)를 제어할 수 있다.
카메라(170)는 영상을 촬영하여 전기적 신호로 변환하여 프로세서(140)로 전송할 수 있다.
카메라(170)는 광학 신호를 전기적 신호로 변환하는 복수의 광 다이오드를 포함할 수 있으며, 복수의 광 다이오드는 2차원으로 배치될 수 있다. 카메라(170)는 복수의 광 다이오드가 2차원으로 배치된 CCD (Charge-Coupled Device) 영상 센서 또는 CMOS (Complementary Metal Oxide Semiconductor) 영상 센서를 포함할 수 있다.
특히, 카메라(170)는 저장실 내부에 구비되어 저장실에 저장된 식품의 영상을 획득할 수 있다. 이어서, 프로세서(140)는 카메라(170)로부터 획득된 식품의 영상을 디스플레이하도록 디스플레이(110)를 제어할 수 있다.
본 개시의 일 실시 예에 따라 가전 기기(100)가 냉장고로 구현되면, 냉장고는 디스펜서(180) 및 냉각부(190)를 포함할 수 있다.
디스펜서(180)는 사용자 입력에 따라 물 또는 얼음을 배출할 수 있다. 가전 기기(100)는 디스펜서(180)를 통하여 도어의 개폐 없이도 물 또는 얼음을 외부로 제공할 수 있다.
디스펜서(180)는 사용자의 물 또는 얼음의 배출 커맨드를 수신하는 디스펜서 레버와, 물 또는 얼음을 배출하는 디스펜서 노즐과, 디스펜서(180)의 작동상태를 표시하는 디스펜서 표시 패널를 포함할 수 있다.
일 실시 예에 따른 디스펜서(180)는 본체 또는 도어의 외측에 설치될 수 있다. 예를 들어, 도 1에 도시된 바와 같이 디스펜서(180)는 상부 제1 도어에 설치될 수 있다. 한편, 이에 한정되지 않으며 디스펜서(180)는 본체 또는 도어의 일 영역에 다양하게 구비될 수 있음은 물론이다.
냉각부(190)는 저장실에 냉기를 공급할 수 있다. 냉각부(190)는 냉매의 증발을 이용하여 저장실의 온도를 일정한 범위 이내로 유지시킬 수 있다.
냉각부(190)는 기체 상태의 냉매를 압축하는 압축기와, 압축된 기체 상태의 냉매를 액체 상태로 상태 변환시키는 응축기와, 액체 상태의 냉매를 감압하는 팽창기와, 감압된 액체 상태의 냉매를 기체 상태로 상태 변환시키는 증발기를 포함할 수 있다.
냉각부(190)는 액체 상태의 냉매가 기체 상태로 상태 변환하면서 주위 공기의 열 에너지를 흡수하는 현상을 이용하여 저장실의 공기를 냉각시킬 수 있다.
다만, 이는 일 실시 예로 냉각부(190)가 반드시 압축기, 응축기, 팽창기 및 증발기를 포함하는 것에 한정되는 것은 아니다. 예를 들어, 냉각부(190)는 펠티어 효과(Peltier effect)를 이용한 펠티어 소자를 포함할 수도 있다. 펠티어 효과란 서로 다른 종류의 금속이 접하는 접촉면에 전류를 흐르게 하면 어느 하나의 금속에서는 발열 현상이 발생하고, 다른 하나의 금속에서는 흡열 현상이 발생하는 것을 의미한다. 냉각부(190)는 펠티어 소자를 이용하여 저장실의 공기를 냉각할 수 있다.
다른 예로, 냉각부(190)는 자기 열효과(magneto-caloric effect)를 이용한 자기 냉각 장치를 포함할 수 있다. 자기 열효과란 특정한 물질(자기 열량 물질)이 자화되면 열을 방출하고, 특정한 물질(자기 열량 물질)이 탈자화되면 열을 흡수하는 것을 의미한다. 냉각부(190)는 자기 냉각 장치를 이용하여 저장실의 공기를 냉각할 수 있다.
본 개시의 일 실시 예에 따른 가전 기기(100)는 사용자 인터페이스, 입출력 인터페이스를 포함할 수도 있다.
사용자 인터페이스(미도시)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 가전 기기(100)의 본체, 도어 등의 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
입출력 인터페이스(미도시)는 HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다. 가전 기기(100)를 냉장고로 상정하여 설명하였으나, 가전 기기(100)는 디스플레이 장치로 구현되고, 디스플레이 장치에 구비된 입출력 인터페이스를 통해 냉장고와 연결되고 디스플레이 장치가 냉장고의 일 영역에 탈부착되는 것으로 구현될 수도 있음은 물론이다.
한편, 가전 기기(100)는 마이크를 포함하는 외부 장치로부터 사용자 음성 신호를 수신할 수 있다. 이 경우, 수신된 사용자 음성 신호는 디지털 음성 신호일 수 있으나, 구현 예에 따라 아날로그 음성 신호일 수 있다. 일 예로, 가전 기기(100)는 Bluetooth 또는 Wi-Fi 등의 무선 통신 방법을 통해 사용자 음성 신호를 수신할 수 있다. 여기서, 외부 장치는 원격 제어 장치 또는 스마트폰으로 구현될 수 있다.
가전 기기(100)는 외부 장치로부터 수신된 음성 신호의 음성 인식을 위해, 외부 서버로 해당 음성 신호를 전송할 수 있다.
이 경우, 외부 장치 및 외부 서버와의 통신을 위한 통신 모듈은 하나로 구현되거나, 별개로 구현될 수 있다. 예를 들어, 외부 장치와는 Bluetooth 모듈을 이용하여 통신하고, 외부 서버와는 이더넷 모뎀 또는 Wi-Fi모듈을 이용하여 통신할 수 있다.
한편, 가전 기기(100)는 구현 예에 따라 튜너 및 복조부를 추가적으로 포함할 수 있다.
튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다.
복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다.
도 12는 본 개시의 일 실시 예에 따른 가전 기기의 제어 방법을 설명하기 위한 흐름도이다.
본 개시의 일 실시 예에 따른 가전 기기의 제어 방법은 가전 기기의 전면에 구비된 디스플레이 상에 보드 스크린을 제공한다(S1210).
이어서, 이미지가 수신되면, 이미지의 해상도 정보에 기초하여 이미지의 디스플레이 크기를 식별한다(S1220).
이어서, 식별된 디스플레이 크기에 기초하여 이미지를 보드 스크린 상에 추가한다(S1230). 이어서, 이미지에 대한 제1 터치 입력이 감지되면, 제1 터치 입력에 대응되도록 이미지의 디스플레이 위치 또는 크기 중 적어도 하나를 조정한다(S1240).
보드 스크린에 대한 제2 터치 입력이 감지되면, 제2 터치 입력에 대응되는 드로잉 오브젝트를 보드 스크린 상에 추가한다(S1250).
이어서, 보드 스크린에 추가된 이미지에 대한 정보 및 드로잉 오브젝트에 대한 정보를 저장한다(S1260).
여기서, 이미지에 대한 정보는, 이미지의 파일 경로, 이미지의 파일 타입, 보드 스크린 상에 추가된 이미지의 좌표 정보 또는 이미지의 크기 정보 중 적어도 하나를 포함하고, 드로잉 오브젝트에 대한 정보는, 드로잉 오브젝트의 형태 정보 또는 보드 스크린 상에 추가된 드로잉의 좌표 정보 중 적어도 하나를 포함한다.
일 실시 예에 따른 제어 방법은, 기 설정된 주기가 도래하는 이벤트 또는 저장 메뉴가 선택되는 이벤트에 따라, 보드 스크린을 캡쳐하여 보드 스크린의 캡쳐 이미지를 획득하는 단계 및 캡쳐 이미지, 이미지에 대한 정보 및 드로잉 오브젝트에 대한 정보를 서버로 전송하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 제어 방법은, 새로운 보드 스크린을 제공하기 위한 커맨드가 수신되면, 디스플레이 상에 제공되는 보드 스크린에 대한 정보를 저장한 후 새로운 보드 스크린을 디스플레이를 통해 제공하는 단계를 포함할 수 있다. 여기서, 보드 스크린에 대한 정보는, 보드 스크린에 대한 캡쳐 이미지, 이미지에 대한 정보 또는 드로잉 오브젝트에 대한 정보 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따른 제어 방법은, 가전 기기에 저장된 보드 스크린의 개수가 임계 개수를 초과하면, 가전 기기에 저장된 보드 스크린에 대한 정보를 서버로 전송하는 단계를 포함할 수 있다.
일 실시 예에 따른 제어 방법은, 복수의 어플리케이션 중 어느 하나를 실행하기 위한 아이콘을 보드 스크린 상에 제공하는 단계 및 아이콘을 선택하는 사용자 커맨드가 입력되면, 보드 스크린 상의 일 영역에 선택된 아이콘에 대응되는 어플리케이션의 실행 화면을 디스플레이하는 단계를 포함할 수 있다.
또한, 가전 기기는, 복수의 사용자 각각에 대응되는 사용자 식별 정보 및 사용자 기기 정보를 저장할 수 있고, 일 실시 예에 따른 제어 방법은, 드로잉 오브젝트에 대응되는 텍스트를 인식하는 단계, 텍스트 및 저장된 사용자 식별 정보에 기초하여 복수의 사용자 중 적어도 하나의 사용자를 식별하는 단계 및 식별된 사용자에 대응되는 사용자 기기 정보에 기초하여 드로잉 오브젝트와 관련된 정보를 전송하는 단계를 포함할 수 있다.
일 실시 예에 따른 제어 방법은, 드로잉 오브젝트에 대응되는 텍스트를 인식하는 단계 및 인식된 텍스트에 기초하여 드로잉 오브젝트를 기 설정된 폰트의 텍스트 오브젝트로 변경하는 단계를 포함할 수 있다.
또한, 제어 방법은, 가전 기기에 저장된 보드 스크린에 대한 정보를 로딩하기 위한 커맨드가 수신되면, 저장된 보드 스크린에 대응되는 캡쳐 이미지, 저장된 보드 스크린의 생성 시점 및 저장 시점에 대한 정보를 포함하는 리스트를 디스플레이하는 단계를 포함할 수 있다.
일 실시 예에 따른 제어 방법은 디스플레이가 턴-오프된 대기 모드에서 가전 기기에 구비된 센서를 통해 사용자가 감지되면, 저장된 보드 스크린에 대한 정보에 기초하여 디스플레이가 턴-오프되기 전의 보드 스크린을 디스플레이하는 단계를 포함할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치 110: 디스플레이
120: 스토리지 130: 통신 인터페이스
140: 프로세서

Claims (20)

  1. 가전 기기에 있어서,
    상기 가전 기기의 전면에 구비된 디스플레이;
    스토리지;
    회로를 포함하는 통신 인터페이스; 및
    상기 디스플레이 상에 보드 스크린을 제공하고,
    상기 통신 인터페이스를 통해 이미지가 수신되면, 상기 이미지의 해상도 정보에 기초하여 상기 이미지의 디스플레이 크기를 식별하고, 상기 식별된 디스플레이 크기에 기초하여 상기 이미지를 상기 보드 스크린 상에 추가하고,
    상기 이미지에 대한 제1 터치 입력이 감지되면, 상기 제1 터치 입력에 대응되도록 상기 이미지의 디스플레이 위치 또는 크기 중 적어도 하나를 조정하고,
    상기 보드 스크린에 대한 제2 터치 입력이 감지되면, 상기 제2 터치 입력에 대응되는 드로잉 오브젝트를 상기 보드 스크린 상에 추가하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 보드 스크린에 추가된 상기 이미지에 대한 정보 및 상기 드로잉 오브젝트에 대한 정보를 상기 스토리지에 저장하는, 가전 기기.
  2. 제1항에 있어서,
    상기 이미지에 대한 정보는,
    상기 이미지의 파일 경로, 상기 이미지의 파일 타입, 상기 보드 스크린 상에 추가된 상기 이미지의 좌표 정보 또는 상기 이미지의 크기 정보 중 적어도 하나를 포함하고,
    상기 드로잉 오브젝트에 대한 정보는,
    상기 드로잉 오브젝트의 형태 정보 또는 상기 보드 스크린 상에 추가된 상기 드로잉의 좌표 정보 중 적어도 하나를 포함하는, 가전 기기.
  3. 제1항에 있어서,
    상기 프로세서는,
    기 설정된 주기가 도래하는 이벤트 또는 저장 메뉴가 선택되는 이벤트에 따라, 상기 보드 스크린을 캡쳐하여 상기 보드 스크린의 캡쳐 이미지를 획득하고, 상기 캡쳐 이미지, 상기 이미지에 대한 정보 및 상기 드로잉 오브젝트에 대한 정보를 서버로 전송하도록 상기 통신 인터페이스를 제어하는, 가전 기기.
  4. 제1항에 있어서,
    상기 프로세서는,
    새로운 보드 스크린을 제공하기 위한 커맨드가 수신되면, 상기 디스플레이 상에 제공되는 상기 보드 스크린에 대한 정보를 상기 스토리지에 저장한 후 상기 새로운 보드 스크린을 상기 디스플레이를 통해 제공하며,
    상기 보드 스크린에 대한 정보는,
    상기 보드 스크린에 대한 캡쳐 이미지, 상기 이미지에 대한 정보 또는 상기 드로잉 오브젝트에 대한 정보 중 적어도 하나를 포함하는, 가전 기기.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 스토리지에 저장된 보드 스크린의 개수가 임계 개수를 초과하면, 상기 스토리지에 저장된 상기 보드 스크린에 대한 정보를 상기 통신 인터페이스를 통해 서버로 전송하는, 가전 기기.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 스토리지에 포함된 복수의 어플리케이션 중 어느 하나를 실행시키기 위한 아이콘을 상기 보드 스크린 상에 제공하고,
    상기 아이콘을 선택하는 사용자 커맨드가 입력되면, 상기 보드 스크린 상의 일 영역에 상기 선택된 아이콘에 대응되는 어플리케이션의 실행 화면을 디스플레이하도록 상기 디스플레이를 제어하는, 가전 기기.
  7. 제1항에 있어서,
    상기 스토리지는,
    복수의 사용자 각각에 대응되는 사용자 식별 정보 및 사용자 기기 정보를 저장하며,
    상기 프로세서는,
    상기 드로잉 오브젝트에 대응되는 텍스트를 인식하고,
    상기 텍스트 및 상기 저장된 사용자 식별 정보에 기초하여 상기 복수의 사용자 중 적어도 하나의 사용자를 식별하고,
    상기 식별된 사용자에 대응되는 사용자 기기 정보에 기초하여 상기 드로잉 오브젝트와 관련된 정보를 상기 통신 인터페이스를 통해 전송하는, 가전 기기.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 드로잉 오브젝트에 대응되는 텍스트를 인식하고, 상기 인식된 텍스트에 기초하여 상기 드로잉 오브젝트를 기 설정된 폰트의 텍스트 오브젝트로 변경하는, 가전 기기.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 스토리지에 저장된 보드 스크린에 대한 정보를 로딩하기 위한 커맨트가 수신되면, 상기 저장된 보드 스크린에 대응되는 캡쳐 이미지, 상기 저장된 보드 스크린의 생성 시점 및 저장 시점에 대한 정보를 포함하는 리스트를 디스플레이하도록 상기 디스플레이를 제어하는, 가전 기기.
  10. 제1항에 있어서,
    센서;를 포함하고,
    상기 프로세서는,
    상기 디스플레이가 턴 오프된 대기 모드에서 상기 센서를 통해 사용자가 감지되면, 상기 저장된 보드 스크린에 대한 정보에 기초하여 상기 디스플레이가 턴 오프되기 전의 보드 스크린을 디스플레이하도록 상기 디스플레이를 제어하는, 가전 기기.
  11. 가전 기기의 제어 방법에 있어서,
    상기 가전 기기의 전면에 구비된 디스플레이 상에 보드 스크린을 제공하는 단계;
    이미지가 수신되면, 상기 이미지의 해상도 정보에 기초하여 상기 이미지의 디스플레이 크기를 식별하는 단계;
    상기 식별된 디스플레이 크기에 기초하여 상기 이미지를 상기 보드 스크린 상에 추가하는 단계;
    상기 이미지에 대한 제1 터치 입력이 감지되면, 상기 제1 터치 입력에 대응되도록 상기 이미지의 디스플레이 위치 또는 크기 중 적어도 하나를 조정하는 단계;
    상기 보드 스크린에 대한 제2 터치 입력이 감지되면, 상기 제2 터치 입력에 대응되는 드로잉 오브젝트를 상기 보드 스크린 상에 추가하는 단계; 및
    상기 보드 스크린에 추가된 상기 이미지에 대한 정보 및 상기 드로잉 오브젝트에 대한 정보를 저장하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 이미지에 대한 정보는,
    상기 이미지의 파일 경로, 상기 이미지의 파일 타입, 상기 보드 스크린 상에 추가된 상기 이미지의 좌표 정보 또는 상기 이미지의 크기 정보 중 적어도 하나를 포함하고,
    상기 드로잉 오브젝트에 대한 정보는,
    상기 드로잉 오브젝트의 형태 정보 또는 상기 보드 스크린 상에 추가된 상기 드로잉의 좌표 정보 중 적어도 하나를 포함하는, 제어 방법.
  13. 제11항에 있어서,
    기 설정된 주기가 도래하는 이벤트 또는 저장 메뉴가 선택되는 이벤트에 따라, 상기 보드 스크린을 캡쳐하여 상기 보드 스크린의 캡쳐 이미지를 획득하는 단계; 및
    상기 캡쳐 이미지, 상기 이미지에 대한 정보 및 상기 드로잉 오브젝트에 대한 정보를 서버로 전송하는 단계;를 포함하는, 제어 방법.
  14. 제11항에 있어서,
    새로운 보드 스크린을 제공하기 위한 커맨드가 수신되면, 상기 디스플레이 상에 제공되는 보드 스크린에 대한 정보를 저장한 후 상기 새로운 보드 스크린을 상기 디스플레이를 통해 제공하는 단계;를 포함하고,
    상기 보드 스크린에 대한 정보는,
    상기 보드 스크린에 대한 캡쳐 이미지, 상기 이미지에 대한 정보 또는 상기 드로잉 오브젝트에 대한 정보 중 적어도 하나를 포함하는, 제어 방법.
  15. 제14항에 있어서,
    상기 가전 기기에 저장된 보드 스크린의 개수가 임계 개수를 초과하면, 상기 가전 기기에 저장된 상기 보드 스크린에 대한 정보를 서버로 전송하는 단계;를 포함하는, 제어 방법.
  16. 제11항에 있어서,
    복수의 어플리케이션 중 어느 하나를 실행하기 위한 아이콘을 상기 보드 스크린 상에 제공하는 단계; 및
    상기 아이콘을 선택하는 사용자 커맨드가 입력되면, 상기 보드 스크린 상의 일 영역에 상기 선택된 아이콘에 대응되는 어플리케이션의 실행 화면을 디스플레이하는 단계;를 포함하는, 제어 방법.
  17. 제11항에 있어서,
    상기 가전 기기는,
    복수의 사용자 각각에 대응되는 사용자 식별 정보 및 사용자 기기 정보를 저장하며,
    상기 드로잉 오브젝트에 대응되는 텍스트를 인식하는 단계;
    상기 텍스트 및 상기 저장된 사용자 식별 정보에 기초하여 상기 복수의 사용자 중 적어도 하나의 사용자를 식별하는 단계; 및
    상기 식별된 사용자에 대응되는 사용자 기기 정보에 기초하여 상기 드로잉 오브젝트와 관련된 정보를 전송하는 단계;를 포함하는, 제어 방법.
  18. 제11항에 있어서,
    상기 드로잉 오브젝트에 대응되는 텍스트를 인식하는 단계; 및
    상기 인식된 텍스트에 기초하여 상기 드로잉 오브젝트를 기 설정된 폰트의 텍스트 오브젝트로 변경하는 단계;를 포함하는, 제어 방법.
  19. 제11항에 있어서,
    상기 가전 기기에 저장된 보드 스크린에 대한 정보를 로딩하기 위한 커맨드가 수신되면, 상기 저장된 보드 스크린에 대응되는 캡쳐 이미지, 상기 저장된 보드 스크린의 생성 시점 및 저장 시점에 대한 정보를 포함하는 리스트를 디스플레이하는 단계;를 포함하는, 제어 방법.
  20. 제11항에 있어서,
    상기 디스플레이가 턴-오프된 대기 모드에서 상기 가전 기기에 구비된 센서를 통해 사용자가 감지되면, 상기 저장된 보드 스크린에 대한 정보에 기초하여 상기 디스플레이가 턴-오프되기 전의 보드 스크린을 디스플레이하는 단계;를 포함하는, 제어 방법.
KR1020190000651A 2019-01-03 2019-01-03 가전 기기 및 그 제어 방법 KR102679851B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190000651A KR102679851B1 (ko) 2019-01-03 가전 기기 및 그 제어 방법
US17/296,712 US11500537B2 (en) 2019-01-03 2019-12-27 Electronic device and controlling method therefor
PCT/KR2019/018572 WO2020141809A1 (ko) 2019-01-03 2019-12-27 가전 기기 및 그 제어 방법
EP19907662.1A EP3882754A4 (en) 2019-01-03 2019-12-27 ELECTRONIC DEVICE AND CONTROL METHOD THEREOF
CN201980087475.XA CN113260971A (zh) 2019-01-03 2019-12-27 电子设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190000651A KR102679851B1 (ko) 2019-01-03 가전 기기 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20200084584A true KR20200084584A (ko) 2020-07-13
KR102679851B1 KR102679851B1 (ko) 2024-07-01

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022220348A1 (ko) * 2021-04-12 2022-10-20 삼성전자주식회사 가전 기기 및 그 제어 방법
US11783693B2 (en) 2021-04-12 2023-10-10 Samsung Electronics Co., Ltd. Home appliance controlling output of information to a user terminal and control method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022220348A1 (ko) * 2021-04-12 2022-10-20 삼성전자주식회사 가전 기기 및 그 제어 방법
US11783693B2 (en) 2021-04-12 2023-10-10 Samsung Electronics Co., Ltd. Home appliance controlling output of information to a user terminal and control method thereof

Also Published As

Publication number Publication date
EP3882754A4 (en) 2022-04-20
EP3882754A1 (en) 2021-09-22
WO2020141809A1 (ko) 2020-07-09
CN113260971A (zh) 2021-08-13
US20220050590A1 (en) 2022-02-17
US11500537B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
CN113260828B (zh) 家用电器及其控制方法
KR102407623B1 (ko) 사용자 단말 장치 및 이의 제어 방법
US10685624B2 (en) Electronic apparatus and method for outputting content
CN108510929B (zh) 一种显示装置及其控制方法
US11500537B2 (en) Electronic device and controlling method therefor
US10417997B2 (en) Display apparatus and controlling method thereof
KR102264220B1 (ko) 전자 장치 및 전자 장치의 디스플레이 방법
US20220325460A1 (en) Electronic apparatus and control method therefor
US11232306B2 (en) Display apparatus and control method thereof
WO2022105447A1 (zh) IoT设备的控制方法、装置、终端及存储介质
US20220267939A1 (en) User terminal and control method for same
KR102679851B1 (ko) 가전 기기 및 그 제어 방법
US11373340B2 (en) Display apparatus and controlling method thereof
KR102180820B1 (ko) 디스플레이 장치 및 그 제어 방법
KR20230015785A (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right