KR20160037074A - 전환 거울을 구비한 장치의 이미지 디스플레이 방법 및 그 장치 - Google Patents

전환 거울을 구비한 장치의 이미지 디스플레이 방법 및 그 장치 Download PDF

Info

Publication number
KR20160037074A
KR20160037074A KR1020150121829A KR20150121829A KR20160037074A KR 20160037074 A KR20160037074 A KR 20160037074A KR 1020150121829 A KR1020150121829 A KR 1020150121829A KR 20150121829 A KR20150121829 A KR 20150121829A KR 20160037074 A KR20160037074 A KR 20160037074A
Authority
KR
South Korea
Prior art keywords
user
image
display
display unit
recommendation system
Prior art date
Application number
KR1020150121829A
Other languages
English (en)
Other versions
KR102322034B1 (ko
Inventor
김종률
이원석
임형진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2015/010235 priority Critical patent/WO2016048102A1/en
Priority to US14/865,815 priority patent/US20160093081A1/en
Priority to EP15843435.7A priority patent/EP3198376B1/en
Priority to CN201580064202.5A priority patent/CN107003827B/zh
Publication of KR20160037074A publication Critical patent/KR20160037074A/ko
Application granted granted Critical
Publication of KR102322034B1 publication Critical patent/KR102322034B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02—Mirrors used as equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F7/00—Show stands, hangers, or shelves, adapted for particular articles or materials
    • A47F7/19—Show stands, hangers, or shelves, adapted for particular articles or materials for garments
    • A47F2007/195—Virtual display of clothes on the wearer by means of a mirror, screen or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

사용자의 입력에 따라 화면 및 거울 중 적어도 하나로 동작하며, 사용자에게 제공할 정보에 관한 객체를 디스플레이하는 디스플레이부, 사용자가 디스플레이부 앞에 위치함에 따라, 디스플레이부에 비친 사용자 이미지의 위치를 결정하고, 결정된 사용자 이미지의 위치에 기초하여, 객체의 디스플레이 위치를 결정하는 제어부를 포함하는 일 실시예에 따른 디바이스가 개시된다.

Description

전환 거울을 구비한 장치의 이미지 디스플레이 방법 및 그 장치{IMAGE DISPLAY METHOD OF A APPARATUS WITH A SWITCHABLE MIRROR AND THE APPARATUS}
본 개시는, 전환 거울을 구비한 디바이스가 전환 거울에 비친 사용자의 이미지와 함께, 객체를 디스플레이하는 방법 및 이를 위한 장치에 관한 것이다.
또한, 본 개시는, 사용자의 질문에 대한 적어도 하나의 답변을 제공하는 추천 시스템에 관한 것이다.
전환 거울(Switchable Mirror)은 가해지는 전압에 따라, 거울로써 기능할 수 있으며, 투명한 유리로써 기능할 수 있는 거울이다. 전환 거울은 실시예에 따라, 전환 유리(Switchable Glass)로도 언급될 수 있다.
최근, 전환 거울을 이용한 다양한 기능이 연구되고 있으며, 그 중 전환 거울을 이용하여, 사용자를 거울에 비추면서, 동시에 사용자에게 필요한 정보를 디스플레이하는 디스플레이 장치의 필요성이 증가하고 있다.
또한, 거울은 가정뿐만 아니라, 의류 매장, 헤어샵 등에서 매일 사용되는 기구이며, 거울이 거울로써 기능함과 동시에 화면으로써 기능함에 따라, 거울을 통해 사용자에게 제공할 수 있는 다양한 서비스들이 개발될 필요성이 있다.
본 개시는 전환 거울에 비친 사용자의 이미지와 함께, 객체를 디스플레이하는 다양한 실시예가 제공된다.
또한, 본 개시는 사용자의 질문에 대한 적어도 하나의 답변을 제공하는 다양한 실시예가 제공된다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 사용자의 입력에 따라 화면 및 거울 중 적어도 하나로 동작하며, 사용자에게 제공할 정보에 관한 객체를 디스플레이하는 디스플레이부, 사용자가 디스플레이부 앞에 위치함에 따라, 디스플레이부에 비친 사용자 이미지의 위치를 결정하고, 결정된 사용자 이미지의 위치에 기초하여, 객체의 디스플레이 위치를 결정하는 제어부를 포함하는 디바이스를 제공할 수 있다.
또한, 디스플레이부의 적어도 일부가 거울로 동작하며, 제어부는, 디스플레이부에 비친 사용자 이미지와 객체가 겹치지 않도록 객체의 디스플레이 위치를 결정할 수 있다.
또한, 제어부는, 디스플레이부에 비친 사용자 이미지 중, 기 설정된 신체의 일부에 대응되는 부분과 객체가 겹쳐지도록 이미지의 디스플레이 위치를 결정할 수 있다.
또한, 제어부는, 디스플레이부에 비친 사용자 이미지 중 사용자의 눈의 위치에 기초하여, 객체의 디스플레이 위치를 결정할 수 있다.
또한, 제어부는, 디스플레이부로부터 사용자까지의 거리를 결정하고, 결정된 거리에 기초하여, 객체의 크기 및 해상도 중 적어도 하나를 결정할 수 있다.
또한, 제어부는, 디스플레이부에 비친 사용자 이미지의 크기에 기초하여, 디스플레이부로부터 사용자까지의 거리를 결정할 수 있다.
또한, 객체는 사용자가 따라 할 수 있는 동작을 나타내는 동영상을 포함하고, 제어부는, 디스플레이부에 비친 사용자 이미지의 형상에 따라, 동영상의 좌우를 반전시킬 수 있다.
또한, 디바이스는, 디스플레이부 상에 디스플레이된 객체를 선택하고, 선택된 객체를 이동시키는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고, 제어부는, 사용자 입력에 기초하여, 객체의 디스플레이 위치를 결정할 수 있다.
또한, 디바이스는, 사용자로부터 질문을 수신하는 사용자 입력부를 더 포함하고, 디스플레이부는, 질문에 대한 답변을 나타내는 객체를 디스플레이할 수 있다.
또한, 디바이스는, 사용자의 음성 데이터 및 얼굴 이미지 중 적어도 하나를 획득하기 위한 센서를 더 포함하고, 제어부는, 획득된 사용자의 음성 데이터 및 얼굴 이미지 중 적어도 하나에 기초하여, 사용자를 식별하고, 사용자의 식별값에 대응하여 저장된 사용자의 사용자 정보에 기초하여, 디스플레이부에 디스플레이될 객체를 추천할 수 있다.
또한, 본 개시의 제 2 측면은, 사용자의 입력에 따라 화면 및 거울 중 적어도 하나로 동작하며, 사용자에게 제공할 정보에 관한 객체를 디스플레이하는 단계, 사용자가 디스플레이부 앞에 위치함에 따라, 디스플레이부에 비친 사용자 이미지의 위치를 결정하는 단계, 및 결정된 사용자 이미지의 위치에 기초하여, 객체의 디스플레이 위치를 결정하는 단계를 포함하는, 이미지 디스플레이 방법을 제공할 수 있다.
또한, 디스플레이부의 적어도 일부가 거울로 동작하며, 결정된 사용자 이미지의 위치에 기초하여, 객체의 디스플레이 위치를 결정하는 단계는, 디스플레이부에 비친 사용자 이미지와 객체가 겹치지 않도록 객체의 디스플레이 위치를 결정하는 단계를 포함할 수 있다.
또한, 결정된 사용자 이미지의 위치에 기초하여, 객체의 디스플레이 위치를 결정하는 단계는, 디스플레이부에 비친 사용자 이미지 중, 기 설정된 신체의 일부에 대응되는 부분과 객체가 겹쳐지도록 이미지의 디스플레이 위치를 결정하는 단계를 포함할 수 있다.
또한, 결정된 사용자 이미지의 위치에 기초하여, 객체의 디스플레이 위치를 결정하는 단계는, 디스플레이부에 비친 사용자 이미지 중 사용자의 눈의 위치에 기초하여, 객체의 디스플레이 위치를 결정하는 단계를 포함할 수 있다.
또한, 결정된 사용자 이미지의 위치에 기초하여, 객체의 디스플레이 위치를 결정하는 단계는, 디스플레이부로부터 사용자까지의 거리를 결정하고, 결정된 거리에 기초하여, 객체의 크기 및 해상도 중 적어도 하나를 결정하는 단계를 포함할 수 있다.
또한, 결정된 사용자 이미지의 위치에 기초하여, 객체의 디스플레이 위치를 결정하는 단계는, 디스플레이부에 비친 사용자 이미지의 크기에 기초하여, 디스플레이부로부터 사용자까지의 거리를 결정하는 단계를 포함할 수 있다.
또한, 객체는 사용자가 따라 할 수 있는 동작을 나타내는 동영상을 포함하고, 결정된 사용자 이미지의 위치에 기초하여, 객체의 디스플레이 위치를 결정하는 단계는, 디스플레이부에 비친 사용자 이미지의 형상에 따라, 동영상의 좌우를 반전시키는 단계를 포함할 수 있다.
또한, 이미지 디스플레이 방법은, 디스플레이부 상에 디스플레이된 객체를 선택하고, 선택된 객체를 이동시키는 사용자 입력을 수신하는 단계, 및 사용자 입력에 기초하여, 객체의 디스플레이 위치를 결정하는 단계를 더 포함할 수 있다.
또한, 이미지 디스플레이 방법은, 사용자로부터 질문을 수신하는 단계를 더 포함하고, 사용자에게 제공할 정보에 관한 객체를 디스플레이하는 단계는, 질문에 대한 답변을 나타내는 객체를 디스플레이하는 단계를 포함할 수 있다.
또한, 이미지 디스플레이 방법은, 사용자의 음성 데이터 및 얼굴 이미지 중 적어도 하나를 획득하는 단계를 더 포함하고, 사용자에게 제공할 정보에 관한 객체를 디스플레이하는 단계는, 획득된 사용자의 음성 데이터 및 얼굴 이미지 중 적어도 하나에 기초하여, 사용자를 식별하고, 사용자의 식별값에 대응하여 저장된 사용자의 사용자 정보에 기초하여, 디스플레이부에 디스플레이될 객체를 추천하는 단계를 포함할 수 있다.
도 1은 본 개시의 일 실시예에 따른, 디바이스가 전환 거울 상에 이미지를 디스플레이하는 방법을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른, 추천 시스템을 나타내는 도면이다.
도 3은 본 개시의 일 실시예에 따른, 디바이스의 디스플레이부의 구조를 나타내는 도면이다.
도 4a 및 도 4b는 본 개시의 일 실시예에 따른, 디바이스의 디스플레이부의 동작 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른, 디바이스가 전환 거울 상에 이미지를 디스플레이하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 개시의 일 실시예에 따른, 디바이스가 디스플레이부에 비친 사용자 이미지의 위치를 결정하는 방법을 나타내는 흐름도이다.
도 7a 및 도 7b는 본 개시의 일 실시예에 따른, 디바이스가 전환 거울에 비친 사용자 이미지의 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른, 디바이스가 디스플레이부에 비친 사용자 이미지와 객체가 겹치지 않도록 객체의 디스플레이 위치를 결정하는 방법을 나타내는 흐름도이다.
도 9a 및 9b는 본 개시의 일 실시예에 따른, 디바이스가 디스플레이부의 전환 거울에 비친 사용자 이미지와 객체가 겹치지 않도록 객체의 디스플레이 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른, 디바이스가 디스플레이부의 전환 거울에 비친 사용자 이미지 중 사용자의 눈의 위치에 기초하여, 객체의 디스플레이 위치를 결정하는 방법을 나타내는 흐름도이다.
도 11a 및 11b는 본 개시의 일 실시예에 따른, 디바이스가 디스플레이부의 전환 거울에 비친 사용자 이미지 중 사용자의 눈의 위치에 기초하여, 객체의 디스플레이 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시예에 따른, 디바이스가 디스플레이부에 비친 사용자 이미지의 형상에 따라, 동영상의 좌우를 반전하는 방법을 나타내는 흐름도이다.
도 13a 및 13b는 본 개시의 일 실시예에 따른, 디바이스가 디스플레이부에 비친 사용자 이미지의 형상에 따라, 동영상의 좌우를 반전하는 방법을 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시예에 따른, 디바이스가 디스플레이부에 비친 사용자 이미지 중, 기 설정된 신체의 일부에 대응되는 부분과 객체가 겹쳐지도록 이미지의 디스플레이 위치를 결정하는 방법을 나타내는 흐름도이다.
도 15는 본 개시의 일 실시예에 따른, 디바이스가 디스플레이부에 비친 사용자 이미지 중, 기 설정된 신체의 일부에 대응되는 부분과 객체가 겹쳐지도록 이미지의 디스플레이 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 16은 본 개시의 일 실시예에 따른, 디바이스가 디스플레이부로부터 사용자까지의 거리에 기초하여, 객체의 크기 및 해상도 중 적어도 하나를 결정하는 방법을 나타내는 흐름도이다.
도 17 내지 18b는 본 개시의 일 실시예에 따른, 디바이스가 디스플레이부로부터 사용자까지의 거리에 기초하여, 객체의 크기를 결정하는 방법을 설명하기 위한 도면이다.
도 19는 본 개시의 일 실시예에 따른, 디바이스가 사용자 입력에 기초하여, 객체의 디스플레이 위치를 결정하는 방법을 나타내는 흐름도이다.
도 20은 본 개시의 일 실시예에 따른, 디바이스가 사용자 입력에 기초하여, 객체의 디스플레이 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 21은 본 개시의 일 실시예에 따른, 디바이스는 전환 거울을 터치하는 사용자의 터치 입력을 수신할 수 있다.
도 22는 본 개시의 일 실시예에 따른, 추천 시스템이 사용자 질문에 대하여 적어도 하나의 답변을 사용자에게 추천해주는 방법을 나타내는 흐름도이다.
도 23a 및 23b는 본 개시의 일 실시예에 따른, 추천 시스템이 사용자 질문에 대하여 적어도 하나의 답변을 사용자에게 추천해주는 방법을 설명하기 위한 도면이다.
도 24a는 본 개시의 다른 실시예에 따른, 추천 시스템이 사용자 질문에 대하여 적어도 하나의 답변을 사용자에게 추천해주는 방법을 설명하기 위한 도면이다.
도 25는 본 개시의 일 실시예에 따른, 추천 시스템이 사용자의 음성 데이터 또는 얼굴 이미지에 기초하여, 사용자 정보를 획득하는 방법을 나타내는 흐름도이다.
도 26은 본 개시의 일 실시예에 따른, 추천 시스템이 등록되지 않은 사용자의 추천 시스템 사용 이력에 기초하여, 아이템을 추천하는 방법을 설명하기 위한 도면이다.
도 27은 본 개시의 일 실시예에 따른, 추천 시스템이 사용자 정보에 기초하여, 사용자의 성향을 결정하는 방법을 나타내는 흐름도이다.
도 28은 본 개시의 일 실시예에 따른, 추천 시스템이 사용자 정보에 기초하여, 사용자의 속성을 결정하는 방법을 설명하기 위한 도면이다.
도 29a 및 29b는 스타일리스트가 연출할 수 있는 성향 및 각각의 성향에 대한 사용자 속성의 속성값을 나타내는 도면이다.
도 30은 본 개시의 일 실시예에 따른, 추천 시스템이 인구통계학적 특징에 기초하여, 사용자의 성향을 결정하는 방법을 나타내는 흐름도이다.
도 31은 본 개시의 일 실시예에 따른, 디바이스가 추천 아이템을 디스플레이하는 방법을 설명하기 위한 도면이다.
도 32는, 본 개시의 일 실시예에 따른, 추천 시스템의 블록도를 도시한다.
도 33a 및 33b는 본 개시의 일 실시예에 따른, 추천 시스템을 나타내는 도면이다.
도 34는 본 개시의 일 실시예에 따른, 동영상 강의 중, 추천 시스템이 사용자의 요구에 따라 동적으로 강의 자료를 제공하는 방법을 설명하기 위한 도면이다.
도 35은 본 개시의 일 실시예에 따른, 디바이스가 홈 내의 환경 상태 또는 시청자의 건강 상태를 모니터링하고, 모니터링한 결과를 제공하는 방법을 설명하기 위한 도면이다.
도 36은 본 개시의 일 실시예에 따른, 디바이스의 블록도를 도시한다.
도 37은 본 개시의 다른 실시예에 따른, 디바이스의 블록도를 도시한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시예에 따른, 디바이스(100)가 전환 거울 상에 이미지를 디스플레이하는 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 디바이스(100)는 전환 거울(Switchable Mirror, 115)을 포함하는 디스플레이부(110)를 포함할 수 있다.
디스플레이부(110)는 사용자(10)의 입력에 따라 전환 거울(115)을 사용자를 비추는 거울로써 동작시킬 수 있으며, 정보를 표시하는 디스플레이 화면으로써 동작시킬 수 있다. 또한, 디스플레이부(110)는, 전환 거울(115)을 거울로써 동작시키면서 동시에 디스플레이 화면으로써 동작시킬 수도 있다. 또한, 디스플레이부(110)는 전환 거울(115)의 일부 영역은 거울로써 동작시키고, 나머지 영역은 화면으로써 동작시킬 수도 있다.
디바이스(100)는 전환 거울(115)의 일부 영역에 객체(50)를 디스플레이할 수 있다. 객체(50)는 텍스트, 이미지, 동영상 등을 포함할 수 있으나, 이에 제한되지 않는다. 도 1에 도시된 바와 같이, 전환 거울(115)을 보며 화장을 하는 사용자(10)가 화장을 위한 동영상(50)을 요청한 경우, 디바이스(100)는 요청된 동영상(50)을 전환 거울(115)의 일부 영역에 재생시킬 수 있다.
이 경우, 디바이스(100)는 전환 거울(115)에 비친 사용자 이미지(20)의 위치를 결정하고, 결정된 사용자 이미지(20)의 위치에 따라, 객체(50)의 디스플레이 위치를 변경할 수 있다.
예를 들어, 디바이스(100)는 전환 거울(115)에 비친 사용자 이미지(20)와 동영상(50)이 겹치지 않도록 동영상(50)의 디스플레이 위치를 변경할 수 있다. 또한, 전환 거울(115)의 일부 영역에 디스플레이되는 객체(50)가 의류 이미지인 경우, 디바이스(100)는 전환 거울(115)에 비친 사용자 이미지(20) 중 신체 일부 영역과 의류 이미지(50)가 겹쳐지도록 의류 이미지(50)의 디스플레이 위치를 변경할 수 있다. 또한, 디바이스(100)는 전환 거울(115)에 비친 사용자 이미지(20) 중 사용자의 눈의 위치에 기초하여, 객체(50)의 디스플레이 위치를 변경할 수도 있다.
또한, 디바이스(100)는 전환 거울(115)로부터 사용자(10)까지의 거리에 기초하여, 객체(50)의 크기 및 해상도 중 적어도 하나를 변경할 수도 있다. 또한, 객체(50)가 사용자(10)가 따라 할 수 있는 동작을 나타내는 동영상인 경우, 디바이스(100)는, 전환 거울(115)에 비친 사용자 이미지(20)의 좌우와 전환 거울(115)에 디스플레이된 동영상 내의 인물의 좌우가 동일해지도록 동영상을 좌우 반전시킬 수도 있다.
또한, 전환 거울(115) 상에 디스플레이된 객체(50)를 선택하고, 선택된 객체(50)를 이동시키는 사용자 입력을 수신함에 따라, 디바이스(100)는 사용자 입력에 기초하여, 객체(50)의 디스플레이 위치를 변경할 수도 있다.
또한, 디바이스(100)는 사용자로부터 질문을 수신하고, 수신된 질문에 대한 답변을 전환 거울(115) 상에 디스플레이할 수 있다. 예를 들어, 디바이스(100)는 수신된 질문에 대한 답변을 서버에게 요청하고, 요청된 답변을 나타내는 객체(50)를 서버로부터 수신하고, 전환 거울(115) 내의 일부 영역에 수신된 객체(50)를 디스플레이할 수 있다.
도 2는 본 개시의 일 실시예에 따른, 추천 시스템(2000)을 나타내는 도면이다.
도 2를 참조하면, 추천 시스템(2000)은 디바이스(100), 및 Q&A 엔진(500)을 구비한 제 1 서버(1000_a)를 포함할 수 있다.
디바이스(100)는 사용자로부터 질문을 수신하고, 수신된 질문에 대한 답변을 제 1 서버(1000_a)에게 요청할 수 있다. 제 1 서버(1000_a)는 수신된 질문의 의미를 분석하고, 분석된 의미에 기초하여, 질문에 대한 적어도 하나의 답변을 결정할 수 있다. 질문에 대한 적어도 하나의 답변을 결정함에 따라, 제 1 서버(1000_a)는 디바이스(100)에게 질문에 대한 적어도 하나의 답변을 전송할 수 있다. 디바이스(100)는 제 1 서버(1000_a)로부터 수신된 적어도 하나의 답변을 사용자에게 제공할 수 있다.
이 경우, 제 1 서버(1000_a)는 개인화 Q&A 엔진(300) 및 일반 Q&A 엔진(400)을 구비할 수 있다.
개인화 Q&A 엔진(300)은 디바이스(100)로부터 수신된 질문을 사용자 정보에 기초하여, 사용자에게 보다 적합한 질문으로 보정하고, 일반 Q&A 엔진(400)을 이용하여, 보정된 질문에 답변을 결정할 수 있다. 예를 들어, 디바이스(100)로부터 “아름답게 보이고 싶다”라는 요청을 수신한 경우, 개인화 Q&A 엔진(300)은 사용자 정보에 기초하여, 사용자에 따라, “착하게 보이고 싶다” 또는 “섹시하게 보이고 싶다”로 질문을 보정할 수 있다.
개인화 Q&A 엔진(300)은 보정된 질문에 대한 답변을 일반 Q&A 엔진(400)에게 요청할 수 있다. 일반 Q&A 엔진(400)은 질문에 대한 답변을 생성하여 개인화 Q&A 엔진(300)에게 전송할 수 있다. 일반 Q&A 엔진(400)으로부터 질문에 대한 답변을 수신함에 따라, 개인화 Q&A 엔진(300)은 수신된 답변을 디바이스(100)에게 전송할 수 있다.
도 3은 본 개시의 일 실시예에 따른, 디바이스(100)의 디스플레이부(110)의 구조를 나타내는 도면이다.
디바이스(100)의 디스플레이부(110)는 전환 거울(115) 및 디스플레이 장치(117)를 포함할 수 있다.
전환 거울(115)은 가해지는 전압에 따라 들어오는 빛을 대부분 반사시키는 거울로써 동작할 수 있다. 전환 거울(115)이 거울로써 동작하는 경우, 디스플레이 장치(177)의 화면에 디스플레이된 객체(320)는 사용자에게 보여지지 않으며, 사용자는 전환 거울(115)에 비춰진 자신의 이미지만을 볼 수 있다.
또한, 전환 거울(115)은 가해지는 전압에 따라 들어오는 빛을 대부분 투과시킬 수 있다. 전환 거울(115)이 투명한 유리로써 동작하는 경우, 사용자는 전환 거울(115)을 통해 자신의 이미지를 볼 수 없지만, 디스플레이 장치(177)의 화면에 디스플레이된 객체(320)를 볼 수 있다.
또한, 전환 거울(115)은 가해지는 전압에 따라 빛의 투과량이 조절될 수 있다. 이 경우, 전환 거울(115)은 반투명한 유리로써 동작할 수 있다. 전환 거울(115)이 반투명한 유리로써 동작하는 경우, 사용자는 전환 거울(115)에 비친 자신의 이미지뿐만 아니라, 디스플레이 장치(177)의 화면에 디스플레이된 객체(320)를 볼 수도 있다.
또한, 디스플레이부(110)는 전환 거울(115)의 영역에 따라 빛이 투과되는 양을 다르게 할 수 있다. 이에 따라, 디스플레이부(110)는 일부 영역은 객체가 디스플레이되는 영역으로 설정하고, 나머지 영역은 거울로써 동작하도록 전환 거울(115)을 제어할 수 있다.
예를 들어, 디스플레이부(110)는 디스플레이 장치(177)의 제 1 픽셀의 위치에 대응되는 전환 거울(115)의 영역을 전환 거울(115)의 제 1 픽셀의 영역으로 결정할 수 있다. 이에 따라, 제 1 영역(330)에만 객체를 디스플레이하고, 나머지 영역은 거울로써 동작하도록 제어하고자 할 경우, 디스플레이부(110)는, 디스플레이 장치(177)의 제 1 영역(310)에 객체(320)를 디스플레이하고, 전환 거울(115)의 제 1 영역(330)을 투명한 유리로써, 전환 거울(115)의 나머지 영역을 거울로써 동작시킬 수 있다.
도 4a 및 도 4b는 본 개시의 일 실시예에 따른, 디바이스(100)의 디스플레이부(110)의 동작 방법을 설명하기 위한 도면이다.
도 4a을 참조하면, 디스플레이부(110)는 화면으로써 동작할 수 있다.
디스플레이부(110)가 화면으로써 동작하는 경우, 전환 거울(115)이 투명한 유리로써 동작함으로써, 디스플레이 장치(117)가 디스플레이하는 객체가 사용자에게 보여질 수 있다.
도 4b를 참조하면, 디스플레이부(110)는 거울로써 동작할 수 있다.
디스플레이부(110)가 거울로써 동작하는 경우, 사용자(10)는 전환 거울(115)에 비친 자신의 이미지(20)만을 볼 수 있을 뿐, 디스플레이 장치(117)가 디스플레이하는 객체를 볼 수 없다.
도 4a 및 도 4b에 도시되지 않았으나, 디스플레이부(110)는 거울로써 동작하면서 동시에 화면으로도 동작할 수도 있다. 이 경우, 사용자(10)는 객체와 겹쳐진 자신의 이미지(20)를 볼 수 있다.
도 5는 본 개시의 일 실시예에 따른, 디바이스(100)가 전환 거울 상에 이미지를 디스플레이하는 방법을 설명하기 위한 흐름도이다.
단계 S510에서, 디바이스(100)는 사용자의 입력에 따라 화면 및 거울 중 적어도 하나로 동작하며, 사용자에게 제공할 정보에 관한 객체를 디스플레이할 수 있다.
객체는 텍스트, 이미지 및 동영상을 포함할 수 있으나, 이에 제한되지 않는다.
단계 S520에서, 디바이스(100)는 사용자가 디스플레이부 앞에 위치함에 따라, 디스플레이부에 비친 사용자 이미지의 위치를 결정할 수 있다.
디바이스(100)는 디스플레이부의 전환 거울에 비친 사용자 이미지의 위치를 결정할 수 있다. 예를 들어, 디바이스(100)는 전환 거울내의 기 설정된 픽셀 좌표를 기준으로, 사용자 이미지의 위치를 결정할 수 있다.
단계 S530에서, 디바이스(100)는 결정된 사용자 이미지의 위치에 기초하여, 객체의 디스플레이 위치를 결정할 수 있다.
디바이스(100)는 디스플레이부에 비친 사용자 이미지와 객체가 겹치지 않도록 객체의 디스플레이 위치를 결정할 수 있다. 또한, 디바이스(100)는, 디스플레이부에 비친 사용자 이미지 중, 기 설정된 신체의 일부에 대응되는 부분과 객체가 겹쳐지도록 이미지의 디스플레이 위치를 결정할 수 있다. 또한, 디바이스(100)는, 디스플레이부에 비친 사용자 이미지 중 사용자의 눈의 위치에 기초하여, 객체의 디스플레이 위치를 결정할 수 있다. 또한, 디바이스(100)는, 디스플레이부에 비친 사용자 이미지의 크기에 기초하여, 디스플레이부로부터 사용자까지의 거리를 결정할 수 있다. 또한, 디바이스(100)는, 디스플레이부로부터 사용자까지의 거리를 결정하고, 결정된 거리에 기초하여, 객체의 크기 및 해상도 중 적어도 하나를 결정할 수 있다.
또한, 객체가 사용자가 따라 할 수 있는 동작을 나타내는 동영상인 경우, 디바이스(100)는, 디스플레이부에 비친 사용자 이미지의 형상에 따라, 동영상의 좌우를 반전시킬 수 있다.
또한, 디스플레이부 상에 디스플레이된 객체를 선택하고, 선택된 객체를 이동시키는 사용자 입력을 수신하는 경우, 디바이스(100)는, 사용자 입력에 기초하여, 객체의 디스플레이 위치를 결정할 수 있다.
도 6은 본 개시의 일 실시예에 따른, 디바이스(100)가 디스플레이부에 비친 사용자 이미지의 위치를 결정하는 방법을 나타내는 흐름도이다.
단계 S610에서, 디바이스(100)는 사용자가 디스플레이부 앞에 위치함에 따라, 사용자를 촬영할 수 있다.
디바이스(100)는 사용자가 디스플레이부 앞에 위치하였음을 인식함에 따라, 사용자를 촬영할 수 있다.
단계 S620에서, 디바이스(100)는 촬영된 사용자 이미지에 기초하여, 디스플레이부에 대한 사용자의 상대적인 위치를 결정할 수 있다.
디바이스(100)에는 촬영된 사용자 이미지 내에서의 사용자의 위치에 기초하여, 디스플레이부의 전환 거울에 대한 사용자의 상대적인 위치를 결정하기 위한 알고리즘이 구비되어 있을 수 있다. 전환 거울에 대한 사용자의 상대적인 위치는 전환 거울내의 기 설정된 픽셀 좌표로써 표현될 수 있다.
단계 S630에서, 디바이스(100)는 디스플레이부에 대한 사용자의 상대적인 위치에 기초하여, 디스플레이부에 비친 사용자 이미지의 위치를 결정할 수 있다.
디바이스(100)는 전환 거울에 대한 사용자의 상대적인 위치에 기초하여, 디스플레이부에 비친 사용자 이미지의 위치를, 전환 거울내의 기 설정된 픽셀 좌표로써 표현할 수 있다.
도 7a 및 7b는 본 개시의 일 실시예에 따른, 디바이스(100)가 전환 거울에 비친 사용자 이미지의 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 7a를 참조면, 디바이스(100)는 전환 거울(115) 앞에 위치한 사용자(10)를 촬영하고, 사용자(10)의 촬영 이미지에 기초하여, 전환 거울(115)에 대한 사용자(10)의 위치를 결정할 수 있다.
디바이스(100)는 사용자(10)를 촬영하기 위한 적어도 하나의 카메라를 구비할 수 있다. 적어도 하나의 카메라는 거울 앞에 위치할 사용자(10)를 향하여 고정될 수 있다. 또한, 적어도 하나의 카메라는 디스플레이부(110)에 고정될 수 있으며, 디스플레이부(110)가 부착된 벽면에 고정될 수도 있다. 또한, 실시예에 따라, 카메라는 전환 거울(115)의 중심(710)에, 사용자(10)를 바라보는 방향으로 구비될 수 있다. 또한, 실시예에 따라, 카메라는 전환 거울(115)의 정면에서, 전환 거울(115)을 바라보는 방향으로 구비될 수도 있다. 또한, 실시예에 따라 사용자(10)가 착용한 스마트 안경(Smart Glass)로부터 스마트 안경이 촬영한 영상을 수신할 수도 있다.
디바이스(100)는 카메라가 촬영한 이미지 내에서의 사용자(10)의 위치에 기초하여, 전환 거울(115)에 대한 사용자(10)의 상대적인 위치를 결정할 수 있다. 예를 들어, 도 7a의 디스플레이부(110)의 왼쪽에 부착된 카메라(155_1) 및 오른쪽에 부착된 카메라(155_2)에 의해 사용자(10)가 촬영됨에 따라, 디바이스(100)는 다른 방향에서 촬영된 두 개의 이미지를 획득할 수 있다. 디바이스(100)는 카메라(155_1, 55_2)의 위치, 촬영 방향 및 촬영된 이미지 내에서의 사용자(10)의 위치에 기초하여, 전환 거울(115)에 대한 사용자(10)의 상대적인 위치를 결정할 수 있다. 또한, 디바이스(100)는, 다른 방향에서 촬영된 두 개의 이미지 내에서의 사용자(10)의 위치를 함께 고려하여, 전환 거울(115)에 대한 사용자(10)의 상대적인 위치를 결정할 수 있다.
전환 거울(115)에 대한 사용자(10)의 상대적인 위치는, 사용자(10)의 중심이 전환 거울(115)의 중심을 기준으로 왼쪽 또는 오른쪽으로 얼마만큼 떨어져 있는지, 사용자(10)의 머리가 전환 거울(115)의 중심을 기준으로 위쪽 또는 아래쪽으로 얼마만큼 떨어져 있는지, 사용자(10)가 전환 거울(115)의 표면으로부터 얼마만큼 떨어져 있는지 또는 사용자(10)가 전환 거울(115)의 표면을 기준으로 회전한 방향 및 각도를 의미할 수 있다.
도 7b를 참조하면, 디바이스(100)는 결정된 전환 거울(115)에 대한 사용자(10)의 상대적인 위치에 기초하여, 전환 거울(115)에 비친 사용자 이미지(20)의 위치를 결정할 수 있다. 예를 들어, 디바이스(100)에는 전환 거울(115)에 대한 사용자(10)의 상대적인 위치에 따라, 전환 거울(115)에 비친 사용자 이미지(20)의 위치 및 모양을 결정하기 위한 계산식이 저장되어 있을 수 있다.
디바이스(100)는 전환 거울(115)의 왼쪽 상단을 원점으로, 전환 거울(115)의 오른쪽 하단을 끝점으로 하는 N*N 픽셀 좌표를 기준으로, 사용자 이미지(20)의 위치를 결정할 수 있다. 예를 들어, 디바이스(100)는 전환 거울(115) 내에 비춰진 사용자 이미지(20)의 머리 꼭대기의 위치를 (n, n)으로 결정할 수 있다.
도 8은 본 개시의 일 실시예에 따른, 디바이스(100)가 디스플레이부에 비친 사용자 이미지와 객체가 겹치지 않도록 객체의 디스플레이 위치를 결정하는 방법을 나타내는 흐름도이다.
단계 S810에서, 디바이스(100)는 사용자의 입력에 따라 화면 및 거울 중 적어도 하나로 동작하며, 사용자에게 제공할 정보에 관한 객체를 디스플레이할 수 있다. 단계 S820에서, 디바이스(100)는 사용자가 디스플레이부 앞에 위치함에 따라, 디스플레이부에 비친 사용자 이미지의 위치를 결정할 수 있다.
단계 S830에서, 디바이스(100)는 디스플레이부에 비친 사용자 이미지와 객체가 겹치지 않도록 객체의 디스플레이 위치를 결정할 수 있다.
실시예에 따라, 디바이스(100)는 객체의 디스플레이 위치를 변경하지 않고, 객체가 디스플레이된 영역이 투명 유리에서 반투명 유리로 동작하도록 전환 거울을 제어할 수도 있다. 이 경우, 사용자가 전화 거울에 나타나면서 동시에 객체 또한 디스플레이될 수 있다.
도 9a 및 9b는 본 개시의 일 실시예에 따른, 디바이스(100)가 디스플레이부의 전환 거울에 비친 사용자 이미지와 객체가 겹치지 않도록 객체의 디스플레이 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 9a를 참조하면, 디바이스(100)는 디스플레이부(110)의 전환 거울에 비친 사용자 이미지(20)와 객체(910)가 겹쳐지지 않도록 객체(910)의 디스플레이 위치를 결정할 수 있다.
디바이스(100)는 디스플레이부(110)의 전환 거울에 비친 사용자 이미지(20)의 위치를 결정할 수 있다. 예를 들어, 디바이스(100)는 전환 거울 상에서 사용자 이미지(20)가 위치하는 영역을 전환 거울 상의 픽셀의 좌표로써 결정할 수 있다.
전환 거울에 비친 사용자 이미지(20)의 위치를 결정함에 따라, 디바이스(100)는 디스플레이부(110)에 디스플레이할 객체(910)의 크기를 결정할 수 있다. 디바이스(100)는 결정된 객체(910)의 크기 및 전환 거울 상에서 사용자 이미지(20)가 위치하는 영역의 좌표에 기초하여, 전환 거울에 비친 사용자 이미지(20)와 객체(910)가 겹쳐지지 않도록 객체(910)의 디스플레이 위치를 결정할 수 있다.
사용자(10)가 전환 거울의 왼쪽에서 오른쪽으로 이동함에 따라, 전환 거울에 비친 사용자 이미지(20) 또한 전환 거울의 왼쪽에서 오른쪽으로 이동할 수 있다. 이에 따라, 전환 거울에 비친 사용자 이미지(20)는 디스플레이된 객체(910)와 겹쳐질 수 있다.
전환 거울 중 객체(910)가 디스플레이된 영역이 투명한 유리로써 동작하는 경우, 객체(910)가 디스플레이된 영역에는 사용자 이미지(20)가 나타나지 않을 수 있다. 따라서, 이러한 경우, 사용자(10)는 자신의 이미지를 보기 위해서 다시 이동해야 하는 불편함이 있을 수 있다.
도 9b를 참조하면, 디바이스(100)는 디스플레이부(110)의 전환 거울에 비친 사용자 이미지(20)와 객체(910)가 겹쳐지지 않도록 객체(910)의 디스플레이 위치를 변경할 수 있다.
디바이스(100)는 사용자(10)가 전환 거울의 왼쪽에서 오른쪽으로 이동함에 따라, 전환 거울에 비친 사용자 이미지(20)와 객체(910)가 겹쳐지지 않도록 객체(910)의 디스플레이 위치를 전환 거울의 오른쪽에서 왼쪽으로 변경할 수 있다.
도 9a 및 9b에 도시되지 않았으나, 디바이스(100)는 전환 거울에 비친 사용자 이미지(20)와 객체(910)가 겹쳐지지 않도록 객체(910)의 크기를 변경할 수 있다. 예를 들어, 사용자(10)가 전환 거울의 왼쪽에서 오른쪽으로 이동함에 따라, 디바이스(100)는 객체(910)의 크기를 줄임으로써 전환 거울에 비친 사용자 이미지(20)와 객체(910)가 겹쳐지지 않도록 할 수 있다.
디바이스(100)는 전환 거울에 비친 사용자 이미지(20)와 객체(910)가 겹쳐지지 않도록 객체(910)의 모양을 변경할 수도 있다. 예를 들어, 또한, 사용자(10)가 전환 거울의 왼쪽에서 오른쪽으로 이동함에 따라, 객체(910)의 모양을 세로로 긴 사각형 모양으로 변경함으로써 전환 거울에 비친 사용자 이미지(20)와 객체(910)가 겹쳐지지 않도록 할 수 있다.
도 10는 본 개시의 일 실시예에 따른, 디바이스(100)가 디스플레이부의 전환 거울에 비친 사용자 이미지 중 사용자의 눈의 위치에 기초하여, 객체의 디스플레이 위치를 결정하는 방법을 나타내는 흐름도이다.
단계 S1010에서, 디바이스(100)는, 사용자의 입력에 따라 화면 및 거울 중 적어도 하나로 동작하며, 사용자에게 제공할 정보에 관한 객체를 디스플레이할 수 있다. 단계 S1020에서, 디바이스(100)는, 사용자가 디스플레이부 앞에 위치함에 따라, 디스플레이부에 비친 사용자 이미지의 위치를 결정할 수 있다.
단계 S1030에서, 디바이스(100)는, 디스플레이부에 비친 사용자 이미지 중 사용자의 눈의 위치에 기초하여, 객체의 디스플레이 위치를 결정할 수 있다.
도 11a 및 11b는 본 개시의 일 실시예에 따른, 디바이스(100)가 디스플레이부(110)의 전환 거울에 비친 사용자 이미지(20) 중 사용자의 눈의 위치(25)에 기초하여, 객체(910)의 디스플레이 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 11a을 참조하면, 디바이스(100)는 전환 거울에 비친 사용자 이미지(20) 중 사용자의 눈의 위치(25)에 기초하여, 객체(910)의 디스플레이 위치를 결정할 수 있다.
디바이스(100)는 전환 거울에 비친 사용자 이미지(20) 중 사용자의 눈의 위치(25)를 결정할 수 있다. 예를 들어, 디바이스(100)는 얼굴 인식 알고리즘을 이용하여, 전환 거울에 비친 사용자 이미지(20) 중 사용자(10)의 얼굴 영역의 위치를 결정하고, 사용자(10)의 얼굴 영역에서 사용자(10)의 눈 영역의 위치를 결정할 수 있다.
디바이스(100)는 사용자(10)의 눈 영역의 높이에 맞추어 객체(910)의 높이를 결정할 수 있다. 예를 들어, 디바이스(100)는 객체(910)의 중심이 사용자(10)의 눈 영역의 높이와 동일한 높이에 위치하도록 객체(910)의 높이를 결정할 수 있다.
도 11b를 참조하면, 사용자의 눈의 위치(25)가 변경된 경우, 디바이스(100)는 변경된 눈의 위치(25)에 기초하여, 객체(910)의 디스플레이 위치를 변경할 수 있다.
사용자(10)가 서 있는 상태에서 의자에 앉는 경우, 사용자의 눈의 위치(25)는 위에서 아래로 이동할 수 있다. 사용자의 눈의 위치(25)가 위에서 아래로 이동함에 따라, 디바이스(100)는 객체(910)의 높이가 사용자(10)의 눈의 높이와 동일해지도록, 객체(910)의 위치를 위에서 아래로 이동시킬 수 있다.
또한, 도 11a 및 11b에 도시되지 않았으나, 사용자의 눈의 위치(25)가 전환 거울 내에서 오른쪽 또는 왼쪽으로 이동함에 따라, 디바이스(100)는 객체(910)의 위치를 눈의 이동 방향과 동일하게 오른쪽 또는 왼쪽으로 이동시킬 수 있다.
도 12는 본 개시의 일 실시예에 따른, 디바이스(100)가 디스플레이부에 비친 사용자 이미지의 형상에 따라, 동영상의 좌우를 반전하는 방법을 나타내는 흐름도이다.
단계 S1210에서, 디바이스(100)는, 사용자의 입력에 따라 화면 및 거울 중 적어도 하나로 동작하며, 사용자에게 제공할 정보에 관한 객체를 디스플레이할 수 있다. 계 S1220에서, 디바이스(100)는 사용자가 디스플레이부 앞에 위치함에 따라, 디스플레이부에 비친 사용자 이미지의 형상을 결정할 수 있다.
단계 S1230에서, 디바이스(100)는 결정된 사용자 이미지의 형상에 따라, 동영상의 좌우를 반전시킬 수 있다.
도 13a 및 13b는 본 개시의 일 실시예에 따른, 디바이스(100)가 디스플레이부에 비친 사용자 이미지의 형상에 따라, 동영상의 좌우를 반전하는 방법을 설명하기 위한 도면이다.
도 13a 및 13b를 참조하면, 디바이스(100)는 디스플레이부(110)의 전환 거울에 비친 사용자 이미지(20)의 형상에 따라, 동영상(1320)의 좌우를 반전시킬 수 있다.
예를 들어, 객체는 사용자(10)가 따라 할 수 있는 동작을 나타내는 동영상(1320)일 수 있다. 동영상(1320)에서 시연자(1310)가 하는 오른팔 또는 오른손의 동작은, 왼팔 또는 왼손의 동작과 상이할 수 있다. 이 때, 시연자(1310)가 사용자(10)를 바라보고 시연하는 동영상(1320)인 경우, 사용자(10) 마다 시연자(1310)를 따라 하는 스타일이 상이할 수 있다. 예를 들어, 일부 사용자들은 시연자(1310)의 오른쪽 동작 및 왼쪽 동작과 동일하게 따라할 수 있으며, 다른 사용자들은 시연자(1310)의 오른쪽 동작을 왼쪽 동작으로, 시연자(1310)의 왼쪽 동작을 오른쪽 동작으로 따라할 수 있다.
도 13a와 같이, 사용자(10)가 시연자(1310)의 오른쪽 동작 및 왼쪽 동작을 동일하게 따라하는 경우, 전환 거울에 비친 사용자(10)의 동작 이미지와 디스플레이되는 시연자(1310)의 동작 이미지의 좌우는 반대일 수 있다. 이 때, 자신의 이미지(20)와 디스플레이되는 동영상(1320)의 이미지를 함께 보는 경우, 사용자(10)는 오른쪽 동작과 왼쪽 동작을 구분하기 어려울 수 있다.
도 13b를 참조하면, 디바이스(100)는 전환 거울에 비친 사용자 이미지(20)의 형상과 디스플레이되는 시연자(1310)의 형상을 비교하여, 전환 거울에 비친 사용자 이미지(20)의 좌우 동작과 디스플레이되는 시연자(1310)의 좌우 동작이 동일해지도록 디스플레이되는 이미지를 좌우 반전시킬 수 있다.
도 14는 본 개시의 일 실시예에 따른, 디바이스(100)가 디스플레이부에 비친 사용자 이미지 중, 기 설정된 신체의 일부에 대응되는 부분과 객체가 겹쳐지도록 이미지의 디스플레이 위치를 결정하는 방법을 나타내는 흐름도이다.
단계 S1410에서, 디바이스(100)는 사용자의 입력에 따라 화면 및 거울 중 적어도 하나로 동작하며, 사용자에게 제공할 정보에 관한 객체를 디스플레이할 수 있다. 단계 S1420에서, 디바이스(100)는, 사용자가 디스플레이부 앞에 위치함에 따라, 디스플레이부에 비친 사용자 이미지의 위치를 결정할 수 있다.
단계 S1430에서, 디바이스(100)는, 디스플레이부에 비친 사용자 이미지 중, 기 설정된 신체의 일부에 대응되는 부분과 객체가 겹쳐지도록 객체의 디스플레이 위치를 결정할 수 있다.
객체의 디스플레이 위치를 결정함에 따라, 디바이스(100)는 전환 거울의 영역 중 객체가 디스플레이될 영역을 투명하게 또는 반투명하게 변경하고, 변경된 영역에 객체를 디스플레이함으로써 사용자의 이미지의 일부 영역에 객체를 디스플레이할 수 있다.
도 15는 본 개시의 일 실시예에 따른, 디바이스(100)가 디스플레이부에 비친 사용자 이미지 중, 기 설정된 신체의 일부에 대응되는 부분과 객체가 겹쳐지도록 이미지의 디스플레이 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 15를 참조하면, 디바이스(100)는 디스플레이부(110)에 비친 사용자 이미지(20) 중, 기 설정된 신체의 일부에 대응되는 부분과 객체가 겹쳐지도록 이미지의 디스플레이 위치를 결정할 수 있다.
예를 들어, 디바이스(100)는 사용자(10)가 실제 의류를 착용하지 않더라도, 전환 거울(115)에 비친 사용자 이미지(20)의 기 설정된 영역에 의류를 디스플레이함으로써 가상으로 의류를 착용할 수 있는 서비스를 제공할 수 있다.
디바이스(100)는 의류를 선택하는 사용자 입력을 수신할 수 있다. 디바이스(100)는 선택된 의류의 종류를 결정하고, 결정된 의류의 종류에 대응되는 신체의 영역을 결정할 수 있다. 디바이스(100)에는 의류의 종류에 따라 대응되는 신체의 영역이 결정되어 있을 수 있다. 예를 들어, 셔츠의 경우, 사용자의 몸통 및 팔 영역이 결정되어 있을 수 있으며, 원피스의 경우, 사용자의 목에서부터 허벅지까지의 영역이 결정되어 있을 수 있다.
디바이스(100)는 전환 거울(115)에 비친 사용자 이미지(20) 중 사용자(10)에 의해 선택된 의류에 대응되는 영역의 위치를 결정할 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 사용자(10)에 의해 선택된 의류가 원피스(1510)인 경우, 디바이스(100)는 전환 거울(115)에 비친 사용자 이미지(20) 중 사용자(10)의 목과 허벅지 영역의 위치를 결정하고, 선택된 원피스(1510)가 사용자(10)의 목에서부터 허벅지까지의 영역에 디스플레이되도록 선택된 원피스(1510)의 디스플레이 위치를 결정할 수 있다.
이 경우, 디바이스(100)는 사용자(10)의 실제 신체 사이즈와 원피스(1510)의 사이즈에 관한 정보를 획득하고, 획득된 사용자(10)의 실제 사이즈와 원피스(1510)의 사이즈에 기초하여, 사용자(10)가 실제로 원피스(1510)를 입었을 때의 착용 상태와 동일해지도록, 원피스(1510)의 디스플레이 위치를 결정할 수 있다.
도 16은 본 개시의 일 실시예에 따른, 디바이스(100)가 디스플레이부로부터 사용자까지의 거리에 기초하여, 객체의 크기 및 해상도 중 적어도 하나를 결정하는 방법을 나타내는 흐름도이다.
단계 S1610에서, 디바이스(100)는 사용자의 입력에 따라 화면 및 거울 중 적어도 하나로 동작하며, 사용자에게 제공할 정보에 관한 객체를 디스플레이할 수 있다. 단계 S1620에서, 디바이스(100)는 사용자가 디스플레이부 앞에 위치함에 따라, 디스플레이부로부터 사용자까지의 거리를 결정할 수 있다.
단계 S1630에서, 디바이스(100)는 결정된 거리에 기초하여, 이미지의 크기 및 해상도 중 적어도 하나를 결정할 수 있다.
도 17 내지 18b는 본 개시의 일 실시예에 따른, 디바이스(100)가 디스플레이부로부터 사용자까지의 거리에 기초하여, 객체의 크기를 결정하는 방법을 설명하기 위한 도면이다.
도 17 내지 18b를 참조하면, 디바이스(100)는 디스플레이부(110)로부터 사용자(10)까지의 거리에 기초하여, 객체의 크기를 결정할 수 있다.
예를 들어, 도 17에 도시된 바와 같이, 전환 거울(115)에 비친 사용자 이미지(20)의 기 설정된 영역에 의류(1710)를 디스플레이한 상태에서, 사용자(10)의 크기가 변경됨에 따라, 변경된 사용자(10)의 크기에 맞추어 디스플레이된 의류(1710)의 크기를 변경할 수 있다. 예를 들어, 디바이스(100)는 사용자(10)가 전환 거울(115)의 표면으로부터 멀어짐에 따라, 디스플레이된 의류(1710)의 크기를 줄일 수 있으며, 사용자(10)가 전환 거울(115)의 표면으로부터 가까워짐에 따라 디스플레이된 의류(1710)의 크기를 늘릴 수 있다.
또한, 예를 들어, 도 18a에 도시된 바와 같이, 디바이스(100)는 사용자(10)가 전환 거울(115)의 표면으로부터 가까워짐에 따라, 디스플레이된 텍스트(1810)의 크기를 줄일 수 있으며, 도 18b에 도시된 바와 같이, 사용자(10)가 전환 거울(115)의 표면으로부터 멀어짐에 따라 디스플레이된 텍스트(1810)의 크기를 키울 수 있다.
또한, 도 17 내지 18b에 도시되지 않았으나, 디바이스(100)는 디스플레이부(110)로부터 사용자(10)까지의 거리에 기초하여, 객체의 해상도를 결정할 수 있다.
예를 들어, 디스플레이부(110)가 스트리밍 동영상을 디스플레이하고 있는 상태에서, 사용자(10)가 전환 거울(115)의 표면으로부터 멀어짐에 따라, 디바이스(100)는 스트리밍 이미지의 해상도를 낮출 수 있으며, 사용자(10)가 전환 거울(115)의 표면으로 가까워짐에 따라, 디바이스(100)는 스트리밍 이미지의 해상도를 높일 수 있다.
해상도는 하나의 객체가 표현되기 위해 사용된 데이터의 수를 의미할 수 있다. 동일한 객체를 표현한 이미지라도 이미지의 해상도가 높으면 보다 많은 데이터로 표현된 이미지일 수 있다.
도 19는 본 개시의 일 실시예에 따른, 디바이스(100)가 사용자 입력에 기초하여, 객체의 디스플레이 위치를 결정하는 방법을 나타내는 흐름도이다.
단계 S1910에서, 디바이스(100)는 사용자의 입력에 따라 화면 및 거울 중 적어도 하나로 동작하며, 사용자에게 제공할 정보에 관한 객체를 디스플레이할 수 있다. 단계 S1920에서, 디바이스(100)는 디스플레이부 상에 디스플레이된 객체를 선택하고, 선택된 객체를 이동시키는 사용자 입력을 수신할 수 있다.
단계 S1930에서, 디바이스(100)는 사용자 입력에 기초하여, 객체의 디스플레이 위치를 결정할 수 있다.
도 20은 본 개시의 일 실시예에 따른, 디바이스(100)가 사용자 입력에 기초하여, 객체의 디스플레이 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 20을 참조하면, 디바이스(100)는 디스플레된 객체(2010)를 선택하고, 선택된 객체를 이동시키는 사용자 입력을 수신할 수 있다.
예를 들어, 디바이스(100)는 디바이스(100)에 구비된 카메라를 이용하여, 전환 거울(115)에 대한 사용자의 손의 상대적인 위치를 결정하고, 결정된 손의 상대적인 위치에 기초하여, 전환 거울(115)에 비친 손 이미지(22)가, 디스플레된 객체(2010)로부터 기 결정된 거리 내에 위치하는지 여부를 판단할 수 있다.
전환 거울(115)에 비친 손 이미지(22)가, 디스플레된 객체(2010)로부터 기 결정된 거리 내에 위치하는 경우, 디바이스(100)는 사용자가 디스플레된 객체(2010)를 선택한 것으로 결정하고, 객체(2010)가 선택되었음을 나타내는 표시자(2020)를 디스플레이부(110)에 디스플레이할 수 있다.
또한, 객체(2010)가 선택된 상태에서, 사용자의 손이 이동함에 따라, 디바이스(100)는 전환 거울(115)에 비친 손 이미지(22)의 이동 위치에 따라 객체(2010)의 디스플레이 위치를 변경할 수 있다.
도 21은 본 개시의 일 실시예에 따른, 디바이스(100)는 전환 거울(115)을 터치하는 사용자의 터치 입력을 수신할 수 있다.
도 21을 참조하면, 디바이스(100)는 전환 거울(115) 앞 또는 뒤에 터치 패널을 구비할 수 있다. 이에 따라, 디스플레이부(110)는 터치 스크린으로 동작할 수 있다.
디바이스(100)는 디스플레이부(110)에 동영상(2110) 및 동영상을 제어하기 위한 복수의 버튼을 포함하는 사용자 인터페이스(2120)를 디스플레이할 수 있다. 복수의 버튼 중 빨리 감기 버튼이 디스플레이된 영역을 터치하는 사용자 입력을 수신함에 따라, 디바이스(100)는 터치된 영역의 위치를 결정하고, 동영상을 빨리 감기하여 재생할 수 있다.
도 22는 본 개시의 일 실시예에 따른, 추천 시스템(2000)이 사용자 질문에 대하여 적어도 하나의 답변을 사용자에게 추천해주는 방법을 나타내는 흐름도이다.
추천 시스템(2000)은 도 2에 도시된 바와 같이, 디스플레이부를 구비한 디바이스(100) 및 제 1 서버(1000_a)로 구성될 수 있으며, 도 35a에 도시된 바와 같이, 디스플레이부를 구비한 디바이스(100) 및 개인화 Q&A 엔진(300)이 구현된 제 2 서버(1000_b)와 일반 Q&A 엔진(400)이 구현된 제 3 서버(1000_c)로 구성될 수도 있다. 또한, 추천 시스템(2000)은 도 35b에 도시된 바와 같이, 디스플레이부(110) 및 개인화 Q&A 엔진(300)이 구현된 디바이스(100) 및 일반 Q&A 엔진(400)이 구현된 제 3 서버(1000_c)로 구성될 수도 있다.
단계 S2210에서, 추천 시스템(2000)은 사용자로부터 질문을 수신할 수 있다.
추천 시스템(2000)은 가정에서 사용하는 개인용 추천 시스템(2000)일 수 있으며, 상점에서 고객의 쇼핑에 도움을 주기 위한 추천 시스템(2000)(예를 들어, 디지털 사이니지(Digital Signage))일 수 있다.
추천 시스템(2000)은 사용자로부터 질문을 수신하기 전에, 추천 서비스를 실행할 지 여부를 결정할 수 있다.
예를 들어, 추천 시스템(2000)은 사용자로부터 수신된 음성 데이터에 기초하여, 추천 서비스를 시작할 수 있다. 예를 들어, 추천 시스템(2000)은 수신된 음성 데이터의 특징이 추천 시스템(2000)에 저장된 특징과 동일한 경우, 질문을 한 사용자가 추천 시스템(2000)에 설정된 사용자임을 인식하고, 추천 서비스를 시작할 수 있다. 또한, 예를 들어, 추천 시스템(2000)에는 특정 단어가 서비스를 시작하기 위한 트리거 신호로써 저장되어 있을 수 있다. 이에 따라, 수신된 음성 데이터가 트리거 신호로써 저장된 단어를 나타내는 경우, 추천 시스템(2000)은 추천 서비스를 시작할 수 있다.
또한, 예를 들어, 추천 시스템(2000)은 디스플레이부를 터치하는 사용자 입력을 수신함에 따라, 추천 서비스를 시작할 수 있다. 이 경우, 추천 시스템(2000)은 디스플레이부 내의 터치 인식이 가능한 영역 중 기 설정된 영역을 터치하는 사용자 입력을 수신함에 따라, 추천 서비스를 시작할 수 있다. 또한, 추천 시스템(2000)은 디스플레이부에 디스플레이된 기 설정된 버튼을 터치하는 사용자 입력을 수신함에 따라, 추천 서비스를 시작할 수 있다. 또한, 실시예에 따라, 추천 시스템(2000)은 터치 입력이 아닌 기 설정된 물리적 버튼을 누르는 사용자 입력을 수신함에 따라, 추천 서비스를 시작할 수 있다.
또한, 예를 들어, 추천 시스템(2000)은 적외선 센서를 이용하여, 기 설정된 거리 이상을 움직이는 사물이 존재하는지 여부를 판단하고, 기 설정된 거리 이상을 움직이는 사물이 존재하는 경우, 추천 서비스를 시작할 수 있다. 추천 시스템(2000)은 적외선 센서를 이용하여, 사용자가 추천 시스템(2000)으로부터 기 결정된 거리 내에 위치함에 따라, 추천 서비스를 시작할 수 있다.
또한, 예를 들어, 추천 시스템(2000)은 카메라를 이용하여 추천 시스템(2000) 주변을 촬영하고, 촬영된 이미지 내에서 사람의 얼굴이 인식되는 경우, 추천 서비스를 시작할 수 있다. 예를 들어, 추천 시스템(2000)은 얼굴 인식 기술에 기초하여, 카메라로 촬영된 이미지 내에 사람의 얼굴이 존재하는지 여부를 판단할 수 있다.
또한, 예를 들어, 추천 시스템(2000)은 촬영된 이미지 내의 눈의 방향이 추천 시스템(2000)을 바라보고 있는 방향인 경우, 추천 서비스를 시작할 수 있다. 또한, 추천 시스템(2000)은 촬영된 이미지 내의 얼굴의 크기에 기초하여, 추천 시스템(2000)으로부터 사용자까지의 거리를 산출하고, 추천 시스템(2000)으로부터 사용자까지의 거리가 기 설정된 거리 이하인 경우, 추천 서비스를 시작할 수 있다.
추천 시스템(2000)은 직접 촬영된 이미지 내에서 얼굴을 인식할 수 있으며, 기 설정된 서버에게 촬영된 이미지를 전송하고, 서버로부터 촬영된 이미지 내에 얼굴이 존재하는지 여부, 눈의 방향 또는 추천 시스템(2000)으로부터 사용자까지의 거리를 수신할 수도 있다. 이 경우, 추천 시스템(2000)은 추천 시스템(2000)과 서버와의 네트워크 상태에 따라, 촬영된 이미지 내에서 얼굴 영역만을 추출하고, 추출된 얼굴 영역 이미지만을 서버에게 전송할 수 있다. 또한, 추천 시스템(2000)은 추천 시스템(2000)과 서버와의 네트워크 상태에 따라, 촬영된 이미지를 다운 샘플링하여 이미지의 크기를 줄이고, 크기가 줄어든 이미지를 서버에게 전송할 수도 있다.
추천 서비스가 시작됨에 따라, 추천 시스템(2000)은 사용자로부터 질문을 수신할 수 있다. 추천 시스템(2000)은 사용자로부터 질문을 수신하기 위해, 마이크 및 터치 패드 등의 사용자 입력 장치를 구비할 수 있다. 질문은 의문문의 형태로 수신될 수도 있으나, 명령문, 평서문 형태의 문장을 수신될 수 있으며, 단어 또는 구문 형태로 수신할 될 수도 있다.
단계 S2220에서, 디바이스(100)는 사용자 정보에 기초하여, 사용자의 성향을 결정할 수 있다.
추천 서비스를 시작함에 따라, 추천 시스템(2000)은 사용자의 사용자 정보를 획득하기 위해, 얼굴이 촬영된 또는 음성 데이터가 수신된 사용자가 기 등록된 사용자인지 여부를 판단할 수 있다.
예를 들어, 추천 시스템(2000)은 얼굴 인식 기술을 이용하여, 사용자의 얼굴이 기 등록되어 있는지 여부를 판단할 수 있다. 예를 들어, 촬영된 이미지 내의 사용자의 얼굴의 특징을 추출하고, 추출된 특징이 기 등록되어 있는지 여부에 기초하여, 촬영된 사용자가 기 등록된 사용자인지 여부를 판단할 수 있다.
또한, 추천 시스템(2000)은 음성 인식 기술을 이용하여, 사용자의 음성이 기 등록되어 있는지 여부를 판단할 수 있다. 예를 들어, 추천 시스템(2000)은 수신된 음성 데이터로부터 음성의 특징을 추출하고, 추출된 특징이 기 등록되어 있는지 여부에 기초하여, 사용자가 기 등록된 사용자인지 여부를 판단할 수 있다.
사용자가 기 등록된 사용자인 경우, 추천 시스템(2000)은 등록된 얼굴 또는 등록된 음성에 대응하여 저장된 사용자 정보를 획득할 수 있다.
추천 시스템(2000)은, 사용자 등록을 위한 사용자 인터페이스를 제공할 수 있다. 사용자는 사용자 인터페이스를 통해, 사용자 정보를 입력할 수 있다. 사용자 정보는 사용자 계정 정보 및 사용자의 이름, 나이, 성별, 인종, 주소, SNS 계정 정보, 홈페이지 주소, 블로그 주소 등과 같은 사용자의 신상 정보를 포함할 수 있다.
또한, 사용자는 사용자 인터페이스를 통해, 얼굴 인식을 위해 자신의 얼굴을 촬영을 할 수 있으며, 음성 인식을 위해 음성을 녹음을 할 수 있다. 추천 시스템(2000)은 촬영된 사용자의 얼굴 및 녹음된 음성에 대응하여, 사용자 정보를 저장할 수 있다.
또한, 사용자가 의도적으로 추천 시스템(2000)에 자신을 등록하지 않더라도, 추천 시스템(2000)은 자동으로 사용자의 얼굴을 촬영하거나, 음성을 녹음하고, 촬영된 얼굴 또는 녹음된 음성을 사용자 식별 정보로써 저장할 수 있다.
또한, 사용자가 의도적으로 추천 시스템(2000)에 사용자 정보를 입력하지 않더라도, 추천 시스템(2000)은 사용자의 대화 내용, 상품 구매 이력, 상품 추천 이력을 사용자 정보로써 저장할 수 있다. 또한, 추천 시스템(2000)은 사용자의 외관을 촬영하고, 촬영된 사용자의 외관 이미지에 기초하여, 사용자의 성별, 대략적인 나이, 인종 등에 관한 정보를 획득할 수 있다. 또한, 추천 시스템(2000)은 사용자의 웃음 정보를 사용자 정보로써 저장할 수 있다.
이에 따라, 추천 시스템(2000)은 사용자가 의도적으로 자신을 추천 시스템(2000)에 등록하지 않더라도, 사용자의 음성 데이터 및 얼굴 이미지에 기초하여, 사용자가 방문했던 시간, 사용자가 구매했던 상품의 목록, 사용자에게 추천하였던 상품의 목록 등을 획득할 수 있다.
또한, 추천 시스템(2000)은 사용자의 식별 정보에 기초하여, 사용자가 방문했던 웹 페이지 주소를 획득하고, 사용자와 방문했던 웹 페이지를 크롤링(Crawling)하여, 웹 페이지에 저장된 사용자 정보를 획득할 수 있다. 예를 들어, 추천 시스템(2000)은 사용자의 식별 정보에 기초하여, 사용자의 SNS 서비스 식별 정보, SNS 계정 정보를 획득하고, 획득된 사용자의 SNS 서비스 식별 정보, SNS 계정 정보에 기초하여, SNS 서버로부터 사용자가 저장한 내용을 획득할 수 있다. 또한, 추천 시스템(2000)은 사용자의 식별 정보에 기초하여, 사용자의 블로그 주소를 획득하고, 블로그에 기록된 내용을 크롤링함으로써, 사용자가 저장한 내용을 획득할 수 있다.
추천 시스템(2000)은 사용자 정보에 기초하여, 사용자의 성향을 결정할 수 있다.
예를 들어, 추천 시스템(2000)은 수신된 질문의 카테고리에 대한 사용자의 성향을 결정하기 위한 사용자 속성의 종류를 획득하고, 사용자 정보에 기초하여, 사용자 속성의 속성값을 결정하고, 사용자 속성의 속성값에 기초하여, 사용자의 성향을 결정할 수 있다. 사용자 속성의 속성값에 기초하여, 사용자의 성향을 결정하는 방법은 도 27 내지 도 29b를 참조하여 후술된다.
또한, 예를 들어, 추천 시스템(2000)은, 소셜 네트워크 서비스 내의 사용자들의 성향에 따라 분류된 특징과 사용자 정보가 나타내는 특징을 비교하여, 사용자의 성향을 결정할 수도 있다. 이러한 실시예는, 도 30을 참조하여 후술된다.
단계 S2230에서, 추천 시스템(2000)은 결정된 사용자의 성향에 기초하여, 질문에 대한 적어도 하나의 답변을 획득할 수 있다.
추천 시스템(2000)에는 사용자의 성향에 따라 질문에 대한 적어도 하나의 답변이 저장되어 있을 수 있다.
단계 S2240에서, 추천 시스템(2000)은 획득된 적어도 하나의 답변을 사용자에게 추천할 수 있다.
예를 들어, 추천 시스템(2000)은 획득된 적어도 하나의 답변을 디스플레이할 수 있다. 추천 시스템(2000)은 획득된 적어도 하나의 답변을 텍스트, 이미지 또는 동영상 형태로 디스플레이할 수 있다.
또한, 추천 시스템(2000)은 획득된 적어도 하나의 답변을 음성으로 출력할 수도 있다.
또한, 추천 시스템(2000)은 추천 서비스를 종료할지 여부를 결정할 수 있다. 예를 들어, 추천 시스템(2000)은 촬영된 이미지에서 기 설정된 시간 동안 사용자의 얼굴이 인식되지 않으면, 서비스를 종료할 수 있다. 또한, 추천 시스템(2000)은 기 설정된 시간 동안 사용자의 음성이 수신되지 않으면, 서비스를 종료할 수 있다. 또한, 추천 시스템(2000)은 적외선 센서를 이용하여, 센싱되는 객체가 존재하지 않으면, 서비스를 종료할 수 있다. 또한, 추천 시스템(2000)은 기 설정된 버튼을 선택하는 사용자 입력을 수신함에 따라, 추천 서비스를 종료할 수 있다.
도 23a 및 23b는 본 개시의 일 실시예에 따른, 추천 시스템(2000)이 사용자 질문에 대하여 적어도 하나의 답변을 사용자에게 추천해주는 방법을 설명하기 위한 도면이다.
도 23a를 참조하면, 사용자로부터 질문을 수신함에 따라, 추천 시스템(2000)은 수신된 질문을 분석하고, 답변을 위해 필요한 정보를 사용자에게 다시 요청할 수 있다.
예를 들어, 추천 시스템(2000)은 질문의 내용을 정확히 수신하였는지 여부를 확인하기 위해, 추천 시스템(2000)이 해석한 내용이 정확한지 여부를 다시 사용자에게 묻거나, 수신된 질문의 의도를 사용자에게 묻는 질문을 할 수 있다. 예를 들어, 사용자로부터 “오늘 데이트 있어 일단 예쁘게 보이고 싶고, 어려 보이고 싶고, 청순하게도 보이고 싶은데, 어떻게 해야 할까?”라는 질문을 수신한 경우, 추천 시스템(2000)은, “예쁘게, 어려 보이게, 청순하게 맞나요?”라는 질문을 사용자에게 할 수 있다.
또한, 예를 들어, 추천 시스템(2000)은 답변을 위해 필요한 사용자 정보를 사용자에게 요청할 수 있다. 예를 들어, 메이크업에 대한 질문을 수신한 경우, 추천 시스템(2000)은 사용자의 얼굴 상태, 얼굴 톤, 헤어 스타일 또는 얼굴 형태에 관한 정보를 획득하기 위해, 사용자에게 얼굴 촬영을 요청할 수 있다. 이 경우, 추천 시스템(2000)은 전환 거울에 비친 사용자 이미지와 함께, 촬영된 이미지를 디스플레이할 수 있다.
사용자 정보는 사용자 이미지뿐만 아니라, 음성 데이터, 나이, 성별, 키, 성향 또는 생체 신호 등을 포함할 수 있으나, 이에 제한되지 않는다. 사용자로부터 사용자 정보를 수신함에 따라, 추천 시스템(2000)은 사용자 정보에 기초하여, 질문에 대한 답변을 결정할 수 있다. 이 경우, 추천 시스템(2000)은 전환 거울에 비친 사용자 이미지와 함께, 결정된 답변을 디스플레이할 수 있다.
도 23b를 참조하면, 추천 시스템(2000)은 사용자의 응답에 기초하여, 질문에 대한 답변을 추천할 수 있다.
예를 들어, 추천 시스템(2000)은 제공한 답변에 대한 사용자의 응답에 기초하여, 질문에 대한 다른 답변을 다시 제공할 수 있다. 예를 들어, 추천 시스템(2000)이 메이크업 스타일에 대한 질문에 대한 답변으로 특정 스타일을 표현하는 이미지를 디스플레이한 경우, 사용자는 추천 시스템(2000)이 추천 메이크업 스타일에 대하여 조금 더 사랑스러운 스타일로 변경해줄 것을 요청할 수 있다. 이에 따라, 추천 시스템(2000)은 기 수신한 사용자의 질문 및 제공된 답변에 대한 사용자의 응답에 기초하여, 새로운 스타일을 사용자에게 추천할 수 있다.
또한, 추천 시스템(2000)은 사용자가 가진 제품에 기초하여, 질문에 대한 답변을 제공할 수 있다.
예를 들어, 추천 시스템(2000)에는 사용자가 가진 제품이 기 저장되어 있을 수 있다. 이에 따라, 추천 시스템(2000)은 사용자가 가지고 있는 화장품의 종류, 색상에 기초하여, 사용자에게 가능한 메이크업 정보를 제공할 수 있다. 예를 들어, 사용자가 스킨, 로션, 수분크림, 선크림 및 쉐도우는 가지고 있으나, 토너, 에센스를 가지고 있지 않은 경우, 스킨, 로션, 수분크림, 선크림 및 쉐도우 만으로 따라할 수 있는 동영상을 추천할 수 있다.
추천 시스템(2000)은 사용자가 가지고 있는 제품을 등록하기 위한 사용자 인터페이스를 제공할 수 있다. 예를 들어, 사용자가 자신이 가지고 있는 제품을 추천 시스템(2000)에 구비된 카메라에 접근시키는 경우, 추천 시스템(2000)은 제품을 촬영하고, 촬영된 제품 이미지 내의 제품의 모양, 제품에 적힌 텍스트, 이미지 또는 제품의 바코드에 기초하여, 제품명, 제품의 용도, 제품의 유효 기간 등을 결정할 수 있다. 또한, 추천 시스템(2000)은 결정된 제품에 관한 정보를 디스플레이하고, 추천 시스템(2000)에 제품에 관한 정보를 저장하는 사용자 입력을 수신할 수 있다.
또한, 예를 들어, 제품명, 제품의 용도를 직접 입력하기 위한 사용자 인터페이스를 제공할 수도 있다.
도 24a는 본 개시의 다른 실시예에 따른, 추천 시스템(2000)이 사용자 질문에 대하여 적어도 하나의 답변을 사용자에게 추천해주는 방법을 설명하기 위한 도면이다.
도 24a를 참조하면, 추천 시스템(2000)은 사용자가 가지고 있는 제품에 기초하여, 사용자에게 상품을 추천할 수 있다.
사용자가 특정 용도에 관한 제품에 대한 추천을 요청한 경우, 추천 시스템(2000)은 사용자가 가진 제품과 동일한 제품을 주문하는 사용자 인터페이스를 제공할 수 있다. 또한, 사용자가 특정 용도에 관한 제품에 대한 추천을 요청한 경우, 추천 시스템(2000)은 사용자가 가지지 않은 제품 중에 하나를 추천할 수 있다.
예를 들어, 사용자로부터 “앗!! 자외선 차단제 다 썼네.. “라는 내용의 음성 데이터를 수신한 경우, 추천 시스템(2000)은 사용자가 사용해 보지 않은 제품 중에 사용자의 피부에 보다 더 적합한 새로운 제품을 추천할 수 있다. 이에 따라, 추천 시스템(2000)은 “주인님 피부 톤이나 화장 선호도를 봤을 때, 엘리자베스 아덴 자외선 차단제를 추천 드려요~.”라는 답변을 제공할 수 있다.
또한, 추천 시스템(2000)은 사용자가 사용하는 채팅 서버를 통해 사용자의 디바이스(100)에게 사용자가 요청한 정보를 전송할 수 있다. 추천 시스템(2000)은 사용자가 사용하는 채팅 서버에, 사용자에게 메시지를 전송할 수 있고, 사용자로부터 메시지를 수신할 수 있는 사용자의 친구로써 등록되어 있을 수 있다.
사용자로부터 “추천 상품 정보 좀 “ChatOn” 으로 보내줘~~”라는 음성 데이터를 수신한 경우, 추천 시스템(2000)은 추천 상품 정보를 획득하고, 획득된 추천 상품 정보를 사용자에게 전송해 줄 것을 사용자가 사용하는 채팅 서버에게 요청할 수 있다. 이에 따라, 사용자의 디바이스(100)는 채팅 어플리케이션을 실행하여, 채팅 서버로부터 추천 시스템(2000)이 전송한 추천 상품 정보를 디스플레이할 수 있다.
도 24b를 참조하면, 추천 시스템(2000)은 사용자가 요청한 정보와 함께, 요청한 정보와 관련된 정보를 함께 제공할 수 있다.
예를 들어, “오늘 날씨 어때?”라는 질문을 수신한 경우, 추천 시스템(2000)은 오늘의 날씨를 나타내는 정보를 음성 또는 이미지로 출력한 후, 자외선 지수, 자외선 차단에 필요한 화장품, 습도, 습도에 맞는 화장품 등을 추천할 수 있다.
또한, “아르헨티나 스위스는?”라는 질문을 수신한 경우, 추천 시스템(2000)은 최근 경기 중 아르헨티나와 스위스가 대전한 경기를 검색하고, 검색된 경기의 스코어를 음성 또는 이미지로 출력한 후, 경기와 관련된 기사 또는 경기 영상을 디스플레이할 수 있다.
도 25는 본 개시의 일 실시예에 따른, 추천 시스템(2000)이 사용자의 음성 데이터 또는 얼굴 이미지에 기초하여, 사용자 정보를 획득하는 방법을 나타내는 흐름도이다.
추천 시스템(2000)은 센서를 구비한 디바이스(100)만으로 구성될 수 있으며, 디바이스(100) 및 서버로 구성될 수 있다.
단계 S2510에서, 추천 시스템(2000)은 사용자의 음성 데이터 또는 얼굴 이미지를 획득할 수 있다.
추천 시스템(2000)은 음성 센서(예를 들어, 마이크) 또는 이미지 센서(예를 들어, 카메라)를 구비할 수 있다. 추천 시스템(2000)은 음성 센서를 이용하여 사용자의 음성 데이터를 수신할 수 있다. 또한, 추천 시스템(2000)은 이미지 센서를 이용하여 사용자의 얼굴 이미지를 획득할 수 있다.
단계 S2520에서, 추천 시스템(2000)은 획득된 음성 데이터에 기초하여 사용자의 음성의 특징을 결정 또는 획득된 얼굴 이미지에 기초하여 얼굴의 특징을 결정할 수 있다.
예를 들어, 추천 시스템(2000)은 얼굴 인식 기술을 이용하여 촬영된 이미지 내의 사용자의 얼굴의 특징을 추출할 수 있다.
단계 S2530에서, 추천 시스템(2000)은 음성의 특징 및 얼굴의 특징 중 적어도 하나에 대응하여 저장된, 사용자 정보를 획득할 수 있다.
추천 시스템(2000)에는 음성의 특징 또는 얼굴의 특징에 대응하여 사용자 정보가 저장되어 있을 수 있다.
예를 들어, 추천 시스템(2000)에는 음성의 특징 또는 얼굴의 특징에 대응하여 기 등록된 사용자 ID를 획득할 수 있다. 이에 따라, 추천 시스템(2000)은 획득된 사용자 ID에 대응하여 저장된 사용자 정보를 획득할 수 있다.
또한, 예를 들어, 추천 시스템(2000)에 등록되지 않은 사용자가 매장을 방문하여, 매장에 구비된 사이니지에게 상품 추천을 요청한 경우, 추첨 시스템은 사용자의 음성 또는 얼굴 이미지를 획득하고, 사용자의 음성의 특징 또는 얼굴의 특징에 대응하여, 사용자가 매장을 방문한 시간, 사용자가 입력한 조건 및 상품 추천 목록을 저장할 수 있다. 이 때, 사용자가 추천된 상품을 직접 가서 확인한 후 다시 사이니지에게 돌아온 경우, 추천 시스템(2000)에는 사용자의 음성의 특징 또는 얼굴의 특징에 대응하여, 사용자가 추천 시스템(2000)을 사용한 시간, 사용자가 요청한 정보 및 사용자에게 추천된 상품의 목록이 저장되어 있을 수 있다. 따라서, 추천 시스템(2000)은 다시 사용자의 음성 데이터 또는 얼굴 이미지를 획득하고, 음성의 특징 또는 얼굴의 특징에 대응하여 저장되었던 사용자가 요청한 정보, 추천되었던 상품을 고려하여, 새로운 상품을 추천할 수 있다.
도 26은 본 개시의 일 실시예에 따른, 추천 시스템(2000)이 등록되지 않은 사용자의 추천 시스템(2000) 사용 이력에 기초하여, 아이템을 추천하는 방법을 설명하기 위한 도면이다.
도 26을 참조하면, 추천 시스템(2000)은 매장 내의 사이니지일 수 있다. 또한, 사용자는 매장을 방문한 고객일 수 있다.
추천 시스템(2000)은 마이크(150)를 이용하여 고객의 음성 데이터를 획득할 수 있다. 또한, 추천 시스템(2000)은 카메라(155)를 이용하여 고객의 얼굴 이미지를 획득할 수 있다. 추천 시스템(2000)은 획득된 음성 데이터 또는 얼굴 이미지에 기초하여, 기 등록된 고객인지 여부를 판단할 수 있다.
고객이 기 등록된 고객이 아닌 경우, 추천 시스템(2000)은 음성의 특징 또는 얼굴의 특징에 대응하여 고객 정보를 저장할 수 있다. 예를 들어, 추천 시스템(2000)은 음성의 특징 또는 얼굴의 특징에 대응하여, 고객이 추천 시스템(2000)을 사용한 시간, 요청한 정보, 사용자에게 추천된 상품을 저장할 수 있다. 이 경우, 추천 시스템(2000)은 고객이 미등록된 고객임을 나타내는 표시(2640)를 디스플레이할 수 있다.
고객이 잠시 후 다시 추천 시스템(2000)으로 돌아온 경우, 추천 시스템(2000)은 추천 시스템(2000)을 사용하려는 고객의 음성 데이터 및 얼굴 이미지에 기초하여, 추천 시스템(2000)을 사용한 시간, 요청한 정보 및 사용자에게 추천된 상품을 획득할 수 있다. 이에 따라, 추천 시스템(2000)은 몇 분 전에 추천 시스템(2000)을 사용한 고객인 것으로 판단하고, 추천된 상품이 마음에 들지 않았는지를 묻는 메시지(2630)를 디스플레이할 수 있다. 또한, 추천 시스템(2000)은 고객이 요청한 정보 및 기 추천된 상품에 기초하여, 새로운 상품(2650)을 추천할 수 있다.
도 27은 본 개시의 일 실시예에 따른, 추천 시스템(2000)이 사용자 정보에 기초하여, 사용자의 성향을 결정하는 방법을 나타내는 흐름도이다.
추천 시스템(2000)은 디스플레이부를 구비한 디바이스(100) 및 서버로 구성될 수 있으며, 디바이스(100)를 제외한 서버만으로 구현될 수도 있다. 예를 들어, 추천 시스템(2000)은 도 35a에 도시된 개인화 Q&A 엔진(300)을 구비한 제 2 서버(1000_b)일 수 있다. 또한, 예를 들어, 추천 시스템(2000)은 도 2에 도시된 개인화 Q&A 엔진(300) 및 일반 Q&A 엔진(400)을 구비한 제 1 서버(1000_a)일 수도 있다.
단계 S2710에서, 추천 시스템(2000)은, 사용자의 질문을 획득할 수 있다.
추천 시스템(2000)은 사용자로부터 직접 질문을 수신할 수 있으며, 추천 시스템(2000)이 서버인 경우, 디바이스(100)로부터 사용자의 질문을 수신할 수 있다.
단계 S2720에서, 추천 시스템(2000)은, 수신된 질문의 카테고리에 대한 사용자의 성향을 결정하기 위한 사용자 속성의 종류를 결정할 수 있다.
질문의 카테고리는 질문이 요구하는 데이터의 카테고리를 의미할 수 있다. 예를 들어, 질문이 “오늘 데이트 있어 일단 예쁘게 보이고 싶고, 어려 보이고 싶고, 청순하게도 보이고 싶은데, 어떻게 해야 할까?”인 경우, 질문의 카테고리는 화장 또는 패션일 수 있다. 또한, 질문이 “오늘 핫 뉴스 없어?”인 경우, 질문의 카테고리는 뉴스일 수 있다.
질문의 카테고리를 결정함에 따라, 추천 시스템(2000)은 질문의 카테고리에 대한 사용자의 성향을 결정하기 위한 사용자 속성의 종류를 결정할 수 있다.
카테고리 마다 선택될 수 있는 복수의 성향이 결정되어 있을 수 있다. 예를 들어, 도 29를 참조하면, 패션에 대응하는 복수의 성향은 빈티지(Vintage), 소박한(Rustic), 클래식(Classic), 멋진(Chic) 또는 모던(Modern) 스타일일 수 있다. 또한, 패션에 대응하는 복수의 성향은 제 1 스타일리스트 또는 제 2 스타일리스트일 수 있다.
또한, 복수의 성향 중 사용자의 성향은 사용자의 속성에 기초하여 결정될 수 있다. 예를 들어, 도 29를 참조하면, 성향을 결정하기 위한 사용자의 속성은, 겸손도(Modesty), 예술적 관심도(Artistic interest), 조심성(Cautiousness), 활동 수준(Activity level), 자기 표현 정도(assertiveness), 쾌활성(Cheerfulness), 자의식 수준(Self consciousness), 모험심(Adventurousness), 정서성(Emotionality) 또는 창의력(Imagination)일 수 있다.
추천 시스템(2000)은 카테고리에 대응하는 복수의 성향 및 복수의 성향 중 하나를 결정하기 위한 사용자의 속성의 종류를 저장하고 있을 수 있으며, 기 설정된 외부 서버로부터 수신할 수도 있다. 예를 들어, 추천 시스템(2000)은 일반 Q&A 엔진(400)을 구비한 서버에게 패션에 대한 복수의 성향 및 복수의 성향 중 하나를 결정하기 위한 사용자의 속성의 종류를 요청하여 획득할 수 있다.
단계 S2730에서, 추천 시스템(2000)은 사용자 정보에 기초하여, 사용자 속성의 속성값을 결정할 수 있다.
추천 시스템(2000)은 사용자 정보에 기초하여, 사용자 속성의 속성값을 결정할 수 있다. 사용자 정보는 성별, 나이, 인종, 상품 구매 이력, 웃음 정보 등을 포함할 수 있다. 예를 들어, 사용자가 여자, 20대, 백인인 경우, 추천 시스템(2000)은 자기 표현 정도 및 활동 수준을 높게 결정할 수 있다. 또한, 사용자가 남자, 60대, 흑인인 경우, 추천 시스템(2000)은 쾌활성 및 정서성을 높게 결정할 수 있다.
또한, 추천 시스템(2000)은 사용자와 방문했던 웹 페이지를 크롤링하여 획득한 사용자 정보에 기초하여, 사용자 속성의 속성값을 결정할 수 있다. 예를 들어, 사용자의 SNS 페이지에 기록된 텍스트, 이미지 또는 음악을 크롤링하여, 사용자가 사용하는 단어, 이미지가 나타내는 뉘앙스 또는 음악의 장르 등에 기초하여, 사용자 속성의 속성값을 결정할 수 있다.
도 28을 참조하면, 추천 시스템(2000)은 예를 들어, 사용자의 겸손도를 20, 예술적 관심도를 70, 조심성을 40, 활동 수준을 20, 자기 표현 정도를 80, 쾌활성을 60, 자의식 수준을 20, 모험심을 80, 정서성을 60, 창의력을 80으로 결정할 수 있다.
단계 S2740에서, 추천 시스템(2000)은 사용자 속성의 속성값에 기초하여, 사용자의 성향을 결정할 수 있다.
예를 들어, 추천 시스템(2000)은 사용자 속성의 속성값에 기초하여, 사용자의 성향을 결정할 수 있다. 예를 들어, 추천 시스템(2000)은 사용자 속성의 속성값과 기 설정된 범위 내에서 유사한 값을 갖는 스타일리스트를 결정할 수 있다. 도 29a는 제 1 스타일리스트가 연출할 수 있는 성향 및 각각의 성향에 대한 사용자 속성의 속성값을 나타낸다. 또한, 도 29b는 제 2 스타일리스트가 연출할 수 있는 성향 및 각각의 성향에 대한 사용자 속성의 속성값을 나타낸다. 도 28에 나타난 사용자 속성의 속성값은 제 1 스타일리스트의 모던 스타일과 기 설정된 범위 내에서 유사한 값을 나타내므로, 추천 시스템(2000)은 제 1 스타일리스트의 모던 스타일을 추천할 스타일로써 결정할 수 있다.
도 30은 본 개시의 일 실시예에 따른, 추천 시스템(2000)이 인구통계학적 특징에 기초하여, 사용자의 성향을 결정하는 방법을 나타내는 흐름도이다.
추천 시스템(2000)은 디스플레이부를 구비한 디바이스(100) 및 서버로 구성될 수 있으며, 디바이스(100)를 제외한 서버만으로 구현될 수도 있다. 예를 들어, 추천 시스템(2000)은 도 35a에 도시된 개인화 Q&A 엔진(300)을 구비한 제 2 서버(1000_b)일 수 있다. 또한, 예를 들어, 추천 시스템(2000)은 도 2에 도시된 개인화 Q&A 엔진(300) 및 일반 Q&A 엔진(400)을 구비한 제 1 서버(1000_a)일 수도 있다.
단계 S3010에서, 추천 시스템(2000)은 사용자 정보를 획득할 수 있다.
사용자 정보는 인구통계학적 특징을 나타내는 정보를 의미할 수 있다. 인구통계학적 특징을 나타내는 정보는 예를 들어, 나이, 성별, 체형, 사는 장소, 심박수와 같은 생체 신호 등을 포함할 수 있으나, 이에 제한되지 않는다. 인구통계학적 특징을 나타내는 정보는 추천 시스템(2000)에 기 결정되어 있을 수 있다.
추천 시스템(2000)은 추천 시스템(2000)에 저장된 사용자 정보를 획득할 수 있다. 또한, 사용자 정보가 추천 시스템(2000)에 저장되지 않은 경우, 추천 시스템(2000)은 센서를 이용하여 사용자 정보를 획득할 수 있다. 예를 들어, 추천 시스템(2000)은 추천 시스템(2000)에 구비된 마이크를 이용하여 사용자의 음성 데이터를 획득할 수 있다. 또한, 추천 시스템(2000)은 추천 시스템(2000)에 구비된 카메라를 이용하여 사용자의 이미지를 획득할 수 있다.
추천 시스템(2000)은 획득된 음성 데이터 또는 사용자의 이미지에 기초하여, 사용자의 나이, 성별, 체형 등을 결정할 수 있다. 또한, 추천 시스템(2000)은 추천 시스템(2000)에 구비된 GPS 정보를 이용하여 사용자가 위치하는 장소를 결정할 수 있다. 또한, 추천 시스템(2000)은 사용자에 부착된 생체 센서로부터 사용자의 생체 신호를 수신할 수 있다. 예를 들어, 추천 시스템(2000)은 사용자에 부착된 심전도 센서로부터 사용자의 심박수를 수신할 수 있다.
단계 S3020에서, 추천 시스템(2000)은 소셜 네트워크 서비스 내의 사용자들의 성향에 따라 분류된 특징과 사용자 정보가 나타내는 특징을 비교하여, 사용자의 성향을 결정할 수 있다.
소셜 네트워크 서비스 내의 사용자들의 성향에 따라 분류된 특징은, 예를 들어, 빈티지 스타일을 선호하는 사용자들은 20대, 남성, 마른 체형의 특징을 갖는 사용자들일 수 있다. 소셜 네트워크 서비스를 제공하는 서버는 소셜 네트워크 서비스를 통해 수집된 사용자들의 정보를 이용하여, 사용자들의 성향에 따라 나타나는 특징을 분류하여 저장할 수 있다.
이에 따라, 추천 시스템(2000)은 소셜 네트워크 서비스 내의 사용자들의 성향에 따라 분류된 특징과 사용자 정보가 나타내는 특징을 비교하여, 사용자의 성향을 결정할 수 있다.
예를 들어, 사용자 정보가 30대, 여성, 뚱뚱한 체형인 경우, 추천 시스템(2000)은 30대, 여성, 뚱뚱한 체형에 대응하는 것으로 결정된 클래식 스타일을 사용자의 성향으로써 결정할 수 있다.
도 31은 본 개시의 일 실시예에 따른, 디바이스(100)가 추천 아이템을 디스플레이하는 방법을 설명하기 위한 도면이다.
도 31을 참조하면, 디바이스(100)는 전환 거울에 비친 사용자 이미지와 함께 추천 아이템을 디스플레이할 수 있다.
예를 들어, 사용자가 자신에게 어울리는 의류 아이템을 요청한 경우, 디바이스(100)는 서버에게 사용자에게 어울리는 의류 아이템을 요청하고, 서버로부터 의류 아이템을 수신할 수 있다.
서버로부터 의류 아이템을 수신함에 따라, 디바이스(100)는 전환 거울에 비친 사용자 이미지와 함께 수신된 의류 아이템을 디스플레이할 수 있다.
도 32는, 본 개시의 일 실시예에 따른, 추천 시스템(2000)의 블록도를 도시한다.
도 32를 참조하면, 추천 시스템(2000)은, 디바이스(100) 및 Q&A 엔진(500)으로 구성될 수 있다. Q&A 엔진(500)은 디바이스(100)와 다른 별도의 서버로써 구현될 수 있으며, 디바이스(100) 내부에 소프트웨어, 하드웨어 또는 소프트웨어와 하드웨어의 결합으로써 구현될 수도 있다. Q&A 엔진이 디바이스(100) 내부에 구현되는 경우, 디바이스(100)는 추천 시스템(2000) 자체를 의미할 수 있다.
디바이스(100)는 디스플레이부(110)를 포함하는 장치일 수 있다. 디스플레이부(110)는 전환 거울(115)과 객체를 디스플레이하는 디스플레이 장치(117)가 결합되어 거울 및 화면 중 적어도 하나로써 동작할 수 있다.
또한, 디바이스(100)는 다양한 종류의 센서를 구비할 수 있다. 예를 들어, 디바이스(100)는 마이크(150), 카메라(155), 적외선 센서 및 터치 센서(147) 등을 구비할 수 있다. 디바이스(100)는 디바이스(100)에 구비된 마이크(150)를 이용하여 사용자로부터 음성 데이터를 수신할 수 있다. 예를 들어, 디바이스(100)는 사용자로부터 질문, 명령 또는 요청하는 사용자의 음성 데이터를 수신할 수 있다. 또한, 디바이스(100)는 디바이스(100)에 구비된 카메라(155)를 이용하여 사용자를 촬영함으로써, 사용자의 얼굴, 상체 및 특정 부위 등을 나타내는 이미지를 획득할 수 있다. 또한, 디바이스(100)는 디바이스(100)에 구비된 적외선 센서를 이용하여, 디바이스(100) 근처에 사용자가 있는지 여부, 디바이스(100)로부터 사용자까지의 거리 또는 사용자가 바라보는 방향을 결정할 수 있다. 또한, 디바이스(100)는 터치 센서(147)를 이용하여 사용자 입력을 수신할 수 있다. 예를 들어, 전환 거울(115)에 터치 센서(147)가 부착될 수 있다. 이에 따라, 디바이스(100)는 전환 거울(115) 상에 터치된 위치 결정하고, 터치 제스쳐를 인식할 수 있다.
디바이스(100)는 수신된 질문, 명령 또는 요청하는 음성 데이터를 Q&A 엔진(500)에게 전송할 수 있다. 또한, 디바이스(100)는 음성 데이터, 촬영된 사용자의 이미지 등을 사용자 정보로써 Q&A 엔진(500)에게 전송할 수 있다. 또한, 디바이스(100)는 Q&A 엔진(500)으로부터 질문에 대한 답변을 수신할 수 있다.
Q&A 엔진(500)은 개인화 Q&A 엔진(300) 및 일반 Q&A 엔진(400)으로 분리되어 구현될 수 있다. 개인화 Q&A 엔진(300) 및 일반 Q&A 엔진(400)은 서로 다른 서버로 분리되어 구현될 수 있으며, 하나의 서버로 구현될 수 있다.
개인화 Q&A 엔진(300)은 질문 및 사용자 정보를 획득하고, 사용자 정보에 기초하여 사용자의 성향을 결정하고, 결정된 성향에 기초하여 사용자로부터 수신된 질문을 변환하고, 변환된 질문을 일반 Q&A 엔진(400)에게 전달하고, 일반 Q&A 엔진(400)으로부터 질문에 대한 후보 답변을 수신하고, 수신된 후보 답변 중 신뢰도 또는 정확도에 기초하여 정확한 답변을 선택할 수 있다. 또한, 개인화 Q&A 엔진(300)은 사용자 정보를 저장할 수 있다.
개인화 Q&A 엔진(300)은 사용자의 질문을 분석하고, 사용자 정보에 기초하여, 질문의 보정하고, 보정된 질문에 기초하여 일반 Q&A 엔진(400)으로부터 적어도 하나의 답변을 획득하고, 획득된 답변을 디바이스(100)에게 전송할 수 있다.
개인화 Q&A 엔진(300)은 음성 인식부(STT, 312), 이미지 인식부(Recognition, 314), 질문 해석부(Test Analysis, 316), 개인화 질문 생성부(Personalized Question Generation, 318), 개인화 데이터베이스(Personalized DB, 320), 캐쉬 데이터베이스(Cached DATA, 338), 중복 질문 확인부(Question Deduplication, 336), 개인화 추천부(Personalized Recommendation, 334), 출력 정보 생성부(Visualization & Sound, 332)를 포함할 수 있다.
음성 인식부(312)는, 사용자의 음성을 인식하여 텍스트로 변환할 수 있다.
얼굴 인식부(314)는, 카메라로 촬영된 사진 또는 동영상 내의 사용자의 얼굴, 행동을 인식할 수 있다. 예를 들어, 얼굴 인식부(314)는, 전환 거울 상에 터치 입력하는 사용자의 제스처를 인식할 수 있다.
사용자가 음성으로 입력한 문장은 의문문일 수도 있으며, 디바이스(100)가 특정 동작을 하도록 명령하기 위한 명령문일 수도 있다. 또한, 사용자가 음성으로 입력한 문장은 의문문 또는 명령문 이외에 평서문, 감탄문 등 다양한 형태의 문장일 수도 있다.
질문 해석부(316)는 음성 인식부(312)를 통해 텍스트로 변환된 문장에 기초하여, 사용자가 음성으로 입력한 문장이 의문문인지 명령문인지 여부를 결정할 수 있다. 사용자가 음성으로 입력한 문장이 의문문인 경우, 질문 해석부(316)는 텍스트로 변환된 문장을 개인화 질문 생성부(318)에게 송신할 수 있다. 또한, 사용자가 음성으로 입력한 문장이 명령문인 경우, 질문 해석부(316)는, 명령문에 기초하여, 기 저장된 복수의 명령 중 하나를 결정하고, 결정된 명령에 기초하여, 디바이스(100)를 동작시킬 수 있다.
개인화 질문 생성부(318)는, 개인화 데이터베이스(320)로부터 사용자 정보를 수신하고, 수신된 사용자 정보에 기초하여, 사용자가 음성으로 입력한 문장 내의 단어 또는 표현의 의미 및 특징을 분석하고, 일반 Q&A 엔진(400)으로부터 보다 정확한 답변을 얻을 수 있도록, 문장을 보정할 수 있다.
예를 들어, 사용자 A가 “아름답게 보이고 싶다”라는 요청을 한 경우, 개인화 질문 생성부(318)는 “아름답게 보이고 싶다”라는 문장을 “착하게 보이고 싶다”라고 보정하는 반면, 사용자 B가 “아름답게 보이고 싶다”라는 요청을 한 경우, 개인화 질문 생성부(318)는 “섹시하게 보이고 싶다”로 보정할 수 있다.
개인화 데이터베이스(320)는 사용자의 데이터를 저장할 수 있다. 사용자의 데이터는 사용자 관련 로그 데이터베이스(322) 및 사용자 선호 성향 데이터베이스(324)를 포함할 수 있다. 사용자 관련 로그 데이터베이스(322)는 사용자 관련 로그를 저장할 수 있다. 사용자 관련 로그는, 예를 들어, 사용자가 입력한 질문, 추천된 복수의 답변 중 사용자가 선택한 항목, 추천된 복수의 상품 중 구매한 리스트 또는 특정 답변에 대하여 사용자가 입력하였던 추가적인 질문을 포함할 수 있다.
사용자 선호 성향 데이터베이스(324)는 사용자 관련 로그에 기초하여 산출된 사용자 선호 성향 정보를 저장할 수 있다. 사용자 선호 성향 정보는, 예를 들어, 특정 분야에서 사용자가 선호하는 스타일 또는 종류에 관한 정보일 수 있다. 예를 들어, 사용자 선호 성향 정보는, 사용자가 선호하는 패션 스타일, 화장 스타일 또는 음식의 종류일 수 있다.
개인화 질문 생성부(318)는, 보정된 질문을 중복 질문 확인부(336)에게 송신할 수 있다. 중복 질문 확인부(336)는, 개인화 데이터베이스(320)에 저장된 사용자 관련 로그에 기초하여, 수신된 질문이 이전에 수신된 적이 있는지 여부를 결정할 수 있다. 수신된 질문이 이전에 수신된 적이 있는 경우, 중복 질문 확인부(336)는, 질문에 대한 답변을 캐쉬 데이터베이스로부터 획득하고, 획득된 답변을 개인화 추천부(334)에게 송신할 수 있다.
수신된 질문이 이전에 수신된 적이 없는 경우, 중복 질문 확인부(336)는 수신된 질문을 일반 Q&A 엔진(400)에게 문의할 수 있다.
개인화 추천부(334)는 일반 Q&A 엔진(400)으로부터 질문에 대한 답변을 수신할 수 있다. 개인화 추천부(334)는 일반 Q&A 엔진(400)으로부터 복수개의 답변을 수신할 수 있다. 이 경우, 개인화 추천부(334)는 사용자 정보에 기초하여, 복수개의 답변 중 적어도 하나를 선택할 수 있다. 예를 들어, 개인화 추천부(334)는, 사용자 관련 로그에 기초하여, 사용자가 이전에 선택하였던 답변을 선택할 수 있다. 또한, 개인화 추천부(334)는, 사용자 선호 성향 정보에 기초하여, 복수개의 답변 중 사용자가 선택할 확률이 높은 답변을 선택할 수도 있다. 개인화 추천부(334)는, 선택된 답변을 출력 정보 생성부(332)에게 전송할 수 있다.
출력 정보 생성부(332)는, 수신된 답변을 나타내는 이미지, 음성, 텍스트 등을 생성할 수 있다. 출력 정보 생성부(332)는, 생성한 이미지, 음성, 텍스트 등을 디바이스(100)에게 전송할 수 있다. 디바이스(100)는 수신된 이미지, 음성, 텍스트를 출력할 수 있다.
일반 Q&A 엔진(400)은 질문 분석 및 답변부(415) 및 지식 데이터베이스(420)를 포함할 수 있다.
질문 분석 및 답변부(415)는 개인화 Q&A 엔진(300)으로부터 수신된 질문을 분석하고, 질문에 대한 답변을 개인화 Q&A 서버(300)에게 전송할 수 있다. 질문 분석 및 답변부(415)는 지식 데이터베이스(420)에게 질문에 대한 답변을 생성하기 위해 필요한 정보를 문의(Query)하고, 지식 데이터베이스(420)로부터 요청된 정보를 수신할 수 있다.
지식 데이터베이스(420)는 다양한 정보를 저장할 수 있다. 예를 들어, 지식 데이터베이스(420)는 전문 서적, 잡지, 블로그, 메이크업 아티스트 따른 미용 정보를 저장할 수 있다.
도 33a 및 33b는 본 개시의 일 실시예에 따른, 추천 시스템(2000)을 나타내는 도면이다.
도 33a를 참조하면, 추천 시스템(2000)은 디바이스(100), 개인화 Q&A 엔진(300)을 구비한 제 2 서버(1000_b) 및 일반 Q&A 엔진(400)을 구비한 제 3 서버(1000_c)를 포함할 수 있다.
도 33a에 도시된 바와 같이, 추천 시스템(2000)은 디바이스(100), 개인화 Q&A 엔진(300) 및 일반 Q&A 엔진(400)이 분리되어 구현될 수 있으며, 디바이스(100), 제 2 서버(1000_b) 및 제 3 서버(1000_c)는 서로 다른 회사에 의해 제조 또는 운영될 수 있다.
도 33b를 참조하면, 추천 시스템(2000)은 개인화 Q&A 엔진(300)을 구비한 디바이스(100)와 일반 Q&A 엔진(400)을 구비한 제 3 서버(1000_c)를 포함할 수 있다.
예를 들어, 가정용 추천 시스템(2000)의 경우, 개인화 Q&A 엔진(300)은 디바이스(100)에 구비되어 있을 수 있다. 디바이스(100)와 제 3 서버(1000_c)는 네트워크를 통해 데이터를 송수신할 수 있다.
도 34은 본 개시의 일 실시예에 따른, 동영상 강의 중, 추천 시스템(2000)이 사용자의 요구에 따라 동적으로 강의 자료를 제공하는 방법을 설명하기 위한 도면이다.
도 34을 참조하면, 추천 시스템(2000)은 전자 칠판(Smart Board, 3610), 디바이스(100) 및 Q&A 엔진을 구비한 서버(1000)를 포함할 수 있다.
전자 칠판 (3410)은, 강의자가 기 생성된 수업 자료를 선택적으로 디스플레이함에 따라, 화면(3415)에 디스플레이된 이미지와 강의자의 음성을 기 설정된 강의 중계 서버에게 전송함으로써 강의자의 강의를 강의 시청자에게 제공할 수 있다.
디바이스(100)는 강의 시청자의 디바이스(100)일 수 있다. 또한, 디바이스(100)는 기 설정된 강의 중계 서버에 연결되어, 강의자의 전자 칠판(3410)이 전송한 강의 이미지를 수신하고, 수신된 동영상을 디스플레이할 수 있다
추천 시스템(2000)은 동영상 강의 중, 강의자 또는 강의 시청자의 요구에 따라, 동적으로 강의 자료를 제공할 수 있다.
예를 들어, 강의 내용이 “paul cezannes”라는 화가에 대한 내용인 경우, 강의 시청자는 “paul cezannes”라는 인물에 대해 설명해 줄 것을 디바이스(100)에게 요청할 수 있다. “paul cezannes”에 관한 정보를 묻는 강의 시청자의 음성 데이터(3420)을 수신함에 따라, 디바이스(100)는 Q&A 서버(1000)에게 강의 내용에 포함된 “paul cezannes”에 관한 정보를 요청할 수 있다.
디바이스(100)로부터 “paul cezannes”에 관한 정보 요청을 수신함에 따라, Q&A 서버(1000)는 “paul cezannes”에 관한 정보(3440)를 강의자의 전자 칠판(3410)에게 전송할 수 있다. 강의자의 전자 칠판(3410)은 Q&A 서버(1000)로부터 수신한 “paul cezannes”에 관한 정보(3440)를 디스플레이할 수 있다. 이 경우, 강의자의 전자 칠판(3410)은 Q&A 서버(1000)로부터 “paul cezannes”에 관한 정보(3440)가 수신되었음을 알리는 알림창을 디스플레이할 수 있으며, 강의자의 선택에 따라, 수신된 “paul cezannes”에 관한 정보(3440)를 디스플레이하거나 디스플레이하지 않을 수 있다.
“paul cezannes”에 관한 정보(3440)가 디스플레이됨에 따라, 전자 칠판(3410)은 “paul cezannes”에 관한 정보(3440)가 포함된 강의 이미지를 강의 중계 서버에게 전송함으로써 강의 시청자에게 “paul cezannes”에 관한 정보(3440)를 제공할 수 있다.
실시예에 따라, Q&A 서버(1000)는 전자 칠판(3410)이 아닌 정보를 요청한 디바이스(100)에게만 요청된 정보를 제공할 수도 있다.
또한, 전자 칠판(3410)은 강의 중에 디스플레이된 객체를 선택하고, 선택된 객체에 대한 정보를 요청하는 강의자의 사용자 입력을 수신하거나, 질문을 하는 강의자의 음성을 수신할 수 있다.
강의자로부터 디스플레이된 객체에 대한 정보를 요청하는 사용자 입력을 수신함에 따라, 전자 칠판(3410)은 선택된 객체에 대한 정보를 Q&A 서버(1000)에게 요청할 수 있다. 또한, 강의자로부터 질문을 하는 강의자의 음성 데이터를 수신함에 따라, 수신된 음성 데이터를 Q&A 서버(1000)에게 전송할 수 있다.
예를 들어, 강의자로부터 “paul cezannes”의 그림에 대한 정보를 요청하는 사용자 입력을 수신함에 따라, 전자 칠판(3410)은 디스플레이된 “paul cezannes”의 그림 이미지(3430)를 Q&A 서버(1000)에게 전송하고, 전송된 그림 이미지에 대한 정보를 요청할 수 있다.
전자 칠판(3410)으로부터 이미지에 관한 정보 요청을 수신함에 따라, Q&A 서버(1000)는 수신된 이미지에 관한 정보를 강의자의 전자 칠판(3410)에게 전송할 수 있다.
이에 따라, 추천 시스템(2000)은 강의자 또는 강의 시청자의 요구에 따라, 동적으로 강의 자료를 제공할 수 있다.
도 35은 본 개시의 일 실시예에 따른, 디바이스(100)가 홈 내의 환경 상태 또는 시청자의 건강 상태를 모니터링하고, 모니터링한 결과를 제공하는 방법을 설명하기 위한 도면이다.
도 35을 참조하면, 디바이스(100)는 디스플레이부를 구비한 장치 일 수 있다. 예를 들어, 디바이스(100)는 스마트 TV와 같은 가전 제품일 수 있으며, 태블릿 PC, 스마트 폰과 같은 모바일 장치일 수도 있다.
디바이스(100)는 홈 네트워크와 연결되어 홈 내의 환경을 관리하는 홈 서버로부터 홈 내의 환경 상태에 대한 정보를 수신하고, 수신된 홈 내의 환경 상태에 대한 정보를 디스플레이할 수 있다. 홈 서버는 홈 내의 여러 장소에 위치한 환경 측정 센서로부터 센서값을 수신할 수 있다.
예를 들어, 디바이스(100)는 실내 온도, 실내의 공기 품질(예를 들어, CO 수치) 등에 관한 정보를 획득하고, 실내의 상태를 실외 상태와 비교하여, 실내를 환기하거나, 에너지 절약을 위해 실외와의 열 교환을 차단할 것을 시청자에게 조언할 수 있다.
또한, 디바이스(100)는 주변 장치로부터 시청자의 건강 상태에 관한 정보를 수신하고, 수신된 시청자의 건강 상태에 관한 정보에 기초하여, 시청자의 건강 상태가 기준 이하인지 여부를 판단하고, 시청자의 건강 상태가 기준 이하인 경우, 위급 상황임을 알리는 메시지 또는 신호음을 출력할 수 있다.
예를 들어, 디바이스(100)는 적외선 센서를 구비한 주변 장치를 이용하여, 시청자의 체온에 관한 정보를 수신하거나, 시청자의 신체에 부착된 심전도 센서로부터 시청자의 심박수에 관한 정보를 수신하고, 수신된 체온 또는 심박수에 관한 정보에 기초하여, 시청자의 건강 상태를 판단할 수 있다.
또한, 디바이스(100)는 시청자의 건강 상태가 기준 이하이거나, 실내 환경이 급격히 변화한 경우, 기 설정된 서버에게 자동으로 경고 메시지를 전송할 수도 있다. 이 경우, 기 설정된 서버는 병원 서버 또는 소방서 서버, 119 서비스 제공 서버를 포함할 수 있으나, 이에 제한되지 않는다.
또한, 디바이스(100)는 카메라를 구비하고, 위급 상황 시, 카메라를 이용하여 위급 상황을 촬영하고, 촬영된 이미지를 기 설정된 서버에게 전송할 수 있다. 또한, 이에 따라, 디바이스(100)는 소방서 또는 원격 진료자가 일차적으로 홈 내의 환경 상태 또는 시청자의 상태를 점검할 수 있는 기능을 제공할 수 있다.
도 36은 본 개시의 일 실시예에 따른, 디바이스(100)의 블록도를 도시한다.
도 36을 참조하면, 디바이스(100)는 디스플레이부(110), 통신부(130), 사용자 입력부(145) 및 제어부(170)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 디바이스(100)는 구현될 수 있다.
디스플레이부(110)는 사용자의 입력에 따라 화면 및 거울 중 적어도 하나로 동작할 수 있다. 또한, 디스플레이부(110)는 디스플레이부(110)의 일부 영역이 화면으로써 동작할 수 있으며, 나머지 영역이 거울로써 동작할 수 있다.
또한, 디스플레이부(110)는 사용자에게 제공할 정보에 관한 객체를 디스플레이할 수 있다.
제어부(170)는 사용자가 디스플레이부(110) 앞에 위치함에 따라, 디스플레이부(110)에 비친 사용자 이미지의 위치를 결정할 수 있다.
또한, 제어부(170)는 결정된 사용자 이미지의 위치에 기초하여, 객체의 디스플레이 위치를 결정할 수 있다.
또한, 제어부(170)는 디스플레이부(110)에 비친 사용자 이미지와 객체가 겹치지 않도록 객체의 디스플레이 위치를 결정할 수 있다.
또한, 제어부(170)는 디스플레이부(110)에 비친 사용자 이미지 중, 기 설정된 신체의 일부에 대응되는 부분과 객체가 겹쳐지도록 이미지의 디스플레이 위치를 결정할 수 있다.
또한, 제어부(170)는, 디스플레이부(110)에 비친 사용자 이미지 중 사용자의 눈의 위치에 기초하여, 객체의 디스플레이 위치를 결정할 수 있다.
또한, 제어부(170)는, 디스플레이부(110)로부터 사용자까지의 거리를 결정하고, 결정된 거리에 기초하여, 객체의 크기 및 해상도 중 적어도 하나를 결정할 수 있다.
또한, 제어부(170)는, 디스플레이부(110)에 비친 사용자 이미지의 크기에 기초하여, 디스플레이부(110)로부터 사용자까지의 거리를 결정할 수 있다.
또한, 객체가 사용자가 따라 할 수 있는 동작을 나타내는 동영상인 경우, 제어부(170)는, 디스플레이부(110)에 비친 사용자 이미지의 형상에 따라, 동영상의 좌우를 반전시킬 수 있다.
사용자 입력부(145)는 디스플레이부(110) 상에 디스플레이된 객체를 선택하고, 선택된 객체를 이동시키는 사용자 입력을 수신할 수 있다. 또한, 제어부(170)는 수신된 사용자 입력에 기초하여, 객체의 디스플레이 위치를 결정할 수 있다.
또한, 사용자 입력부(145)는 사용자로부터 질문을 수신할 수 있다. 또한, 제어부(170)는, 수신된 질문에 기초하여, 질문에 대한 답변을 나타내는 객체를 추천할 수 있다. 이 경우, 제어부(170)는 통신부(130)를 통해, 기 설정된 서버에게 질문에 대한 답변을 요청할 수 있으며, 기 설정된 서버로부터 답변을 수신함에 따라, 질문에 대한 답변을 나타내는 객체를 추천할 수 있다.
또한, 디바이스(100)는, 사용자의 음성 데이터 및 얼굴 이미지 중 적어도 하나를 획득하기 위한 센서(미도시)를 더 포함할 수 있으며, 제어부(170)는, 획득된 사용자의 음성 데이터 및 얼굴 이미지 중 적어도 하나에 기초하여, 사용자를 식별하고, 사용자의 식별값에 대응하여 저장된 사용자의 사용자 정보에 기초하여, 디스플레이부에 디스플레이될 객체를 추천할 수 있다.
도 37은 본 개시의 다른 실시예에 따른, 디바이스(100)의 블록도를 도시한다.
도 37에 도시된 바와 같이, 디바이스(100) 의 구성은, 예를 들어, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 네비게이션 장치, 디지털 TV, 스마트 워치(Smart watch), 손목 시계(Wrist watch), 디지털 사이니지, 스마트 화장대 또는 스마크 글래스(Smart Glass), HMD(Head-Mounted Display)와 같은 웨어러블 디바이스(Wearable device) 등과 같은 다양한 유형의 장치에 적용될 수 있다.
도 37에 따르면, 디바이스(100)는 도 38의 디스플레이부(110), 통신부(130), 사용자 입력부(145), 제어부(170) 이외에, 메모리(120), GPS 칩(125), 비디오 프로세서(135), 오디오 프로세서(140), 마이크부(150), 촬상부(155), 스피커부(160), 움직임 감지부(165) 중 적어도 하나를 포함 할 수 있다.
디스플레이부(110)는 표시패널(111) 및 표시 패널(111)을 제어하는 컨트롤러(미도시)를 포함할 수 있다. 표시패널(111)에는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시패널(111)은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이부(110)는 사용자 입력부(145)의 터치 패널(147)과 결합되어 터치 스크린(미도시)으로 제공될 수 있다. 예를 들어, 터치 스크린(미도시)은 표시 패널(111)과 터치 패널(147)이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다.
메모리(120)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다.
내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 제어부(170)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 제어부(170)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다.
외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.
메모리(120)는 디바이스(100) 의 동작에 사용되는 각종 프로그램 및 데이터를 저장할 수 있다.
제어부(170)는 메모리(120)에 저장된 컨텐츠의 일부가 디스플레이부(110)에 표시되도록 디스플레이부(110)를 제어할 수 있다. 다시 말하자면, 제어부(170)는 메모리(120)에 저장된 컨텐츠의 일부를 디스플레이부(110)에 표시할 수 있다. 또는, 제어부(170)는 디스플레이부(110)의 일 영역에서 사용자 제스처가 이루어지면, 사용자의 제스처에 대응되는 제어 동작을 수행할 수 있다.
제어부(170)는 RAM(171), ROM(172), CPU(173), GPU(Graphic Processing Unit)(174) 및 버스(175) 중 적어도 하나를 포함 할 수 있다. RAM(171), ROM(172), CPU(173) 및 GPU(174) 등은 버스(175)를 통해 서로 연결될 수 있다.
CPU(173)는 메모리(120)에 액세스하여, 메모리(120)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(120)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(172)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 예로, 휴대 단말기(100)는 턴온 명령이 입력되어 전원이 공급되면, CPU(173)가 ROM(172)에 저장된 명령어에 따라 메모리(120)에 저장된 O/S를 RAM(171)에 복사하고, O/S를 실행시켜 시스템을 부팅시킬 수 있다. 부팅이 완료되면, CPU(173)는 메모리(120)에 저장된 각종 프로그램을 RAM(171)에 복사하고, RAM(171)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(174)는 모바일 디바이스 (100)의 부팅이 완료되면, 디스플레이부(110)의 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(174)는 컨텐츠, 아이콘, 메뉴 등과 같은 다양한 객체를 포함하는 전자문서가 표시된 화면을 생성할 수 있다. GPU(174)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 그리고, GPU(174)는 연산된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. GPU(174)에서 생성된 화면은 디스플레이부(110)로 제공되어, 디스플레이부(110)의 각 영역에 각각 표시될 수 있다.
GPS 칩(125)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 디바이스(100)의 현재 위치를 산출할 수 있다. 제어부(170)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(125)을 이용하여 사용자 위치를 산출할 수 있다.
통신부(130)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 디바이스와 통신을 수행할 수 있다. 통신부(130)는 와이파이칩(131), 블루투스 칩(132), 무선 통신 칩(133), NFC 칩(134) 중 적어도 하나를 포함할 수 있다. 제어부(170)는 통신부(130)를 이용하여 각종 외부 디바이스와 통신을 수행할 수 있다.
와이파이 칩(131), 블루투스 칩(132)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩(131)이나 블루투스 칩(132)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(133)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(134)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
비디오 프로세서(135)는 통신부(130)를 통해 수신된 컨텐츠 또는, 메모리(120)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리할 수 있다. 비디오 프로세서(135)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 프로세서(140)는 통신부(130)를 통해 수신된 컨텐츠 또는, 메모리(120)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리할 수 있다. 오디오 프로세서(140)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
제어부(170)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(135) 및 오디오 프로세서(140)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 스피커부(160)는 오디오 프로세서(140)에서 생성한 오디오 데이터를 출력할 수 있다.
사용자 입력부(145)는 사용자로부터 다양한 명령어를 입력 받을 수 있다. 사용자 입력부(145)는 키(146), 터치 패널(147) 및 펜 인식 패널(148) 중 적어도 하나를 포함할 수 있다.
키(146)는 디바이스(100)의 본체 외관의 전면부나 측면부, 배면부 등의 다양한 영역에 형성된 기계적 버튼, 휠 등과 같은 다양한 유형의 키를 포함할 수 있다.
터치 패널(147)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(147)이 표시 패널(111)과 결합하여 터치 스크린(미도시)을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 터치 스크린 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 스크린 표면에 터치되었을 때 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 스크린에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 터치 스크린에서 발생하는 터치 이벤트는 주로 사람의 손가락에 의하여 생성될 수 있으나, 정전 용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.
펜 인식 패널(148)은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력할 수 있다. 펜 인식 패널(148)은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널(148)은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널(148)의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(148)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다. 펜 인식 패널(148)은 표시 패널(111)의 하부에 일정 면적, 예를 들어, 표시 패널(111)의 표시 영역을 커버할 수 있는 면적을 가지고 마련될 수 있다.
마이크부(150)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환할 수 있다. 제어부(170)는 마이크 부(150)를 통해 입력되는 사용자 음성을 통화 동작에서 이용하거나, 오디오 데이터로 변환하여 메모리(120)에 저장할 수 있다.
촬상부(155)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상할 수 있다. 촬상부(155)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수도 있다.
촬상부(155) 및 마이크부(150)가 마련된 경우, 제어부(170)는 마이크부(150)를 통해 입력되는 사용자 음성이나 촬상부(155)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 예컨대, 디바이스(100)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(170)는 촬상부(155)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행할 수 있다. 음성 제어 모드로 동작하는 경우 제어부(170)는 마이크부(150)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수 있다.
움직임 감지부(165)는 디바이스(100)의 본체 움직임을 감지할 수 있다. 디바이스(100)는 다양한 방향으로 회전되거나 기울어질 수 있다. 이 때, 움직임 감지부(165)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다.
그 밖에, 도 37에 도시하지는 않았으나, 실시예에는, 디바이스(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있다.
전술한 디바이스(100)의 구성 요소들의 명칭은 달라질 수 있다. 또한, 본 개시에 따른 디바이스(100)는 전술한 구성요소들 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 사용자의 입력에 따라 화면 및 거울 중 적어도 하나로 동작하며, 상기 사용자에게 제공할 정보에 관한 객체를 디스플레이하는 디스플레이부; 및
    상기 사용자가 상기 디스플레이부 앞에 위치함에 따라, 상기 디스플레이부에 비친 사용자 이미지의 위치를 결정하고, 상기 결정된 상기 사용자 이미지의 위치에 기초하여, 상기 객체의 디스플레이 위치를 결정하는 제어부를 포함하는, 디바이스.
  2. 제 1 항에 있어서,
    상기 디스플레이부의 적어도 일부가 거울로 동작하며,
    상기 제어부는,
    상기 디스플레이부에 비친 상기 사용자 이미지와 상기 객체가 겹치지 않도록 상기 객체의 디스플레이 위치를 결정하는, 디바이스.
  3. 제 1 항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 비친 상기 사용자 이미지 중, 기 설정된 신체의 일부에 대응되는 부분과 상기 객체가 겹쳐지도록 상기 이미지의 디스플레이 위치를 결정하는, 디바이스.
  4. 제 1 항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 비친 상기 사용자 이미지 중 상기 사용자의 눈의 위치에 기초하여, 상기 객체의 디스플레이 위치를 결정하는, 디바이스.
  5. 제 1 항에 있어서,
    상기 제어부는,
    상기 디스플레이부로부터 상기 사용자까지의 거리를 결정하고, 상기 결정된 거리에 기초하여, 상기 객체의 크기 및 해상도 중 적어도 하나를 결정하는, 디바이스.
  6. 제 5 항에 있어서,
    상기 제어부는, 상기 디스플레이부에 비친 상기 사용자 이미지의 크기에 기초하여, 상기 디스플레이부로부터 상기 사용자까지의 거리를 결정하는, 디바이스.
  7. 제 1 항에 있어서,
    상기 객체는 상기 사용자가 따라 할 수 있는 동작을 나타내는 동영상을 포함하고,
    상기 제어부는, 상기 디스플레이부에 비친 사용자 이미지의 형상에 따라, 상기 동영상의 좌우를 반전시키는, 디바이스.
  8. 제 1 항에 있어서,
    상기 디바이스는,
    상기 디스플레이부 상에 디스플레이된 객체를 선택하고, 상기 선택된 객체를 이동시키는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고,
    상기 제어부는,
    상기 사용자 입력에 기초하여, 상기 객체의 디스플레이 위치를 결정하는, 디바이스.
  9. 제 1 항에 있어서,
    상기 디바이스는,
    상기 사용자로부터 질문을 수신하는 사용자 입력부를 더 포함하고,
    상기 디스플레이부는,
    상기 질문에 대한 답변을 나타내는 객체를 디스플레이하는, 디바이스.
  10. 제 1 항에 있어서,
    상기 디바이스는,
    상기 사용자의 음성 데이터 및 얼굴 이미지 중 적어도 하나를 획득하기 위한 센서를 더 포함하고,
    상기 제어부는,
    상기 획득된 사용자의 음성 데이터 및 얼굴 이미지 중 적어도 하나에 기초하여, 상기 사용자를 식별하고, 상기 사용자의 식별값에 대응하여 저장된 상기 사용자의 사용자 정보에 기초하여, 상기 디스플레이부에 디스플레이될 객체를 추천하는, 디바이스.
  11. 사용자의 입력에 따라 화면 및 거울 중 적어도 하나로 동작하며, 상기 사용자에게 제공할 정보에 관한 객체를 디스플레이하는 단계;
    상기 사용자가 상기 디스플레이부 앞에 위치함에 따라, 상기 디스플레이부에 비친 사용자 이미지의 위치를 결정하는 단계; 및
    상기 결정된 상기 사용자 이미지의 위치에 기초하여, 상기 객체의 디스플레이 위치를 결정하는 단계를 포함하는, 이미지 디스플레이 방법.
  12. 제 11 항에 있어서,
    상기 디스플레이부의 적어도 일부가 거울로 동작하며,
    상기 결정된 상기 사용자 이미지의 위치에 기초하여, 상기 객체의 디스플레이 위치를 결정하는 단계는,
    상기 디스플레이부에 비친 상기 사용자 이미지와 상기 객체가 겹치지 않도록 상기 객체의 디스플레이 위치를 결정하는 단계를 포함하는, 방법.
  13. 제 11 항에 있어서,
    상기 결정된 상기 사용자 이미지의 위치에 기초하여, 상기 객체의 디스플레이 위치를 결정하는 단계는,
    상기 디스플레이부에 비친 상기 사용자 이미지 중, 기 설정된 신체의 일부에 대응되는 부분과 상기 객체가 겹쳐지도록 상기 이미지의 디스플레이 위치를 결정하는 단계를 포함하는, 방법.
  14. 제 11 항에 있어서,
    상기 결정된 상기 사용자 이미지의 위치에 기초하여, 상기 객체의 디스플레이 위치를 결정하는 단계는,
    상기 디스플레이부에 비친 상기 사용자 이미지 중 상기 사용자의 눈의 위치에 기초하여, 상기 객체의 디스플레이 위치를 결정하는 단계를 포함하는, 방법.
  15. 제 11 항에 있어서,
    상기 결정된 상기 사용자 이미지의 위치에 기초하여, 상기 객체의 디스플레이 위치를 결정하는 단계는,
    상기 디스플레이부로부터 상기 사용자까지의 거리를 결정하고, 상기 결정된 거리에 기초하여, 상기 객체의 크기 및 해상도 중 적어도 하나를 결정하는 단계를 포함하는, 방법.
  16. 제 15 항에 있어서,
    상기 결정된 상기 사용자 이미지의 위치에 기초하여, 상기 객체의 디스플레이 위치를 결정하는 단계는,
    상기 디스플레이부에 비친 상기 사용자 이미지의 크기에 기초하여, 상기 디스플레이부로부터 상기 사용자까지의 거리를 결정하는 단계를 포함하는, 방법.
  17. 제 11 항에 있어서,
    상기 객체는 상기 사용자가 따라 할 수 있는 동작을 나타내는 동영상을 포함하고,
    상기 결정된 상기 사용자 이미지의 위치에 기초하여, 상기 객체의 디스플레이 위치를 결정하는 단계는,
    상기 디스플레이부에 비친 사용자 이미지의 형상에 따라, 상기 동영상의 좌우를 반전시키는 단계를 포함하는, 방법.
  18. 제 11 항에 있어서,
    상기 이미지 디스플레이 방법은,
    상기 디스플레이부 상에 디스플레이된 객체를 선택하고, 상기 선택된 객체를 이동시키는 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 기초하여, 상기 객체의 디스플레이 위치를 결정하는 단계를 더 포함하는, 방법.
  19. 제 11 항에 있어서,
    상기 이미지 디스플레이 방법은,
    상기 사용자로부터 질문을 수신하는 단계를 더 포함하고,
    상기 사용자에게 제공할 정보에 관한 객체를 디스플레이하는 단계는,
    상기 질문에 대한 답변을 나타내는 객체를 디스플레이하는 단계를 포함하는, 방법.
  20. 제 11 항에 있어서,
    상기 이미지 디스플레이 방법은,
    상기 사용자의 음성 데이터 및 얼굴 이미지 중 적어도 하나를 획득하는 단계를 더 포함하고,
    상기 사용자에게 제공할 정보에 관한 객체를 디스플레이하는 단계는,
    상기 획득된 사용자의 음성 데이터 및 얼굴 이미지 중 적어도 하나에 기초하여, 상기 사용자를 식별하고, 상기 사용자의 식별값에 대응하여 저장된 상기 사용자의 사용자 정보에 기초하여, 상기 디스플레이부에 디스플레이될 객체를 추천하는 단계를 포함하는, 방법.
KR1020150121829A 2014-09-26 2015-08-28 전환 거울을 구비한 장치의 이미지 디스플레이 방법 및 그 장치 KR102322034B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2015/010235 WO2016048102A1 (en) 2014-09-26 2015-09-25 Image display method performed by device including switchable mirror and the device
US14/865,815 US20160093081A1 (en) 2014-09-26 2015-09-25 Image display method performed by device including switchable mirror and the device
EP15843435.7A EP3198376B1 (en) 2014-09-26 2015-09-25 Image display method performed by device including switchable mirror and the device
CN201580064202.5A CN107003827B (zh) 2014-09-26 2015-09-25 由包括可切换镜子的设备执行的图像显示方法和设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462055973P 2014-09-26 2014-09-26
US62/055,973 2014-09-26

Publications (2)

Publication Number Publication Date
KR20160037074A true KR20160037074A (ko) 2016-04-05
KR102322034B1 KR102322034B1 (ko) 2021-11-04

Family

ID=55800284

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150121829A KR102322034B1 (ko) 2014-09-26 2015-08-28 전환 거울을 구비한 장치의 이미지 디스플레이 방법 및 그 장치

Country Status (3)

Country Link
EP (1) EP3198376B1 (ko)
KR (1) KR102322034B1 (ko)
CN (1) CN107003827B (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017213302A1 (ko) * 2016-06-07 2017-12-14 주식회사 매직내니 미러 디스플레이 장치 및 그 동작 방법
KR20180092303A (ko) * 2018-08-06 2018-08-17 주식회사 매직내니 미러 디스플레이 장치 및 그 동작 방법
CN110123090A (zh) * 2019-05-31 2019-08-16 苏州工业职业技术学院 一种多用途语音播报镜
EP3572911A1 (de) * 2018-05-24 2019-11-27 Skidata Ag Interaktiver automat und verfahren zur optimierung der benutzerführung und ergonomie während der bedienung des interaktiven automaten
KR20190136730A (ko) * 2018-05-31 2019-12-10 키오스크코리아(주) 전자칠판 및 전자칠판에서 객체를 디스플레이하는 방법
KR20200043046A (ko) * 2018-10-17 2020-04-27 유병훈 환경제어장치 및 환경제어방법
KR20210078592A (ko) * 2019-12-18 2021-06-29 충북대학교 산학협력단 스마트미러시스템을 이용한 개인별 정보제공방법
KR20220022396A (ko) * 2020-08-18 2022-02-25 (주)이스트소프트 사용자가 착용한 제품의 정보를 제공하기 위한 장치 및 이를 위한 방법
KR102427761B1 (ko) * 2022-01-24 2022-08-03 주식회사 이든랩 Did 장치, did 시스템 및 did 장치의 제어방법
KR20220111383A (ko) * 2021-02-02 2022-08-09 주식회사 코맥스 증강현실 서비스를 제공하는 스마트 미러 장치 및 그 동작방법
WO2024185988A1 (ko) * 2023-03-08 2024-09-12 삼성전자주식회사 복수의 모드를 제공하기 위한 전자 장치 및 그 제어 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107692701A (zh) * 2017-10-10 2018-02-16 北京奇虎科技有限公司 一种智能镜子的显示方法及装置
CN107495761A (zh) * 2017-10-10 2017-12-22 北京奇虎科技有限公司 一种智能镜子
CN107728981A (zh) * 2017-10-10 2018-02-23 北京奇虎科技有限公司 显示的方法及装置
CN107898107A (zh) * 2017-11-17 2018-04-13 张伟 美容提供系统及工作方法
EP3735683A1 (en) * 2018-01-05 2020-11-11 L'oreal Makeup compact for utilizing client device to guide makeup application
JP7135472B2 (ja) * 2018-06-11 2022-09-13 カシオ計算機株式会社 表示制御装置、表示制御方法及び表示制御プログラム
CN109064277B (zh) * 2018-07-25 2022-05-24 北京小米移动软件有限公司 商品展示方法及装置
CN111642939A (zh) * 2019-03-16 2020-09-11 上海铼锶信息技术有限公司 一种智能镜
CN110505338A (zh) * 2019-07-29 2019-11-26 维沃移动通信有限公司 一种显示控制方法及终端设备
CN113220174A (zh) * 2020-01-21 2021-08-06 青岛海尔电冰箱有限公司 冰箱显示区域控制方法、冰箱以及存储介质
CN111631569A (zh) * 2020-05-28 2020-09-08 青岛谷力互联科技有限公司 一种基于物联网的多功能ai智能化妆镜
CN113126768B (zh) * 2021-04-25 2024-07-19 百度在线网络技术（北京）有限公司 显示控制方法、装置、系统、设备以及存储介质
KR20240070796A (ko) * 2022-11-15 2024-05-22 한국전자기술연구원 비전 기반 사용자 인식 및 인터랙션 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140109700A (ko) * 2013-03-06 2014-09-16 (주)피엑스디 투명 디스플레이를 이용한 인터랙티브 이미지 표시장치, 표시방법 및 그 기록매체

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7104800B2 (en) * 2003-01-07 2006-09-12 Unilever Home & Personal Care Usa, Division Of Conopco, Inc. Article and method for selection of individualized personal care products
JP2004357099A (ja) * 2003-05-30 2004-12-16 Pioneer Electronic Corp 映像情報管理提供システム、サーバ装置及びシミュレーションエンジン装置
CN1860429A (zh) * 2003-09-30 2006-11-08 皇家飞利浦电子股份有限公司 定义内容窗口在显示器上的位置、尺寸和/或内容的姿势
JP3847753B2 (ja) * 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US8982109B2 (en) * 2005-03-01 2015-03-17 Eyesmatch Ltd Devices, systems and methods of capturing and displaying appearances
EP1757202A1 (en) * 2005-08-23 2007-02-28 The Procter and Gamble Company Mirror for showing a change of skin appearance
US20070040033A1 (en) * 2005-11-18 2007-02-22 Outland Research Digital mirror system with advanced imaging features and hands-free control
US8953909B2 (en) * 2006-01-21 2015-02-10 Elizabeth T. Guckenberger System, method, and computer software code for mimic training
CN101779460B (zh) * 2008-06-18 2012-10-17 松下电器产业株式会社 电子镜装置
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
KR101626159B1 (ko) * 2009-11-25 2016-05-31 엘지전자 주식회사 사용자 적응형 디스플레이 장치 및 디스플레이 방법
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム
JP5241807B2 (ja) * 2010-12-02 2013-07-17 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、及びプログラム
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP5845686B2 (ja) * 2011-07-26 2016-01-20 ソニー株式会社 情報処理装置、フレーズ出力方法及びプログラム
JP2013101242A (ja) * 2011-11-09 2013-05-23 Sony Corp 画像処理装置、表示制御方法及びプログラム
US20130145272A1 (en) * 2011-11-18 2013-06-06 The New York Times Company System and method for providing an interactive data-bearing mirror interface
US8782565B2 (en) * 2012-01-12 2014-07-15 Cisco Technology, Inc. System for selecting objects on display
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
JP6027764B2 (ja) * 2012-04-25 2016-11-16 キヤノン株式会社 ミラーシステム、および、その制御方法
CN102693288A (zh) * 2012-04-27 2012-09-26 上海申视汽车新技术有限公司 一种化妆方案自动推荐方法
SG195431A1 (en) * 2012-05-28 2013-12-30 Trinax Private Ltd Intelligent mirror cum display solution
US20140085178A1 (en) * 2012-09-24 2014-03-27 3M Innovative Properties Company Method and apparatus for controlling information display areas in a mirror display
CN103873939A (zh) * 2012-12-14 2014-06-18 联想(北京)有限公司 一种视频处理方法以及一种电子设备
JP6008323B2 (ja) * 2013-02-01 2016-10-19 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US9325943B2 (en) * 2013-02-20 2016-04-26 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
US20140308640A1 (en) * 2013-07-08 2014-10-16 George Edward Forman Method to Improve Skilled Motion Using Concurrent Video of Master and Student Performance

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140109700A (ko) * 2013-03-06 2014-09-16 (주)피엑스디 투명 디스플레이를 이용한 인터랙티브 이미지 표시장치, 표시방법 및 그 기록매체

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017213302A1 (ko) * 2016-06-07 2017-12-14 주식회사 매직내니 미러 디스플레이 장치 및 그 동작 방법
US10524591B2 (en) 2016-06-07 2020-01-07 Magic Nanny Co., Ltd Mirror display apparatus and the operation method thereof
EP3572911A1 (de) * 2018-05-24 2019-11-27 Skidata Ag Interaktiver automat und verfahren zur optimierung der benutzerführung und ergonomie während der bedienung des interaktiven automaten
KR20190136730A (ko) * 2018-05-31 2019-12-10 키오스크코리아(주) 전자칠판 및 전자칠판에서 객체를 디스플레이하는 방법
KR20180092303A (ko) * 2018-08-06 2018-08-17 주식회사 매직내니 미러 디스플레이 장치 및 그 동작 방법
KR20200043046A (ko) * 2018-10-17 2020-04-27 유병훈 환경제어장치 및 환경제어방법
CN110123090A (zh) * 2019-05-31 2019-08-16 苏州工业职业技术学院 一种多用途语音播报镜
KR20210078592A (ko) * 2019-12-18 2021-06-29 충북대학교 산학협력단 스마트미러시스템을 이용한 개인별 정보제공방법
KR20220022396A (ko) * 2020-08-18 2022-02-25 (주)이스트소프트 사용자가 착용한 제품의 정보를 제공하기 위한 장치 및 이를 위한 방법
KR20220111383A (ko) * 2021-02-02 2022-08-09 주식회사 코맥스 증강현실 서비스를 제공하는 스마트 미러 장치 및 그 동작방법
KR102427761B1 (ko) * 2022-01-24 2022-08-03 주식회사 이든랩 Did 장치, did 시스템 및 did 장치의 제어방법
WO2024185988A1 (ko) * 2023-03-08 2024-09-12 삼성전자주식회사 복수의 모드를 제공하기 위한 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR102322034B1 (ko) 2021-11-04
CN107003827B (zh) 2021-04-20
EP3198376B1 (en) 2020-02-26
EP3198376A4 (en) 2017-10-18
EP3198376A1 (en) 2017-08-02
CN107003827A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
KR102322034B1 (ko) 전환 거울을 구비한 장치의 이미지 디스플레이 방법 및 그 장치
US20160093081A1 (en) Image display method performed by device including switchable mirror and the device
US11402871B1 (en) Keyboard movement changes virtual display orientation
US10062163B2 (en) Health information service system
US10552004B2 (en) Method for providing application, and electronic device therefor
US20210132795A1 (en) Smart mirror and table top devices with sensor fusion of camera vision, acoustic, and multi-point capacitive touch control
JP2010067104A (ja) デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
KR20190030140A (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
WO2022170221A1 (en) Extended reality for productivity
KR102393296B1 (ko) 응답을 디스플레이 하는 디바이스 및 방법
CN111698564A (zh) 信息推荐方法、装置、设备及存储介质
Juntunen et al. Orchestrating light–Gesture-based control of smart lighting
KR20150108560A (ko) 액세서리 추천 장치, 이의 제어 방법, 컴퓨터 프로그램이 기록된 기록 매체 및 액세서리 추천 시스템
KR20210116838A (ko) 제스처에 기초하여, 음성 입력을 처리하는 전자 장치 및 그 동작 방법
CN117043709A (zh) 用于生产力的扩展现实

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right