KR20220158666A - 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템 - Google Patents

서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템 Download PDF

Info

Publication number
KR20220158666A
KR20220158666A KR1020220154672A KR20220154672A KR20220158666A KR 20220158666 A KR20220158666 A KR 20220158666A KR 1020220154672 A KR1020220154672 A KR 1020220154672A KR 20220154672 A KR20220154672 A KR 20220154672A KR 20220158666 A KR20220158666 A KR 20220158666A
Authority
KR
South Korea
Prior art keywords
information
user
user terminal
processor
recommended
Prior art date
Application number
KR1020220154672A
Other languages
English (en)
Other versions
KR102657369B1 (ko
Inventor
김학래
이정수
이승현
양정연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160005887A external-priority patent/KR102469758B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20220158666A publication Critical patent/KR20220158666A/ko
Application granted granted Critical
Publication of KR102657369B1 publication Critical patent/KR102657369B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Telephonic Communication Services (AREA)

Abstract

서버 장치가 개시된다. 본 서버 장치는 사용자 단말 장치와 통신하는 통신부, 디바이스 간 호환 정보를 저장하는 스토리지 및 사용자 단말 장치가 서버 장치에 액세스되어 사용자 단말 장치로부터 사용자 단말 장치의 식별 정보가 수신되면, 스토리지에 저장된 정보에 기초하여 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 생성하여 사용자 단말 장치로 전송하는 프로세서를 포함한다.

Description

서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템 { SERVER APPARATUS, USER TERMINAL APPARATUS, CONTORL METHOD THEREOF AND ELECTRONIC SYSTEM }
본 발명은 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템에 대한 것으로, 더욱 상세하게는 추천 디바이스 정보를 제공하는 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있으며, 새로운 사용자 편의 기능이 구비된 전자 장치들이 보편화되고 있다. 더 나아가, 사용자 편의를 향상시키기 위해 종래의 편의 기능도 계속하여 규격이 변경되어 전자 장치들에 설치되고 있다.
그에 따라, 일반인들은 새로운 전자 장치가 제공하는 다양한 기능을 파악하는데 익숙하지 않으며, 동시에 이러한 기능의 활용에 어려움이 있다. 또한, 일반인들은 전자 장치의 스펙 정보만을 이용하여 전자 장치가 지원하는 기능과 동작을 파악하는 것이 어려운 것이 현실이다.
또한, 전자 장치들을 판매하는 매장에서도 다양한 전자 장치 모두를 진열할 수 없을 뿐만 아니라 각 전자 장치의 기능을 모두 설명할 수 없다는 문제가 있어왔다.
그에 따라, 좀더 간단한 방법으로 사용자가 원하는 기능을 제공하는 전자 장치의 리스트를 제공할 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 특정 장치와 호환 가능한 추천 디바이스 정보를 제공하는 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 서버 장치는 사용자 단말 장치와 통신하는 통신부, 디바이스 간 호환 정보를 저장하는 스토리지 및 상기 사용자 단말 장치가 상기 서버 장치에 액세스되어 상기 사용자 단말 장치로부터 상기 사용자 단말 장치의 식별 정보가 수신되면, 상기 스토리지에 저장된 정보에 기초하여 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 생성하여 상기 사용자 단말 장치로 전송하는 프로세서를 포함한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 사용자 단말 장치는 디스플레이, 서버 장치와 통신하는 통신부 및 상기 사용자 단말 장치가 상기 서버 장치에 액세스되면, 상기 사용자 단말 장치의 식별 정보를 상기 서버 장치로 전송하고, 상기 서버 장치로부터 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 수신하여 상기 디스플레이를 통해 디스플레이하는 프로세서를 포함한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 전자 시스템은 서버 장치로 액세스하여 사용자 단말 장치의 식별 정보를 상기 서버 장치로 전송하는 사용자 단말 장치 및 디바이스 간 호환 정보를 저장하고, 상기 사용자 단말 장치가 상기 서버 장치에 액세스되어 상기 사용자 단말 장치로부터 상기 사용자 단말 장치의 식별 정보가 수신되면, 상기 저장된 정보에 기초하여 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 생성하여 상기 사용자 단말 장치로 전송하는 서버 장치를 포함하고, 상기 사용자 단말 장치는 상기 서버 장치로부터 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 수신하여 디스플레이할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 서버 장치의 제어 방법은 사용자 단말 장치가 상기 서버 장치에 액세스되어 상기 사용자 단말 장치로부터 상기 사용자 단말 장치의 식별 정보를 수신하는 단계, 디바이스 간 호환 정보에 기초하여 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 생성하는 단계 및 상기 생성된 추천 디바이스 정보를 상기 사용자 단말 장치로 전송하는 단계를 포함한다.
한편, 본 발명의 일 실시 예에 따르면, 사용자 단말 장치의 제어 방법은 상기 사용자 단말 장치가 서버 장치에 액세스되면, 상기 사용자 단말 장치의 식별 정보를 상기 서버 장치로 전송하는 단계, 상기 서버 장치로부터 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 수신하는 단계 및 상기 수신된 추천 디바이스 정보를 디스플레이하는 단계를 포함한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자 디바이스와 호환 가능한 추천 디바이스 정보가 생성되고, 생성된 정보가 사용자에게 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 시스템을 도시한 도면이다.
도 2a는 본 발명의 일 실시 예에 따른 서버 장치의 구성을 나타내는 블럭도이다.
도 2b는 도 2a에 도시된 서버 장치의 세부 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다.
도 4는 본 발명의 일 실시 예에 따른 각 디바이스가 대표적으로 제공하는 기능을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 발화 음성 신호를 처리하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 디바이스를 선택하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 발화 음성으로 표현된 기능과 스펙 정보의 연계 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 발화 음성의 입력을 유도하는 UI 화면을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 발화 음성의 입력을 단계적으로 유도하는 것을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 선택된 디바이스의 상세 정보를 디스플레이하는 것을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 발화 음성에 대응되는 스펙 정보를 그래프로 디스플레이하는 것을 설명하기 위한 도면이다.
도 12a 내지 도 12f는 사용자 단말 장치에서 제공하는 UI의 일 예를 설명하기 위한 도면이다.
도 13a 및 도 13b는 공간 정보에 기초하여 추천 디바이스 정보를 결정하는 방법의 일 예를 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시 예에 따른 서버 장치와 사용자 단말 장치의 동작을 설명하기 위한 시퀀스도이다.
도 15는 본 발명의 일 실시 예에 따른 서버 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 16은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 17은 본 발명의 확장 실시 예에 따른 디바이스 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 18a 및 도 18b는 디바이스에 구비된 센서의 일 예를 설명하기 위한 도면이다.
도 19a 내지 도 19c는 서버 장치(100)의 데이터 처리 방법의 일 예를 설명하기 위한 도면이다.
도 20은 본 발명의 확장 실시 예에 따른 서버 장치의 동작을 설명하기 위한 흐름도이다.
이하, 본 발명의 다양한 실시 예에 대해서, 첨부된 도면을 참조하여 설명한다. 본 명세서에 기재된 내용은, 본 발명의 범위를 특정한 실시 형태로 한정하려는 것이 아니며, 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
또한, 본 명세서에서 하나의 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 기능적 또는 통신적으로(operatively or communicatively) 연결(coupled)되어 있다거나, 접속되어(connected to) 있다고 언급하는 것은, 각 구성요소들이 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 간접적으로 연결되는 경우까지 모두 포함할 수 있다는 것으로 이해되어야 한다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 명세서(disclosure)에서 사용된 용어들은, 임의의 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 또한, 본 명세서에서는 설명의 편의상 단수 표현을 사용할 수도 있으나, 이는 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 표현까지 포함하는 의미로 해석될 수 있다. 또한, 본 명세서에서 사용되는 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시 예들을 배제하도록 해석될 수 없다.
이하에서, 첨부된 도면을 이용하여 본 발명의 다양한 실시 예들에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 전자 시스템(1000)을 도시한 도면이다. 도 1에 도시된 바와 같이 전자 시스템(1000)은 서버 장치(100) 및 사용자 단말 장치(200)를 포함한다.
서버 장치(100)는 사용자 단말 장치(200)와 통신을 수행할 수 있다. 서버 장치(100)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 식별 정보를 수신할 수 있다. 여기서, 식별 정보는 사용자 단말 장치(200)의 제품 명칭, 제품 종류, 시리얼 넘버, 제조사, 사용자 정보 등의 정보를 포함할 수 있다.
여기서, 서버 장치(100)는 모든 네트워크 시스템에서 각종 운영 체계와 어플리케이션(application) 간의 상호 작용을 담당하는 중앙 서버(또는 통합 서버) 또는 클라우드 컴퓨팅 기술을 이용하는 클라우드 서버 등으로 구현될 수 있다. 여기서, 클라우드 컴퓨팅(cloud computing)은 인터넷 기반의 컴퓨팅 기술을 의미하는 것으로, 인터넷 상의 유틸리티 데이터 서버(utility data server)에 프로그램을 두고 그때 그때 컴퓨터나 휴대폰 등에 불러와서 사용하는 웹에 기반한 소프트웨어 서비스이다.
서버 장치(100)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 식별 정보 외에도 다른 디바이스의 식별 정보를 수신할 수도 있다. 예를 들어, 서버 장치(100)는 사용자 단말 장치(200)의 식별 정보로 사용자의 스마트폰의 식별 정보 외에도 사용자의 노트북, MP3 플레이어 등에 대한 식별 정보를 수신할 수도 있다.
또는, 서버 장치(100)는 사용자 단말 장치(200)로부터 사용자의 계정에 액세스하기 위한 인증 정보를 수신할 수도 있다. 여기서, 인증 정보는 사용자 계정의 아이디, 패스워드 등을 포함할 수 있다. 또는, 경우에 따라서, 인증 정보는 사용자의 지문 정보, 홍채 정보 등을 포함할 수도 있다.
한편, 서버 장치(100)는 디바이스 간 호환 정보를 저장한다. 예를 들어, 서버 장치(100)는 사용자 단말 장치(200)와 데이터 통신이 가능한 디바이스에 대한 정보를 저장할 수 있다.
디바이스 간 호환 정보는 하드웨어적인 호환 정보와 소프트웨어적인 호환 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 서버 장치(100)는 사용자 단말 장치(200)와 동일한 연결 소켓 규격을 이용하는 디바이스에 대한 정보를 하드웨어적인 호환 정보로 저장할 수 있다. 또는, 서버 장치(100)는 사용자 단말 장치(200)와 동일한 어플리케이션이 지원되는 디바이스에 대한 정보를 소프트웨어적인 호환 정보로 저장할 수 있다.
서버 장치(100)는 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 생성하여 사용자 단말 장치(200)로 전송할 수 있다. 예를 들어, 서버 장치(100)는 사용자 단말 장치(200)와 호환 가능한 추천 디바이스로 동일한 제조사의 노트북 등을 포함하는 정보를 생성하여 사용자 단말 장치(200)로 전송할 수 있다.
사용자 단말 장치(200)는 서버 장치(100)와 통신을 수행할 수 있다. 사용자 단말 장치(200)는 서버 장치(200)로 사용자 단말 장치(200)의 식별 정보를 전송할 수 있다. 또는, 사용자 단말 장치(200)는 서버 장치(200)로 사용자 단말 장치(200)가 아닌 다른 디바이스의 식별 정보를 전송하거나 사용자의 계정에 액세스하기 위한 인증 정보를 전송할 수 있다.
사용자 단말 장치(200)는 서버 장치(100)로부터 디바이스 정보를 수신하여 디스플레이할 수 있다. 여기서, 디바이스 정보는 디바이스의 제품 명칭, 시리얼 넘버, 제조사 등의 정보 뿐만 아니라 사용자 단말 장치(200)가 전송한 식별 정보를 갖는 디바이스와 어떻게 호환되는지에 대한 정보를 포함할 수 있다.
예를 들어, 사용자 단말 장치(200)가 서버 장치(100)로 A 모니터에 대한 식별 정보를 전송한 경우, 디바이스 정보는 A 모니터와 DVI 규격으로 연결 가능한 그래픽 카드, USB(Universal Serial Bus) 규격으로 연결되는 저장매체, HDMI(High Definition Multimedia Interface)로 연결되는 스마트폰 등을 포함할 수 있다.
도 2a는 본 발명의 일 실시 예에 따른 서버 장치(100)의 구성을 나타내는 블럭도이다.
도 2a에 도시된 바와 같이, 서버 장치(100)는 통신부(110), 스토리지(120) 및 프로세서(130)를 포함한다.
통신부(110)는 사용자 단말 장치(200)와 통신을 수행할 수 있다. 구체적으로, 통신부(110)는 사용자 단말 장치(200)로부터 디바이스에 대한 식별 정보 등을 수신하고, 사용자 단말 장치(200)로 추천 디바이스 정보를 전송할 수 있다.
또한, 통신부(110)는 사용자 단말 장치(200)로부터 사용자의 계정에 액세스하기 위한 인증 정보를 수신하고, 사용자의 계정에 등록된 디바이스와 호환되는 추천 디바이스 정보를 사용자 단말 장치(200)로 전송할 수도 있다.
통신부(110)는 유/무선 LAN, WAN, 이더넷, 블루투스(Bluetooth), 지그비(Zigbee), IEEE 1394, 와이파이(Wifi) 또는 PLC(Power Line Communication) 등을 이용하여, 사용자 단말 장치(200)와 통신을 수행할 수 있다.
스토리지(120)는 복수의 디바이스에 대한 스펙 정보를 저장하고 있을 수 있다. 스토리지(120)는 스펙 정보로 기능 정보, 외관 정보, 디바이스 명칭, 제조 회사 명, 사이즈 정보, 디바이스 종류 정보 중 적어도 하나를 저장할 수 있다. 예를 들어, 스토리지(120)는 TV에 대한 스펙 정보로, HDMI 지원 기능, 42인치, OLED TV, A 제조 회사 등에 대한 정보를 저장할 수 있다. 또한, 스토리지(120)는 TV 뿐만 아니라 노트북, 세탁기, 청소기 등 다른 디바이스에 대한 정보를 저장하고 있을 수 있다.
스토리지(120)는 저장된 스펙 정보에 기초하여 디바이스 간 호환 정보를 저장할 수 있다. 이에 대하여는 상술하였으므로 구체적인 설명은 생략한다.
스토리지(120)는 디바이스가 제공하는 대표적인 기능을 명사, 동사, 구문 등 다양한 형식으로 표현한 사용자 언어 체계를 저장하고 있을 수 있다. 또한, 스토리지(120)는 디바이스의 리스트와 스펙 정보를 저장한 데이터베이스, 사용자 언어 체계와 스펙 정보를 연계하는 데이터베이스를 저장하고 있을 수 있다.
프로세서(130)는 서버 장치(100)의 동작을 전반적으로 제어한다. 여기서, 프로세서(130)는 중앙처리장치(central processing unit(CPU)), controller, 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함할 수 있다.
프로세서(130)는 사용자 단말 장치(200)가 서버 장치(100)에 액세스되어 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 식별 정보가 수신되면, 스토리지(120)에 저장된 정보에 기초하여 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 생성하여 사용자 단말 장치(200)로 전송할 수 있다.
여기서, 사용자 단말 장치(200)는 서버 장치(100)와 블루투스 등을 통하여 직접 연결될 수도 있고, 인터넷 네트워크를 통해 간접적으로 연결될 수도 있다. 프로세서(130)는 사용자 단말 장치(200)와 통신이 연결된 경우, 사용자 단말 장치(200)가 서버 장치(100)에 액세스된 것으로 판단할 수 있다. 또는, 프로세서(130)는 사용자 단말 장치(200)로부터 사용자 계정에 대한 인증 정보를 수신하고, 수신된 인증 정보를 통해 사용자 계정에 접근 가능한 경우, 사용자 단말 장치(200)가 서버 장치(100)에 액세스된 것으로 판단할 수도 있다. 이상에서는 서버 장치(100)가 사용자 계정을 저장하고 있는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 서버 장치(100)와는 별도의 사용자 계정을 저장하는 외부 서버 장치가 마련되어 있을 수 있고, 이 경우 서버 장치(100)는 수신된 인증 정보를 외부 서버 장치로 전송하여 사용자 계정에 접속할 수 있다.
한편, 프로세서(130)는 사용자 단말 장치(200)가 액세스된 후 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 식별 정보를 수신할 수 있다. 사용자 단말 장치(200)의 식별 정보는 사용자 단말 장치(200)의 제품 명칭, 제품 종류, 시리얼 넘버, 제조사, 사용자 정보 등의 정보를 포함할 수 있다. 예를 들어, 서버 장치(100)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 시리얼 넘버를 수신하여, 사용자 단말 장치(200)의 제품 종류, 스펙 정보 등을 판단할 수 있다. 다만, 이에 한정되는 것은 아니고, 서버 장치(100)는 단순히 사용자 단말 장치(200)의 식별 정보 뿐만 아니라 사용자 단말 장치(200)의 스펙 정보 전체를 수신할 수도 있다.
프로세서(130)는 사용자 단말 장치(200)로부터 인증 정보가 수신된 경우, 사용자 계정에 등록된 디바이스와 호환 가능한 추천 디바이스 정보를 생성할 수도 있다. 이 경우, 사용자 계정은 사용자에 의해 기 등록된 디바이스 정보를 포함할 수 있다.
서버 장치(100)는 스토리지(120)에 저장된 정보에 기초하여 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 생성할 수 있다. 예를 들어, 서버 장치(100)는 수신된 식별 정보에 기초하여 사용자 단말 장치(200)를 식별한 후, 사용자 단말 장치(200)의 스펙 정보를 추출할 수 있다. 그리고, 서버 장치(100)는 추출된 스펙 정보에 기초하여 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 생성할 수 있다.
서버 장치(100)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 스펙 정보 중 특정 정보를 수신할 수도 있다. 예를 들어, 서버 장치(100)는 사용자 단말 장치(200)로부터 디스플레이에 대한 정보를 추가로 수신할 수 있고, 이 경우, 프로세서(130)는 사용자 단말 장치(200)의 디스플레이의 연결 방식 등에 기초하여 호환 가능한 추천 디바이스 정보를 생성할 수 있다.
특정 정보가 수신되지 않는 경우, 프로세서(130)는 사용자 단말 장치(200)의 스펙 정보에 기초하여 호환 가능한 모든 추천 디바이스 정보를 추출하고, 추출된 정보를 기설정된 기준에 따라 정렬할 수도 있다. 예를 들어, 프로세서(130)는 디스플레이의 연결 방식에 기초하여 제1 추천 디바이스 리스트를 추출하고, 통신 연결 방식에 기초하여 제2 추천 디바이스 리스트를 추출할 수 있다. 그리고, 프로세서(130)는 기설정된 기준에 따라 추출된 제1 및 제2 추천 디바이스 리스트를 정렬하여 추천 디바이스 정보를 생성할 수 있다.
프로세서(130)는 생성된 추천 디바이스 정보를 사용자 단말 장치(200)로 전송할 수 있다.
한편, 프로세서(130)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)를 통해 입력된 사용자 발화 음성 신호가 수신되면, 발화 음성 신호에 포함된 적어도 하나의 텍스트와 연관된 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다. 이 경우, 사용자 단말 장치(200)는 마이크 등을 구비하고 있을 수 있다.
여기서, 발화 음성 신호는 사용자 단말 장치(200)에 입력된 사용자의 음성을 디지털화한 신호일 수 있다. 다만, 이에 한정되는 것은 아니며, 서버 장치(100)는 사용자 단말 장치(200)로부터 사용자의 발화 음성으로부터 추출된 텍스트 등을 수신할 수도 있다.
프로세서(130)는 발화 음성 신호에 포함된 적어도 하나의 텍스트를 추출하고, 추출된 텍스트와 연관된 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다. 예를 들어, 프로세서(130)는 "내 스마트폰과 무선 연결 가능한 모니터를 찾아줘."라는 발화 음성 신호가 수신되면, "스마트폰", "무선 연결", "모니터"를 추출하여 사용자의 스마트폰의 무선 통신 기능을 추출하고, 추출된 무선 통신 기능을 지원하는 모니터를 추출하여 추천 디바이스 정보를 생성할 수 있다.
이상에서는 발화 음성 신호가 수신되는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(130)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)를 통해 입력된 텍스트 입력 정보를 수신할 수도 있다. 프로세서(130)는 수신된 텍스트 정보에 연관된 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
특히, 프로세서(130)는 발화 음성 신호에 포함된 적어도 하나의 텍스트와 연관된 스펙 정보를 스토리지(120)로부터 검출하고, 검출된 스펙 정보를 가지는 디바이스에 대한 정보를 추천 디바이스 정보로 결정할 수 있다. 여기서, 스펙 정보는 기능 정보, 외관 정보, 디바이스 명칭, 제조 회사 명, 사이즈 정보, 디바이스 종류 정보 중 적어도 하나를 포함할 수 있다.
그리고, 프로세서(130)는 발화 음성 신호에 복수의 서로 다른 타입의 디바이스 명칭이 포함되면, 복수의 서로 다른 타입의 디바이스들 사이의 연동 기능에 대한 스펙 정보를 스토리지(120)로부터 검출하고, 연동 기능을 제공하는 디바이스에 대한 정보를 추천 디바이스 정보로 결정할 수 있다.
또는, 프로세서(130)는 발화 음성 신호에 연관된 스펙 정보가 추출되지 않는 경우, 추가 발화 음성의 입력을 요청하는 신호를 사용자 단말 장치(200)로 전송할 수 있다. 이 경우, 사용자 단말 장치(200)는 추가 발화 음성의 입력을 요청하는 신호를 수신하여 추가 발화 음성의 입력을 유도하는 질문을 디스플레이할 수 있다.
그리고, 프로세서(130)는 사용자 단말 장치(200)로부터 단계적으로 입력된 사용자 발화 음성 신호가 수신되면, 단계적으로 입력된 사용자 발화 음성 신호 각각에 포함된 적어도 하나의 텍스트와 연관된 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
또는, 프로세서(130)는 추출된 스펙 정보에 해당하는 추천 디바이스 각각이 지원하는 기능의 개수 정보를 사용자 단말 장치(200)로 전송할 수 있다.
그리고, 프로세서(130)는 사용자 단말 장치(200)로부터 복수의 사용자 발화 음성 신호가 수신되면, 복수의 사용자 발화 음성 각각에 대응되는 스펙 정보를 가지는 추천 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다. 특히, 프로세서(130)는 복수의 사용자 발화 음성 신호 각각에 대응되는 추천 디바이스 정보를 사용자 단말 장치(200)로 전송할 수 있다.
한편, 프로세서(130)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)를 통해 특정 공간을 촬영한 이미지가 수신되면, 수신된 이미지에 기초하여 특정 공간의 크기를 산출하고, 산출된 공간 크기에 대응되는 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
특히, 프로세서(130)는 수신된 이미지에 포함된 식별 이미지가 감지되면, 기저장된 식별 이미지의 크기 및 형상 정보에 기초하여 특정 공간의 크기를 산출할 수 있다.
한편, 프로세서(130)는 사용자 단말 장치(200)의 사용자의 계정에 등록된 사용자 디바이스 정보에 기초하여 사용자 단말 장치(200) 및 등록된 사용자 디바이스와 호환 가능한 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
도 2b는 도 2a에 도시된 서버 장치(100)의 세부 구성을 나타내는 블럭도이다. 도 2b에 도시된 구성 중 도 2a에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
프로세서(130)는 RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)를 포함한다.
RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(133)는 스토리지(120)에 액세스하여, 스토리지(120)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 스토리지(120)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(133)는 ROM(132)에 저장된 명령어에 따라 스토리지(120)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(133)는 스토리지(120)에 저장된 각종 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 예를 들어, 그래픽 처리부(134)는 환경 조건에 대한 다양한 가이드 정보를 제공하기 위한 UI 화면을 생성할 수 있다. 한편, 상술한 프로세서(130)의 동작은 스토리지(120)에 저장된 프로그램에 의해 이루어질 수 있다.
상술한 바와 같이 스토리지(120)는 서버 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 디바이스 정보 모듈, 공간 정보 산출 모듈과 같은 다양한 데이터를 저장한다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말 장치(200)의 구성을 나타내는 블럭도이다.
도 3에 따르면, 사용자 단말 장치(200)는 디스플레이(210), 통신부(220) 및 프로세서(230)를 포함한다.
디스플레이(210)는 프로세서(230)의 제어에 의해 서버 장치(100)로부터 수신된 호환 디바이스 정보를 디스플레이할 수 있다. 예를 들어, 디스플레이(210)는 사용자 단말 장치(100)와 호환 가능한 디바이스의 리스트를 디스플레이할 수 있다.
그리고, 디스플레이(210)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이(210)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다.
통신부(220)는 서버 장치(100)와 통신을 수행할 수 있다. 구체적으로, 통신부(220)는 서버 장치(100)로 디바이스에 대한 식별 정보 등을 전송하고, 서버 장치(100)로부터 추천 디바이스 정보를 수신할 수 있다.
또한, 통신부(220)는 서버 장치(100)로 사용자의 계정에 액세스하기 위한 인증 정보를 전송하고, 사용자의 계정에 등록된 디바이스와 호환되는 추천 디바이스 정보를 서버 장치(100)로부터 수신할 수도 있다.
통신부(220)는 유/무선 LAN, WAN, 이더넷, 블루투스(Bluetooth), 지그비(Zigbee), IEEE 1394, 와이파이(Wifi) 또는 PLC(Power Line Communication) 등을 이용하여, 서버 장치(100)와 통신을 수행할 수 있다.
프로세서(230)는 사용자 단말 장치(200)의 동작을 전반적으로 제어한다. 여기서, 프로세서(230)는 중앙처리장치(central processing unit(CPU)), controller, 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함할 수 있다.
프로세서(230)는 사용자 단말 장치(200)가 서버 장치(100)에 액세스되면, 사용자 단말 장치(200)의 식별 정보를 서버 장치(100)로 전송하고, 서버 장치(100)로부터 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 수신하여 디스플레이(110)를 통해 디스플레이할 수 있다.
여기서, 사용자 단말 장치(200)는 사용자 발화 음성을 입력받기 위한 마이크와 같은 입력부를 더 포함하며, 프로세서(230)는 추천 디바이스 정보 중 사용자 발화 음성에 포함된 적어도 하나의 텍스트에 연관된 디바이스 정보를 디스플레이할 수 있다.
또는, 사용자 단말 장치(200)는 카메라를 더 포함하며, 프로세서(230)는 추천 디바이스 정보 중 카메라에 의해 촬영된 특정 공간의 크기에 대응되는 디바이스 정보를 디스플레이할 수 있다.
여기서, 프로세서(230)는 카메라에 의해 이미지를 촬영하고, 촬영된 이미지에 포함된 식별 이미지가 감지되면, 기저장된 식별 이미지의 크기 및 형상 정보에 기초하여 특정 공간의 크기를 산출할 수 있다.
한편, 프로세서(230)는 사용자 단말 장치(200)의 사용자의 계정에 액세스하기 위한 인증 정보를 서버 장치(100)로 전송하고, 서버 장치(100)로부터 사용자 단말 장치(200) 및 인증된 사용자 계정에 등록된 사용자 디바이스와 호환 가능한 추천 디바이스 정보를 수신하여 디스플레이할 수 있다.
한편, 프로세서(230)는 추천 디바이스 정보가 디스플레이된 상태에서, 추천 디바이스의 개수가 기설정된 수 이상인 경우, 추가 사용자 발화 음성을 유도하는 질문을 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 추천 디바이스 정보가 디스플레이(210) 화면에 한 번에 디스플레이될 수 없는 경우에 추가 사용자 발화 음성을 유도하는 질문을 디스플레이할 수 있다.
또는, 프로세서(230)는 사용자 발화 음성을 단계적으로 유도하는 질문을 디스플레이하고, 질문에 대한 사용자 발화 음성이 입력되면, 단계적으로 입력된 사용자 발화 음성을 서버 장치(100)로 전송하고, 단계적으로 입력된 사용자 발화 음성에 대응되는 추천 디바이스 정보를 수신하여 디스플레이할 수 있다.
또는, 프로세서(230)는 사용자 발화 음성을 단계적으로 유도하는 질문을 디스플레이하고, 단계적으로 입력된 발화 음성 전체를 서버 장치(100)로 전송하고, 전체 발화 음성에 대응되는 추천 디바이스 정보를 수신하여 디스플레이할 수 있다.
여기서, 프로세서(230)는 추천 디바이스 정보가 디스플레이된 상태에서, 어느 하나의 디바이스를 선택하는 사용자 입력이 수신되면, 단계적으로 입력된 사용자 발화 음성에 대응되는 스펙 정보를 그래프로 디스플레이할 수 있다.
한편, 프로세서(230)는 추천 디바이스 정보가 디스플레이된 상태에서, 어느 하나의 디바이스를 선택하는 사용자 입력이 수신되면, 선택된 디바이스의 상세 정보를 추가로 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 선택된 디바이스의 스펙 정보를 디스플레이할 수도 있고, 선택된 디바이스와 사용자 단말 장치(200)의 호환 정보를 디스플레이할 수도 있다.
또는, 프로세서(230)는 서버 장치(100)로부터 추출된 스펙 정보에 해당하는 추천 디바이스 각각이 지원하는 기능의 개수 정보를 수신하고, 수신된 정보에 기초하여 추천 디바이스 정보를 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 지원하는 기능의 개수가 많은 디바이스를 부각시켜 디스플레이할 수 있다.
그리고, 프로세서(230)는 복수의 사용자 발화 음성이 입력되면, 입력된 복수의 사용자 발화 음성 신호를 서버 장치(100)로 전송하고, 서버 장치(100)로부터 복수의 사용자 발화 음성 각각에 대응되는 스펙 정보를 가지는 추천 디바이스 정보를 수신하여 복수의 사용자 발화 음성과 함께 디스플레이할 수 있다.
여기서, 프로세서(230)는 복수의 사용자 발화 음성 중 어느 하나를 비활성화시키는 사용자 명령이 입력되면, 추천 디바이스 정보 중 비활성화된 사용자 발화 음성에 대응되는 스펙 정보를 가지는 디바이스를 제거하여 디스플레이할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 각 디바이스가 대표적으로 제공하는 기능을 설명하기 위한 도면이다.
도 4에 따르면, 서버 장치(100)의 스토리지(120)는 각 디바이스가 제공하는 기능을 저장하고 있을 수 있다. 예를 들어, 스토리지(120)는 TV가 방송 시청(Watch), 컨텐츠 재생(Play), 컨텐츠 공유(Share) 등의 기능을 제공하는 것으로 저장하고 있을 수 있다. 그리고, 스토리지(120)는 냉장고(Refrigerator)가 냉동 기능(Freeze), 저장 기능(Store) 등의 기능을 제공하고, 청소기(Cleaner)가 청소 기능(Clean), 먼지제거 기능(Dusting), 이동 기능(Move) 등의 기능을 제공하는 것으로 저장하고 있을 수 있다.
도 4에서는 세 종류의 디바이스에 대하여만 도시하였으나, 스토리지(120)는 이에 한정되지 않고 더 많은 종류의 디바이스에 대한 정보를 저장할 수 있다.
또한, 스토리지(120)는 각 디바이스의 세부 카테고리를 설정하여 제공하는 기능에 대한 정보를 저장할 수 있다. 예를 들어, 스토리지(120)는 TV의 제조사별로 세부 카테고리를 설정하여 제공하는 기능에 대한 정보를 저장할 수 있다.
또한, 스토리지(120)는 세부 카테고리의 세부 카테고리를 설정하여 정보를 저장할 수도 있다. 예를 들어, 스토리지(120)는 TV의 A 제조사의 제품 중 패널의 종류에 기초하여 제공하는 기능에 대한 정보를 저장할 수 있다.
그리고, 스토리지(120)는 각 디바이스 간의 호환 정보도 저장할 수 있다. 예를 들어, 스토리지(120)는 동종의 디바이스 간의 호환 정보를 저장할 수 있다. 또는, 스토리지(120)는 이종의 디바이스 간의 호환 정보를 저장할 수도 있다.
프로세서(130)는 사용자 단말 장치(200)가 서버 장치(100)에 액세스되어 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 식별 정보가 수신되면, 스토리지(120)에 저장된 정보에 기초하여 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 생성하여 사용자 단말 장치(200)로 전송할 수 있다.
특히, 프로세서(130)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)를 통해 입력된 사용자 발화 음성 신호가 수신되면, 발화 음성 신호에 포함된 적어도 하나의 텍스트와 연관된 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
예를 들어, 프로세서(130)는 사용자 단말 장치(200)로부터 사용자의 "동영상 재생이 됐으면 좋겠다."라는 발화 음성 신호가 수신되면, 컨텐츠 재생 기능이 있는 TV를 추천 디바이스 정보로 결정할 수 있다.
즉, 프로세서(130)는 일상 생활에서 사용하는 언어가 포함된 발화 음성 신호가 수신되더라도 디바이스가 제공하는 기능을 추출하여 추출된 기능을 제공하는 디바이스를 추천 디바이스 정보로 결정할 수 있다.
또한, 스토리지(120)는 스마트폰, 노트북, 데스크탑 PC 등에 대하여도 제공되는 기능과 함께 저장할 수 있다. 그에 따라, 프로세서(130)는 사용자 단말 장치(200)로부터 사용자의 "동영상 재생이 됐으면 좋겠다."라는 발화 음성 신호가 수신되면, TV 뿐만 아니라 스마트폰, 노트북 등을 추천 디바이스 정보로 결정할 수 있다.
특히, 프로세서(130)는 발화 음성 신호에 대응되는 세부 카테고리의 디바이스를 추천 디바이스 정보로 결정할 수 있다. 예를 들어, 프로세서(130)는 발화 음성 신호에 대응되는 A 제조사의 xxx-xxxxxxx 시리얼 넘버를 갖는 TV를 추천 디바이스 정보로 결정할 수 있다.
한편, 프로세서(130)는 추천 디바이스 정보에 추천 디바이스의 리스트 뿐만 아니라 추천 디바이스가 제공하는 기능에 대한 정보를 포함시켜 사용자 단말 장치(200)로 전송할 수 있다. 예를 들어, 프로세서(130)는 추천 디바이스의 스펙 정보 전체를 사용자 단말 장치(200)로 전송할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 발화 음성 신호를 처리하는 방법을 설명하기 위한 도면이다.
도 5에 따르면, 프로세서(130)는 See, Play, View, Observe, Stare, Look 등의 발화 음성 신호가 수신되면, Watch(510)라고 판단할 수 있다. 즉, 프로세서(130)는 유사한 의미의 언어 입력을 하나의 단어 입력으로 추출할 수 있다. 이러한 추출 과정은 스토리지(120)에 저장된 정보에 기초할 수 있다.
예를 들어, 프로세서(130)는 "볼 수...", "보고 싶다.", "보여줘."와 같은 발화 음성 신호가 수신되면, "시청"이라는 단어를 추출할 수 있다. 그리고, 프로세서(130)는 스토리지(120)에 저장된 정보에 기초하여 "시청" 기능을 제공하는 TV, 스마트폰 등의 디바이스 명칭을 디스플레이할 수 있다. 이러한 동작을 수행하기 위해서, 스토리지(120)에는 유사 의미의 다양한 언어들을 기술 용어 또는 스펙 용어로 그룹핑한 데이터베이스가 저장되어 있을 수 있다. 이러한 데이터베이스는 서버 장치(100)가 출시될 때, 미리 저장될 수도 있으며, 추후 외부 디바이스로부터 다운로드받을 수도 있다. 또한, 주기적으로 또는 수시로 업데이트될 수도 있다.
한편, 프로세서(130)는 발화 음성 신호로부터 복수의 단어를 추출하여 새로운 단어를 도출할 수도 있다. 특히, 프로세서(130)는 발화 음성 신호로부터 기능과 디바이스 타입을 추출하여 새로운 단어를 도출할 수도 있다. 예를 들어, 프로세서(130)는 발화 음성 신호로부터 Play(520)와 TV를 추출하고 Watch(510)를 도출할 수도 있다. 마찬가지로, 프로세서(130)의 이러한 추출 과정은 스토리지(120)에 저장된 정보에 기초할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 디바이스를 선택하는 과정을 설명하기 위한 도면이다.
도 6에 따르면, 프로세서(130)는 발화 음성 신호에 포함된 적어도 하나의 텍스트에 연관된 스펙 정보를 스토리지(120)로부터 검출하고, 검출된 스펙 정보를 가지는 디바이스를 추천 디바이스 정보로 결정할 수 있다.
예를 들어, 프로세서(130)는 발화 음성 신호로부터 Watch를 도출하고, Watch에 대응되는 기능으로 스마트뷰(610) 기능 및 트윈 튜너(620) 기능을 제공하는 디바이스를 추출할 수 있다.
프로세서(130)는 스마트뷰(610) 기능을 지원하는 제1 디바이스(630), 제2 디바이스(640), 제3 디바이스(650)를 추출하고, 트윈 튜너(620) 기능을 지원하는 제3 디바이스(650)를 추출할 수 있다. 예를 들어, 프로세서(130)는 각각의 기능을 지원하는 디바이스를 구분하여 추출할 수 있다. 상술한 예에 의하면, 프로세서(130)는 스마트뷰(610) 기능을 지원하는 디바이스로 제1 디바이스(630), 제2 디바이스(640), 제3 디바이스(650)를 추출하고, 트윈 튜너(620) 기능을 지원하는 디바이스로 제3 디바이스(650)를 추출할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(130)는 두 가지 기능을 모두 지원하는 제3 디바이스(650) 만을 추출할 수도 있다.
한편, 도 6에서는 Watch에 대응되는 기능으로 스마트뷰(610) 및 트윈 튜너(620) 만을 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, Watch 그 자체의 의미로서, 디스플레이가 구비된 디바이스가 모두 추출될 수도 있다. Watch에 대응되는 기능으로 스마트뷰(610) 기능 및 트윈 튜너(620) 기능 뿐만 아니라 HDMI 지원 기능 등이 포함될 수도 있다.
도 7은 본 발명의 일 실시 예에 따른 발화 음성으로 표현된 기능과 스펙 정보의 연계 방법을 설명하기 위한 도면이다.
도 7에 따르면, 프로세서(130)는 발화 음성 신호에 복수의 서로 다른 타입의 디바이스 명칭이 포함되면, 복수의 서로 다른 타입의 디바이스들 사이의 연동 기능에 대한 스펙 정보를 스토리지(120)로부터 검출할 수 있다.
예를 들어, 프로세서(130)는 "휴대폰에 있는 동영상을 TV에서 볼 수 있나?"라는 발화 음성 신호가 수신되면, Watch 뿐만 아니라 휴대폰과 TV를 더 추출할 수 있다. 그리고, 프로세서(130)는 휴대폰과 TV 사이의 연동 기능에 대한 스펙 정보를 Watch와 관련하여 검출할 수 있다. 즉, 프로세서(130)는 휴대폰과 TV의 디스플레이 기능을 연동하기 위한 MHL 지원 기능 및 HDMI 지원 기능을 검출할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(130)는 WiFi를 이용한 AllShare 지원 기능을 검출할 수도 있다.
그리고, 프로세서(130)는 연동 기능을 제공하는 디바이스 간의 호환 정보를 사용자 단말 장치(200)로 전송할 수 있다. 예를 들어, 프로세서(130)는 MHL 지원 기능이 있는 휴대폰의 명칭 및 HDMI 지원 기능이 있는 TV의 명칭을 추천 디바이스 정보로 결정하고 사용자 단말 장치(200)로 전송할 수 있다. 또는, 프로세서(130)는 WiFi를 이용한 AllShare 지원 기능이 있는 휴대폰과 TV의 리스트를 추천 디바이스 정보로 결정하고 사용자 단말 장치(200)로 전송할 수도 있다.
한편, 사용자 단말 장치(200)의 프로세서(230)는 사용자 단말 장치(200)가 서버 장치(100)에 액세스되면, 사용자 단말 장치(200)의 식별 정보를 서버 장치(100)로 전송하고, 서버 장치(100)로부터 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 수신하여 디스플레이(210)를 통해 디스플레이할 수 있다.
특히, 사용자 단말 장치(200)는 사용자 발화 음성을 입력받기 위한 입력부를 더 포함하며, 프로세서(230)는 추천 디바이스 정보 중 사용자 발화 음성에 포함된 적어도 하나의 텍스트에 연관된 디바이스 정보를 디스플레이할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 발화 음성의 입력을 유도하는 UI 화면을 설명하기 위한 도면이다.
도 8에 따르면, 사용자 단말 장치(200)의 프로세서(230)는 발화 음성의 입력을 유도하는 UI 화면(810)을 디스플레이할 수 있다. 그리고, 프로세서(230)는 발화 음성의 입력을 유도하는 UI 화면의 일측에 디바이스의 리스트를 나타내는 UI 화면(820)을 디스플레이할 수 있다.
프로세서(230)는 발화 음성이 입력되지 않는 경우, 발화 음성의 입력을 유도하는 질문을 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 사용자가 사용자 단말 장치(200) 주변에 있음을 감지하였으나 발화 음성의 입력이 없는 경우라면, 발화 음성의 입력을 유도하기 위해 "어떤 디바이스가 필요한가요?"와 같은 질문을 디스플레이할 수 있다. 다만, 이는 일 실시 예에 불과하고, 프로세서(230)는 다른 유형의 질문을 디스플레이하거나 아무런 동작을 수행하지 않을 수도 있다.
프로세서(230)는 발화 음성 신호로부터 스펙 정보를 추출하지 못하였음을 나타내는 신호를 서버 장치(100)로부터 수신하면, 추가 발화 음성의 입력을 유도하는 질문을 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 "잘 움직이는 구부러지는 청소기"와 같은 질문을 디스플레이할 수 있다.
프로세서(230)는 추가 발화 음성의 입력을 유도하는 질문을 서버 장치(100)로부터 수신된 정보에 기초하여 생성할 수 있다. 예를 들어, 서버 장치(100)는 "TV가 필요한데."라는 발화 음성 신호로부터 TV에 대한 구체적인 기능을 요구하는 신호를 사용자 단말 장치(200)로 전송할 수 있다. 프로세서(230)는 서버 장치(100)로부터 수신된 신호에 기초하여 TV와 관련된 "해상도가 높은 디스플레이가 필요하신가요?"라는 질문을 디스플레이할 수도 있다.
또는, 프로세서(230)는 발화 음성으로부터 이러한 질문을 생성할 수도 있다. 예를 들어, 프로세서(230)는 "TV가 필요한데."라는 발화 음성이 입력되면, 기능에 대한 스펙 정보를 추출하지는 못하나 디바이스 종류로서 TV를 추출할 수 있고, TV와 관련된 "해상도가 높은 디스플레이가 필요하신가요?"라는 질문을 디스플레이할 수도 있다.
프로세서(230)는 서버 장치(100)로부터 수신된 추천 디바이스 정보에 포함된 디바이스의 개수가 기설정된 수 이상인 경우, 추가 발화 음성의 입력을 유도하는 질문을 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 검출된 스펙 정보를 가지는 디바이스의 개수가 20개 이상인 경우, 추가 발화 음성의 입력을 유도하여 디바이스의 개수를 20개 이내로 축소시킬 수 있다. 만약, 프로세서(230)는 HDMI 지원 기능이 있으면서 60인치 이상의 TV를 원하는 발화 음성에 따라 대응되는 스펙 정보를 가지는 디바이스의 개수가 20개 이상인 경우, "벽걸이가 가능한 TV"와 같이 추가 발화 음성의 입력을 유도할 수 있다.
한편, 프로세서(230)는 추출된 스펙 정보에 해당하는 디바이스 각각이 지원하는 기능의 개수에 기초하여, 추천 디바이스 정보에 포함된 디바이스 중 디스플레이될 디바이스의 순서를 결정할 수도 있다. 예를 들어, 프로세서(230)는 "휴대폰과 연동 가능한 TV"라는 발화 음성의 입력에 따라, 휴대폰과 연동될 수 있는 HDMI 지원 기능, WiFi 기능 등을 지원하는 TV에 대한 리스트를 생성할 수 있다. 그리고, 프로세서(230)는 HDMI 지원 기능, WiFi 기능 모두를 지원하는 TV를 리스트 상의 위쪽으로 배치하여 디스플레이할 수도 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(230)는 어느 하나의 기능을 지원하는 TV를 리스트 상의 위쪽으로 배치하여 디스플레이할 수도 있다.
도 9는 본 발명의 일 실시 예에 따른 발화 음성의 입력을 단계적으로 유도하는 것을 설명하기 위한 도면이다.
도 9에 따르면, 프로세서(230)는 발화 음성의 입력을 단계적으로 유도하는 질문(910)을 디스플레이하고, 질문에 대한 발화 음성이 입력되면 단계적으로 입력된 발화 음성을 서버 장치(100)로 전송하고, 서버 장치(100)로부터 추천 디바이스 정보를 수신할 수 있다.
예를 들어, 프로세서(230)는 "집 전체에 사용하실 건가요?"라는 질문을 디스플레이하고, 그에 따른 발화 음성의 입력이 있으면, "소음이 작은 걸 원하시나요?"와 같은 단계적인 질문을 디스플레이할 수 있다. 이때, 프로세서(230)는 서버 장치(100)로부터 특정 단계의 질문에 대응되는 추천 디바이스 정보를 수신하는지의 여부와 무관하게 다음 단계의 질문을 디스플레이할 수 있다.
서버 장치(100)는 단계적으로 수신된 발화 음성 신호에 대응되는 추천 디바이스 정보를 단계적으로 사용자 단말 장치(200)에 전송할 수 있다.
프로세서(230)는 서버 장치(100)로부터 단계적으로 추천 디바이스 정보를 수신하여 디스플레이할 수 있다. 이때, 프로세서(230)는 단계적으로 수신된 추천 디바이스 정보를 별개로 디스플레이할 수도 있고, 각 단계별로 중첩되는 추천 디바이스만을 디스플레이할 수도 있다.
프로세서(230)는 yes 또는 no로 답할 수 있는 질문을 디스플레이할 수도 있고, 상세 정보를 요청하는 질문을 디스플레이할 수도 있다. 예를 들어, 프로세서(230)는 "몇 인치의 디스플레이를 갖는 휴대폰을 원하나요?"와 같은 질문을 디스플레이할 수도 있다.
프로세서(230)는 단계적으로 질문을 디스플레이하는 도중에 사용자의 종료 입력이 있으면, 그때까지 입력된 정보만을 서버 장치(100)로 전송하고, 수신된 추천 디바이스 정보에 기초하여 디바이스에 대한 리스트를 디스플레이할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(230)는 단계적으로 질문을 디스플레이하고, 단계적으로 수신되는 추천 디바이스 정보에 기초하여 실시간으로 디스플레이 리스트를 변경할 수도 있다.
도 10은 본 발명의 일 실시 예에 따른 선택된 디바이스의 상세 정보를 디스플레이하는 것을 설명하기 위한 도면이다.
*도 10에 따르면, 프로세서(230)는 디스플레이된 디바이스의 리스트에서 어느 하나의 디바이스를 선택하는 사용자 입력이 수신되면, 선택된 디바이스(1010)의 상세 정보를 리스트의 일 측(1020)에 추가로 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 리스트 상의 세 번째 디바이스를 선택하는 사용자 입력이 수신되면, 세 번째 디바이스에 대한 상세 정보를 리스트의 우측에 디스플레이할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(230)는 리스트 상에 오버랩하여 디스플레이할 수도 있다.
또한, 프로세서(230)는 상세 정보에서 입력된 발화 음성에 대응되는 부분을 두드러지게 디스플레이할 수도 있다. 예를 들어, 프로세서(230)는 발화 음성으로부터 소비 전력을 기준으로 리스트를 생성하였다면, 상세 정보에서 소비 전력을 볼드체로 디스플레이할 수도 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(230)는 소비 전력을 다른 색상으로 디스플레이할 수도 있고, 다른 정보와 차이를 줄 수 있는 방법이라면 어느 것이라도 무관하다.
한편, 도 10에서는 리스트 상에는 디바이스의 이미지만이 디스플레이되고, 어느 하나를 선택한 경우에만 상세 정보가 디스플레이되는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(230)는 리스트 상에 디바이스의 이미지 뿐만 아니라 간단한 디바이스 정보 등을 포함하여 디스플레이할 수도 있다. 또한, 프로세서(230)는 처음부터 디바이스의 리스트와 상세 정보를 같이 디스플레이할 수도 있다.
도 11은 본 발명의 일 실시 예에 따른 발화 음성에 대응되는 스펙 정보를 그래프로 디스플레이하는 것을 설명하기 위한 도면이다.
*도 11에 따르면, 프로세서(230)는 디스플레이된 디바이스의 리스트에서 어느 하나의 디바이스를 선택하는 사용자 입력이 수신되면, 단계적으로 입력된 발화 음성에 대응되는 스펙 정보를 그래프(1110)로 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 물걸레 같이 되는 청소기, 소음이 작은 청소기 및 잘 움직이는 구부러지는 청소기에 대한 발화 음성의 입력이 있었고, 그에 대응되는 디바이스의 리스트에서 어느 하나의 디바이스가 선택되면 어떠한 과정을 거쳐 디바이스의 선택이 이루어졌는지 보여주기 위해 스펙 정보를 그래프(1110)로 디스플레이할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(230)는 표를 이용하여 발화 음성에 대응되는 스펙 정보를 디스플레이할 수도 있다.
도 12a 내지 도 12f는 사용자 단말 장치(200)에서 제공하는 UI의 일 예를 설명하기 위한 도면이다.
도 12a에 도시된 바와 같이, 프로세서(230)는 기설정된 어플리케이션이 구동되면, 디바이스를 검색하기 위한 초기 화면을 디스플레이할 수 있다. 프로세서(230)는 디바이스 검색을 위한 검색 아이콘(1210) 및 감지 아이콘(1220)을 제공할 수 있다.
먼저, 감지 아이콘(1220)이 선택되면, 프로세서(230)는 사용자 단말 장치(200)가 구비한 센서를 이용하여 주변의 디바이스를 감지할 수 있다. 예를 들어, 프로세서(230)는 블루투스 기능을 활성화시켜 사용자 단말 장치(200) 주변의 디바이스를 감지하고, 감지된 디바이스를 디스플레이할 수 있다.
이때, 프로세서(230)는 감지된 디바이스로부터 디바이스의 스펙 정보를 직접 수신하여 디스플레이할 수도 있고, 감지된 디바이스로부터 식별 정보만을 수신하고, 수신된 식별 정보에 대응되는 정보를 서버 장치 등으로부터 수신하여 디스플레이할 수도 있다.
프로세서(230)는 검색 아이콘(1210)이 선택되면, 도 12b에 도시된 화면을 디스플레이할 수 있다. 특히, 프로세서(230)는 사용자의 발화 음성을 입력 받아 그에 대응되는 화면을 구성하여 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 TV를 검색하려는 사용자의 발화 음성으로부터 TV가 제공하는 기능을 카테고리화한 화면을 제공할 수 있다.
도 12b에서는 TV에 대한 카테고리로 외관(Exterior), 편의(Convenience), 화면(Screen) 등을 포함하는 것으로 도시되었으나, 이는 일 실시 예에 불과하고 얼마든지 다른 기준으로 카테고리를 제공할 수도 있다.
프로세서(230)는 편의 카테고리가 선택되면, 하위 카테고리로 컨텐츠 공유(Content Sharing), 설치 용이성(Easy to Configure) 등을 제공할 수 있다.
한편, 도 12c에 도시된 바와 같이, 프로세서(230)는 하위 카테고리 중 어느 하나가 선택되면, 선택된 하위 카테고리에 대응되는 구체적인 기능에 대한 정보를 제공할 수 있다. 예를 들어, 프로세서(230)는 상위 카테고리로 연결(Connectivity)가 선택되고, 하위 카테고리로 인터넷 접속(Internet Access)가 선택되면, Built in Wi-Fi, Ethernet, Wi-Fi Ready 등의 항목을 디스플레이할 수 있다.
도 12d에 도시된 바와 같이, 프로세서(230)는 구체적인 기능에 대한 정보 중 어느 하나가 선택되면, 선택된 기능을 구비한 디바이스 리스트를 구성하여 제공할 수 있다. 예를 들어, 프로세서(230)는 선택된 기능을 구비한 TV 중 가장 많이 팔린 TV를 디스플레이 영역의 상단에 제공하고, 디스플레이 영역의 하단에는 선택된 기능을 구비한 다른 TV의 리스트를 제공할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(230)는 디바이스의 출시 순, 디바이스의 가격 순 등 얼마든지 다른 정렬 방식으로 정렬할 수도 있다.
프로세서(230)는 상단에 제공되는 디바이스의 스펙 정보는 모두 제공하고, 하단에 제공되는 디바이스의 스펙 정보는 일부만을 제공할 수 있다. 사용자는 상단에 제공된 디바이스를 원하지 않는 경우, 하단의 다른 디바이스를 선택하여 상단에 디스플레이되도록 제어할 수 있다.
또는, 사용자는 복수의 기능을 선택하여 제공되는 디바이스의 개수를 줄일 수도 있다. 예를 들어, 사용자는 인터넷 연결 뿐만 아니라 가격 조건을 설정하여 디바이스의 개수를 줄일 수도 있다.
한편, 프로세서(230)는 디바이스 간의 호환성에 대한 정보를 제공할 수도 있다. 예를 들어, 도 12e에 도시된 바와 같이, 사용자가 특정 TV를 선택하고 스마트폰을 선택하는 경우, 프로세서(230)는 사용자가 선택한 TV와 스마트폰은 스마트뷰 기능을 통해 화면을 공유하거나 케이블 없이 화면 공유가 가능하다는 정보를 제공할 수 있다. 이때, 프로세서(230)는 해당 기능을 통해 카메라, 게임 콘솔 등은 사용자가 선택한 TV와 화면 공유가 가능하나, 노트북, 태블릿 등은 화면 공유가 불가함을 추가적으로 나타낼 수 있다.
한편, 프로세서(230)는 사용자의 선호 기준에 기초하여 복수의 디바이스를 비교할 수도 있다. 도 12f에 도시된 바와 같이, 프로세서(230)는 사용자가 선택된 복수의 TV를 디스플레이 크기, 곡면 형상 여부 및 가격을 기준으로 하여 사용자에게 좀더 유리한 디바이스를 추천할 수 있다.
특히, 프로세서(230)는 사용자의 선호 기준 별로 가중치를 부여하여 복수의 디바이스를 비교할 수도 있다. 예를 들어, 프로세서(230)는 디스플레이 크기, 곡면 형상 여부의 가중치를 가격의 가중치보다 높게 설정하여 복수의 디바이스를 비교할 수도 있다. 한편, 가중치는 사용자에 의해 설정될 수도 있고, 이전의 판매 데이터에 기초하여 기 설정되어 있을 수도 있다.
도 12a 내지 도 12f에서는 TV를 위주로 설명하였으나, 얼마든지 다른 디바이스 유형에 대하여도 동일하게 적용 가능하다.
도 13a 및 도 13b는 공간 정보에 기초하여 추천 디바이스 정보를 결정하는 방법의 일 예를 설명하기 위한 도면이다.
도 13a는 촬영된 이미지로부터 공간 정보를 산출하는 방법을 나타내는 도면이다. 여기서, 촬영된 이미지는 사용자 단말 장치(200)에서 촬영된 이미지일 수 있다. 사용자 단말 장치(200)는 카메라를 더 포함하며, 프로세서(230)는 카메라에 의해 촬영된 이미지를 서버 장치(100)로 전송할 수 있다.
서버 장치(100)의 프로세서(130)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)를 통해 특정 공간을 촬영한 이미지가 수신되면, 수신된 이미지에 기초하여 특정 공간의 크기를 산출하고, 산출된 공간 크기에 대응되는 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
도 13a의 첫 번째 도면에 도시된 바와 같이, 프로세서(130)는 수신된 이미지에 포함된 식별 이미지(1310)가 감지되면, 기저장된 식별 이미지(1310)의 크기 및 형상 정보에 기초하여 특정 공간의 크기를 산출할 수 있다.
여기서, 도 13a의 두 번째 도면과 같이, 사용자는 측정할 영역을 지정할 수 있다. 프로세서(130)는 사용자에 의해 측정할 영역이 지정된 경우에도 측정할 영역 내에 식별 이미지(1310)를 감지하여 측정할 영역의 크기를 산출할 수 있다.
스토리지(120)는 식별 이미지(1310)에 대한 정보를 저장하고 있을 수 있다. 프로세서(130)는 스토리지(120)에 저장된 식별 이미지(1310)에 대한 정보를 이용하여 특정 공간의 크기를 산출할 수 있다.
예를 들어, 식별 이미지(1310)의 크기가 가로 8cm, 세로 8cm의 직사각형인 경우, 프로세서(130) 촬영된 이미지에서 식별 이미지(1310)가 차지하는 픽셀의 개수에 기초하여 특정 공간의 크기를 산출할 수 있다.
또한, 프로세서(130)는 식별 이미지(1310)의 형상에 기초하여 촬영면과 촬영 디바이스의 촬영 각도를 산출할 수 있다. 프로세서(130)는 촬영 각도에 기초하여 특정 공간의 크기를 산출할 수 있다.
프로세서(130)는 도 13a의 세 번째 도면과 같이, 산출된 특정 공간 크기의 정보를 제공할 수 있다. 프로세서는(130)는 특정 공간의 너버, 높이, 뎁스 및 거리 중 적어도 하나를 포함하는 크기 정보를 제공할 수 있다.
프로세서(130)는 산출된 특정 공간의 크기 정보를 사용자 단말 장치(200)에 전송할 수 있다. 또는, 프로세서(130)는 산출된 특정 공간의 크기 정보에 기초하여 추천 디바이스 정보를 생성하여 사용자 단말 장치(200)로 전송할 수도 있다.
이때, 스토리지(120)는 디바이스의 가로, 세로 및 높이 정보를 저장할 수 있다. 또한, 스토리지(120)는 디바이스의 이용 특성을 고려한 필요 공간 정보를 저장할 수도 있다. 예를 들어, 스토리지(120)는 냉장고의 문의 개폐에 필요한 공간 정보, TV의 시청 거리를 고려한 공간 정보, 공기청정기의 공기 정화 가능 공간 정보 등을 저장할 수 있다.
도 13a에서는 서버 장치(100)가 특정 공간의 크기를 산출하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 사용자 단말 장치(200)가 특정 공간의 크기를 산출할 수도 있다.
사용자 단말 장치(200)의 프로세서(230)는 카메라에 의해 이미지를 촬영하고, 촬영된 이미지에 포함된 식별 이미지가 감지되면, 기저장된 식별 이미지의 크기 및 형상 정보에 기초하여 특정 공간의 크기를 산출할 수 있다.
그리고, 프로세서(230)는 추천 디바이스 정보 중 카메라에 의해 촬영된 특정 공간의 크기에 대응되는 디바이스 정보를 디스플레이할 수도 있다.
한편, 도 13b에 도시된 바와 같이, 프로세서(230)는 특정 공간의 크기에 대응되는 디바이스 중 하나를 특정 공간에 가상으로 오버레이하여 제공할 수도 있다. 여기서, 프로세서(230)는 카메라에 의해 촬영되는 프리뷰 이미지를 디스플레이하고, 추천 디바이스 중 하나를 특정 공간에 가상으로 디스플레이할 수 있다. 그에 따라, 사용자는 디바이스를 구매하지 않더라도 특정 공간에 적합한지 등을 판단할 수 있다.
도 14는 본 발명의 일 실시 예에 따른 서버 장치(100)와 사용자 단말 장치(200)의 동작을 설명하기 위한 시퀀스도이다.
먼저, 사용자 단말 장치(200)는 서버 장치(100)로 액세스하여 사용자 단말 장치(200)의 식별 정보를 서버 장치로 전송할 수 있다(S1410). 또는, 사용자 단말 장치(200)는 서버 장치(100)로 다른 디바이스에 대한 식별 정보를 전송할 수도 있다.
또는, 사용자 단말 장치(200)는 사용자 단말 장치(200)의 사용자의 계정에 액세스하기 위한 인증 정보를 서버 장치(100)로 전송할 수도 있다. 사용자의 계정에 대한 정보는 서버 장치(100)에 저장되어 있을 수 있다. 사용자는 사용자 단말 장치(200)에서 특정 어플리케이션을 실행시킨 후 사용자 계정에 액세스할 수도 있다. 사용자 단말 장치(200)는 인증 정보를 암호화하여 서버 장치(100)로 전송할 수 있다.
서버 장치(100)는 디바이스 간 호환 정보를 저장할 수 있다. 또는, 서버 장치(100)는 디바이스의 스펙 정보를 저장할 수 있다. 또는, 서버 장치(100)는 사용자의 계정에 대한 정보를 저장하고 있거나, 사용자의 계정 자체를 관리할 수도 있다. 예를 들어, 서버 장치(100)는 사용자가 소지하고 있는 디바이스에 대한 정보를 사용자의 계정에 연동하여 저장하고 있을 수 있다.
서버 장치(100)는 사용자 단말 장치(200)가 서버 장치(100)에 액세스되어 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 식별 정보가 수신되면, 저장된 정보에 기초하여 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 생성할 수 있다(S1420). 그리고, 서버 장치(100)는 생성된 정보를 사용자 단말 장치(200)로 전송할 수 있다(S1430).
또는, 서버 장치(100)는 사용자 단말 장치(200)의 사용자의 계정에 등록된 사용자 디바이스 정보에 기초하여 사용자 단말 장치(200) 및 등록된 사용자 디바이스와 호환 가능한 디바이스 정보를 추천 디바이스 정보로 결정하고, 결정된 정보를 사용자 단말 장치(200)로 전송할 수도 있다.
사용자 단말 장치(200)는 서버 장치(100)로부터 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 수신하여 디스플레이할 수 있다(S1440).
또는, 사용자 단말 장치(200)는 서버 장치(100)로부터 사용자 단말 장치(200) 및 인증된 사용자 계정에 등록된 사용자 디바이스와 호환 가능한 추천 디바이스 정보를 수신하여 디스플레이할 수도 있다.
도 15는 본 발명의 일 실시 예에 따른 서버 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 사용자 단말 장치가 서버 장치에 액세스되어 사용자 단말 장치로부터 사용자 단말 장치의 식별 정보를 수신한다(S1510). 그리고, 디바이스 간 호환 정보에 기초하여 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 생성한다(S1520). 그리고, 생성된 추천 디바이스 정보를 사용자 단말 장치로 전송한다(S1530).
여기서, 수신하는 단계(S1510)는 사용자 단말 장치로부터 사용자 단말 장치를 통해 입력된 사용자 발화 음성 신호를 수신하고, 생성하는 단계(S1520)는 발화 음성 신호에 포함된 적어도 하나의 텍스트와 연관된 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
또는, 수신하는 단계(S1510)는 사용자 단말 장치로부터 사용자 단말 장치를 통해 특정 공간을 촬영한 이미지를 수신하고, 생성하는 단계(S1520)는 수신된 이미지에 기초하여 특정 공간의 크기를 산출하는 단계 및 산출된 공간 크기에 대응되는 디바이스 정보를 추천 디바이스 정보로 결정하는 단계를 포함할 수 있다.
여기서, 산출하는 단계는 수신된 이미지에 포함된 식별 이미지를 감지하는 단계 및 기저장된 식별 이미지의 크기 및 형상 정보에 기초하여 특정 공간의 크기를 산출하는 단계를 포함할 수 있다.
한편, 생성하는 단계(S1520)는 사용자 단말 장치의 사용자의 계정에 등록된 사용자 디바이스 정보에 기초하여 사용자 단말 장치 및 등록된 사용자 디바이스와 호환 가능한 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
도 16은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 사용자 단말 장치가 서버 장치에 액세스되면, 사용자 단말 장치의 식별 정보를 서버 장치로 전송한다(S1610). 그리고, 서버 장치로부터 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 수신한다(S1620). 그리고, 수신된 추천 디바이스 정보를 디스플레이한다(S1630).
여기서, 사용자 발화 음성을 입력받는 단계를 더 포함하고, 디스플레이하는 단계(S1630)는 추천 디바이스 정보 중 사용자 발화 음성에 포함된 적어도 하나의 텍스트에 연관된 디바이스 정보를 디스플레이할 수 있다.
또는, 디스플레이하는 단계(S1630)는 추천 디바이스 정보 중 카메라에 의해 촬영된 특정 공간의 크기에 대응되는 디바이스 정보를 디스플레이할 수 있다.
여기서, 카메라에 의해 이미지를 촬영하는 단계, 촬영된 이미지에 포함된 식별 이미지를 감지하는 단계 및 기저장된 식별 이미지의 크기 및 형상 정보에 기초하여 특정 공간의 크기를 산출하는 단계를 더 포함할 수 있다.
그리고, 전송하는 단계(S1610)는 사용자 단말 장치의 사용자의 계정에 액세스하기 위한 인증 정보를 서버 장치로 전송하고, 수신하는 단계(S1620)는 서버 장치로부터 사용자 단말 장치 및 인증된 사용자 계정에 등록된 사용자 디바이스와 호환 가능한 추천 디바이스 정보를 수신할 수 있다.
이상에서는 서버 장치가 사용자 단말 장치로부터 식별 정보를 수신하여 추천 디바이스 정보를 제공하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 이하에서는 확장 실시 예를 설명한다.
*도 17은 본 발명의 확장 실시 예에 따른 디바이스 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 17에 도시된 바와 같이, 전자 시스템은 서버 장치(100), 복수의 디바이스(300-1, 300-2, 300-3, 300-4) 및 LFD(Large Format Display) 장치(400)를 포함할 수 있다. 서버 장치(100), 복수의 디바이스(300-1, 300-2, 300-3, 300-4) 및 LFD(Large Format Display) 장치(400)는 동일한 네트워크에 연결되어 있을 수 있다. 예를 들어, 서버 장치(100), 복수의 디바이스(300-1, 300-2, 300-3, 300-4) 및 LFD(Large Format Display) 장치(400)는 동일한 매장에 배치되어 하나의 네트워크에 연결되어 있을 수 있다.
복수의 디바이스(300-1, 300-2, 300-3, 300-4)는 각각 센서를 구비하고 있을 수 있으며, 센서에 의해 사용자의 조작이 감지되면 사용자 조작에 대한 정보를 서버 장치(100)로 전송할 수 있다. 예를 들어, 매장에서 사용자가 냉장고(300-1)의 문을 여는 경우, 냉장고(300-1)는 문이 열렸다는 신호를 서버 장치(100)로 전송할 수 있다.
서버 장치(100)는 수신된 감지 정보에 기초하여 관련된 정보를 추출하고, 추출된 정보를 LFD 장치(400)로 전송할 수 있다. 예를 들어, 서버 장치(100)는 냉장고(300-1)로부터 감지 결과가 수신되면 해당 냉장고(300-1)에 대한 정보를 LFD 장치(400)로 전송할 수 있다. LFD 장치(400)는 수신된 정보를 디스플레이하게 되고, 사용자는 냉장고(300-1)에 대한 구체적인 정보를 볼 수 있게 된다.
전송되는 정보는 디바이스의 세부 스펙 정보 뿐만 아니라 감지 정보에 대응되는 정보가 포함될 수 있다. 예를 들어, 전송되는 정보는 냉장고(300-1)의 세부 스펙 정보 뿐만 아니라 문이 열렸을 때의 시간, 문이 어느 정도로 열렸는지에 대한 정보, 문이 열린 시간에 기초하여 추가로 소모된 에너지에 대한 정보 등이 포함될 수 있다.
또한, 서버 장치(100)는 감지 결과가 수신되면, 해당 장치와 호환 가능한 디바이스에 대한 정보를 생성하여 LFD 장치(400)로 전송할 수도 있다. 예를 들어, 서버 장치(100)가 노트북(300-2)으로부터 감지 결과를 수신하면, 노트북(300-2)과 호환 가능한 추천 디바이스 정보를 생성하여 LFD 장치(400)로 전송할 수 있다.
특히, 서버 장치(100)는 감지 결과에 기초하여 추천 디바이스 정보를 생성할 수도 있다. 예를 들어, 사용자가 노트북(300-2)의 블루투스 기능을 실행시킨 경우, 노트북(300-2)은 블루투스 기능 실행 정보를 서버 장치(100)로 전송할 수 있고, 서버 장치(100)는 블루투스 기능이 지원되는 추천 디바이스 정보를 생성하여 LFD 장치(400)로 전송할 수 있다.
또는, 서버 장치(100)는 감지 결과에 기초하여 동종의 제품을 추천할 수도 있다. 예를 들어, 사용자가 스마트폰(300-3)을 조작하는 경우, 서버 장치(100)는 사용자가 조작한 스마트폰(300-3)에 대한 정보 뿐만 아니라 다른 스마트폰에 대한 정보를 추가로 LFD 장치(400)로 전송할 수 있다. 다만, 이에 한정되는 것은 아니며, 서버 장치(100)는 동종의 제품 뿐만 아니라 동일한 하드웨어 규격을 지원하는 디바이스에 대한 정보를 LFD 장치(400)로 전송할 수도 있다.
LFD 장치(400)는 대형 디스플레이로서 홍보 기능 또는 정보 전달 기능 등을 수행할 수 있다. LFD 장치(400)는 하나의 패널로 구성된 스탠드 얼론(stand alone)장치 또는 여러 장의 패널을 연결한 비디오 월(video wall) 장치일 수 있다.
LFD 장치(400)는 서버 장치(100)로부터 수신된 정보를 디스플레이할 수 있다. 예를 들어, LFD 장치(400)는 서버 장치(100)로부터 영상 정보를 수신하여 전체 디스플레이 영역에 디스플레이할 수 있다.
또는, LFD 장치(400)는 서버 장치(100)로부터 복수의 컨텐츠를 수신하고, 수신된 복수의 컨텐츠를 재배치하여 디스플레이할 수도 있다. 예를 들어, LFD 장치(400)는 서버 장치(100)로부터 텍스트 및 동영상을 수신하고, 기설정된 레이아웃에 따라 텍스트 및 동영상을 배치하여 디스플레이할 수도 있다.
또는, LFD 장치(400)는 기설정된 컨텐츠와 서버 장치(100)로부터 수신된 정보를 동시에 디스플레이할 수도 있다. 예를 들어, LFD 장치(400)는 LFD 장치(400)가 설치된 매장의 광고 컨텐츠를 디스플레이의 일 영역에 디스플레이하고, 서버 장치(100)로부터 수신된 정보를 나머지 영역에 디스플레이할 수도 있다.
도 18a 및 도 18b는 디바이스에 구비된 센서의 일 예를 설명하기 위한 도면이다.
도 18a에 도시된 바와 같이, 디바이스는 각 구성요소에 센서를 구비하거나, 디바이스가 제공하는 주요 기능을 센서와 연계하여 제공할 수 있다. 예를 들어, 냉장고는 냉장고 문의 개폐를 감지하는 센서를 구비할 수 있으며, 냉장고 문의 개폐를 센서를 통해 감지하고 상세 정보를 제공한다. 단, 디바이스에 따라 제공하는 기능과 센서는 상이하게 구성될 수 있다.
도 18a에는 냉장고가 8개의 센서를 구비한 것으로 도시되었으나, 경우에 따라 얼마든지 다르게 센서를 구비할 수도 있다.
도 18b는 8개의 센서에 대한 구체적인 정보를 나타낸다. 이러한 정보는 서버 장치(100)에 저장되어 있을 수 있다.
구체적으로, 서버 장치(100)는 각 센서의 스펙/기능 명칭, 적용 센서, 작동 방법 등에 대한 정보를 저장할 수 있다. 예를 들어, 서버 장치(100)는 1번 센서가 작동하였다는 신호가 수신되면, 냉장고 문의 개폐가 있었음을 감지할 수 있다. 이때, 1번 센서는 자석도어센서일 수 있다.
서버 장치(100)는 감지된 정보에 기초하여 LFD 장치(400)에서 디스플레이될 디바이스와 디바이스의 스펙 정보 등을 추출하여 LFD 장치(400)로 전송할 수 있다. 예를 들어, 서버 장치(100)는 1번 센서가 작동하였다는 신호가 수신되면, 냉장고 문에서 제공되는 기능에 대한 정보를 LFD 장치(400)로 전송할 수 있다. 냉장고 문에서 제공되는 기능에 대한 정보는 냉장고의 개폐에 따른 조명의 제어 기능 등을 포함할 수 있다.
도 19a 내지 도 19c는 서버 장치(100)의 데이터 처리 방법의 일 예를 설명하기 위한 도면이다.
먼저, 서버 장치(100)는 다양한 경로를 통해 데이터를 수집할 수 있다. 구체적으로, 서버 장치(100)는 IoT 센서 로그 처리기, 데이터 디렉토리 및 엔터프라이즈 데이터를 수집할 수 있다.
IoT 센서 로그 처리기는 디바이스에 구비된 센서로부터 데이터를 수집하고, 로그 데이터를 저장한다. 그리고, 로그 데이터를 구조화하고, 서버 장치(100)와 동일한 역할을 수행하는 다른 장치와 클라우드를 구성하여 데이터를 공유할 수 있다.
또한, 서버 장치(100)는 디바이스 지식, 일반 지식, 실시간 데이터 및 오픈 데이터를 수집하여 데이터 디렉토리를 구성할 수 있다. 데이터 디렉토리는 실시간으로 수집될 수도 있고, 주기적으로 수집될 수도 있다.
예를 들어, 도 19b에 도시된 바와 같이, 서버 장치(100)는 디바이스에 대한 데이터, 디바이스에 대한 실시간 데이터 및 일반 데이터를 구분하여 저장할 수 있다. 구체적으로, 디바이스에 대한 데이터는 디바이스 ID 정보, 디바이스 스펙 정보 및 디바이스 판매처 정보 등을 포함할 수 있다. 디바이스에 대한 실시간 데이터는 디바이스 리뷰/평점, 디바이스 기사, 소셜 미디어 데이터 등을 포함할 수 있다. 일반 데이터는 디바이스에 대한 일반 상식, 디바이스에 대한 위치 POI(Point of Interest) 등을 포함할 수 있다.
예를 들어, 서버 장치(100)는 “트리플 독립냉각”이라는 정보로부터 냉장고라는 디바이스 정보, 쿨링 시스템이라는 기능 정보 등을 추출할 수 있고, “트리플 독립냉각”과 관련된 뉴스, 리뷰 등을 검색하여 저장할 수 있다. 또한, 서버 장치(100)는 해당 기능이 구비된 디바이스의 판매 정보를 저장할 수 있다.
한편, 서버 장치(100)는 광고 데이터, 판매 데이터, A/S 데이터 및 판매처 데이터를 수집하여 엔터프라이즈 데이터를 구성할 수 있다. 마찬가지로, 엔터프라이즈 데이터는 실시간으로 수집될 수도 있고, 주기적으로 수집될 수도 있다.
서버 장치(100)는 수집된 데이터를 시맨틱 강화 엔진을 통해 지식 그래프와 데이터를 의미적으로 연계할 수 있다. 그리고, 서버 장치(100)는 시맨틱 빅데이터 분석을 통해 다이나믹 다차원 분석 결과를 생성할 수 있다. 다이나믹 다차원 분석 결과는 사용자 단말 장치(200) 또는 LFD 장치(400)로 전송되어 디스플레이될 수 있다.
서버 장치(100)는 시맨틱 강화 엔진을 이용하여, 먼저 로그 데이터를 추출 및 구조화하고, 데이터 디렉토리와 로그 데이터를 연계한다. 그리고, 서버 장치(100)는 엔티티(entity)를 인식 및 매핑한다. 여기서, 엔티티는 의미 있는 정보의 단위로서 디바이스 명칭, 기능, 가격 등 다양한 정보를 포함할 수 있다.
서버 장치(100)는 엔티티 정보 기반 시맨틱을 확장하고, 엔티티 간 시맨틱 추론을 통해 자동 규칙을 부여할 수 있다. 여기서, 시맨틱은 분산환경에서 리소스에 대한 정보와 자원 사이의 관계-의미 정보를 컴퓨터가 처리할 수 있는 온톨로지 형태로 표현하고, 이를 자동화된 컴퓨터가 처리하도록 하는 기술을 의미한다.
이후, 서버 장치(100)는 실시간 데이터 기반 텍스트를 추출하고, 엔티티 별 실시간 데이터를 자동으로 확장한다. 그리고, 서버 장치(100)는 시맨틱 인덱스를 생성하고 그래프 데이터를 저장한다.
도 19c는 시맨틱 빅데이터 분석의 일 예를 나타내는 도면이다.
먼저, 서버 장치(100)는 빅데이터를 분석한다. 빅데이터의 소스는 IoT 센서 데이터, 디바이스 웹사이트 데이터, SNS 데이터, 웹 검색 데이터 뿐만 아니라 엔터프라이즈 데이터를 포함할 수 있다. 예를 들어, 서버 장치(100)는 뉴욕에서 가장 많이 팔린 제품은 에어컨 A 등의 정보를 수집하여 분석할 수 있다.
분석 결과 연관 규칙 및 도메인이 추론될 수 있다. 예를 들어, 위치, 디바이스, 인구, 이벤트, 경제 등의 도메인이 추론될 수 있다.
그리고, 서버 장치(100)는 시맨틱 어노테이션을 수행하여, 빅데이터 분석을 통해 도출된 결과를 연관 정보를 활용하여 다차원 뷰를 생성한다. 예를 들어, 서버 장치(100)는 뉴욕에 대해 북미, 뉴저지 등의 다차원 뷰를 생성할 수 있다.
연관 규칙 및 도메인 추론과 시맨틱 어노테이션은 시맨틱 강화 엔진의 보조를 통해 수행될 수 있다.
그리고, 서버 장치(100)는 다이나믹 다차원 분석을 수행하여, 복수의 도메인 및 각 도메인의 다차원 뷰 간의 연관 관계를 분석한다. 예를 들어, 디바이스 기능과 지역, 연령, 성별 등의 상관관계, 기획, 개발 시 고려사항, 제품 고장 기능과 지역, 기후의 상관 관계 등을 도출할 수 있다.
서버 장치(100)는 Federated 시맨틱 검색을 통해 물리적인 데이터 이동 또는 통합 없이 시맨틱 강화 엔진에서 생성된 관계를 이용해 실시간으로 질의를 처리할 수 있다.
이상에서 설명한 시맨틱 강화 엔진은 실시간 또는 주기적으로 수행될 수 있다. 또한, 각 데이터는 이종의 데이터와 연계될 수 있으며, 이를 통해 해당 데이터의 상세 정보에 접근할 수 있다.
도 20은 본 발명의 확장 실시 예에 따른 서버 장치의 동작을 설명하기 위한 흐름도이다.
먼저, 디바이스의 특정 부위에서 이벤트가 발생한다(S2010). 이때, 디바이스에서 발생한 이벤트는 디바이스의 종류에 따라 다를 수 있다. 예를 들어, 스마트폰에서 발생한 이벤트로는 잠금 화면의 해제, 문자 메시지 전송 등이 있을 수 있고, 세탁기에서 발생한 이벤트로는 세탁 시작, 세탁물의 설정, 세탁기 도어의 개폐 등이 있을 수 있다.
그리고, 서버 장치는 이벤트 내용을 저장한다(S2020). 서버 장치는 각 디바이스로부터 이벤트 내용을 수신하여 저장할 수 있다. 서버 장치는 각 디바이스와 블루투스 등을 통해 직접 연결되어 있을 수도 있고, 액세서 포인트(AP)를 통해 간접적으로 연결되어 있을 수도 있다.
서버 장치는 이벤트 내용을 각 디바이스 카테고리마다 분류하여 저장할 수 있다. 또는, 서버 장치는 이벤트 내용을 이벤트 발생 시간에 따라 구분하여 저장할 수도 있다.
그리고, 서버 장치는 이벤트가 발생한 디바이스의 부위에 대한 정보를 탐색할 수 있다(S2030). 서버 장치는 이벤트가 발생한 디바이스의 부위가 어딘지를 파악하고, 이벤트가 발생한 디바이스의 부위와 관련된 기능을 검색할 수 있다. 서버 장치는 검색된 기능을 제공하는 다른 디바이스를 추가적으로 검색할 수도 있고, 검색된 기능과 호환되는 다른 디바이스를 추가적으로 검색할 수도 있다.
그리고, 서버 장치는 이벤트가 발생한 디바이스의 부위에 대한 정보를 제공할 수 있다(S2040). 서버 장치는 디스플레이를 구비하여 직접 정보를 제공할 수도 있고, 외부 디스플레이 장치에 검색된 정보를 전송하여 제공할 수도 있다. 또는, 서버 장치는 검색된 정보를 각 사용자 단말 장치로 전송할 수도 있다.
이상에서는 사용자가 디바이스를 조작한 경우에 이벤트가 발생하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 사용자가 스마트폰의 특정 어플리케이션을 실행시킨 후 매장을 돌아다니는 경우, 스마트폰이 특정 디바이스로부터 기설정된 거리 내에 위치하면 특정 디바이스는 서버 장치로 특정 디바이스에 대한 식별 정보를 전송할 수도 있다. 이 경우, 서버 장치는 특정 디바이스에 대한 스펙 정보를 LFD 장치로 전송하여 사용자에게 제공할 수 있다.
또한, 사용자가 스마트폰의 특정 어플리케이션을 실행시키면, 사용자의 계정에 접속되어 사용자가 조작했던 디바이스에 대한 정보가 저장될 수도 있다. 예를 들어, 사용자의 스마트폰이 특정 디바이스로부터 기설정된 거리 내에 위치하면 사용자의 스마트폰은 외부 서버 장치로 특정 디바이스에 대한 식별 정보를 전송할 수 있다. 이 경우, 외부 서버 장치는 사용자 계정에 대한 정보 및 해당 사용자 계정에 수신된 식별 정보를 갖는 특정 디바이스에 대한 정보를 저장할 수 있다.
또한, 외부 서버 장치는 특정 디바이스의 스펙 정보와 같은 구체적인 정보를 스마트폰으로 전송할 수도 있다. 사용자는 스마트폰을 통해 인접한 특정 디바이스에 대한 정보를 확인할 수 있다.
또한, 사용자는 매장을 벗어나서도 외부 서버 장치에 접속하여 사용자가 조작하였던 특정 디바이스에 대한 정보를 확인할 수도 있다. 특히, 사용자는 스마트폰이 아닌 노트북 등 다른 디바이스를 이용하여 특정 디바이스에 대한 정보를 확인할 수 있다. 이 경우, 사용자는 다른 디바이스를 통해 외부 서버 장치의 사용자 계정에 접속해야 한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자 디바이스와 호환 가능한 추천 디바이스 정보가 생성되고, 생성된 정보가 사용자에게 제공될 수 있다.
한편, 이상에서는 서버 장치와 사용자 단말 장치가 구분된 것으로 설명하였으나, 하나의 장치로 구성될 수도 있다. 예를 들어, 사용자 단말 장치가 발화 음성을 입력 받아 대응되는 추천 디바이스 정보를 디스플레이할 수도 있다. 또는, 사용자 단말 장치는 촬영한 이미지로부터 특정 공간의 크기를 산출하여 대응되는 추천 디바이스 정보를 디스플레이할 수도 있다.
한편, 이러한 다양한 실시 예에 따른 방법들은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.
구체적으로는, 상술한 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 서버 장치 110 : 통신부
120 : 스토리지 130 : 프로세서
200 : 사용자 단말 장치 210 : 디스플레이
220 : 통신부 230 : 프로세서

Claims (16)

  1. 사용자 단말 장치에 있어서,
    입력부;
    통신부;
    디스플레이; 및
    상기 입력부를 통해 복수의 서로 다른 타입의 디바이스 명칭을 포함하는 사용자 발화 음성이 수신되면, 상기 사용자 발화 음성을 서버 장치로 전송하도록 상기 통신부를 제어하고,
    상기 복수의 서로 다른 타입의 디바이스들 사이의 연동 기능을 제공하는 디바이스에 대한 정보를 포함하는 추천 디바이스를 상기 통신부를 통해 상기 서버로부터 수신하고,
    상기 추천 디바이스를 디스플레이하도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 사용자 단말 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 입력부를 통해 복수의 사용자 발화 음성이 수신되면, 상기 복수의 사용자 발화 음성을 상기 서버 장치로 전송하도록 상기 통신부를 제어하고,
    상기 통신부를 통해 상기 서버 장치로부터 상기 복수의 사용자 발화 음성 각각에 대응되는 스펙 정보를 갖는 추천 디바이스를 수신하고,
    상기 수신된 추천 디바이스를 상기 복수의 사용자 발화 음성과 함께 디스플레이하도록 상기 디스플레이를 제어하는, 사용자 단말 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 입력부를 통해 상기 복수의 사용자 발화 음성 중 하나를 비활성화시키는 사용자 명령이 수신되면, 상기 추천 디바이스 중 상기 비활성화된 사용자 발화 음성에 대응되는 스펙 정보를 가지는 디바이스를 제거하여 디스플레이하는, 사용자 단말 장치.
  4. 제1항에 있어서,
    카메라;를 더 포함하며,
    상기 프로세서는,
    상기 추천 디바이스 중 상기 카메라에 의해 촬영된 특정 공간의 크기에 대응되는 디바이스를 디스플레이하는, 사용자 단말 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 카메라에 의해 이미지를 촬영하고, 상기 촬영된 이미지에 포함된 식별 이미지가 감지되면, 기저장된 상기 식별 이미지의 크기 및 형상 정보에 기초하여 상기 특정 공간의 크기를 산출하는, 사용자 단말 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자 단말 장치의 사용자의 계정에 액세스하기 위한 인증 정보를 상기 서버 장치로 전송하도록 상기 통신부를 제어하고, 상기 통신부를 통해 상기 서버 장치로부터 상기 사용자 단말 장치 및 상기 인증된 사용자 계정에 등록된 사용자 디바이스와 호환 가능한 추천 디바이스를 수신하는, 사용자 단말 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 추천 디바이스가 디스플레이된 상태에서 상기 추천 디바이스의 개수가 기설정된 수 이상인 경우, 사용자 발화 음성을 유도하는 질문을 디스플레이하도록 상기 디스플레이를 제어하는, 사용자 단말 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 추천 디바이스 각각이 지원하는 기능의 개수 정보에 기초하여 상기 추천 디바이스 중 적어도 하나를 부각시켜 디스플레이하도록 상기 디스플레이를 제어하는, 사용자 단말 장치.
  9. 사용자 단말 장치의 제어 방법에 있어서,
    복수의 서로 다른 타입의 디바이스 명칭을 포함하는 사용자 발화 음성을 수신하는 단계;
    상기 사용자 발화 음성을 서버 장치로 전송하는 단계;
    상기 복수의 서로 다른 타입의 디바이스들 사이의 연동 기능을 제공하는 디바이스에 대한 정보를 포함하는 추천 디바이스를 상기 서버로부터 수신하는 단계; 및
    상기 추천 디바이스를 디스플레이하는 단계;를 포함하는 제어 방법.
  10. 제9항에 있어서,
    상기 전송하는 단계는,
    복수의 사용자 발화 음성이 수신되면, 상기 복수의 사용자 발화 음성을 상기 서버 장치로 전송하고,
    상기 서버로부터 수신하는 단계는,
    상기 서버 장치로부터 상기 복수의 사용자 발화 음성 각각에 대응되는 스펙 정보를 갖는 추천 디바이스를 수신하고,
    상기 디스플레이하는 단계는,
    상기 수신된 추천 디바이스를 상기 복수의 사용자 발화 음성과 함께 디스플레이하는, 제어 방법.
  11. 제10항에 있어서,
    상기 복수의 사용자 발화 음성 중 하나를 비활성화시키는 사용자 명령이 수신되면, 상기 추천 디바이스 중 상기 비활성화된 사용자 발화 음성에 대응되는 스펙 정보를 가지는 디바이스를 제거하여 디스플레이하는 단계;를 더 포함하는, 제어 방법.
  12. 제9항에 있어서,
    상기 디스플레이하는 단계는,
    상기 추천 디바이스 중 상기 사용자 단말 장치의 카메라에 의해 촬영된 특정 공간의 크기에 대응되는 디바이스를 디스플레이하는, 제어 방법.
  13. 제12항에 있어서,
    상기 디스플레이하는 단계는,
    상기 카메라에 의해 이미지를 촬영하고, 상기 촬영된 이미지에 포함된 식별 이미지가 감지되면, 기저장된 상기 식별 이미지의 크기 및 형상 정보에 기초하여 상기 특정 공간의 크기를 산출하는, 제어 방법.
  14. 제9항에 있어서,
    상기 전송하는 단계는,
    상기 사용자 단말 장치의 사용자의 계정에 액세스하기 위한 인증 정보를 상기 서버 장치로 전송하고,
    상기 수신하는 단계는,
    상기 서버 장치로부터 상기 사용자 단말 장치 및 상기 인증된 사용자 계정에 등록된 사용자 디바이스와 호환 가능한 추천 디바이스를 수신하는, 제어 방법.
  15. 제9항에 있어서,
    상기 추천 디바이스가 디스플레이된 상태에서 상기 추천 디바이스의 개수가 기설정된 수 이상인 경우, 사용자 발화 음성을 유도하는 질문을 디스플레이하는 단계;를 더 포함하는, 제어 방법.
  16. 제9항에 있어서,
    상기 디스플레이하는 단계는,
    상기 추천 디바이스 각각이 지원하는 기능의 개수 정보에 기초하여 상기 추천 디바이스 중 적어도 하나를 부각시켜 디스플레이하는, 제어 방법.
KR1020220154672A 2015-09-02 2022-11-17 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템 KR102657369B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20150124282 2015-09-02
KR1020150124282 2015-09-02
KR1020160005887A KR102469758B1 (ko) 2015-09-02 2016-01-18 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160005887A Division KR102469758B1 (ko) 2015-09-02 2016-01-18 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템

Publications (2)

Publication Number Publication Date
KR20220158666A true KR20220158666A (ko) 2022-12-01
KR102657369B1 KR102657369B1 (ko) 2024-04-16

Family

ID=58187898

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220154672A KR102657369B1 (ko) 2015-09-02 2022-11-17 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템

Country Status (2)

Country Link
KR (1) KR102657369B1 (ko)
WO (1) WO2017039153A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020095294A1 (en) * 2001-01-12 2002-07-18 Rick Korfin Voice user interface for controlling a consumer media data storage and playback device
US20060190350A1 (en) * 2005-02-23 2006-08-24 Eric Maas Systems and methods for finding, presenting and selling compatible goods
US20080034081A1 (en) * 2006-08-04 2008-02-07 Tegic Communications, Inc. Remotely controlling one or more client devices detected over a wireless network using a mobile device
US20130106910A1 (en) * 2011-10-27 2013-05-02 Ebay Inc. System and method for visualization of items in an environment using augmented reality
KR20140111538A (ko) * 2013-03-11 2014-09-19 삼성전자주식회사 대화형 서버, 디스플레이 장치 및 제어 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8478812B2 (en) * 2009-09-29 2013-07-02 Core Wireless S.A.R.L. Method and apparatus for providing device compatibility information
US8788944B1 (en) * 2011-03-09 2014-07-22 Amazon Technologies, Inc. Personalized mobile device application presentation using photograph-based capability detection
US20140025537A1 (en) * 2012-07-23 2014-01-23 Cellco Partnership D/B/A Verizon Wireless Verifying accessory compatibility with a mobile device
US20140032359A1 (en) * 2012-07-30 2014-01-30 Infosys Limited System and method for providing intelligent recommendations

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020095294A1 (en) * 2001-01-12 2002-07-18 Rick Korfin Voice user interface for controlling a consumer media data storage and playback device
US20060190350A1 (en) * 2005-02-23 2006-08-24 Eric Maas Systems and methods for finding, presenting and selling compatible goods
US20080034081A1 (en) * 2006-08-04 2008-02-07 Tegic Communications, Inc. Remotely controlling one or more client devices detected over a wireless network using a mobile device
US20130106910A1 (en) * 2011-10-27 2013-05-02 Ebay Inc. System and method for visualization of items in an environment using augmented reality
KR20140111538A (ko) * 2013-03-11 2014-09-19 삼성전자주식회사 대화형 서버, 디스플레이 장치 및 제어 방법

Also Published As

Publication number Publication date
WO2017039153A1 (ko) 2017-03-09
KR102657369B1 (ko) 2024-04-16

Similar Documents

Publication Publication Date Title
JP6695966B2 (ja) ユーザ選択されたコンテンツに対するアクション提案
US10795641B2 (en) Information processing device and information processing method
CN106663109B (zh) 针对移动屏上内容提供自动动作
US9703541B2 (en) Entity action suggestion on a mobile device
US10680906B2 (en) Information management method, control system, and method for controlling display device
WO2018072071A1 (zh) 知识图谱构建系统及方法
KR101855147B1 (ko) 사용자 선호도 분석 방법 및 그를 위한 디바이스
US20170322971A1 (en) Database search optimizer and themed filters
US20160337144A1 (en) Electronic apparatus and method of controlling the same
TW201339863A (zh) 圖像識別搜索方法及裝置
US20140358962A1 (en) Responsive input architecture
CN107423296A (zh) 搜索方法、装置以及用于搜索的装置
KR102469758B1 (ko) 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템
CN107045541A (zh) 数据显示方法和装置
EP2838062A1 (en) Search results with common interest information
WO2017026146A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2017050261A1 (zh) 一种云计算方法、云服务器及终端
US10241988B2 (en) Prioritizing smart tag creation
US9633083B2 (en) Organizing search results using smart tag inferences
KR102657369B1 (ko) 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템
US12182380B2 (en) Tabbed user interface
KR20200055433A (ko) 전자 장치 및 이의 제어 방법
KR102181896B1 (ko) 전자 장치에서 컨텐츠를 제공하기 위한 방법 및 시스템
WO2017095654A1 (en) User quest-anchored active digital memory assistant
JP2017531889A (ja) 文字列記憶方法及び装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20221117

Patent event code: PA01071R01D

Filing date: 20160118

Application number text: 1020160005887

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221205

Patent event code: PE09021S01D

AMND Amendment
E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20230622

Patent event code: PE09021S02D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20231103

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20230622

Comment text: Final Notice of Reason for Refusal

Patent event code: PE06011S02I

Patent event date: 20221205

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0701 Decision of registration after re-examination

Patent event date: 20240306

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20240206

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20231103

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20230817

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20221229

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240409

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240411

End annual number: 3

Start annual number: 1

PG1601 Publication of registration