KR20180093756A

KR20180093756A - 개인화된 서비스의 제공을 위한 휴대 장치, 스마트 장치 및 그 동작 방법

Info

Publication number: KR20180093756A
Application number: KR1020170046534A
Authority: KR
Inventors: 최준휘; 정칠희; 이호동; 이호식
Original assignee: 삼성전자주식회사
Priority date: 2017-02-14
Filing date: 2017-04-11
Publication date: 2018-08-22

Abstract

일 실시예에 따른 휴대 장치의 동작 방법은 휴대 장치에서 개인 비서 서비스의 실행 중 휴대 장치가 도킹 장치와 도킹되는지 여부를 식별하고, 휴대 장치가 도킹 장치와 도킹된 경우 실행 중인 개인 비서 서비스를 도킹 장치를 이용하여 연속성 있게 제공한다.

Description

개인화된 서비스의 제공을 위한 휴대 장치, 스마트 장치 및 그 동작 방법{MOBILE DEVICE, SMART DEVICE FOR PROVIDING PERSONALIZED SERVICE AND OPERATING METHOD THEREOF}

아래 실시예들은 개인화된 서비스의 제공을 위한 휴대 장치, 스마트 장치 및 그 동작 방법에 관한 것이다.

사물 인터넷(Internet of Things; IoT) 기술을 통해 다양한 전자 제품들의 구동 및 제어가 보다 용이하게 되었다. 사물 인터넷을 통해 사용자 맞춤형 서비스를 제공하기 위한 제어 장치는 사물 인터넷 장치 및/또는 그 밖의 전자 장치들에 개별적으로 탑재된다. 예를 들어, 스마트 폰에는 스마트 폰 전용 제어 장치가 탑재되고, 스마트 TV에는 스마트TV 전용 제어 장치가 탑재될 수 있다.

일 측에 따르면, 휴대 장치의 동작 방법은 상기 휴대 장치에서 개인 비서 서비스(artificial personal assistant service)의 실행 중 상기 휴대 장치가 도킹 장치와 도킹되는지 여부를 식별하는 단계; 및 상기 휴대 장치에서 상기 개인 비서 서비스의 실행 중 상기 휴대 장치가 상기 도킹 장치와 도킹된 경우, 상기 실행 중인 개인 비서 서비스를 상기 도킹 장치를 이용하여 연속성 있게 제공하는 단계를 포함한다.

상기 실행 중인 개인 비서 서비스를 상기 도킹 장치를 이용하여 연속성 있게 제공하는 단계는 상기 도킹 장치의 입출력 인터페이스 또는 상기 도킹 장치에 의해 제어되는 다른 장치의 입출력 인터페이스를 이용하여 상기 실행 중인 개인 비서 서비스를 연속성 있게 제공하는 단계를 포함할 수 있다.

상기 휴대 장치의 동작 방법은 상기 휴대 장치에서 상기 개인 비서 서비스의 실행 중 상기 휴대 장치가 상기 도킹 장치와 도킹되지 않은 경우, 상기 개인 비서 서비스를 제1 방식으로 제공하는 단계를 더 포함하고, 상기 휴대 장치에서 상기 개인 비서 서비스의 실행 중 상기 휴대 장치가 상기 도킹 장치와 도킹된 경우, 상기 실행 중인 개인 비서 서비스를 상기 도킹 장치를 이용하여 연속성 있게 제공하는 단계는 상기 휴대 장치에서 상기 개인 비서 서비스의 실행 중 상기 휴대 장치가 상기 도킹 장치와 도킹된 경우, 상기 개인 비서 서비스의 연속성을 유지하면서 상기 개인 비서 서비스를 상기 제1 방식과는 다른 제2 방식으로 제공하는 단계를 포함할 수 있다.

상기 휴대 장치의 동작 방법은 상기 휴대 장치에서 상기 개인 비서 서비스의 실행 중 상기 휴대 장치가 상기 도킹 장치와 도킹되지 않은 경우, 상기 휴대 장치의 하드웨어 성능에 따라 상기 개인 비서 서비스를 제공하는 단계를 더 포함하고, 상기 휴대 장치에서 상기 개인 비서 서비스의 실행 중 상기 휴대 장치가 상기 도킹 장치와 도킹된 경우, 상기 실행 중인 개인 비서 서비스를 상기 도킹 장치를 이용하여 연속성 있게 제공하는 단계는 상기 휴대 장치에서 상기 개인 비서 서비스의 실행 중 상기 휴대 장치가 상기 도킹 장치와 도킹된 경우, 상기 도킹 장치 또는 상기 도킹 장치에 의해 제어되는 다른 장치의 하드웨어 성능을 식별하고, 상기 개인 비서 서비스의 연속성을 유지하면서, 상기 도킹 장치 또는 상기 도킹 장치에 의해 제어되는 다른 장치의 하드웨어 성능에 따라 상기 개인 비서 서비스의 품질을 변경하여 제공하는 단계를 포함할 수 있다.

상기 개인 비서 서비스는 날씨, 및 뉴스를 포함하는 정보의 시청, 청취, 구독, 검색, 추천, 일정 관리, 전화 걸기, 개인화된 컨텐츠 추천, 개인 설정 불러오기, 음원을 포함하는 음성 정보 청취, 및 객체 제어 중 적어도 하나를 포함할 수 있다.

일 측에 따르면, 도킹 장치의 동작 방법은 상기 도킹 장치에 도킹된 휴대 장치가 있는지 여부를 판단하는 단계; 및 상기 도킹 장치에 도킹된 휴대 장치가 있는 경우, 상기 휴대 장치에서 실행 중인 개인 비서 서비스를 상기 도킹 장치에서 연속성 있게 제공하는 단계를 포함한다.

상기 휴대 장치에서 실행 중인 개인 비서 서비스를 상기 도킹 장치에서 연속성 있게 제공하는 단계는 상기 도킹 장치와의 도킹 이전에 상기 휴대 장치에 포함된 적어도 하나의 기능을 통해 기 제공된 개인 비서 서비스를 상기 도킹 이후에 상기 도킹 장치에 포함된 적어도 하나의 기능을 통해 제공하는 단계를 포함할 수 있다.

상기 휴대 장치에서 실행 중인 개인 비서 서비스를 상기 도킹 장치에서 연속성 있게 제공하는 단계는 상기 도킹된 휴대 장치로부터 상기 휴대 장치의 사용자에 관한 사용자 정보를 수신하는 단계; 및 상기 사용자 정보에 기초하여 상기 개인 비서 서비스를 제공하는 단계를 포함할 수 있다.

상기 사용자 정보는 상기 사용자의 사용 언어, 상기 사용자의 개인 정보, 상기 사용자의 입력에 대응하는 상기 휴대 장치에서의 상기 사용자의 사용 패턴, 상기 휴대 장치의 설정 정보, 상기 사용자의 선호 정보, 및 상기 사용자의 음성 특성 정보 중 적어도 하나를 포함할 수 있다.

상기 휴대 장치에서 실행 중인 개인 비서 서비스를 상기 도킹 장치에서 연속성 있게 제공하는 단계는 상기 도킹된 휴대 장치로부터 상기 휴대 장치의 사용자의 음성 특성 정보를 수신하는 단계; 상기 음성 특성 정보를 이용하여 수신된 음성에 대한 음성 인식을 수행하는 단계; 및 상기 음성 인식 결과에 기초하여, 상기 개인 비서 서비스를 연속성 있게 제공하는 단계를 포함할 수 있다.

상기 음성 인식을 수행하는 단계는 상기 음성 특성 정보를 이용하여 상기 수신된 음성이 상기 도킹 장치와의 도킹 이전에 상기 휴대 장치에서 기 제공된 개인 비서 서비스를 요청하는 것인지 여부를 분석하는 단계를 포함할 수 있다.

상기 개인 비서 서비스를 연속성 있게 제공하는 단계는 상기 수신된 음성이 상기 도킹 장치와의 도킹 이전에 상기 휴대 장치에서 기 제공된 뉴스 시청 서비스를 요청하는 것으로 분석되면, 상기 기 제공된 뉴스 시청 서비스를 상기 도킹 이후에 상기 도킹 장치에 포함된 적어도 하나의 기능을 통해 제공하는 단계를 포함할 수 있다.

상기 개인 비서 서비스를 연속성 있게 제공하는 단계는 상기 수신된 음성이 상기 도킹 장치와의 도킹 이전에 상기 휴대 장치에서 기 제공된 뉴스 시청 서비스를 요청하는 것으로 분석되면, 상기 기 제공된 뉴스 시청 서비스를 상기 도킹 장치에 포함된 적어도 하나의 기능을 통해 제공할 수 있는지 여부를 판단하는 단계; 및 상기 기 제공된 뉴스 시청 서비스를 상기 도킹 장치에 포함된 적어도 하나의 기능을 통해 제공할 수 없다고 판단되면, 상기 뉴스 시청 서비스를 대신하여 뉴스 청취 서비스를 제공하는 단계를 포함할 수 있다.

상기 도킹 장치의 동작 방법은 상기 도킹된 휴대 장치로부터 상기 휴대 장치의 설정 정보를 수신하는 단계를 더 포함하고, 상기 개인 비서 서비스를 연속성 있게 제공하는 단계는 상기 수신된 음성이 상기 도킹 장치와의 도킹 이전에 상기 휴대 장치에서 기 제공된 개인 비서 서비스를 요청하는 것으로 분석되면, 상기 휴대 장치의 설정 정보에 부합하도록 상기 도킹 장치의 설정을 조정하는 단계; 및 상기 조정된 도킹 장치의 설정에 따라 상기 기 제공된 개인 비서 서비스를 제공하는 단계를 포함할 수 있다.

상기 휴대 장치에서 실행 중인 개인 비서 서비스를 상기 도킹 장치에서 연속성 있게 제공하는 단계는 상기 도킹된 휴대 장치로부터 상기 휴대 장치의 사용자의 식품에 대한 선호 정보를 수신하는 단계; 및 상기 휴대 장치의 사용자의 식품에 대한 선호 정보를 이용하여 상기 도킹 장치와 연관된 식품 저장기에 포함된 식품에 관한 정보를 처리하여 상기 사용자에게 제공하는 단계를 포함할 수 있다.

일 측에 따르면, 스마트 장치의 동작 방법은 입력을 수신하는 단계; 상기 스마트 장치에 연결(connect)된 휴대 장치가 있는지 여부를 판단하는 단계; 상기 판단 결과에 기초하여, 상기 입력을 분석하기 위하여 접속할 서버를 결정하는 단계; 및 상기 결정된 서버에게 상기 입력을 전송하는 단계를 포함한다.

상기 결정하는 단계는 상기 스마트 장치에 연결된 휴대 장치가 존재하지 않는다는 판단에 따라, 상기 접속할 서버를 상기 스마트 장치에 대응하여 미리 설정된 제1 서버로 결정하는 단계; 및 상기 스마트 장치에 연결된 휴대 장치가 존재한다는 판단에 따라, 상기 접속할 서버를 상기 휴대 장치에 대응하는 제2 서버로 결정하는 단계를 포함할 수 있다.

상기 스마트 장치가 특정인을 위한 공간에 설치된 경우, 상기 제1 서버는 상기 특정인을 위한 공간에 대응하는 서버로 설정되고, 상기 특정인의 개인화된 서비스를 제공하기 위해 상기 입력을 분석할 수 있다.

상기 스마트 장치가 불특정인을 위한 공간에 설치된 경우, 상기 제1 서버는 상기 불특정인을 위한 공간에 대응하는 서버로 설정되고, 상기 공간에서 공용 서비스를 제공하기 위해 상기 입력을 분석할 수 있다.

상기 제2 서버는 상기 휴대 장치의 사용자의 개인화된 서비스를 제공하기 위해 상기 입력을 분석할 수 있다.

상기 개인화된 서비스는 상기 사용자의 사용 언어, 상기 사용자의 개인 정보, 상기 입력에 대응하는 제어 대상 장치에 대한 상기 사용자의 사용 패턴, 상기 제어 대상 장치에 대한 설정 정보, 및 상기 사용자의 선호 컨텐츠 중 적어도 하나를 포함할 수 있다.

상기 판단하는 단계는 상기 스마트 장치에 유선으로 도킹(docking)된 휴대 장치가 있는지 여부를 판단하는 단계; 및 상기 스마트 장치에 무선으로 페어링(pairing)된 휴대 장치가 있는지 여부를 판단하는 단계 중 적어도 하나를 포함할 수 있다.

상기 서버는 해당하는 데이터베이스에 기초하여 상기 입력을 분석함으로써 상기 입력에 대응하는 제어 대상 장치를 결정하고, 상기 제어 대상 장치의 제어를 위한 제1 명령(command)을 생성할 수 있다.

상기 서버는 상기 제1 명령의 수행 결과에 기초하여 피드백 장치를 결정하고, 상기 피드백 장치를 통한 피드백을 위한 제2 명령을 생성할 수 있다.

상기 입력은 음성 입력, 제스쳐 입력, 모션 입력, 화상 입력, 터치 입력 중 적어도 하나를 포함할 수 있다.

상기 입력을 수신하는 단계는 상기 스마트 장치의 입력 인터페이스를 통하여 상기 입력을 수신하는 단계; 및 상기 스마트 장치와 연결된 소형 장치로부터 상기 입력을 수신하는 단계 중 적어도 하나를 포함할 수 있다.

상기 스마트 장치의 동작 방법은 상기 스마트 장치에 연결된 휴대 장치가 있다는 판단에 따라, 상기 스마트 장치와 연결되고 슬립 모드로 동작 중인 소형 장치를 활성화시키는 단계를 더 포함할 수 있다.

상기 스마트 장치는 가정용 전자 장치, 오디오, 스피커, 로봇 청소기, 개인 서비스 로봇, 휴대 가능한 통신 장치, 도커, 및 자동차 중 적어도 하나를 포함할 수 있다.

일 측에 따르면, 스마트 장치에 대응하여 미리 설정된 제1 서버로부터 제1 명령을 수신하고 상기 제1 명령을 수행하는 상기 스마트 장치의 동작 방법은 휴대 장치의 사용자에 대응하는 제2 서버로부터 제2 명령을 수신하는 단계; 상기 스마트 장치의 메모리, 혹은 상기 제1 서버를 이용하여, 상기 사용자에게 상기 제2 명령의 권한이 있는지 여부를 판단하는 단계; 및 상기 판단 결과에 따라, 상기 제2 명령을 수행하는 단계를 포함한다.

상기 제1 서버는 상기 스마트 장치가 설치된 공간에 대응하고, 상기 제2 서버는 상기 휴대 장치의 사용자에 대응할 수 있다.

상기 제2 명령은 상기 사용자의 입력에 반응하여 상기 제2 서버에 의하여 결정되는 제2 제어 명령을 포함하고, 상기 제2 제어 명령은 상기 스마트 장치의 제어를 위한 제어 명령 및 상기 스마트 장치와 연결된 소형 장치의 제어를 위한 제어 명령 중 적어도 하나를 포함할 수 있다.

상기 스마트 장치의 동작 방법은 상기 제2 명령을 수행하는 단계 이후에, 상기 제2 명령의 수행 결과를 상기 제2 서버로 피드백 하는 단계를 더 포함할 수 있다.

상기 제2 명령은 상기 사용자의 입력에 대응하는 제어 명령의 수행 결과에 기초하여 상기 제2 서버에 의하여 결정되는 제2 피드백 명령을 포함하고, 상기 제2 피드백 명령은 상기 스마트 장치를 통한 피드백을 위한 피드백 명령 및 상기 스마트 장치와 연결된 소형 장치를 통한 피드백을 위한 피드백 명령 중 적어도 하나를 포함할 수 있다.

도 1은 일 실시예에 따른 개인화된 서비스가 제공되는 환경을 설명하기 위한 도면.
도 2는 일 실시예에 따른 개인화된 서비스의 제공을 위한 휴대 장치의 동작 방법을 나타낸 흐름도.
도 3은 일 실시예에 따른 개인화된 서비스의 제공을 위한 도킹 장치의 동작 방법을 나타낸 흐름도.
도 4는 다른 실시예에 따른 개인화된 서비스의 제공을 위한 시스템의 구성을 설명하기 위한 도면.
도 5는 일 실시예에 따른 개인화된 서비스의 제공을 위한 서버의 동작을 설명하기 위한 도면.
도 6은 일 실시예에 따른 개인화된 서비스의 제공을 위한 시스템의 구성 요소들 간의 동작을 설명하기 위한 도면.
도 7은 일 실시예에 따른 서버가 사용자에게 개인화된 서비스를 제공하는 과정을 설명하기 위한 도면.
도 8은 일 실시예에 따른 스마트 장치의 블록도.
도 9a 내지 도 9c는 실시예들에 따른 스마트 장치가 접속할 서버를 결정하는 시나리오들을 설명하기 위한 도면.
도 10a 내지 도 10c는 실시예들에 따른 스마트 장치가 서버의 명령을 수행하는 다양한 시나리오들을 설명하기 위한 도면.
도 11은 일 실시예에 따른 스마트 장치가 사용자 별로 제어 명령의 수행 결과를 피드백하는 방법을 설명하기 위한 도면.
도 12 내지 도 13은 실시예들에 따른 스마트 장치의 동작 방법을 나타낸 흐름도.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 일 실시예에 따른 개인화된 서비스가 제공되는 환경을 설명하기 위한 도면이다. 도 1을 참조하면, 휴대 장치(110) 및 휴대 장치(110)와 도킹(docking)되는 도킹 장치(130)가 도시된다.

휴대 장치(110)는 개인 비서 서비스(artificial personal assistant service; APAS)의 제공을 위한 하나 이상의 프로세서, 데이터 송, 수신을 포함하는 통신을 위한 통신 인터페이스 및 메모리를 포함할 수 있다.

휴대 장치(110)에는 개인 비서 서비스를 제공하기 위한 어플리케이션, 명령들, 또는 프로그램 등이 탑재될 수 있다. 여기서, '개인 비서 서비스'는 예를 들어, 사용자의 음성, 제스쳐, 모션, 촬영된 화상, 화면 터치 등과 같은 사용자의 입력을 분석하고, 분석 결과에 기초하여 사용자가 원하는 지시 사항을 수행하며, 사용자의 습관 혹은 행동 패턴을 학습함으로써 마치 비서처럼 사용자에게 필요한 맞춤형 서비스를 제공하는 서비스로 이해될 수 있다.

개인 비서 서비스는 예를 들어, 날씨, 및 뉴스를 포함하는 정보의 시청, 청취, 구독, 검색, 추천, 일정 관리, 전화 걸기, 개인화된 컨텐츠 추천, 개인 설정 불러오기, 음원을 포함하는 음성 정보 청취, 및 객체 제어 등을 포함할 수 있다. 여기서, 객체는 휴대 장치(110)와 유, 무선을 통해 연결된 전자 장치 등으로 이해될 수 있다.

개인 비서 서비스는 예를 들어, 사용자의 사용 언어, 사용자의 개인 정보, 사용자의 입력에 대응하는 휴대 장치(110)에서의 사용자의 사용 패턴, 휴대 장치(110)의 설정 정보, 사용자의 선호 정보, 사용자의 음성 특성 정보 및 사용자의 영상 특성 정보 등과 같은 사용자 정보에 기초하여 제공될 수 있다.

사용자의 개인 정보는 예를 들어, 사용자의 나이, 성별, 가족 구성, 취미, 직업, 학력 등을 포함할 수 있다.

사용자의 입력에 대응하는 휴대 장치(110)에서의 사용자의 사용 패턴은 사용자의 지속적인 사용에 의해 파악된 사용자의 휴대 장치(110)에서의 사용 패턴에 해당할 수 있다. 사용자의 입력에 대응하는 휴대 장치(110)에서의 사용자의 사용 패턴은 예를 들어, 사용자의 특정 음성 입력("O놀자")에 대응하여 휴대 장치(110)에서 특정 어플리케이션을 구동하는 사용 패턴, 사용자의 특정 제스쳐 입력("V자 형태를 취하는 제스쳐")에 대응하여 휴대 장치(110)에서 사용자를 촬영하는 사용 패턴, 카메라 또는 비전 센서 등을 통해 촬영된 사용자의 영상 특성 정보(웃는 얼굴 또는 찡그린 표정 등)에 대응하여 휴대 장치(110)에서 특정 컨텐츠를 제공하거나, 특정 명령을 수행하는 사용 패턴, 및 휴대 장치(110)의 터치 디스플레이를 통한 특정 형태의 터치 입력에 대응하여 휴대 장치(110)에서 특정 음악을 재생하는 사용 패턴 등을 포함할 수 있다.

휴대 장치(110)의 설정 정보는 예를 들어, 휴대 장치(110)의 스피커 음량 및 음향, 디스플레이의 해상도 및 명암, 프로세서의 처리 속도 등과 하드웨어 설정 정보 및 차단된 어플리케이션, 설치된 어플리케이션, 언어 설정, 국가 설정, 알람 설정 시간 등과 같은 소프트웨어 설정 정보를 모두 포함할 수 있다.

사용자의 선호 정보는 예를 들어, 음악 채널에 대한 선호도, 뉴스 채널에 대한 선호도, 영화 장르에 대한 선호도, 식품의 선호도, 운동 및 취미에 대한 선호도 등을 포함할 수 있다. 또한, 사용자의 음성 특성 정보는 예를 들어, 사용자의 음색, 사용자의 음성의 고저, 강세, 연음 처리, 사용자의 음성 발화 속도, 및 사용자의 음량 등을 포함할 수 있다. 사용자의 영상 특성 정보는 예를 들어, 사용자의 정적 또는 동적 얼굴 영상, 사용자의 다양한 얼굴 표정뿐만 아니라, 사용자의 지문, 사용자의 눈 부분, 사용자의 입 부분 등과 같은 사용자의 신체 일부를 촬영한 영상 등을 모두 포함할 수 있다.

전술한 사용자의 정보는 일 예를 기재한 것일 뿐, 반드시 이에 한정되는 것은 아니고, 이 밖에 다양한 정보를 포함할 수 있다.

개인 비서 서비스를 위한 사용자 정보는 예를 들어, 휴대 장치(110)의 메모리 혹은 별도의 저장 장치 등에 저장될 수 있다

휴대 장치(110)는 예를 들어, 자연어 인식, 문장 분석, 영상 인식, 상황 인지 기능 등을 수행할 수 있다. 휴대 장치(110)는 예를 들어, 태블릿(tablet) 컴퓨터, 스마트 폰(smart phone), PDA(Personal Digital Assistant), 웨어러블 디바이스(wearable device) 및 그 밖의 모바일 기기(mobile device) 등과 같이 통신 기능을 포함하고, 사용자가 휴대 가능한 다양한 통신 장치들에 의해 구현될 수 있다.

휴대 장치(110)는 도킹 장치(130)와 도킹할 수 있다. 여기서, '도킹'은 휴대 장치(110)가 도킹 장치(130)와의 물리적인 접촉을 통해 결합되는 것을 이해될 수 있다.

도킹 장치(130)는 휴대 장치와의 접촉(혹은 체결)을 통해 휴대 장치(110)가 제공하던 개인 비서 서비스를 동일하게 제공할 수 있다. 도킹 장치(130)는 휴대 장치(110)와 접촉(혹은 체결)을 위한 접촉부(혹은 체결부)를 포함할 수 있다.

휴대 장치(110)와 접촉(혹은 체결)을 위한 접촉부(혹은 체결부)를 포함할 수 있는 전자 장치라면 어느 것이나 도킹 장치(130)에 해당할 수 있다. 도킹 장치(130)는 예를 들어, 가정용 전자 장치, 오디오, 스피커, 로봇 청소기, 개인 서비스 로봇, 휴대 가능한 통신 장치, 도커 및 자동차를 포함할 수 있다.

휴대 장치(110)는 개인 비서 서비스를 직접 실행할 수 있다. 또는 휴대 장치(110)는 휴대 장치(110)에 도킹된 도킹 장치(130)의 입출력 인터페이스 또는 도킹 장치(130)에 의해 제어되는 다른 장치의 입출력 인터페이스를 통해 개인 비서 서비스를 연속성 있게 제공할 수 있다.

예를 들어, 사용자가 휴대 장치(110)를 통해 개인 비서 서비스를 제공받으면서 퇴근 중이라고 하자. 이때, 개인 비서 서비스는 예를 들어, 사용자가 선호하는 뉴스 채널 또는 음악 채널의 제공일 수 있다.

퇴근 길에 청취하던 뉴스 채널 또는 음악 채널을 집에 도착해서도 계속 듣고자 하는 사용자는 휴대 장치(110)를 집 안에 설치된 도킹 장치(130)에 도킹할 수 있다.

휴대 장치(110)는 사용자가 선호하는 뉴스 채널 또는 음악 채널을 제공하는 중에 도킹 장치(130)와의 도킹 여부를 식별한다. 도킹 장치(130)와 도킹된 경우, 휴대 장치(110)는 휴대 장치(110)에서 실행 중인 뉴스 채널 또는 음악 채널의 제공을 도킹 장치(130)를 이용하여 제공할 수 있다. 휴대 장치(110)에 실행되던 개인 비서 서비스는 도킹을 통해 도킹 장치(130)에 의해 연속성 있게 제공된다.

여기서, 개인 비서 서비스가 '연속성 있게' 제공된다는 것은 도킹 장치와의 도킹 이전에 휴대 장치(110)에 포함된 적어도 하나의 기능을 통해 기 제공(또는 실행)된 개인 비서 서비스가 도킹 이후에 도킹 장치(130)에 포함된 적어도 하나의 기능을 통해 동일하게 제공되는 것을 의미한다. 예를 들어, 휴대 장치(110)와 도킹 장치(130)의 도킹 이전에 휴대 장치(110)에서 제공(또는 실행)되던 개인 비서 서비스가 A 서비스이면, 휴대 장치(110)와 도킹 장치(130)의 도킹 이후에 도킹 장치(130)를 통해 동일한 A 서비스가 제공(또는 실행)될 수 있다. 이때, A 서비스는 도킹 과정에서 끊기지 않고 지속적으로(seamlessly) 제공될 수 있다.

예를 들어, 사용자가 퇴근 길에 휴대 장치(110)를 통해 뉴스 채널 B를 제공받았다고 하자.

사용자는 집에 들어와 휴대 장치(110)를 도킹 장치(130)와 도킹 시키고, "좀 전에 보던 뉴스 채널 B를 보여줘"라고 말할 수 있다. 도킹 장치(130)와 도킹된 휴대 장치(110)는 미리 저장된 사용자의 음성 특성 정보를 이용하여 사용자로부터 수신된 음성("좀 전에 보던 뉴스 채널 B를 보여줘")을 분석할 수 있다. 이때, 휴대 장치(110)는 수신된 음성이 도킹 장치(130)와의 도킹 이전에 휴대 장치(110)에서 기 제공된 뉴스 채널 B의 시청 서비스를 요청하는 것인지 여부를 분석할 수 있다. 해당 음성이 뉴스 채널 B의 시청 서비스를 요청하는 것으로 분석되면, 휴대 장치(110)는 분석 결과에 따라 도킹 장치(130)를 통해 뉴스 채널 B의 시청 서비스를 제공할 수 있다.

실시예에 따라서, 수신된 음성이 도킹 장치(130)와의 도킹 이전에 휴대 장치(110)에서 기 제공된 뉴스 시청 서비스를 요청하는 것으로 분석되면, 도킹 장치(130)는 기 제공된 뉴스 시청 서비스를 도킹 장치(130)에 포함된 적어도 하나의 기능을 통해 제공할 수 있는지 여부를 판단할 수 있다. 이때, 도킹 장치(130)가 스피커만을 포함하고, 뉴스 시청 서비스를 제공하기 위한 디스플레이를 포함하지 않아 기 제공된 뉴스 시청 서비스를 제공할 수 없다고 판단되면, 도킹 장치(130)는 뉴스 시청 서비스를 대신하여 뉴스 시청 서비스와 유사한 뉴스 청취 서비스를 제공할 수 있다.

또는, 도킹 장치(130)는 도킹된 휴대 장치(110)로부터 휴대 장치(110)의 사용자의 음성 특성 정보를 수신하고, 음성 특성 정보를 이용하여 수신된 음성("좀 전에 보던 뉴스 채널 B를 보여줘")에 대한 음성 인식을 수행할 수 있다. 도킹 장치(130)는 수신된 음성이 도킹 장치(130)와의 도킹 이전에 휴대 장치(110)에서 기 제공된 뉴스 채널 B를 요청하는 것으로 분석되면, 뉴스 채널 B를 연속성 있게 제공할 수 있다.

이 밖에도, 사용자는 외부에서 집으로 들어가는 중에 "내가 지금 듣고 있는 음악C를 집에 가서도 계속 들려줘"라고 말할 수 있다. 휴대 장치(110)는 미리 저장된 사용자의 음성 특성 정보를 기초로 "내가 지금 듣고 있는 음악 C를 집에 가서도 계속 들려줘"라는 음성을 분석(및/또는 인식)할 수 있다. 휴대 장치(110)는 음성 분석 결과에 따라 해당 음성이 휴대 장치(110)와 도킹 장치(130)와의 도킹 이전에 휴대 장치(110)를 통해 제공되던 음악 C을 휴대 장치(110)와 도킹 장치(130)와의 도킹 이후에도 계속 제공해 줄 것을 요청하는 것임을 파악할 수 있다. 휴대 장치(110)는 이후 집에 도착한 사용자가 도킹 장치(130)와 휴대 장치(110)를 도킹시킴에 따라 도킹 장치(130)를 통해 C음악을 제공할 수 있다.

휴대 장치(110)는 개인 비서 서비스의 실행 중 도킹 장치(130)와 도킹 되었는지 여부에 따라 서로 다른 방식으로 개인 비서 서비스를 제공할 수 있다.

휴대 장치(110)는 도킹 장치(130)와 도킹되지 않은 경우에는 제1 방식으로 개인 비서 서비스를 제공할 수 있다. 휴대 장치(110)는 도킹 장치(130)와 도킹된 경우에는 개인 비서 서비스의 연속성을 유지하면서 제1 방식과는 다른 제2 방식으로 개인 비서 서비스를 제공할 수 있다.

이때, 제1 방식은 예를 들어, 휴대 장치(110)의 하드웨어 성능, 또는 휴대 장치(110)에 포함된 적어도 하나의 기능에 따른 방식일 수 있다. 제2 방식은 예를 들어, 도킹 장치(130) 또는 도킹 장치(130)에 의해 제어되는 다른 장치의 하드웨어 성능, 혹은 도킹 장치(130) 또는 다른 장치에 포함된 적어도 하나의 기능에 따른 방식일 수 있다.

예를 들어, 휴대 장치(110)가 사용자의 물음에 응답하여 답변을 제공하는 개인 비서 서비스를 제공 중이라고 하자. 이때, 휴대 장치(110)는 음성 인식 기능, 디스플레이 기능 및 스피커 기능을 포함하고, 도킹 장치는 음성 인식 기능 및 스피커 기능을 포함한다고 하자.

도킹 장치(130)와 도킹되지 않은 경우에 휴대 장치(110)는 음성 인식 기능 및 디스플레이 기능에 의해 디스플레이에 표시되는 영상 형태의 답변을 제공하는 방식으로 개인 비서 서비스를 제공할 수 있다. 휴대 장치(110)는 도킹 장치(130)와 도킹된 경우에는 사용자의 물음에 응답하여 답변을 제공하는 개인 비서 서비스의 연속성을 유지하면서 도킹 장치(130)를 통해 디스플레이 표시 형태가 아닌 음성 형태로 답변을 제공할 수 있다.

실시예에 따라서, 도킹 장치(130)는 휴대 장치(110)를 통해 사용자의 위치를 파악하여 휴대 장치(110)와 자동적으로 근거리 무선 연결을 수행함으로써 휴대 장치(110)에서 실행 중인 개인 비서 서비스를 연속성 있게 제공할 수도 있다.

또한, 실시예에 따라서, 도킹 장치(130)는 자신과 도킹된 휴대 장치(110)의 사용자를 구별하고, 구별된 휴대 장치(110)의 사용자를 위한 개인 비서 서비스를 제공할 수도 있다. 도킹 장치(130)가 휴대 장치(110)의 사용자를 구별하여 개인 비서 서비스를 제공하는 실시예들은 아래의 도 4 내지 도 13을 통해 구체적으로 설명한다.

도 2는 일 실시예에 따른 개인화된 서비스의 제공을 위한 휴대 장치의 동작 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 휴대 장치는 휴대 장치에서 개인 비서 서비스의 실행 중 휴대 장치가 도킹 장치와 도킹되는지 여부를 식별한다(210).

휴대 장치는 개인 비서 서비스의 실행 중 휴대 장치가 도킹 장치와 도킹되는지 여부를 결정할 수 있다(220).

단계(220)에서, 개인 비서 서비스의 실행 중 휴대 장치가 도킹 장치와 도킹된 것으로 결정되면, 휴대 장치는 실행 중인 개인 비서 서비스를 도킹 장치를 이용하여 연속성 있게 제공한다(230). 휴대 장치는 도킹 장치의 입출력 인터페이스 또는 도킹 장치에 의해 제어되는 다른 장치의 입출력 인터페이스를 이용하여 실행 중인 개인 비서 서비스를 연속성 있게 제공할 수 있다.

예를 들어, 도킹 장치가 가정용 전자 장치이고, 가정용 전자 장치에 의해 스피커가 제어된다고 하자. 휴대 장치는 가정용 전자 장치의 입출력 인터페이스 또는 스피커의 입출력 인터페이스를 이용하여 휴대 장치에서 실행 중인 개인 비서 서비스를 도킹 장치에서 연속성 있게 제공할 수 있다.

단계(230)에서 휴대 장치는 도킹 장치의 하드웨어 성능 또는 도킹 장치에 의해 제어되는 다른 장치(예를 들어, 텔레비전, 또는 스피커)의 하드웨어 성능을 식별할 수 있다. 휴대 장치는 예를 들어, 도킹 장치(또는 다른 장치)의 프로세서 속도, 메모리 용량, 디스플레이의 화상도, 그래픽 카드의 성능, 스피커의 성능 등과 같은 하드웨어 성능을 식별할 수 있다. 휴대 장치는 개인 비서 서비스의 연속성을 유지하면서, 도킹 장치 또는 도킹 장치에 의해 제어되는 다른 장치의 하드웨어 성능에 따라 개인 비서 서비스의 품질을 변경하여 제공할 수 있다.

휴대 장치는 예를 들어, 도킹 장치 또는 텔레비전의 하드웨어 성능을 식별하고, 도킹 장치 또는 텔레비전의 하드웨어 성능에 따라 음향 품질 또는 영상의 해상도를 다르게 설정하여 개인 비서 서비스를 제공할 수 있다.

단계(220)에서, 개인 비서 서비스의 실행 중 휴대 장치가 도킹 장치와 도킹되지 않은 것으로 결정되면, 휴대 장치는 실행 중인 개인 비서 서비스를 지속적으로 제공할 수 있다(240). 단계(240)에서, 휴대 장치는 예를 들어, 휴대 장치의 하드웨어 성능에 따라 최적화된 품질의 음향 또는 최적화된 영상의 해상도를 설정하여 개인 비서 서비스를 제공할 수 있다.

도 3은 일 실시예에 따른 개인화된 서비스의 제공을 위한 도킹 장치의 동작 방법을 나타낸 흐름도이다. 도 3을 참조하면, 일 실시예에 따른 도킹 장치는 도킹 장치에 도킹된 휴대 장치가 있는지 여부를 판단한다(310). 단계(310)에서 도킹 장치에 도킹된 휴대 장치가 없다고 판단되면, 도킹 장치는 동작을 종료할 수 있다.

단계(310)에서 도킹 장치에 도킹된 휴대 장치가 있다고 판단되면, 도킹 장치는 휴대 장치에서 실행 중인 개인 비서 서비스를 도킹 장치에서 연속성 있게 제공한다(320). 단계(320)에서, 도킹 장치는 도킹된 휴대 장치로부터 휴대 장치의 사용자에 관한 사용자 정보를 수신하고, 사용자 정보에 기초하여 개인 비서 서비스를 제공할 수 있다.

예를 들어, 도킹 장치인 스피커에 사용자A의 휴대 장치가 도킹 되었다고 하자.

도킹 장치는 도킹된 사용자 A의 휴대 장치로부터 사용자 A의 음성 특성 정보를 수신할 수 있다. 이때, 사용자 A의 음성 특성 정보는 사용자 A의 휴대 장치에 미리 저장된 것일 수 있다. 도킹 장치는 사용자 A의 음성 특성 정보를 이용하여 도킹 장치(의 마이크를 통해)에 수신된 음성에 대한 음성 인식을 수행할 수 있다. 마찬가지로, 도킹 장치에 사용자 B의 휴대 장치가 도킹된 경우, 도킹 장치는 도킹된 사용자 B의 휴대 장치로부터 수신한 사용자 B의 음성 특성 정보를 이용하여 도킹 장치에 수신된 음성에 대한 음성 인식을 수행할 수 있다.

도킹 장치는 사용자 A또는 사용자 B가 소유한 것일 수도 있고, 사용자 C 혹은 소유자가 없는 공용 장치일 수도 있다. 도킹 장치는 해당 장치의 소유자가 누구인지와는 무관하게 자신(도킹 장치)과 도킹된 휴대 장치로부터 수신한 사용자의 정보에 대응하는 사용자를 위해 개인 비서 서비스를 제공할 수 있다.

예를 들어, 도킹 장치가 스마트 냉장고이고, 휴대 장치가 사용자 A의 스마트 폰이며, 사용자 A의 스마트 폰에는 사용자 A의 식품에 대한 선호 정보(딸기, 및 오렌지 쥬스를 좋아함)가 저장되어 있다고 하자.

스마트 냉장고는 도킹된 사용자 A의 스마트 폰으로부터 사용자 정보로서 사용자 A의 식품에 대한 선호 정보를 수신할 수 있다. 스마트 냉장고는 사용자 A의 식품에 대한 선호 정보를 이용하여 스마트 냉장고의 식품 저장기(저장칸)에 포함된 식품에 관한 정보를 처리할 수 있다. 스마트 냉장고는 식품 저장기에 포함된 식품에 관한 정보 중 사용자가 좋아하는 딸기, 오렌지 쥬스가 어느 위치에 있는지를 식별하고, 식별 결과(딸기 및 오렌지 쥬스의 위치)를 사용자에게 제공할 수 있다.

또는 예를 들어, 도킹 장치가 오디오이고, 휴대 장치가 사용자 B의 스마트 폰이라고 하자.

오디오는 도킹된 사용자 B의 스마트 폰으로부터 사용자 B의 음성 특성 정보 및 사용자 B의 스마트 폰의 설정 정보를 수신할 수 있다.

도킹 장치인 오디오는 사용자 B의 음성 특성 정보를 이용하여 수신된 음성("아까 듣던 음악을 들려줘")에 대한 음성 인식을 수행할 수 있다. 이때, 수신된 음성이 오디오와 사용자 B의 스마트 폰과의 도킹 이전에 사용자 B의 스마트 폰에서 기 제공된 음악 청취 서비스를 요청하는 것으로 분석되었다고 하자. 오디오는 사용자 B의 스마트 폰의 설정 정보(재즈, 클래식, 팝, 가요 등과 같은 사운드 특성 설정, 음량 설정, 음향의 저음부 또는 고음부 강조 설정 등)에 부합하도록 오디오의 설정을 조정할 수 있다. 오디오는 조정된 설정에 따라 기 제공된 음악 청취 서비스를 제공할 수 있다.

도 4는 다른 실시예에 따른 개인화된 서비스의 제공을 위한 시스템의 구성을 설명하기 위한 도면이다. 도 4를 참조하면, 일 실시예에 따른 시스템(400)은 스마트 장치(410), 및 제1 서버(420)를 포함한다. 또한, 시스템(400)은 휴대 장치(430), 및 제2서버(440)를 더 포함할 수 있다. 스마트 장치(410), 제1 서버(420), 휴대 장치(430), 및 제2서버(440)는 네트워크(50)를 통해 서로 통신할 수 있다.

이하에서, 제1 서버(420)는 스마트 장치(410)에 대응하는 서버로, 제2 서버(440)는 휴대 장치(430)에 대응하는 서버로 이해될 수 있다. 제1 서버(420)는 스마트 장치(410)에 대응하여 미리 설정될 수 있다. 또한, 제2 서버(440)는 휴대 장치(430)의 사용자에 대응할 수 있다.

네트워크(50)는 예를 들면, 인터넷, 인트라넷들, 익스트라넷들, 광역 네트워크들(WANs), 근거리 네트워크들(LANs), 유선 네트워크들, 무선 네트워크들, 혹은 그 외 적합한 네트워크들, 등 혹은 상기 네트워크들의 둘 이상의 임의의 조합을 포함할 수 있다.

스마트 장치(410)는 제1 서버(420)와 인터랙션(interaction)할 수 있는 통신 인터페이스를 탑재할 수 있다. 스마트 장치(410)는 입력 인터페이스를 통해 사용자로부터 입력을 수신할 수 있다. 입력은 예를 들어, 음성 입력, 제스쳐 입력, 모션 입력, 화상 입력, 터치 입력 등을 포함할 수 있다. 스마트 장치(410)는 예를 들어, 가정용 전자 장치, 오디오, 스피커, 로봇 청소기, 개인 서비스 로봇, 휴대 가능한 통신 장치, 도커, 및 자동차 등을 을 포함할 수 있다.

스마트 장치(410)는 자신에게 연결(connect)된 휴대 장치(430)가 있는지 여부를 판단한다. 여기서, '연결'은 유선 도킹(docking)에 의한 연결 또는 무선 페어링(pairing)에 의한 연결을 모두 포함하는 의미로 이해될 수 있다. 스마트 장치(410)가 휴대 장치(430)와 유선 도킹에 의해서만 연결되는 경우에 해당 스마트 장치(410)를 '도킹 장치'라 부를 수 있다.

휴대 장치(430)는 전술한 바와 같이 통신 기능을 포함하고, 사용자가 휴대 가능한 다양한 통신 장치들에 의해 구현될 수 있다. 휴대 장치(430)는 예를 들어, 유선 도킹 또는 무선 페어링 등을 통해 스마트 장치(410)에 연결될 수 있다.

스마트 장치(410)는 예를 들어, 자신에게 연결된 휴대 장치(430)가 있는지 여부 및/또는 연결된 휴대 장치(430)가 누구의 것인지 등에 따라 입력을 분석하기 위하여 접속할 서버를 결정할 수 있다.

스마트 장치(410)는 결정된 서버에게 사용자의 입력을 전송한다.

스마트 장치(410)는 예를 들어, 자신(스마트 장치(410))에게 연결된 휴대 장치(430)가 존재하지 않는다고 판단되면, 스마트 장치에 대응하여 미리 설정된 제1 서버(420)를 접속할 서버로 결정하고, 제1 서버(420)에게 입력을 전송할 수 있다.

일 예로, 제1 서버(420)는 복수의 스마트 장치들에 대응하는 범용 서버일 수 있다. 다른 예로, 제1 서버(420)는 스마트 장치(410)가 설치된(또는 위치하는) 공간 및/또는 해당 공간의 사용자에 대응하는 서버이다. 제1 서버(420)는 스마트 장치(410)에 대응하는 사용자에 대한 개인화된 서비스를 제공하기 위한 정보를 포함하는 데이터베이스를 포함할 수 있다. 개인화된 서비스는 예를 들어, 사용자의 사용 언어, 사용자의 개인 정보, 입력에 대응하는 제어 대상 장치에 대한 사용자의 사용 패턴, 제어 대상 장치에 대한 설정 정보, 및 사용자의 선호 컨텐츠 등을 포함할 수 있다.

이때, 스마트 장치(410)가 설치된 공간의 사용자는 특정인일 수도 있고, 불특정인일 수도 있다. 특정인은 특정된 사용자를 의미하고, 불특정인은 특정되지 않은 사용자를 의미할 수 있다. 예를 들어, 개인 소유의 집에 설치된 스마트 장치의 사용자는 집 주인으로 특정인에 해당하고, 호텔 객실에 설치된 스마트 장치의 사용자는 특정되지 않은 투숙객으로 불특정인에 해당할 수 있다.

스마트 장치(410)가 특정인을 위한 공간에 설치된 경우, 제1 서버(420)는 특정인을 위한 공간에 대응하는 서버로 설정될 수 있다. 제1 서버(420)는 스마트 장치(410)를 통해 전달된 입력을 분석하여 스마트 장치(410)가 특정인의 개인화된 서비스를 제공하도록 할 수 있다. 또한, 스마트 장치(410)가 불특정인을 위한 공간에 설치된 경우, 제1 서버(420)는 불특정인을 위한 공간에 대응하는 서버로 설정될 수 있다. 제1 서버(420)는 스마트 장치를 통해 전달된 입력을 분석하여 스마트 장치(410)가 불특정인을 위한 공간에서 공용 서비스를 제공하도록 할 수 있다.

스마트 장치(410)는 자신에게 연결된 휴대 장치(430)가 존재한다고 판단되면, 휴대 장치(430)에 대응하는 제2 서버(440)를 접속할 서버로 결정하고, 제2 서버(440)에게 입력을 전송할 수 있다. 이 경우, 제2 서버(440)는 입력을 분석하여 휴대 장치(430)의 사용자를 위한 개인화된 서비스를 제공할 수 있다.

제2서버(440)는 휴대 장치(430)의 사용자의 개인화된 서비스를 제공하기 위한 서버일 수 있다. 제2서버(440)는 휴대 장치(420)의 사용자에 대한 개인화된 서비스를 제공하기 위한 정보를 포함하는 데이터베이스를 포함할 수 있다.

일 실시예에 따르면, 각 장치들은 제2 서버(440)를 통하여 사용자 맞춤형 서비스를 제공하기 위한 정보를 서로 공유할 수 있다. 예를 들어, 사용자가 자동차를 운전 중 듣던 라디오에서 나온 음악을 집에 와서 찾으려고 할 때, 자동차에 탑재된 차량 전용 제어 장치가 이용했던 정보를 댁내 스마트 TV 전용 제어 장치에서도 동일하게 이용할 수 있다.

또한, 인터랙션 채널(interaction channel)을 통해 다른 기기를 조작하는 것도 가능하다. 제품 개발자의 입장에서 개별 장치마다 전용 제어 장치를 개발하지 않아도 되고, 사용자는 서로 다른 장치들마다 맞춤형 서비스를 제공받기 위한 정보를 개별적으로 설정하지 않아도 된다.

실시예에 따라, 스마트 장치(410)의 사용자는 휴대 장치(430)의 사용자와 서로 상이할 수도 있고 동일할 수도 있다. 스마트 장치(410)의 사용자는 스마트 장치(410)가 설치된 공간에 대응하는 주 사용자로, 예를 들어 스마트 장치(410)가 설치된 집의 주인 혹은 가족 구성원 등을 포함할 수 있다. 이하, 스마트 장치(410)의 사용자는 제1 사용자로 지칭되고, 휴대 장치(430)의 사용자는 제2 사용자로 지칭될 수 있다.

일 예로, 스마트 장치(410)의 제1 사용자는 휴대 장치(430)의 제2 사용자와 서로 상이할 수 있다. 제1 사용자는 해당 공간에 포함된 장치들(스마트 장치 및 소형 장치)에 대한 주된 사용 권한을 가지는 사용자(주인) 또는 관리자에 해당할 수 있다. 제2 사용자는 제1 사용자와 구별되는 사용자로서, 예를 들어, 제1 사용자를 위한 공간으로 이동하여 온 손님 또는 고객 등에 해당할 수 있다. 이 경우, 스마트 장치(410)에 대응하는 제1 서버와 휴대 장치(430)에 대응하는 제2 서버는 서로 다를 수 있다.

다른 예로, 스마트 장치(410)의 제1 사용자가 휴대 장치(430)의 제2 사용자와 서로 동일한 경우, 스마트 장치(410)에 대응하는 제1 서버와 휴대 장치(430)에 대응하는 제2 서버는 서로 동일할 수 있다. 일 실시예에 따라 스마트 장치(410)의 사용자가 복수인 경우, 스마트 장치(410)의 사용자가 휴대 장치(430)의 사용자를 포함하면 스마트 장치(400)의 사용자와 휴대 장치(430)의 사용자가 동일한 것으로 판단될 수 있다.

또 다른 예로, 스마트 장치(410)의 제1 사용자가 휴대 장치(430)의 제2 사용자와 서로 동일하더라도, 스마트 장치(410)에 대응하는 제1 서버와 휴대 장치(430)에 대응하는 제2 서버는 서로 다를 수 있다. 예를 들어, 제1 서버는 범용 서버이고 제2 서버가 사용자에 대응하는 서버인 경우, 스마트 장치(410)는 휴대 장치(430)의 연결 여부에 따라 범용 서버 혹은 사용자에 대응하는 서버로 입력을 전송할 수 있다.

제1 서버(420) 및/또는 제2 서버(440)는 예를 들어, 인공 개인 비서(Artificial Personal Assistant; APA) 서버일 수 있다. 일 실시예에 따른 서버의 동작에 대하여는 도 5를 참조하여 구체적으로 설명한다.

일 실시예에 따르면, 스마트 장치(410)는 제1 서버(420) 또는 제2 서버(440)의 명령을 수행하는 제어 대상 장치로도 동작할 수 있다. 예를 들어, 스마트 장치(410)가 제어 대상 장치로 동작하는 경우, 스마트 장치(410)는 제1 서버(420) 또는 제2 서버(440)로부터 수신한 명령에 따라 동작할 수 있다. 이때, 제1 서버(420) 또는 제2 서버(440)로부터 수신한 명령은 제1 사용자 또는 제2 사용자를 위한 개인화된 서비스를 제공하는 명령에 해당할 수 있다. 또는 스마트 장치(410)는 제1 서버(420) 또는 제2 서버(440)의 명령을 수행한 결과를 사용자에게 피드백하는 피드백 장치로도 동작할 수 있다.

도면에 도시하지 않았으나, 실시예에 따라서, 스마트 장치(410)는 소형 장치(미도시)와 연결되는 스마트 도커(smart docker)로 동작할 수 있다. 예를 들어, 스마트 장치(410)가 스마트 도커로 동작하는 경우, 스마트 장치(410)는 소형 장치를 통하여 입력되는 사용자의 입력을 수신하여 제1 서버(420) 혹은 제2 서버(440)로 전달할 수 있다. 또한, 스마트 장치(410)는 제1 서버(420) 혹은 제2 서버(440)로부터 수신한 명령에 따라 스마트 장치(410)와 연결된 소형 장치의 동작을 제어할 수 있다.

도 5는 일 실시예에 따른 개인화된 서비스의 제공을 위한 서버의 동작을 설명하기 위한 도면이다. 도 5를 참조하면, 일 실시예에 따른 서버(500)는 네트워크를 통해 연결된 장치(예를 들어, 스마트 장치, 스마트 도커 또는 휴대 장치)로부터 입력을 수신할 수 있다. 입력은 해당 장치를 통해 입력 또는 전달되는 사용자의 입력 및 해당 장치의 식별 정보(예를 들어, 아이디(ID)) 등을 포함할 수 있다.

서버(500)는 입력을 분석하여 입력에 적합한 대응 및 응답을 결정할 수 있다. 여기서, '대응'은 명령의 수행 대상에 해당하는 제어 대상 장치를 위한 것으로서, 예를 들어, 입력에 대응하는 제어 명령을 수행하기로 결정된 제어 대상 장치 및 제어 대상 장치에 대한 제어 명령을 포함할 수 있다. 또한, '응답'은 제어 대상 장치에서의 명령의 수행 결과를 사용자가 확인할 수 있도록 피드백을 제공하는 피드백 장치를 위한 것으로서, 예를 들어, 피드백 명령을 수행하기로 결정된 피드백 장치 및 피드백 장치에 대한 피드백 명령을 포함할 수 있다. 서버(500)로부터 응답을 수신하는 피드백 장치는 사용자에게 제공되는 피드백의 유형에 따라 단수 또는 복수 개가 될 수 있다.

실시예에 따라서, 제어 대상 장치와 피드백 장치는 서로 동일할 수도 있고, 서로 상이할 수도 있다.

서버(500)는 입력 분석기, 대응 결정기, 및 응답 결정기를 포함할 수 있다.

입력 분석기는 스마트 장치로부터 수신한 사용자의 입력을 분석하는 입력 분석을 수행할 수 있다. 대응 결정기는 사용자의 입력을 분석한 결과를 바탕으로 제어 대상 장치를 위한 대응을 결정하는 대응 결정을 수행할 수 있다. 응답 결정기는 제어 대상 장치의 대응 수행 결과에 따른 적절한 형태의 피드백을 결정하는 응답 결정을 수행할 수 있다.

입력 분석기는 입력의 형태가 어떠한지 등을 기초로 입력 분석을 수행할 수 있다. 입력은 전술한 바와 같이, 음성 입력, 제스쳐 입력, 모션 입력, 화상 입력, 및 터치 입력 등의 형태로 입력될 수 있다.

예를 들어 사용자가 스마트 폰을 이용하여 음성을 입력했다고 하자. 입력 분석기는 음성 인식기와 번역기를 이용하여 음성을 분석할 수 있다. 입력 분석기는 음성을 분석한 결과를 전자 장치가 이해 가능한 명령(들) 또는 프레임(들)로 변환할 수 있다.

실시예에 따라, 입력 분석기는 사용자 인증을 수행할 수 있다. 예를 들어, 입력 분석기는 수신된 입력이 서버(500)에 대응하는 사용자의 입력인지 여부를 판단함으로써 사용자 인증을 수행할 수 있다. 이 경우, 입력 분석기는 사용자 인증에 성공한 입력만 선별적으로 처리할 수 있다.

대응 결정기는 입력 분석기로부터 수신한 명령을 바탕으로 대응을 결정한다. 대응 결정기는 입력 분석기에서 결정된 서버(예를 들어, 사용자 A에 대응하는 서버)에 연결된 장치의 장치 목록(device list), 및 연결된 장치에서 수행할 수 있는 명령 목록(instruction list)을 참조하여 대응을 결정할 수 있다. 장치 목록은 예를 들어, 스마트 TV, 라디오 등과 같은 물리적 장치뿐만 아니라, 사용자 일정 등을 관리하는 소프트웨어적 장치들도 포함할 수 있다. 이때, 장치 목록 및 명령 목록은 해당 서버(500)의 데이터베이스(550)에 저장될 수 있다. 데이터베이스(550)는 장치 목록 및/또는 명령 목록에 대하여 사용자 별로 부여된 권한에 대한 정보 또한 포함할 수 있다. 이 밖에도, 데이터베이스(550)는 해당 서버(500)에 대응하는 사용자의 개인화된 서비스를 위한 다양한 정보들을 포함할 수 있다.

실시예에 따라서 데이터베이스(550)는 도 5에 도시된 것과 같이 서버(500) 내에 포함될 수도 있다. 또는, 데이터베이스(550)는 서버(500)의 외부에 이격되어 위치하며, 서버(500)와 유무선으로 연결될 수도 있다. 아래에서 설명하겠으나, 데이터베이스(550)의 적어도 일부는 휴대 장치, 스마트 장치, 혹은 스마트 도커에 탑재될 수도 있다.

대응 결정기는 장치 목록 및 명령 목록을 참조하여 명령을 수행할 장치, 다시 말해 제어 대상 장치와 제어 대상 장치에 대한 제어 명령을 결정할 수 있다. 또한, 대응 결정기는 예를 들어, 입력에 해당하는 (사용자의) 음성 이외에 잡담 또는 주변 소음 등과 같이 특정 장치의 제어가 목적이 아닌 입력에 관한 처리 또한 수행할 수 있다.

대응 결정기는 예를 들어, 규칙 기반으로 대응을 결정하거나, 또는 기계 학습에 의해 대응을 결정할 수 있다. 대응 결정기는 하나의 입력에 대응하여 복수 개의 대응을 결정할 수도 있다.

응답 결정기는 대응과는 별개로, 제어 대상 장치에서 해당 명령을 수행한 결과에 기초하여 피드백 장치를 결정하고, 피드백 장치를 통한 피드백을 위한 명령을 포함하는 모든 형태의 응답을 결정할 수 있다.

대응이 사용자가 시스템에게 원하는 실제의 명령 수행이라면, 응답은 명령 수행 결과를 사용자에게 알리는 시스템의 피드백일 수 있다.

예를 들어, 자연어 음성이 입력으로 수신되면, 응답 결정기는 자연어 음성을 전송한 해당 스마트 장치가 자연어 음성에 의해 사용자에게 피드백을 제공하도록 결정할 수 있다. 또는 응답 결정기는 자연어 음성을 전송한 해당 스마트 장치가 아닌 다른 스마트 장치에 연결된 소형 장치의 엘이디(LED)의 점멸을 통해 사용자에게 피드백을 제공하도록 결정할 수도 있다.

자연어 음성으로 피드백을 제공하는 경우, 응답 결정기는 대응의 수행 결과를 보고하는 피드백뿐만 아니라, 잡담 및 질문에 대한 응답 또한 피드백으로 제공할 수 있다. 이 경우, 응답 결정기는 예를 들어, 자연어 챗봇(Chatbot)을 포함할 수 있다.

응답 결정기는 대응 결정기의 대응뿐만 아니라, 입력 분석기의 결과와 입력 장치로부터의 입력 등을 모두 참조하여 응답을 결정할 수 있다. 응답은 예를 들어, 복수의 피드백 장치들에 대한 복수 개의 피드백 명령을 포함할 수 있다.

서버(500)는 예를 들어, 사용자의 사용 언어. 사용자의 개인 정보, 제어 대상 장치에 대한 사용자의 사용 패턴, 제어 대상 장치에 대한 설정 정보, 및 사용자의 선호 컨텐츠 등에 따라 개인화될 수 있다. 또한, 서버(500)는 사용자의 지속적 사용에 따라 사용자 인식 성능의 향상, 사용자를 위한 맞춤 컨텐츠 추천, 및 사용자 일정 관리 등과 같은 사용자의 개인화 정보에 따라 개인화되어 사용자의 편의성을 증대시킬 수 있다.

도 6은 일 실시예에 따른 개인화된 서비스의 제공을 위한 시스템의 구성 요소들 간의 동작을 설명하기 위한 도면이다. 도 6을 참조하면, 일 실시예에 따른 시스템(600)은 서버(500), 제1 유형의 스마트 장치(610), 휴대 장치(630), 제2 유형의 스마트 장치(650) 및 소형 장치(들)(670)를 포함할 수 있다. 도 6에서 서버(500)와 직접 통신하는 연결은 실선으로 표시되고, 그 외의 연결은 점선으로 표시되었다.

스마트 장치는 휴대 장치(630)를 제외한, 서버(500)로 직접 연결되는 장치들을 의미할 수 있다. 스마트 장치는 스마트 도커로 동작하는 제1 유형의 스마트 장치(610)와 그 외의 제2 유형의 스마트 장치(650)로 구분될 수 있다.

제1 유형의 스마트 장치(610)는 서버(500)와 직접적으로 연결될 수 없는 소형 장치(들)(670)과 근거리 무선 통신 및/또는 유선 통신을 통해 연결되어 소형 장치(들)(670)의 동작을 관리 및 제어할 수 있다. 예를 들어, 제1 유형의 스마트 장치(610)는 소형 장치(670)와 서버(500) 사이에서 입력, 제어 명령, 및/또는 피드백 명령을 전달할 수 있다.

소형 장치(670)는 서버(500)와 직접 통신할 수 있는 무선 통신 모듈(또는 통신 인터페이스)을 탑재하지 못한 장치들로, 예를 들어 초소형 스피커, IoT 콘센트, 스마트 조명 등을 포함할 수 있다. 소형 장치(670)는 근거리 무선 통신 및/또는 유선 통신에 의해 제1 유형의 스마트 장치(610)에 연결되고, 제1 유형의 스마트 장치(610)를 통해 서버(500)와의 통신이 가능하다. 소형 장치(670)는 제 1 유형의 스마트 장치(610)와의 통신을 통해 제어될 수 있다.

전술한 바와 같이, 제1 유형의 스마트 장치(610)와 제2 유형의 스마트 장치(650)는 휴대 장치(630)와 연결되었는지 여부에 따라 접속할 서버(500)를 결정할 수 있다.

일 실시예에 따르면, 제1 유형의 스마트 장치(610) 및/또는 제2 유형의 스마트 장치(650)는 휴대 장치(630)과 근거리 무선 통신 및/또는 유선 연결을 통해 사용자의 위치를 파악하여 서버(500)의 동작에 도움을 줄 수 있다.

예를 들어, 휴대 장치(630)를 휴대한 사용자가 집안에 들어오면, 휴대 장치(630)와의 통신을 통해 제1 유형의 스마트 장치(610)와 휴대 장치(630)가 서로 연결되고, 이를 통해 제1 유형의 스마트 장치(610)가 활성화될 수 있다. 또는 제1 유형의 스마트 장치(610)는 휴대 장치(630)를 통해 파악되는 사용자의 위치에 기초하여 활성화될 수도 있다.

제1 유형의 스마트 장치(610)와 연결된 소형 장치(들)(670)는 최저 전력을 소비하는 슬립 모드로 동작하다가 제1 유형의 스마트 장치(610)와 휴대 장치(630)와의 연결에 따라 활성화될 수 있다.

서버(500)는 자신과 연결된 장치들, 연결된 장치들에서 수행 가능 명령, 및 연결된 장치들의 상태 정보를 저장할 수 있다. 서버(500)는 자신과 연결된 장치(들)이 상태가 변화되었음을 보고하면, 변화된 상태 정보를 갱신하고, 변화된 상태 정보를 고려하여 대응 및 응답을 결정할 수 있다.

아래에서 상세히 설명하겠으나, 제1 유형의 스마트 장치(610) 및 제2 유형의 스마트 장치(650)는 서버(500)에 주 사용자를 등록하고, 주 사용자가 아닌 다른 사용자들을 위한 권한을 설정할 수 있다.

예를 들어, 제1 유형의 스마트 장치(610)와 제2 유형의 스마트 장치(650)는 사용자 A의 집에 설치된 스마트 장치들이고, 휴대 장치(630)는 사용자 A의 집에 방문한 사용자 B의 휴대 장치라고 가정하자. 휴대 장치(630)가 제1 유형의 스마트 장치(610)와 연결이 되면, 스마트 장치(610)는 사용자 A에 대응하는 서버 대신 사용자 B에 대응하는 서버에 입력을 전달함으로써, 사용자 B에 개인화된 서비스를 제공할 수 있다.

이때, 사용자 B에 대응하는 서버가 입력에 대한 대응으로, 제2 유형의 스마트 장치(650)로 제어 명령을 전송할 수 있다. 제2 유형의 스마트 장치(650)는 수신된 제어 명령이 주 사용자가 아닌 다른 사용자에 해당하는 명령임을 인지하고, 주 사용자에 의하여 설정된 권한에 따라 해당 명령을 수행할지 여부를 결정할 수 있다. 따라서, 사용자 B는 타인을 위한 공간에서도 개인화된 서비스를 받을 수 있으나, 제공되는 서비스의 범위는 해당 공간의 주 사용자에 의하여 허가된 범위 내로 한정될 수 있다.

실시예에 따라서, 제1 유형의 스마트 장치(610)와 제2 유형의 스마트 장치(650)는 사용자 A의 집에 설치된 스마트 장치들이고, 휴대 장치(630) 또한 사용자 A의 휴대 장치일 수도 있다.

이 경우, 휴대 장치(630)가 제1 유형의 스마트 장치(610)와 연결이 되면, 제1 유형의 스마트 장치(610)는 사용자 A에 대응하는 서버에 입력을 전달함으로써, 사용자 A에 개인화된 서비스를 제공할 수 있다. 이때, 사용자 A에 대응하는 서버는 예를 들어, 서버(500)일 수 있다. 서버(500)는 휴대 장치(630) 자체이거나, 혹은 휴대 장치(600)에 적어도 일부가 포함될 수 있다. 또는 서버(500)는 휴대 장치(630)와 구별될 수 있다.

이때, 사용자 A에 대응하는 서버가 입력에 대한 대응으로, 제2 유형의 스마트 장치(650)로 제어 명령을 전송할 수 있다. 제2 유형의 스마트 장치(650)는 수신된 제어 명령이 주 사용자 A에 해당하는 명령임을 인지하고, 주 사용자 A에 의하여 설정된 권한에 따라 해당 명령을 수행할지 여부를 결정할 수 있다. 따라서, 사용자 A는 개인화된 서비스를 제공받을 수 있다.

도 7은 일 실시예에 따른 서버가 사용자에게 개인화된 서비스를 제공하는 과정을 설명하기 위한 도면이다. 도 7을 참조하면, 입력 장치(710)를 통해 사용자(705)의 입력이 서버(500)로 전달되어 입력에 대응하는 대응 및 응답이 수행되는 과정이 도시된다.

사용자(705)의 입력이 입력 장치(710)로부터 수신되면, 서버(500)는 사용자(705)의 입력을 분석하여, 대응을 결정할 수 있다. 대응은 제어 대상 장치(730)로 전송되어 제어 대상 장치(730)가 제어 명령을 수행하도록 한다. 이때, 제어 대상 장치(730)에서의 제어 명령의 수행과 관련하여, 사용자(705)에게 피드백할 내용이 있다면, 서버(500)는 제어 명령의 수행 결과에 대한 응답을 결정할 수 있다.

서버(500)는 예를 들어, 사용자(705)의 입력, 입력 분석 결과, 및 제어 대상 장치(730)에서의 제어 명령의 수행 결과 등을 바탕으로 피드백 명령을 포함하는 응답을 생성할 수 있다. 서버(500)는 피드백 장치(750)를 통해 사용자(705)에게 피드백할 수 있다.

실시예에 따라서, 입력 장치(710), 제어 대상 장치(730), 및 피드백 장치(750)는 서로 동일하거나, 서로 다른 장치일 수 있다. 예를 들어, 입력 장치(710), 제어 대상 장치(730), 및 피드백 장치(750) 중 적어도 둘 이상이 동일한 하나의 장치일 수도 있고, 입력 장치(710), 제어 대상 장치(730), 및 피드백 장치(750)가 각각 상이한 별개의 장치일 수도 있다. 입력 장치(710), 제어 대상 장치(730), 및 피드백 장치(750)는 제1 유형의 스마트 장치, 제2 유형의 스마트 장치, 휴대 장치 및 소형 장치 중 어느 하나일 수 있다.

예를 들어, 사용자(705)가 "TV 켜 줘" 라고 말하고, 사용자(705)의 근처에 있던 스마트 스피커가 그 입력("TV 켜 줘"라는 사용자의 음성)을 수신했다고 하자.

이때, 스마트 스피커는 입력 장치(710)가 되어 사용자(705)의 입력을 서버(500)에게 전달할 수 있다. 이때, 입력("TV 켜줘")은 음성 신호 데이터이므로, 서버(500)는 음성 신호 데이터를 분석하여 해당 입력이 "TV의 동작을 활성화시키는 것, 다시 말해 TV "ON"을 요구한다는 것을 파악할 수 있다.

서버(500)는 입력 분석을 바탕으로 어떤 장치가 TV "ON"을 수행할 제어 대상 장치(730)인지를 결정하고, 해당 장치에서 수행해야 할 명령을 결정할 수 있다. 보다 구체적으로, 서버(500)는 TV라는 제어 대상 장치(730)에 대하여 "켜기(ON)"라는 제어 명령을 결정하고, 실제 TV에게 "켜기(ON)"라는 제어 명령을 전달한다.

예를 들어, 거실과 안방의 두 대의 TV가 있고, 사용자가 명시적으로 특정 TV를 가리키는 명령을 하지 않았다고 하자.

서버(500)는 입력 장치(710)와 가까운 TV를 제어 대상 장치(730)로 결정하고, 입력 장치(710)와 가까운 TV에게 "켜기(ON)"라는 제어 명령을 전달할 수 있다. 제어 대상 장치(730)인 입력 장치(710)와 가까운 TV는 "켜기(ON)"라는 제어 명령을 성공적으로 수행했음을 서버(500)에게 보고할 수 있다. 실시예에 따라서, 서버(500)는 사용자가 구비한 휴대 장치 또는 실내에 있는 감지 센서 등을 통해 파악되는 사용자의 위치를 기초로, 사용자에 가까운 TV를 제어 대상 장치(730)로 결정할 수도 있다.

서버(500)는 제어 대상 장치(730)의 보고를 기초로, 응답을 생성하여 피드백 장치(750)에게 전달할 수 있다. 이때, 사용자(705)의 음성을 입력 받았던 스마트 스피커가 피드백 장치(750)가 되어 "TV가 켜졌습니다"와 같은 피드백을 사용자(705)에게 제공할 수도 있다. 실시예에 따라서, TV와 같이 제어 대상 장치에서 제어 명령이 수행됨에 따라 별도의 피드백이 없이도 사용자가 인지할 수 있는 상태 변화(예를 들어, 켜짐에 따라 화면 또는 소리가 발생함)가 발생하는 경우, 사용자는 화면 또는 소리를 통해 제어 명령이 수행되었음을 용이하게 파악할 수 있다. 이 경우, 서버(500)는 별도의 응답을 결정하지 않거나, 피드백으로 무응답을 결정할 수도 있다.

예를 들어, 제어 대상 장치(730)인 TV가 "켜기(ON)"라는 제어 명령을 제대로 수행하지 못했다고 하자. 이러한 경우는 제어 대상 장치(730)가 서버(500)와 연결되어 있지 않거나, 또는 제어 대상 장치(730)가 서버(500)와 연결되어 있으나, 제어 대상 장치(730) 내의 어떠한 문제로 인해 제어가 되지 않는 때에 발생할 수 있다.

전자의 경우, 서버(500)는 자신에게 연결된 장치들 중 제어 명령을 수행 가능한 제어 대상 장치(730)가 없다고 결정하고, 사용자(705)에게 예를 들어, "연결된 TV가 없습니다"와 같은 피드백을 전달할 수 있다. 후자의 경우, 서버(500)는 제어 대상 장치(730)인 TV로부터 오류 보고를 받고, 오류 보고에 기초한 응답을 생성하여 사용자(705)에게 전달할 수 있다.

예를 들어, 사용자(705)가 자신의 스마트 폰의 입력 인터페이스에 대한 터치 입력을 통해 안방의 조명을 끄고자 한다고 하자.

서버(500)는 터치 입력을 장치(제어 대상 장치(730))가 이해 가능한 명령어(또는 프레임)으로 변환할 수 있다. 서버(500)는 터치 입력을 안방의 조명 장치에 대한 "오프(OFF)" 제어 명령으로 변환할 수 있다.

서버(500)는 안방의 조명 장치를 제어 대상 장치(730)로 결정하고, "오프(OFF)" 제어 명령을 안방의 조명 장치로 전달할 수 있다. 안방의 조명 장치는 "오프(OFF)" 제어 명령을 수행하고, 해당 제어 명령이 잘 수행되었음을 서버(200)에게 보고할 수 있다.

서버(500)는 사용자(705)의 스마트 폰을 피드백 장치(750)로 결정하고, 해당 명령이 잘 수행되었음을 알리는 정보를 디스플레이를 통해 표시하라는 피드백 명령을 생성하여 사용자(705)의 스마트 폰에게 전달할 수 있다. 피드백 명령을 수신한 사용자(705)의 스마트 폰은 해당 명령이 잘 수행되었음을 알리는 정보를 디스플레이를 통해 표시할 수 있다.

상술한 실시예에서는 사용자(705)가 스마트 폰이라는 특정 디바이스를 통해 다른 디바이스의 동작을 제어하는 경우를 설명하였지만, 반드시 이러한 실시예에 한정되는 것은 아니다.

실시예에 따라서, 사용자(705)는 특정 디바이스를 통하지 않고, 자신이 직접 제어 대상 장치(730)를 조작할 수도 있다. 이 경우, 사용자(705)는 제어 대상 장치(730)를 직접 조작한 후, 서버(500)에 제어 대상 장치(730)의 조작 결과를 입력할 수도 있다.

서버(500)는 사용자(705)에 의해 직접 입력된 제어 대상 장치(730)의 상태를 바탕으로, 서버(500)에 연결된 장치 및 연결된 장치에서 수행 가능한 명령 및 상태를 갱신할 수 있다. 이 경우, 서버(500)는 대응을 결정할 필요가 없으므로 대응을 결정하지 않고, 필요에 따라서 응답만을 결정할 수 있다.

실시예에 따라서, 특정인의 개인화된 서비스를 제공하기 위해서는 사용자(705)의 스마트 폰과 다른 사용자의 스마트 장치가 근거리 무선 통신 및/또는 유선으로 연결되어야 할 수 있다. 이 경우, 사용자(705)는 다른 사용자로부터 손님 권한을 부여 받아, 다른 사용자가 설정한 권한 내에서 다른 사용자의 스마트 장치를 동작시킬 수 있다.

예를 들어 사용자(705)가 자신의 스마트 폰을 통해, 다른 사용자의 TV를 켜고자 한다고 하자.

사용자(705)가 자신의 스마트 폰에 대해 "TV 켜"라고 말하면, 서버(500)는 사용자(705)에 특화된 개인화 서비스 모델을 바탕으로 입력("TV 켜"')을 분석하여 대응을 전달함으로써 제어 대상 장치(730)인 다른 사용자의 TV를 켤 수 있다.

이때, 만약 다른 사용자가 손님 권한을 갖는 사용자에 대하여 전원 키기 동작에 대한 권한을 부여하지 않았다고 하자.

이 경우, 제어 대상 장치(730)인 TV의 수행 가능 명령에 전원 키기 동작에 대한 권한이 부여되어 있지 않으므로, 서버(500)는 해당 명령을 수행 불가능한 명령으로 판단하여 대응을 결정하지 않는다. 이에 따라 TV는 켜지지 않고, 서버(500)는 사용자(705)에게 부여된 손님 권한에 의해 TV가 켜지지 않았음을 피드백할 수 있다.

실시예들을 통해 상술한 바와 같이 일 실시예에 따른 서버(500)는 자신과 연결된 모든 장치들에 대한 통합된 서비스(개인화된 서비스 또는 공용 서비스)를 제공할 수 있다. 서버(500)를 통해 사용자의 개인화된 서비스를 위한 정보가 공유되므로, 서버(500)는 사용자의 개인화된 서비스에 대한 연속성을 부여하고, 사용자는 그에 따른 편리함을 제공받을 수 있다.

또한, 실시예들에 따르면, 서버(500)에 저장된 개인화된 모델 및 개인화된 서비스 연결을 통해, 새로운 지역에서도 동일하게 스마트 장치 등을 제어할 수 있고, 사용자 별 컨텐츠 추천 등과 같은 개인화 서비스 또한 편리하게 제공받을 수 있다.

이 밖에도, 실시예들에 따르면, 스마트 도커 등과 같은 제1 유형의 스마트 장치를 통해 소형 장치들에 대한 제어 또한 가능하다. 사용자는 스마트 장치 및 소형 장치를 하나의 서버(500)를 통해 제어할 수 있다.

도 8은 일 실시예에 따른 스마트 장치의 블록도이다. 도 8을 참조하면, 일 실시예에 따른 스마트 장치(800)는 프로세서(820), 메모리(840) 및 통신 인터페이스(850)를 포함한다. 또한, 스마트 장치(800)는 실시예에 따라서, 입력을 수신하는 입력 인터페이스(810), 및 대응이나 반응을 수행하는 출력 인터페이스(830) 중 어느 하나 또는 둘 모두를 더 포함할 수 있다. 입력 인터페이스(810), 프로세서(820), 출력 인터페이스(830), 메모리(840) 및 통신 인터페이스(850)는 통신 버스(805)를 통해 서로 통신할 수 있다.

도 8에 도시된 스마트 장치는 도 1내지 도 13에서 스마트 장치(혹은 도킹 장치)와 관련하여 기술된 동작들 중 어느 하나 또는 이들의 조합을 수행할 수 있다.

예를 들어, 입력 인터페이스(810)는 입력을 수신한다. 프로세서(820)는 스마트 장치(800)에 연결된 휴대 장치가 있는지 여부를 판단하고, 판단 결과에 기초하여, 입력을 분석하기 위하여 접속할 서버를 결정한다. 통신 인터페이스(850)는 프로세서(820)에서 결정된 서버로 입력 인터페이스(810)를 통하여 수신한 입력을 전송한다.

프로세서(820)는 프로그램을 실행하고, 스마트 장치(800)를 제어할 수 있다. 프로세서(820)에 의하여 실행되는 프로그램 코드는 메모리(840)에 저장될 수 있다. 메모리(840)는 휘발성 메모리 또는 비 휘발성 메모리일 수 있다.

메모리(840)는 예를 들어, 프로세서(820)에 의해 실행될 때, 프로세서(820)가 도 1 내지 도 13과 관련하여 설명하는 과정들 중 어느 하나 또는 이들의 조합을 수행하도록 하는 명령어들을 저장할 수 있다. 또한, 메모리(840)는 프로세서(820)에서 결정된 서버가 무엇인지를 저장할 수 있다. 또한, 메모리(840)는 각 사용자에게 부여된 권한 및/또는 각 사용자에게 부여된 명령에 대한 권한 등의 정보를 포함할 수 있다.

아래에서 구체적으로 설명하겠으나, 실시예들은 전술한 예시들로 한정되는 것은 아니다. 예를 들어, 스마트 장치(800)는 스마트 장치(800)에 대응하여 미리 설정된 제1 서버로부터 제1 명령을 수신하고, 제1 명령을 수행하는 스마트 장치 일 수 있다. 일 실시예에 따르면, 스마트 장치(800)는 제1 사용자를 위한 공간에 설치될 수 있고, 제1 사용자에 대응하는 제1 서버로부터 제1 명령을 수신하여 제1 명령을 수행할 수 있다. '제1 명령'은 제1 사용자의 입력에 반응하여 제1 서버에 의하여 결정되는 명령으로서, 예를 들어, 제어 대상 장치를 위한 제어 명령 또는 피드백 장치를 위한 피드백 명령을 모두 포함하는 의미로 이해될 수 있다.

이때, 통신 인터페이스(850)를 통하여 휴대 장치의 제2 사용자에 대응하는 제2 서버로부터 제2 명령이 수신될 수 있다. '제2 명령'은 제2 사용자의 입력에 반응하여 제2 서버에 의하여 결정되는 명령으로서, 예를 들어, 제어 대상 장치를 위한 제어 명령 또는 피드백 장치를 위한 피드백 명령을 모두 포함하는 의미로 이해될 수 있다.

이 경우, 프로세서(820)는 스마트 장치의 메모리(840), 혹은 제1 서버를 이용하여, 제2 사용자에게 제2 명령의 권한이 있는지 여부를 판단한다. 프로세서(820)는 판단 결과에 따라, 제2 명령을 수행할 수 있다.

도 9a 내지 도 9c는 실시예들에 따른 스마트 장치가 접속할 서버를 결정하는 시나리오를 설명하기 위한 도면이다. 도 9a내지 도 9c를 참조하면, 제1 사용자(A)를 위한 공간(901), 공간(901)에 설치된 스마트 장치(910), 제1 사용자(A)의 휴대 장치(920), 제1 사용자에 대응하는 제1 서버들(915, 925, 960), 제2 사용자(B)를 위한 공간(905), 공간(905)에 설치된 스마트 장치(940), 제 2사용자에 대응하는 제2 서버들(935, 945, 950), 제2 사용자(B)의 휴대 장치(930)가 도시된다. 제2 사용자(B)의 휴대 장치(930)는 제2 사용자(B)를 위한 공간(905)에서 제1 사용자(A)를 위한 공간(901)으로 이동한 것일 수 있다.

도 9a를 참조하면, 제1 사용자(A)를 위한 공간(901)에서 제1사용자(A)가 자신(제1 사용자)의 휴대 장치(920)를 휴대하고 있는 경우가 도시된다.

스마트 장치(910)로 입력이 수신되면, 스마트 장치(910)는 연결된 휴대 장치가 있는지 여부를 판단할 수 있다. 제1 사용자의 휴대 장치(920)가 연결되었다고 판단되면, 스마트 장치(910)는 제1 사용자의 휴대 장치(920)에 대응하는 서버를 접속할 서버로 결정할 수 있다. 스마트 장치(910)는 휴대 장치(920)로부터의 입력을 제1 서버(915, 925 또는 960)에게 전송한다. 이때, 제1 서버는 제1 서버(915)와 같이 제1 사용자의 공간(901)에 위치하거나, 또는 제1 서버(960)와 같이 제1 사용자의 공간(901)의 외부에 위치할 수 있다. 또는 제1 서버는 제1 서버(925)와 같이 휴대 장치(920) 내에 적어도 일부가 포함되거나, 또는 휴대 장치(920) 자체일 수 있다.

스마트 장치(910)는 제1 서버(915, 925 또는 960)에게 휴대 장치(920)의 입력을 전송함으로써, 휴대 장치(920)의 사용자(A)의 개인화된 서비스를 제공할 수 있다.

도 9b를 참조하면, 제2 사용자(B)가 휴대 장치(930)를 휴대하고, 제1 사용자(A)의 공간(901)으로 방문한 경우가 도시된다.

스마트 장치(910)로 입력이 수신되면, 스마트 장치(910)는 연결된 휴대 장치가 없는 경우, 미리 설정된 제1 서버(915 또는 960)를 입력을 분석하기 위해 접속할 서버로 결정하고, 제1 서버(915 또는 960)에게 입력을 전송한다. 제 1서버(915 또는 960)는 입력을 분석할 수 있다. 실시예에 따라서, 제1 서버는 제1 서버(915)와 같이 제1 사용자(A)를 위한 공간(901) 내에 위치할 수도 있고, 제1 서버(960)와 같이 제1 사용자(A)를 위한 공간(901) 외부에 이격되어 위치할 수도 있다. 전술한 바와 같이, 제1 사용자(A)는 특정인이거나, 불특정인일 수 있다.

이때, 제2 사용자(B)는 제1 사용자(A)의 공간(901)으로 방문하여, 공간(901)에 설치된 스마트 장치(910)를 이용할 수 있다. 공간(901)으로 이동한 제2 사용자(B)의 휴대 장치(930)는 유선 도킹 또는 무선 페어링을 통해 스마트 장치(910)와 연결될 수 있다.

스마트 장치(910)는 자신에게 연결된 휴대 장치(930)가 있다고 판단되면, 휴대 장치(930)에 대응하는 제2 서버(945, 935 또는 950)를 접속할 서버로 결정하고, 휴대 장치(930)로부터의 입력을 제2 서버(945, 935 또는 950)에게 전송한다. 이때, 제2 서버는 제2 서버(945)와 같이 제2 사용자의 공간(905)에 위치하거나, 또는 제2 서버(950)와 같이 제1 사용자의 공간(901) 및 제2 사용자의 공간(905)을 제외한 외부에 위치할 수 있다. 또는 제2 서버는 제2 서버(935)와 같이 휴대 장치(930) 내에 포함될 수도 있다.

스마트 장치(910)는 제2 서버(945, 935 또는 950)에게 휴대 장치(930)의 입력을 전송함으로써, 휴대 장치(930)의 사용자(B)의 개인화된 서비스를 제공할 수 있다.

도면에 도시하지 않았으나, 휴대 장치(930)가 스마트 장치(910)와 무선 페어링을 통해 연결된 경우, 스마트 장치는 무선 페어링을 통해 제2 서버(935)에게 입력의 분석을 요청하거나, 제2 서버(935)로부터 명령을 수신할 수 있다. 또는 스마트 장치(910)는 네트워크(50)를 통해 제2 서버(935)와 연결되어 제2 서버(935)에게 입력의 분석을 요청하거나, 제2 서버(945)로부터 명령을 수신할 수 있다.

도 9c를 참조하면, 제1 사용자(A)를 위한 공간(901)에 제 1 사용자(A)의 휴대 장치(920)와 제 2 사용자의 휴대 장치(930)가 함께 존재하는 경우가 도시된다. 이때, 스마트 장치(910)에는 제 1 사용자(A)의 휴대 장치(920)와 제 2 사용자의 휴대 장치(930)가 함께 연결될 수 있다.

스마트 장치(910)로 입력이 수신되면, 스마트 장치(910)는 연결된 휴대 장치가 있는지 여부를 판단한다.

제 1 사용자(A)의 휴대 장치(920)와 제 2 사용자의 휴대 장치(930)가 함께 연결되어 있다고 판단되면, 스마트 장치(910)는 연결된 모든 휴대 장치(920, 930) 각각에 대응하는 서버들, 다시 말해 제1 서버(915, 925, 960) 및 제2 서버(935, 950)에게 입력을 전송할 수 있다.

스마트 장치(910)로부터 입력을 수신한 각 서버는 서버 내 입력 분석기의 인증 기능을 통해 해당 입력이 각 해당 서버의 사용자(또는 어느 사용자의 휴대 장치)의 입력인지 분석(또는 판단)하여 각 사용자의 입력을 처리할 수 있다.

도 10a 내지 도 10c는 실시예들에 따른 스마트 장치가 서버의 명령을 수행하는 다양한 시나리오들을 설명하기 위한 도면이다. 도 10a를 참조하면, 제1 사용자(A)의 입력이 스마트 장치(910)를 통해 제1 서버(920)에게 전달된 경우에 제1 서버(920)의 명령이 제어 대상 장치(1010) 및/또는 피드백 장치(1030)에 의해 수행되는 과정이 도시된다. 설명의 편의를 위하여, 스마트 장치(910), 제어 대상 장치(1010), 및 피드백 장치(1030)를 서로 구분하여 도시하였으나, 경우에 따라 이들 중 둘 또는 그 이상은 서로 동일한 장치일 수 있다.

예를 들어, 제1 사용자(A)의 입력이 스마트 장치(910)를 통해 제1 사용자(A)를 위한 공간(901) 외부의 제1 서버(920)에게 전달된다고 하자.

제1 서버(920)는 해당하는 데이터베이스를 기초하여 입력을 분석함으로써 제1 사용자(A)의 입력에 대응하는 제어 대상 장치(1010)를 결정하고, 제어 대상 장치(1010)의 제어를 위한 제1 명령을 생성할 수 있다. 서버(920)에 의해 생성된 제1 명령은 네트워크(50)를 통해 제어 대상 장치(1010)에게 전송될 수 있다. 제어 대상 장치(1010)는 제1 명령을 수행한 결과를 네트워크(50)를 통해 제1 서버(920)에게 보고할 수 있다.

제1 서버(920)는 제1 명령의 수행 결과에 기초하여 피드백 장치(1030)를 결정하고, 피드백 장치(1030)를 통한 피드백을 위한 제2 명령을 생성할 수 있다. 제1 서버(920)는 네트워크(50)를 통해 피드백 장치(1030)에게 제2 명령을 전송할 수 있다. 피드백 장치(1030)에게 제2 명령에 따라 제1 사용자(A)에게 제1 명령의 수행 결과를 피드백할 수 있다.

도면에 도시하지 않았으나, 제1 사용자(A)의 휴대 장치와 연결된 스마트 장치(910)에 제1 사용자(A)의 입력이 수신된 경우에, 명령을 전송하는 제1 서버(920)의 명령이 제어 대상 장치(1010) 및 피드백 장치(1030)에 의해 수행되는 과정은 다음과 같다.

제1 사용자(A)의 입력이 스마트 장치(910)에 수신된 경우, 스마트 장치(910)는 휴대 장치에 대응하는 제1 서버(920)에게 입력을 전송할 수 있다.

제1 서버(920)는 해당하는 데이터베이스에 기초하여 제1 사용자(A)의 입력을 분석함으로써, 제1 사용자(A)의 입력에 대응하는 제어 대상 장치(1010)를 결정하고, 제어 대상 장치(1010)의 제어를 위한 제2 명령을 생성할 수 있다. 제1 서버(920)는 네트워크(50)를 통해 제어 대상 장치(1010)에게 제2 명령을 전송할 수 있다. 이때, 제어 대상 장치(1010)는 제1 사용자(A)의 공간(901)에 위치하는 스마트 장치 또는 소형 장치일 수 있다.

제2 명령을 수신한 제어 대상 장치(1010)는 제1 서버(920)를 이용하여 제1 사용자(A)에게 제2 명령의 권한이 있는지를 문의함으로써 제1 사용자(A)의 권한을 체크할 수 있다. 실시예에 따라서, 제어 대상 장치(1010)는 메모리로부터 제1 사용자(A)에게 제2 명령의 권한이 있는지를 확인함으로써 제1 사용자(A)의 권한을 체크할 수도 있다. 제어 대상 장치(1010)는 제1 사용자(A)에게 제2 명령의 권한이 있다고 판단되면 제2 명령을 수행할 수 있다.

제어 대상 장치(1010)는 제2 명령의 수행 결과를 제1 서버(920)로 피드백할 수 있다. 제2 명령의 수행 결과를 수신한 제1 서버(920)는 제2 피드백 명령을 수행할 피드백 장치(1030)를 결정하고, 피드백 장치(1030)에게 제2 피드백 명령을 전송할 수 있다. 일 실시예에 따르면, 피드백 장치(1030)도 제어 대상 장치(1010)와 마찬가지로, 제1 사용자(A)를 위한 피드백의 권한이 있는지 여부를 체크한 뒤, 제1 사용자(A)에게 피드백할 수 있다.

도 10b를 참조하면, 제2사용자(B)의 휴대 장치(930)와 연결된 스마트 장치(910)에 제2사용자(B)의 입력이 수신된 경우에, 명령을 전송하는 제2 서버(950 또는 945)의 명령이 제어 대상 장치(1010) 및 피드백 장치(1030)에 의해 수행되는 과정이 도시된다.

제2사용자(B)의 입력이 스마트 장치(910)에 수신된 경우, 스마트 장치(910)는 도 9b를 통해 전술한 바와 같이, 휴대 장치(930)에 대응하는 제2 서버(950 또는 945) 에게 입력을 전송할 수 있다.

제2 서버(950 또는 945)는 해당하는 데이터베이스에 기초하여 제2사용자(B)의 입력을 분석함으로써, 제2사용자(B)의 입력에 대응하는 제어 대상 장치(1010)를 결정하고, 제어 대상 장치(1010)의 제어를 위한 제2 명령을 생성할 수 있다. 제2 서버(950)는 네트워크(50)를 통해 제어 대상 장치(1010)에게 제2 명령을 전송할 수 있다. 이때, 제어 대상 장치(1010)는 제1 사용자의 공간(901)에 위치하는 스마트 장치 또는 소형 장치일 수 있다.

제2 명령을 수신한 제어 대상 장치(1010)는 제1 서버(920)를 이용하여 제2 사용자(B)에게 제2 명령의 권한이 있는지를 문의 함으로써 제2 사용자(B)의 권한을 체크할 수 있다. 실시예에 따라서, 제어 대상 장치(1010)는 메모리로부터 제2 사용자(B)에게 제2 명령의 권한이 있는지를 확인함으로써 제2 사용자(B)의 권한을 체크할 수도 있다. 제어 대상 장치(1010)는 제 2 사용자(B)에게 제2 명령의 권한이 있다고 판단되면 제2 명령을 수행할 수 있다.

제어 대상 장치(1010)는 제2 명령의 수행 결과를 제2 서버(950 또는 945)로 피드백할 수 있다. 제2 명령의 수행 결과를 수신한 제2 서버(950 또는 945)는 제2 피드백 명령을 수행할 피드백 장치(1030)를 결정하고, 피드백 장치(1030)에게 제2 피드백 명령을 전송할 수 있다. 일 실시예에 따르면, 피드백 장치(1030)도 제어 대상 장치(1010)와 마찬가지로, 제2 사용자(B)를 위한 피드백의 권한이 있는지 여부를 체크한 뒤, 제2 사용자(B)에게 피드백할 수 있다.

도 10c를 참조하면, 제2 서버(935) 중 적어도 일부가 제2 사용자(B)의 휴대 장치(930)에 포함된 경우를 설명한다.

제2사용자(B)의 입력이 휴대 장치(930)와 연결된 스마트 장치(910)에 수신된 경우, 도 9b를 통하여 설명한 것과 같이 스마트 장치(910)는 휴대 장치(930)에 대응하는 제2 서버(935)에게 입력을 전송할 수 있다.

제2 서버(935)는 입력을 분석하여 결정된 제어 대상 장치(1010)에게 제2 명령을 전송할 수 있다. 이때, 제2 서버(935)는 네트워크(50)를 통하여 제2 명령을 전송할 수 있다. 또는, 휴대 장치(930)와 제어 대상 장치(1010)가 근거리 통신망을 통하여 연결되어 있는 경우 제2 서버(935)는 근거리 통신망을 통하여 제2 명령을 전송할 수도 있다.

제2 명령을 수신한 제어 대상 장치(1010)는 네트워크(50)를 통해 제1 서버(920)에게 제2 사용자(B)에게 제2 명령의 권한이 있는지를 문의함으로써 제2 사용자(B)의 권한을 체크할 수 있다. 전술한 바와 같이, 제어 대상 장치(1010)에 의해 수행되는 권한 체크는 제어 대상 장치(1010)가 아닌 피드백 장치(1030)가 피드백 명령을 실행하는 경우에도 동일하게 적용될 수 있다.

도 11은 일 실시예에 따른 스마트 장치가 사용자 별로 제어 명령의 수행 결과를 피드백하는 방법을 설명하기 위한 도면이다. 도 11을 참조하면, 스마트 냉장고(1110)가 도시된다.

예를 들어, 휴대 장치(1130)의 사용자 A가 자신의 집에 있는 스마트 냉장고(1110)에 음성으로 "냉장고 안을 보여줘"라고 말했다고 하자.

스마트 냉장고(1110)는 사용자 A에 대응하는 서버 A'에게 음성 입력 "냉장고 안을 보여줘"를 전송하고, 서버 A'로부터 수신된 제어 명령(예를 들어, 냉장고 내부 중 세 번째 칸을 촬영하여 표시할 것)에 따라 스마트 냉장고(1110) 내에서 사용자 A가 주로 사용하는 칸을 스마트 냉장고(1110)의 화면에 표시할 수 있다. 이때, 서버 A'는 사용자 A의 지속적인 사용에 의해 파악된 사용자의 사용 패턴으로부터 사용자 A가 스마트 냉장고(1110)에서 세 번째 칸을 주로 사용한다는 정보를 저장하고, 이를 이용하여 사용자 A를 위한 개인화된 서비스를 제공할 수 있다. 이때, 서버 A'는 휴대 장치(1130)일 수 있다.

스마트 냉장고(1110)는 세 번째 칸을 촬영한 영상을 화면에 표시할 수 있다. 이때, 제어 명령을 수행한 결과는 사용자에게 제어 명령의 수행 결과를 알려주기 위한 피드백 명령과 같은 역할을 하게 되고, 서버A'는 별도의 피드백 명령 및 피드백 장치를 결정하지 않을 수 있다.

예를 들어, 휴대 장치(1150)의 사용자 B가 스마트 냉장고(1110)에 자신의 음성으로 "냉장고 안을 보여줘"라고 말했다고 하자. 스마트 냉장고(1110)는 사용자 B에 대응하는 서버 B'에게 사용자 B의 음성 입력 "냉장고 안을 보여줘"를 전송할 수 있다. 사용자 B의 음성 입력을 수신한 서버 B'는 사용자 B에 개인화된 정보에 기초하여, 제어 명령(예를 들어, 냉장고 내부 중 첫 번째 칸을 촬영하여 표시할 것)을 생성할 수 있다. 제어 명령을 수신한 스마트 냉장고(1110)는 첫 번째 칸을 촬영한 영상을 화면에 표시할 수 있다. 이때, 서버 B'는 휴대 장치(1150)일 수 있다.

이와 같이, 스마트 장치는 동일한 입력에 대하여 서로 다른 방식으로 제어 명령 또는 피드백 명령을 수행할 수도 있다.

이하에서는 다양한 스마트 장치들 및 소형 장치들에서 개인화된 서비스를 제공하는 실시예들을 설명한다.

사용자는 자신의 집 외부에서 휴대 장치를 이용하여 집안의 상태를 점검하거나, 또는 서버를 통해 집 내부에 연결된 장치들(스마트 장치들 및/또는 소형 장치들)을 제어할 수 있다.

예를 들어, 사용자가 휴대 장치를 들고 집 외부에서 내부로 진입하면, (홈) 서버 또는 집 내부의 스마트 도커는 휴대 장치를 통해 사용자의 위치를 파악하여 휴대 장치와 자동적으로 근거리 무선 연결을 수행하거나, 스마트 도커에 대한 물리적인 도킹을 체크할 수 있다. 여기서, 서버 및 스마트 도커는 예를 들어, 도 1 내지 도 11을 통해 전술한 제1 서버, 스마트 도커일 수 있으며, 반드시 이에 한정되지는 않는다.

사용자의 진입을 확인한 서버 또는 스마트 도커는 사용자의 음성 또는 물리적 터치 등으로 인터랙션 가능한 장치들(예를 들어, 스마트 스피커, 스마트 홈 로봇, 스마트 TV 등)과의 통신을 준비할 수 있다. 이때, 인터넷 연결이 불가능해 서버로의 직접적인 연결이 불가능한 스마트 장치들 또는 소형 장치들은 인터넷이 가능한 스마트 도커와의 근거리 무선 연결을 통해 서버와 연결될 수 있다.

사용자는 집안 내 어디에서든지 인터랙션 가능한 장치들 혹은 스마트 도커를 통해 대화 및 입력(명령)을 홈 서버에게 전송하여 사용자를 위한 개인화된 서비스를 제공받을 수 있다. 이하에서는 인터랙션 가능한 다양한 장치들에서 개인화된 서비스가 제공되는 예들을 설명한다.

스마트 폰(휴대 장치)

스마트 폰은 개인화된 개인 비서 서비스를 제공함에 있어서 사용자의 주 장치가 되어 동작할 수 있다. 스마트 폰은 사용자의 입력을 받아 명령을 수행하게 하거나, 사용자의 위치를 파악하는 데에 이용되거나, 또는 개인화된 서버로의 접속에 이용될 수 있다.

실시예에 따라서, 스마트 폰은 전술한 서버의 기능을 소형화하여 내재화 함으로써 자신과 연결 가능한 모든 장치들에 대한 제어를 수행할 수도 있다. 이 경우, 스마트 폰은 서버로의 접속이 없이 서버를 대신하여 일부 명령을 수행할 수 있다.

또한, 스마트 폰은 개인화된 개인 비서 서비스를 제공하기 위한 사용자 개인의 주 디바이스로도 사용될 수 있다. 사용자가 스마트 폰을 들고 새로운 장소를 방문하는 경우, 사용자의 스마트 폰은 새로운 장소에서 있는 스마트 장치와 연결될 수 있다. 스마트 폰을 통한 개인화된 서버로의 접속을 통해, 스마트 장치는 새로운 장소의 사용자(또는 관리자)가 허가한 동작 권한 내에서 스마트 폰의 사용자를 위한 개인화된 서비스(예를 들어, 스마트 폰의 사용자에 특화된 인공 개인 비서 모델, 개인화된 컨텐츠 추천, 개인 설정 불러오기 등)를 제공할 수 있다.

인공 개인 비서 도커(APA Docker)(이하 '스마트 도커')

스마트 도커는 집 또는 차량 내에서 설치(또는 장착)된 소형 장치 또는 모듈들과 서버를 연결해 주는 장치이다. 서버는 개인 비서 서비스의 제공을 위한 서버로서 예를 들어, 도 4 내지 도 11을 통해 설명하는 서버일 수 있으나, 반드시 이에 한정되는 것은 아니다.

소형 장치 또는 모듈들은 스마트 도커와 연결될 수 있게 최소한의 근거리 무선 통신 모듈을 포함할 수 있다. 스마트 도커는 사용자의 스마트 폰과의 무선 근거리 통신 또는 물리적인 도킹을 통하여, 사용자의 근접 여부를 판단할 수 있다.

스마트 도커는 사용자가 근접했다고 판단되면, 스마트 도커와 연결된 소형 장치들에게 입력 대기 신호를 전송함으로써 사용자의 입력을 받아들일 준비를 하도록 한다. 실시예에 따라서, 스마트 도커가 서버와의 통신이 불가능한 경우, 스마트 도커는 스마트 폰에 내재된 소형화된 서버 (모듈)와의 통신을 통해 문제를 해결할 수 있다.

개인 서비스 로봇

개인 서비스 로봇은 탑재된 카메라를 통해 입력되는 영상을 인식하거나 및/또는 탑재된 마이크를 통해 입력되는 음성을 인식함으로써, 사용자의 입력을 수신할 수 있다. 예를 들어, 개인 서비스 로봇은 카메라를 통하여 사용자의 모션이나 제스처를 인식하거나, 사용자의 안면 및/또는 음성으로부터 사용자의 감정을 인식할 수 있다. 또한, 개인 서비스 로봇은 가정 내 환경 등 영상 정보를 촬영하여 상황 인식 또는 환경 인식 또한 가능하다. 이 밖에도, 개인 서비스 로봇은 스마트 폰 등과의 연동을 통해 알리 기능 및 가정 내 가전 제어 등을 수행할 수 있다.

개인 서비스 로봇은 개인 비서 서비스를 제공하기 위한 사용자 개인의 주 디바이스로도 사용되거나, 또는 전술한 스마트 도커 혹은 통신 허브로도 동작할 수 있다.

스마트 TV 혹은 스마트 셋톱 박스

스마트 TV 혹은 스마트 셋톱 박스는 스마트 장치로써 동작할 수 있다.

스마트 TV 혹은 스마트 셋톱 박스는 예를 들어, 'TV 켜'와 같은 장치 제어부터, 'OOO 영화 찾아줘'와 같은 VOD 서비스 제어 등의 명령을 수행할 수 있다.

예를 들어, 주 사용자이자 관리자인 사용자 A의 집에 손님인 사용자 B가 방문했다고 하자.

사용자 A의 '영화 좀 추천해줘' 라는 음성이 입력된 경우, 스마트 TV 혹은 스마트 셋톱 박스는 사용자 A에 대응하는 서버 A'를 통해 입력을 분석하고, 그에 따라 A가 즐겨보았던 영화를 기반으로 추천 서비스를 제공할 수 있다.

이와 달리, 스마트 TV 혹은 스마트 셋톱 박스에 사용자 B의 스마트 폰이 연결되고, 사용자 B의 '영화 좀 추천해줘' 라는 음성이 입력된 경우, 스마트 TV 혹은 스마트 셋톱 박스는 사용자 B에 대응하는 서버 B'를 통해 입력을 분석하고, 그에 따라 B가 즐겨보았던 영화를 기반으로 추천 서비스를 제공할 수 있다.

이러한 손님 사용자에 대한 동작 제어는 주 사용자인 사용자 A가 손님 사용자 B에 대하여 부여한 권한에 따라 달리 결정될 수 있다. 이러한 연결을 통해 활성화되는 개인화된 서비스는 호텔과 같은 공용 시설에도 동일하게 적용될 수 있다.

일 실시예에 따르면, 스마트 TV 혹은 스마트 셋톱 박스에 사용자 B의 스마트 폰이 연결되더라도 사용자 A의 음성이 입력된 경우, 서버 B'의 입력 분석기에서 사용자 인증에 실패할 수 있다. 스마트 TV 혹은 스마트 셋톱 박스는 사용자 A의 음성을 서버 A'에도 전송함으로써, 사용자 A의 입력이 처리되도록 할 수 있다.

스마트 스피커

스마트 스피커는 스마트 장치로 동작하며, 예를 들어, 서버와 스마트 도커 간의 접속을 위한 유, 무선 통신 인터페이스, 사용자 입력을 수신하기 위한 마이크, 및 피드백 또는 음성 서비스를 제공하기 위한 스피커를 포함할 수 있다.

스마트 스피커는 서버와 직접적으로 연결될 수도 있고, 또는 스마트 도커와의 통신을 통해 서버에 연결될 수도 있다. 또는 스마트 스피커는 서버를 경유하여 통신할 수도 있고, 스마트 도커와 직접 근거리 무선 통신을 수행할 수도 있다.

스마트 스피커는 서버 또는 스마트 도커를 통해 사용자가 집안에 있다는 정보를 전달받으면, 마이크 또는 스피커를 통한 입, 출력을 준비할 수 있다. 스마트 스피커는 마이크를 통해 사용자의 입력이 수신되는 것으로 판단되면, 수신한 입력을 서버에게 전송할 수 있다. 스마트 스피커는 어떤 장치로부터 입력이 수신되던지 간에 서버의 명령에 따른 동작(예, 음악 틀기, 날씨 알려주기 등)을 수행할 수 있다.

소형 스피커

소형 스피커는 스마트 스피커와 달리, 서버에 직접 연결할 수 없는 스피커를 말한다. 소형 스피커는 근거리 무선 통신을 통해 스마트 도커와 연결되고, 스마트 도커로부터 입력 대기 신호가 수신됨에 따라 사용자의 입력을 대기할 수 있다.

사용자의 입력이 수신되면, 소형 스피커는 스마트 도커에게 자신(소형 스피커)의 장치 식별자 및/또는 사용자의 입력을 전달할 수 있다. 스마트 도커는 장치 식별자 및/또는 사용자의 입력을 서버에게 전송할 수 있다. 서버는 장치 식별자 및/또는 사용자의 입력을 분석하고, 입력에 대응하여 수행되어야 하는 제어 명령을 제어 대상 장치에게 전송할 수 있다.

예를 들어, 사용자가 'TV 틀어'라고 말하면, 사용자의 음성을 입력받은 소형 스피커는 사용자의 음성을 스마트 도커로 전달하고, 스마트 도커는 사용자의 음성을 서버로 전달할 수 있다. 서버는 해당 음성을 분석하여 제어 대상 장치인 스마트 TV에게 제어 명령을 전달할 수 있다. 제어 명령을 수신한 스마트 TV는 전원을 켬으로써 제어 명령의 수행을 완료할 수 있다.

소형 탁상 조명 및/또는 일반 조명

소형 탁상 조명 및/또는 일반 조명은 대체로 그 구조상 서버에 직접 연결할 수 있는 인터넷 연결 모듈 또는 통신 인터페이스의 탑재가 어렵다. 다만, 소형 탁상 조명 및/또는 일반 조명은 작은 근거리 통신 모듈을 탑재해 스마트 도커와 연결될 수 있다. 스마트 폰 또는 스마트 스피커로부터 '불 꺼'라는 음성 입력이 수신되면, 서버는 음성 입력에 따라 소형 탁상 조명 및/또는 일반 조명으로 명령을 전달하고 해당 장치는 명령을 수행할 수 있다.

또는 상황에 따라서, 사용자는 '불 꺼'라는 음성 입력없이 직접 조명의 전원을 차단하여 조명을 오프 상태로 만들 수도 있다. 이 경우, 소형 탁상 조명 및/또는 일반 조명은 자신의 상태(예를 들어, 전원의 온/오프)가 변화할 때마다 서버로 상태를 전달함으로써 서버가 자신들의 상태를 파악하고, 관리하도록 할 수 있다.

예를 들어, 가정에서 조명 알람을 오전 6: 00로 설정한 사용자 A가 호텔과 같은 숙박 시설에 묵는다고 하자. 사용자 A의 스마트 폰은 스마트 도커와의 연결을 통해 스마트 도커로 하여금 사용자 A의 서버로 접속하여 조명 알람에 대한 설정 정보를 획득하도록 할 수 있다. 스마트 도커는 호텔에 있는 소형 탁상 조명 및/또는 일반 조명에 사용자 A에 대한 조명 알람에 대한 설정 정보를 적용할 수 있다. 이를 통해 사용자 A는 호텔에서도 가정과 같은 오전 6:00에 자동으로 조명 알람이 제공되는 서비스를 제공받을 수 있다.

스마트 카

스마트 카는 스마트 도커를 차량 내에 내장할 수 있다. 차량 내에 내장되는 스마트 도커는 스마트 도커에 도킹되는 장치들이 차량 내 장치(또는 차량용 장치)라는 점을 제외하고는 일반적인 스마트 도커와 동일하게 동작할 수 있다.

차량 내장형 스마트 도커가 없는 일반적인 차량의 경우, 외장 스마트 도커를 차량에 설치함으로써 스마트 도커의 동작을 수행할 수 있다. 이때, 필요에 따라서 차량 부품이 스마트 도커와 연결 가능한 소형 장치로 교체될 수도 있다.

예를 들어, 스마트 도커는 차량 내 비치된 디스플레이 또는 마이크 등으로부터 입력이 수신되면, 서버와의 접속을 통해 차량 내에 있는 차량 내비게이션, 차량 오디오, 차량 에어컨, 시트 열선, 및 스마트 카 자체 등을 제어할 수 있다. 다만 차량의 특성상 안전 보장의 필요성 및 제어 및 응답의 즉각성을 고려할 때, 스마트 카의 주행 관련 명령들은 빠른 대응이 요구된다. 따라서, 개인화된 서비스의 제공을 위한 서버와는 독립적으로 차량 운용을 위한 별개의 서버가 스마트 카에 장착될 수도 있다.

개인화된 서비스의 일 예로서, 카 셰어링과 같은 서비스를 위해 스마트 카와 사용자 A의 스마트 폰이 연결되면, 스마트 카는 사용자 A를 위한 서버로부터 사용자 A에 대한 정보를 획득할 수 있다. 스마트 카는 사용자 A에 대한 정보에 따라 사용자A에 맞는 운전석 설정, 사용자 A의 운전 패턴 분석에 따른 운전 환경 조성, 및 카 오디오의 개인 설정 등의 서비스를 제공할 수 있다.

도 12는 일 실시예에 따른 스마트 장치의 동작 방법을 나타낸 흐름도이다. 도 12를 참조하면, 스마트 장치는 입력을 수신한다(1210). 스마트 장치는 예를 들어, 스마트 장치의 입력 인터페이스를 통하여 입력을 수신할 수 있다. 또는 스마트 장치는 스마트 장치와 연결된 소형 장치로부터 입력을 수신할 수 있다.

스마트 장치는 스마트 장치에 연결된 휴대 장치가 있는지 여부를 판단한다(1220). 스마트 장치는 예를 들어, 스마트 장치에 유선으로 도킹된 휴대 장치가 있는지 또는 무선으로 페어링 된 휴대 장치가 있는지 여부를 판단할 수 있다. 스마트 장치는 스마트 장치에 연결된 휴대 장치가 있다는 판단에 따라, 스마트 장치와 연결되고 슬립 모드로 동작 중인 소형 장치를 활성화시킬 수 있다.

스마트 장치는 단계(1220)의 판단 결과에 기초하여, 입력을 분석하기 위하여 접속할 서버를 결정한다(1230). 서버는 예를 들어, 해당하는 데이터베이스에 기초하여 입력을 분석함으로써 단계(1210)에서 수신한 입력에 대응하는 제어 대상 장치를 결정할 수 있다. 서버는 제어 대상 장치의 제어를 위한 제1 명령을 생성할 수 있다. 또한, 서버는 제1 명령의 수행 결과에 기초하여 피드백 장치를 결정하고, 피드백 장치를 통한 피드백을 위한 제2 명령을 생성할 수 있다.

스마트 장치는 예를 들어, 스마트 장치에 연결된 휴대 장치가 존재하지 않는다는 판단에 따라, 접속할 서버를 스마트 장치에 대응하여 미리 설정된 제1 서버로 결정할 수 있다. 또는 스마트 장치는 스마트 장치에 연결된 휴대 장치가 존재한다는 판단에 따라, 접속할 서버를 휴대 장치에 대응하는 제2 서버로 결정할 수 있다. 제2 서버는 휴대 장치의 사용자의 개인화된 서비스를 제공하기 위해 입력을 분석할 수 있다.

스마트 장치는 단계(1230)에서 결정된 서버에게 단계(1210)에서 수신한 입력을 전송한다(1240).

도 13은 다른 실시예에 따른 스마트 장치의 동작 방법을 나타낸 흐름도이다. 일 실시예에서, 스마트 장치는 스마트 장치에 대응하여 미리 설정된 제1 서버로부터 제1 명령을 수신하고, 제1 명령을 수행하는 스마트 장치일 수 있다.

도 13을 참조하면, 일 실시예에 따른 스마트 장치는 휴대 장치의 사용자에 대응하는 제2 서버로부터 제2 명령을 수신한다(1310). 여기서, 제1 서버는 스마트 장치가 설치된 공간에 대응하고, 제2 서버는 휴대 장치의 사용자에 대응할 수 있다.

스마트 장치는 스마트 장치의 메모리, 혹은 제1 서버를 이용하여, 제2사용자에게 제2 명령의 권한이 있는지 여부를 판단한다(1320).

스마트 장치는 단계(1320)에서의 판단 결과에 따라, 제2 명령을 수행한다(1330). 제2 명령은 제2사용자의 입력에 반응하여 제2 서버에 의하여 결정되는 제2 제어 명령을 포함할 수 있다. 제2 제어 명령은 예를 들어, 스마트 장치의 제어를 위한 제어 명령 및 스마트 장치와 연결된 소형 장치의 제어를 위한 제어 명령 중 적어도 하나를 포함할 수 있다. 또는 제2 명령은 제2 사용자의 입력에 대응하는 제어 명령의 수행 결과에 기초하여 제2 서버에 의하여 결정되는 제2 피드백 명령을 포함할 수 있다. 제2 피드백 명령은 예를 들어, 스마트 장치를 통한 피드백을 위한 피드백 명령 및 스마트 장치와 연결된 소형 장치를 통한 피드백을 위한 피드백 명령 중 적어도 하나를 포함할 수 있다.

스마트 장치는 단계(1330)에서 제2 명령을 수행한 이후에, 제2 명령의 수행 결과를 제2 서버로 피드백할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

휴대 장치의 동작 방법에 있어서,
상기 휴대 장치에서 개인 비서 서비스(personal assistant service)의 실행 중 상기 휴대 장치가 도킹 장치와 도킹되는지 여부를 식별하는 단계; 및
상기 휴대 장치에서 상기 개인 비서 서비스의 실행 중 상기 휴대 장치가 상기 도킹 장치와 도킹된 경우, 상기 실행 중인 개인 비서 서비스를 상기 도킹 장치를 이용하여 연속성 있게 제공하는 단계
를 포함하는, 휴대 장치의 동작 방법.
제1항에 있어서,
상기 실행 중인 개인 비서 서비스를 상기 도킹 장치를 이용하여 연속성 있게 제공하는 단계는
상기 도킹 장치의 입출력 인터페이스 또는 상기 도킹 장치에 의해 제어되는 다른 장치의 입출력 인터페이스를 이용하여 상기 실행 중인 개인 비서 서비스를 연속성 있게 제공하는 단계
를 포함하는, 휴대 장치의 동작 방법.
제1항에 있어서,
상기 휴대 장치에서 상기 개인 비서 서비스의 실행 중 상기 휴대 장치가 상기 도킹 장치와 도킹되지 않은 경우, 상기 개인 비서 서비스를 제1 방식으로 제공하는 단계
를 더 포함하고,
상기 휴대 장치에서 상기 개인 비서 서비스의 실행 중 상기 휴대 장치가 상기 도킹 장치와 도킹된 경우, 상기 실행 중인 개인 비서 서비스를 상기 도킹 장치를 이용하여 연속성 있게 제공하는 단계는
상기 휴대 장치에서 상기 개인 비서 서비스의 실행 중 상기 휴대 장치가 상기 도킹 장치와 도킹된 경우, 상기 개인 비서 서비스의 연속성을 유지하면서 상기 개인 비서 서비스를 상기 제1 방식과는 다른 제2 방식으로 제공하는 단계
를 포함하는, 휴대 장치의 동작 방법.
제1항에 있어서,
상기 휴대 장치에서 상기 개인 비서 서비스의 실행 중 상기 휴대 장치가 상기 도킹 장치와 도킹되지 않은 경우, 상기 휴대 장치의 하드웨어 성능에 따라 상기 개인 비서 서비스를 제공하는 단계
를 더 포함하고,
상기 휴대 장치에서 상기 개인 비서 서비스의 실행 중 상기 휴대 장치가 상기 도킹 장치와 도킹된 경우, 상기 실행 중인 개인 비서 서비스를 상기 도킹 장치를 이용하여 연속성 있게 제공하는 단계는
상기 휴대 장치에서 상기 개인 비서 서비스의 실행 중 상기 휴대 장치가 상기 도킹 장치와 도킹된 경우, 상기 도킹 장치 또는 상기 도킹 장치에 의해 제어되는 다른 장치의 하드웨어 성능을 식별하고, 상기 개인 비서 서비스의 연속성을 유지하면서, 상기 도킹 장치 또는 상기 도킹 장치에 의해 제어되는 다른 장치의 하드웨어 성능에 따라 상기 개인 비서 서비스의 품질을 변경하여 제공하는 단계
를 포함하는, 휴대 장치의 동작 방법.
제1항에 있어서,
상기 개인 비서 서비스는
날씨, 및 뉴스를 포함하는 정보의 시청, 청취, 구독, 검색, 추천, 일정 관리, 전화 걸기, 개인화된 컨텐츠 추천, 개인 설정 불러오기, 음원을 포함하는 음성 정보 청취, 및 객체 제어 중 적어도 하나를 포함하는, 휴대 장치의 동작 방법.
도킹 장치의 동작 방법에 있어서,
상기 도킹 장치에 도킹된 휴대 장치가 있는지 여부를 판단하는 단계; 및
상기 도킹 장치에 도킹된 휴대 장치가 있는 경우, 상기 휴대 장치에서 실행 중인 개인 비서 서비스를 상기 도킹 장치에서 연속성 있게 제공하는 단계
를 포함하는, 도킹 장치의 동작 방법.
제6항에 있어서,
상기 휴대 장치에서 실행 중인 개인 비서 서비스를 상기 도킹 장치에서 연속성 있게 제공하는 단계는
상기 도킹 장치와의 도킹 이전에 상기 휴대 장치에 포함된 적어도 하나의 기능을 통해 기 제공된 개인 비서 서비스를 상기 도킹 이후에 상기 도킹 장치에 포함된 적어도 하나의 기능을 통해 제공하는 단계
를 포함하는, 도킹 장치의 동작 방법.
제6항에 있어서,
상기 휴대 장치에서 실행 중인 개인 비서 서비스를 상기 도킹 장치에서 연속성 있게 제공하는 단계는,
상기 도킹된 휴대 장치로부터 상기 휴대 장치의 사용자에 관한 사용자 정보를 수신하는 단계; 및
상기 사용자 정보에 기초하여 상기 개인 비서 서비스를 제공하는 단계
를 포함하는, 도킹 장치의 동작 방법.
제8항에 있어서,
상기 사용자 정보는,
상기 사용자의 사용 언어, 상기 사용자의 개인 정보, 상기 사용자의 입력에 대응하는 상기 휴대 장치에서의 상기 사용자의 사용 패턴, 상기 휴대 장치의 설정 정보, 상기 사용자의 선호 정보, 상기 사용자의 음성 특성 정보 및 사용자의 영상 특성 정보 중 적어도 하나를 포함하는, 도킹 장치의 동작 방법.
제6항에 있어서,
상기 휴대 장치에서 실행 중인 개인 비서 서비스를 상기 도킹 장치에서 연속성 있게 제공하는 단계는,
상기 도킹된 휴대 장치로부터 상기 휴대 장치의 사용자의 음성 특성 정보를 수신하는 단계;
상기 음성 특성 정보를 이용하여 수신된 음성에 대한 음성 인식을 수행하는 단계; 및
상기 음성 인식 결과에 기초하여, 상기 개인 비서 서비스를 연속성 있게 제공하는 단계
를 포함하는, 도킹 장치의 동작 방법.
제10항에 있어서,
상기 음성 인식을 수행하는 단계는
상기 음성 특성 정보를 이용하여 상기 수신된 음성이 상기 도킹 장치와의 도킹 이전에 상기 휴대 장치에서 기 제공된 개인 비서 서비스를 요청하는 것인지 여부를 분석하는 단계
를 포함하는, 도킹 장치의 동작 방법.
제11항에 있어서,
상기 개인 비서 서비스를 연속성 있게 제공하는 단계는
상기 수신된 음성이 상기 도킹 장치와의 도킹 이전에 상기 휴대 장치에서 기 제공된 뉴스 시청 서비스를 요청하는 것으로 분석되면, 상기 기 제공된 뉴스 시청 서비스를 상기 도킹 이후에 상기 도킹 장치에 포함된 적어도 하나의 기능을 통해 제공하는 단계
를 포함하는, 도킹 장치의 동작 방법.
제11항에 있어서,
상기 개인 비서 서비스를 연속성 있게 제공하는 단계는
상기 수신된 음성이 상기 도킹 장치와의 도킹 이전에 상기 휴대 장치에서 기 제공된 뉴스 시청 서비스를 요청하는 것으로 분석되면, 상기 기 제공된 뉴스 시청 서비스를 상기 도킹 장치에 포함된 적어도 하나의 기능을 통해 제공할 수 있는지 여부를 판단하는 단계; 및
상기 기 제공된 뉴스 시청 서비스를 상기 도킹 장치에 포함된 적어도 하나의 기능을 통해 제공할 수 없다고 판단되면, 상기 뉴스 시청 서비스를 대신하여 뉴스 청취 서비스를 제공하는 단계
를 포함하는, 도킹 장치의 동작 방법.
제11항에 있어서,
상기 도킹된 휴대 장치로부터 상기 휴대 장치의 설정 정보를 수신하는 단계
를 더 포함하고,
상기 개인 비서 서비스를 연속성 있게 제공하는 단계는
상기 수신된 음성이 상기 도킹 장치와의 도킹 이전에 상기 휴대 장치에서 기 제공된 개인 비서 서비스를 요청하는 것으로 분석되면, 상기 휴대 장치의 설정 정보에 부합하도록 상기 도킹 장치의 설정을 조정하는 단계; 및
상기 조정된 도킹 장치의 설정에 따라 상기 기 제공된 개인 비서 서비스를 제공하는 단계
를 포함하는, 도킹 장치의 동작 방법.
제6항에 있어서,
상기 휴대 장치에서 실행 중인 개인 비서 서비스를 상기 도킹 장치에서 연속성 있게 제공하는 단계는,
상기 도킹된 휴대 장치로부터 상기 휴대 장치의 사용자의 식품에 대한 선호 정보를 수신하는 단계; 및
상기 휴대 장치의 사용자의 식품에 대한 선호 정보를 이용하여 상기 도킹 장치와 연관된 식품 저장기에 포함된 식품에 관한 정보를 처리하여 상기 사용자에게 제공하는 단계
를 포함하는, 도킹 장치의 동작 방법.
스마트 장치의 동작 방법에 있어서,
입력을 수신하는 단계;
상기 스마트 장치에 연결(connect)된 휴대 장치가 있는지 여부를 판단하는 단계;
상기 판단 결과에 기초하여, 상기 입력을 분석하기 위하여 접속할 서버를 결정하는 단계; 및
상기 결정된 서버에게 상기 입력을 전송하는 단계
를 포함하는, 스마트 장치의 동작 방법.
제16항에 있어서,
상기 결정하는 단계는
상기 스마트 장치에 연결된 휴대 장치가 존재하지 않는다는 판단에 따라, 상기 접속할 서버를 상기 스마트 장치에 대응하여 미리 설정된 제1 서버로 결정하는 단계; 및
상기 스마트 장치에 연결된 휴대 장치가 존재한다는 판단에 따라, 상기 접속할 서버를 상기 휴대 장치에 대응하는 제2 서버로 결정하는 단계
를 포함하는, 스마트 장치의 동작 방법.
제17항에 있어서,
상기 스마트 장치가 특정인을 위한 공간에 설치된 경우,
상기 제1 서버는 상기 특정인을 위한 공간에 대응하는 서버로 설정되고, 상기 특정인의 개인화된 서비스를 제공하기 위해 상기 입력을 분석하는, 스마트 장치의 동작 방법.
제17항에 있어서,
상기 스마트 장치가 불특정인을 위한 공간에 설치된 경우,
상기 제1 서버는 상기 불특정인을 위한 공간에 대응하는 서버로 설정되고, 상기 공간에서 공용 서비스를 제공하기 위해 상기 입력을 분석하는, 스마트 장치의 동작 방법.
제17항에 있어서,
상기 제2 서버는 상기 휴대 장치의 사용자의 개인화된 서비스를 제공하기 위해 상기 입력을 분석하는, 스마트 장치의 동작 방법.
제20항에 있어서,
상기 개인화된 서비스는
상기 사용자의 사용 언어, 상기 사용자의 개인 정보, 상기 입력에 대응하는 제어 대상 장치에 대한 상기 사용자의 사용 패턴, 상기 제어 대상 장치에 대한 설정 정보, 및 상기 사용자의 선호 컨텐츠 중 적어도 하나를 포함하는, 스마트 장치의 동작 방법.
제16항에 있어서,
상기 판단하는 단계는
상기 스마트 장치에 유선으로 도킹(docking)된 휴대 장치가 있는지 여부를 판단하는 단계; 및
상기 스마트 장치에 무선으로 페어링(pairing)된 휴대 장치가 있는지 여부를 판단하는 단계
중 적어도 하나를 포함하는, 스마트 장치의 동작 방법.
제16항에 있어서,
상기 서버는
해당하는 데이터베이스에 기초하여 상기 입력을 분석함으로써 상기 입력에 대응하는 제어 대상 장치를 결정하고, 상기 제어 대상 장치의 제어를 위한 제1 명령(command)을 생성하는, 스마트 장치의 동작 방법.
제23항에 있어서,
상기 서버는
상기 제1 명령의 수행 결과에 기초하여 피드백 장치를 결정하고, 상기 피드백 장치를 통한 피드백을 위한 제2 명령을 생성하는, 스마트 장치의 동작 방법.
제16항에 있어서,
상기 입력은
음성 입력, 제스쳐 입력, 모션 입력, 화상 입력, 터치 입력 중 적어도 하나를 포함하는, 스마트 장치의 동작 방법.
제16항에 있어서,
상기 입력을 수신하는 단계는
상기 스마트 장치의 입력 인터페이스를 통하여 상기 입력을 수신하는 단계; 및
상기 스마트 장치와 연결된 소형 장치로부터 상기 입력을 수신하는 단계
중 적어도 하나를 포함하는, 스마트 장치의 동작 방법.
제16항에 있어서,
상기 스마트 장치에 연결된 휴대 장치가 있다는 판단에 따라, 상기 스마트 장치와 연결되고 슬립 모드로 동작 중인 소형 장치를 활성화시키는 단계
를 더 포함하는, 스마트 장치의 동작 방법.
제16항에 있어서,
상기 스마트 장치는
가정용 전자 장치, 오디오, 스피커, 로봇 청소기, 개인 서비스 로봇, 휴대 가능한 통신 장치, 도커(docker), 및 자동차 중 적어도 하나를 포함하는, 스마트 장치의 동작 방법.
스마트 장치에 대응하여 미리 설정된 제1 서버로부터 제1 명령을 수신하고 상기 제1 명령을 수행하는 상기 스마트 장치의 동작 방법에 있어서,
휴대 장치의 사용자에 대응하는 제2 서버로부터 제2 명령을 수신하는 단계;
상기 스마트 장치의 메모리, 혹은 상기 제1 서버를 이용하여, 상기 사용자에게 상기 제2 명령의 권한이 있는지 여부를 판단하는 단계; 및
상기 판단 결과에 따라, 상기 제2 명령을 수행하는 단계
를 포함하는, 스마트 장치의 동작 방법.
제29항에 있어서,
상기 제1 서버는 상기 스마트 장치가 설치된 공간에 대응하고,
상기 제2 서버는 상기 휴대 장치의 사용자에 대응하는, 스마트 장치의 동작 방법.
제29항에 있어서,
상기 제2 명령은 상기 사용자의 입력에 반응하여 상기 제2 서버에 의하여 결정되는 제2 제어 명령을 포함하고,
상기 제2 제어 명령은 상기 스마트 장치의 제어를 위한 제어 명령 및 상기 스마트 장치와 연결된 소형 장치의 제어를 위한 제어 명령 중 적어도 하나를 포함하는, 스마트 장치의 동작 방법.
제31항에 있어서,
상기 제2 명령을 수행하는 단계 이후에, 상기 제2 명령의 수행 결과를 상기 제2 서버로 피드백 하는 단계
를 더 포함하는, 스마트 장치의 동작 방법.
제31항에 있어서,
상기 제2 명령은 상기 사용자의 입력에 대응하는 제어 명령의 수행 결과에 기초하여 상기 제2 서버에 의하여 결정되는 제2 피드백 명령을 포함하고,
상기 제2 피드백 명령은 상기 스마트 장치를 통한 피드백을 위한 피드백 명령 및 상기 스마트 장치와 연결된 소형 장치를 통한 피드백을 위한 피드백 명령 중 적어도 하나를 포함하는, 스마트 장치의 동작 방법.
하드웨어와 결합되어 제1항 내지 제33항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.