KR102136461B1 - 스마트 디바이스 및 그 제어 방법 - Google Patents

Abstract

본 발명은 스마트 디바이스 및 그 제어 방법에 관한 것으로, 보다 상세하게는 보이스 커맨드에 대응하는 피드백을 오디오-타입 또는 비디오-타입으로 출력하는 스마트 디바이스 및 그 제어 방법에 관한 것이다. 본 발명의 일 양상에 따르면,개방된 통 형상의 하부 프레임, 하부가 개방된 통 형상의 상부 프레임 및 상기 상부 프레임과 하부 프레임의 사이에 배치되는 상하부가 개방된 통 형상의 투명 윈도우를 포함하고, 상기 하부 프레임, 상기 투명 윈도우 및 상기 상부 프레임이 차례로 결합되서 일체를 이루는 하우징; 상기 하우징의 내부에 설치되고, 상기 하우징의 중심을 축으로 회전하는 회전 부재; 상기 회전 부재 상에 설치되어 상기 회전 부재의 회전에 따라 그 프로젝션 방향이 조절되고, 영상을 출력하는 광 출력부가 상기 회전축으로부터 상기 투명 윈도우의 내면을 향해 미리 정해진 이격 거리만큼 이격 배치되는 프로젝터; 상기 하우징의 상면에 설치되는 복수의 마이크를 포함하고, 사용자 음성을 수신하는 마이크 어레이; 및 상기 사용자 음성에 포함된 보이스 커맨드에 관련된 피드백 데이터에 기초하여 상기 프로젝터를 통해 디스플레이-백을 출력하되, 상기 복수의 마이크에서 수신된 사용자 음성에 기초하여 예측되는 사용자의 위치를 고려하여 상기 디스플레이-백이 출력되는 프로젝션 방향을 조절되도록 상기 회전 부재를 회전시키는 콘트롤러;를 포함하되, 상기 투명 윈도우는, 높이 방향에 따라 그 두께가 상이한 것을 특징으로 하는 스마트 디바이스가 제공될 수 있다.

Description

스마트 디바이스 및 그 제어 방법{SMART PROJECTOR AND METHOD FOR CONTROLLING THEREOF}

본 발명은 스마트 디바이스 및 그 제어 방법에 관한 것으로, 보다 상세하게는 보이스 커맨드에 대응하는 피드백을 오디오-타입 또는 비디오-타입으로 출력하는 스마트 디바이스 및 그 제어 방법에 관한 것이다.

음성 인식 기술의 인식 정확도가 향상됨에 따라 점차 '인공지능 음성비서(보이스 어시스턴트, voice assistant) 기능이 다양한 스마트 디바이스에 탑재되고 있다. 이러한 추세 속에서 보이스 어시스턴트 기능이 탑재된 스마트 스피커는 사물 인터넷(IoT: Internet of Things)의 확산과 맞물려 스마트 홈 분야의 핵심 디바이스로 자리잡아가고 있다.

스마트 스피커 분야는 2014년 아마존이 최초의 스마트 스피커인 에코를 출시한 이후 구글, 애플, 페이스북과 같은 IT 공룡들뿐 아니라 다음카카오나 네이버 등의 국내 기업들도 자사 소프트웨어를 탑재한 스마트 스피커를 앞다퉈 출시하며 치열한 경쟁 양상을 보이고 있다.

스마트 스피커는 기본적으로 음성을 매개로 사용자로부터 명령을 받아 수행하거나 사용자와 대화를 나누므로 사용자가 가정이나 사무실 등의 실내 공간에서 자유로이 활동하면서 이용할 수 있는 장점을 가지지만, 오디오-타입의 정보가 가지는 정보량의 제약, 시각 정보 처리의 곤란성, 정보 출력의 비지속성 등으로 인해 몇몇 상황에서 사용자 편의성이 떨어질 수 있다.

본 발명의 일 과제는 디스플레이 방향이 조절되는 스마트 디바이스를 제공하는 것이다.

본 발명의 일 과제는 디스플레이 방향이 자유로이 회전하는 스마트 디바이스를 제공하는 것이다.

본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 양상에 따르면,개방된 통 형상의 하부 프레임, 하부가 개방된 통 형상의 상부 프레임 및 상기 상부 프레임과 하부 프레임의 사이에 배치되는 상하부가 개방된 통 형상의 투명 윈도우를 포함하고, 상기 하부 프레임, 상기 투명 윈도우 및 상기 상부 프레임이 차례로 결합되서 일체를 이루는 하우징; 상기 하우징의 내부에 설치되고, 상기 하우징의 중심을 축으로 회전하는 회전 부재; 상기 회전 부재 상에 설치되어 상기 회전 부재의 회전에 따라 그 프로젝션 방향이 조절되고, 영상을 출력하는 광 출력부가 상기 회전축으로부터 상기 투명 윈도우의 내면을 향해 미리 정해진 이격 거리만큼 이격 배치되는 프로젝터; 상기 하우징의 상면에 설치되는 복수의 마이크를 포함하고, 사용자 음성을 수신하는 마이크 어레이; 및 상기 사용자 음성에 포함된 보이스 커맨드에 관련된 피드백 데이터에 기초하여 상기 프로젝터를 통해 디스플레이-백을 출력하되, 상기 복수의 마이크에서 수신된 사용자 음성에 기초하여 예측되는 사용자의 위치를 고려하여 상기 디스플레이-백이 출력되는 프로젝션 방향을 조절되도록 상기 회전 부재를 회전시키는 콘트롤러;를 포함하되, 상기 투명 윈도우는, 높이 방향에 따라 그 두께가 상이한 것을 특징으로 하는 스마트 디바이스가 제공될 수 있다.

본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 의하면, 스마트 디바이스가 구동 모듈에 의해 프로젝터의 프로젝션 방향이 조절하여 사용자 지향성으로 피드백을 출력할 수 있다.

또 본 발명에 의하면, 스마트 디바이스가 프로젝터가 투명 윈도우를 통하여 프로젝션을 투사하더라도 영상을 고품질로 유지할 수 있다.

본 발명에 의하면, 스마트 디바이스가 프로젝션 방향이 조절하기 위해 프로젝터를 회전할 때 전력선의 꼬임으로 인한 회전 각도의 제한을 극복할 수 있다.

본 발명의 효과는 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시에에 따른 스마트 디바이스의 블록도이다.
도 2 내지 도 6은 본 발명의 일 실시예에 따른 스마트 디바이스의 몇몇 구현예에 관한 도면이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 스마트 디바이스의 작동 모드예에 관한 도면이다.
도 9는 본 발명의 일 실시예에 따른 스마트 디바이스와 보이스 어시스턴트 서버 간의 통신에 관한 도면이다.
도 10은 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스의 블록도이다.
도 11은 본 발명의 일 실시에에 따른 지향성 피드백을 출력하는 스마트 디바이스의 구현예의 사시도이다.
도 12는 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스의 구현예의 분해 사시도이다.
도 13 및 도 14는 본 발명의 일 실시예에 따른 지향성 피드백의 출력에 관한 도면이다.
도 15 내지 도 17은 본 발명의 일 실시예에 따른 하우징의 몇몇 예시에 관한 도면이다.
도 18은 본 발명의 일 실시예에 따른 투명 윈도우의 예시의 사시도이다.
도 19 내지 도 21은 본 발명의 일 실시예에 따른 투명 윈도우의 몇몇 예시의 단면도이다.
도 22 및 23은 본 발명의 일 실시예에 따른 전원 모듈의 몇몇 예시에 관한 도면이다.
도 24 및 도 25는 본 발명의 일 실시예에 따른 전극의 단자들의 몇몇 예시에 관한 도면이다.

본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.

본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.

본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.

본 발명의 일 양상에 따르면,개방된 통 형상의 하부 프레임, 하부가 개방된 통 형상의 상부 프레임 및 상기 상부 프레임과 하부 프레임의 사이에 배치되는 상하부가 개방된 통 형상의 투명 윈도우를 포함하고, 상기 하부 프레임, 상기 투명 윈도우 및 상기 상부 프레임이 차례로 결합되서 일체를 이루는 하우징; 상기 하우징의 내부에 설치되고, 상기 하우징의 중심을 축으로 회전하는 회전 부재; 상기 회전 부재 상에 설치되어 상기 회전 부재의 회전에 따라 그 프로젝션 방향이 조절되고, 영상을 출력하는 광 출력부가 상기 회전축으로부터 상기 투명 윈도우의 내면을 향해 미리 정해진 이격 거리만큼 이격 배치되는 프로젝터; 상기 하우징의 상면에 설치되는 복수의 마이크를 포함하고, 사용자 음성을 수신하는 마이크 어레이; 및 상기 사용자 음성에 포함된 보이스 커맨드에 관련된 피드백 데이터에 기초하여 상기 프로젝터를 통해 디스플레이-백을 출력하되, 상기 복수의 마이크에서 수신된 사용자 음성에 기초하여 예측되는 사용자의 위치를 고려하여 상기 디스플레이-백이 출력되는 프로젝션 방향을 조절되도록 상기 회전 부재를 회전시키는 콘트롤러;를 포함하되, 상기 투명 윈도우는, 높이 방향에 따라 그 두께가 상이한 것을 특징으로 하는 스마트 디바이스가 제공될 수 있다.

여기서, 상기 투명 윈도우는, 제1 높이에서의 두께가 상기 제1 높이보다 작은 제2 높이에서의 두께가 더 작을 수 있다.

여기서, 상기 투명 윈도우는, 그 높이가 작을수록 그 두께가 작아질 수 있다.

여기서, 상기 프로젝션 방향은 수평보다 아래쪽을 향하고, 상기 프로젝션되는 광이 상기 제1 높이에서 상기 투명 윈도우를 통과하는 거리와 상기 제2 높이에서 상기 투명 윈도우를 통과하는 거리가 실질적으로 동일할 수 있다.

여기서, 상기 투명 윈도우는, 제1 높이에서의 두께가 상기 제1 높이보다 큰 제2 높이에서의 두께가 더 작을 수 있다.

여기서, 상기 투명 윈도우는, 그 높이가 클수록 그 두께가 작아질 수 있다.

여기서, 상기 프로젝션 방향은 수평보다 윗쪽을 향하고, 상기 프로젝션되는 광이 상기 제1 높이에서 상기 투명 윈도우를 통과하는 거리와 상기 제2 높이에서 상기 투명 윈도우를 통과하는 거리가 실질적으로 동일할 수 있다.

여기서, 상기 투명 윈도우는, 수평으로 프로젝션되는 빔이 통과하는 특정 지점에서의 두께보다 다른 지점에서의 두께가 더 작을 수 있다.

여기서, 상기 투명 윈도우는, 상기 프로젝터의 광을 출력부에 대응하는 높이에서의 두께보다 다른 지점에서의 두께가 더 작을 수 있다.

여기서, 상기 투명 윈도우는, 제1 높이에서의 두께보다 상기 제1 지점보다 작거나 큰 제2 높이에서의 두께가 더 작을 수 있다.

여기서, 상기 투명 윈도우는, 상기 제1 높이로부터 멀어질수록 그 두께가 점점 작아질 수 있다.

1. 스마트 디바이스

1.1. 개요

이하에서는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)에 관하여 설명한다.

본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 음성을 매체로 사용자와 상호작용할 수 있다. 구체적으로 스마트 디바이스(1000)는 사용자 음성을 수신하고, 사용자 음성에 포함된 보이스 커맨드에 의해 요청받은 피드백을 출력할 수 있다. 여기서, 스마트 디바이스(1000)는 오디오-타입 또는 비디오-타입의 피드백을 출력할 수 있다.

1.2. 용어

여기서는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)에 대하여 더 설명하기에 앞서 본 명세서에서 사용되는 몇몇 용어들에 대해 정의하기로 한다.

1.2.1. 스마트 디바이스

본 명세서에서 스마트 디바이스(1000)는 보이스 어시스턴트 기능을 이용해 사용자와 음성을 매체로 상호작용할 수 있는 모든 종류의 디바이스를 포함할 수 있다. 스마트 디바이스(1000)는 대표적으로 스마트 스피커의 형태로 제공될 수 있으나, 이외에도 스마트 디바이스(1000)는 스마트 폰, 스마트 태블릿, 노트북, 스마트 텔레비전, 스마트 셋탑 박스, 스마트 디스플레이, 스마트 프로젝터 등의 형태로 제공되는 것도 가능하다.

구성 요소적인 측면에서 살펴보면, 스마트 디바이스(1000)는 음성을 매체로 한 사용자와의 상호작용을 위해 사용자 음성을 입력받기 위한 음성 입력 모듈(1200) 및 오디오-타입의 피드백을 출력하기 위한 음성 출력 모듈(1300)을 포함할 수 있다. 또 스마트 디바이스(1000)는 비디오-타입의 피드백을 출력하기 위한 디스플레이 모듈(1400)을 선택적으로 더 포함할 수 있다. 이외에도 스마트 디바이스(1000)는 보이스 어시스턴트 기능을 실현하기 위해 외부 기기(예를 들어, 보이스 어시스턴트 서버 등)와 통신하기 위한 통신 모듈(1020)를 비롯한 몇몇 구성 요소를 더 포함할 수 있으나, 이에 대한 구체적인 설명은 후술하기로 한다.

1.2.2. 보이스 어시스턴트

본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 보이스 어시스턴트 기능을 구현할 수 있다. 여기서, 보이스 어시스턴트 기능은 음성을 매체로 사용자와 스마트 디바이스(1000) 간의 상호작용을 가능케 하는 모든 기능을 포괄하는 개념이다.

본 명세서에서 보이스 어시스턴트 기능이 구현되는 일 예는 다음과 같을 수 있다. 스마트 디바이스(1000)가 수신한 사용자 음성을 보이스 어시스턴트 서버(10)로 전달한다. 보이스 어시스턴트 서버(10)는 사용자 음성에 포함된 보이스 커맨드를 해석하고 보이스 커맨드에 의해 요청받은 피드백에 관한 피드백 데이터를 획득하고 이를 스마트 디바이스(1000)에 전달한다. 스마트 디바이스(1000)는 보이스 어시스턴트 서버(10)로부터 전달받은 피드백 데이터에 기초하여 피드백을 출력한다. 이로써, 스마트 디바이스(1000)가 보이스 어시스턴트 기능을 구현할 수 있다. 다만, 이상에서는 스마트 디바이스(1000)가 보이스 어시스턴트 서버(10)와 협업하여 보이스 어시스턴트 기능을 구현하는 것으로 설명하였으나, 경우에 따라서는 스마트 디바이스(1000)가 로컬에서 스탠드 얼론으로 보이스 어시스턴트 기능을 실행하는 것도 가능할 수 있다.

1.2.3. 보이스 어시스턴트 서버

보이스 어시스턴트 서버(10)는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)와 협업하여 보이스 어시스턴트 기능을 구현하는 서버를 총칭할 수 있다. 보이스 어시스턴트 서버(10)는 스마트 디바이스(1000)로부터 사용자 음성을 전달받아 사용자 음성에 포함된 보이스 커맨드를 추출하고, 보이스 커맨드를 해석하여 스마트 디바이스(1000)가 보이스 커맨드에 대한 응답으로 출력할 피드백에 관한 피드백 데이터를 생성하고, 이를 스마트 디바이스(1000)에 전달하는 기능을 담당할 수 있다.

본 명세서에서 보이스 어시스턴트 서버(10)는 필요에 따라 물리적으로 및/또는 기능적으로 단일한 서버로 구현되거나 복수의 서버로 구현되는 것이 가능하다. 예를 들어, 보이스 어시스턴트 서버(10)는 스마트 디바이스로부터 전달받은 음성으로부터 보이스 커맨드를 추출하는 음성 인식 서버, 추출된 보이스 커맨드를 해석하는 인공 지능 서버, 피드백으로 제공하기 위한 멀티미디어 콘텐츠를 관리하는 서버 등과 같은 여러 개의 서버의 집합체일 수 있다. 즉, 보이스 어시스턴트 서버(10)는 위에 언급된 기능 및 그 외의 보이스 어시스턴트 기능의 구현에 필요한 기능들을 모두 구현하는 단일 서버 형태는 물론, 각 기능을 분담하는 서버들의 집합체 형태일 수 있는 것이다.

1.2.4. 사용자 음성

본 명세서에서 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 사용자 음성을 획득할 수 있다. 여기서, 사용자 음성이란 스마트 디바이스(1000)를 이용하는 사용자가 발화한 음성을 의미할 수 있다. 예를 들어, 스마트 디바이스(1000)의 음성 입력 모듈(1200)은 후술될 스탠바이 모드나 리스닝 모드에서 음성 입력 모듈(1200)을 통해 음성을 수신하므로, 스마트 디바이스(1000)의 작동 모드가 스탠바이 모드나 리스닝 모드인 때 사용자가 발화하면 스마트 디바이스(1000)는 사용자 음성을 획득할 수 있다.

한편, 본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 사용자 음성을 다른 음성과 구분하여 선택적으로 입력받을 수는 없으므로, 스마트 디바이스(1000)가 수신하는 음성에는 사용자 음성 이외의 음성이 포함되어 있을 수도 있다. 다른 음성의 예로는 스마트 디바이스(1000)에서 출력되는 피드백으로 인한 음성이나 기타 주변에서 발생하는 노이즈로 인한 음성 등이 포함될 수 있는데, 이하에서는 이들 다른 음성을 사용자 음성과 구분하여 기타 음성으로 지칭하기로 한다. 또 특히 기타 음성 중 스마트 디바이스(1000)에서 출력되는 피드백으로 인한 음성은 피드백 음성으로 지칭하기로 한다.

1.2.5. 보이스 커맨드

사용자 음성에는 사용자가 스마트 디바이스(1000)에 특정한 동작의 수행/처리를 요구하는 보이스 커맨드가 포함될 수 있다. 여기서, 사용자 음성은 음향학적 관점에서 정의되는 용어로 해석될 수 있으며, 보이스 커맨드는 정보처리적 관점에서 정의되는 용어로 해석될 수 있다. 따라서, 본 명세서에서는 사용자 음성과 보이스 커맨드를 구분되는 개념으로 이용할 것이다. 그러나, 사용자 음성과 보이스 커맨드 간의 구별이 항상 명확한 것은 아니며 경우에 따라서는 그 구별의 실익이 실질적으로 없을 수 있으므로, 본 명세서에서 후술되는 몇몇 기재들과 특허 청구 범위에서는 당업자가 이해 가능한 범위 내에서 사용자 음성과 보이스 커맨드의 두 용어가 혼용될 수도 있음을 미리 밝혀둔다.

한편, 사용자가 반드시 보이스 커맨드를 통해서만 스마트 디바이스(1000)에 지시를 내려야만 하는 것은 아니다. 예를 들어, 사용자는 버튼 입력이나 터치, 제스처 등의 다양한 형태로 스마트 디바이스(1000)와 상호 작용하는 것도 가능하다.

1.2.6. 웨이크업-워드

본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 수신되는 음성이 사용자가 스마트 디바이스(1000)를 이용하기 위해 발화한 사용자 음성인지 여부를 사전에 알 수 없거나 어렵기 때문에, 사용자로부터 특정한 동작의 수행/처리를 요구하는 사용자 음성을 수신하는 리스닝 모드로 진입하기 위한 예비적인 단계(phase)로 스탠바이 모드를 가질 수 있다.

웨이크업 워드(wake-up word)는 스탠바이 모드에서 리스닝 모드로 진입하기 위한 트리거를 의미할 수 있다. 구체적으로, 스마트 디바이스(1000)는 스탠바이 모드에서 수신되는 사용자 음성으로부터 웨이크업 워드를 검출할 수 있으며, 웨이크업 워드가 검출되면 리스닝 모드로 진입할 수 있다. 따라서, 웨이크업 워드란 스마트 디바이스(1000)가 스탠바이 모드로부터 리스닝 모드로 진입할 것을 지시하는 특수한 보이스 커맨드라고 볼 수 있다. 웨이크업 워드를 리스닝 모드로 진입하기 위한 트리거(trigger)로 이용하면, 사용자가 스마트 디바이스(1000)를 이용하려는 의도 없이 발화하는 사용자 음성에 대해서도 스마트 디바이스(1000)가 반응하는 오작동을 방지할 수 있다.

관점에 따라서는 웨이크업 워드를 보이스 커맨드의 일종으로 해석하는 것도 가능하지만, 본 명세서에서는 설명의 편의를 위해 웨이크업 워드와 보이스 커맨드를 가급적 구분하여 언급할 것이다. 다만, 경우에 따라 본 명세서에서 웨이크업 워드가 보이스 커맨드의 한 종류인 것으로 설명할 수도 있음을 미리 밝혀둔다. 또한, 이하의 기재에서 웨이크업 워드는 때때로 핫 워드라는 용어로 대체될 수 있다.

본 발명의 일 실시예에 따른 스마트 디바이스(1000)에는 단일한 혹은 몇몇의 단어 내지는 어구(phrase)가 웨이크업 워드로 설정될 수 있다. 일반적인 스마트 디바이스(1000)의 이용 환경에서 웨이크업 워드는 사용자가 스마트 디바이스(1000)를 부르는 호칭(call name) 등으로 이용될 수 있다. 예를 들어, 웨이크업 워드는 스마트 디바이스(1000)의 세팅 프로세스에서 결정될 수 있으며, 'computer', 'hey speaker' 등과 같이 정해질 수 있다.

후술하겠지만, 보이스 커맨드는 임의의 단어, 어구 내지는 문장의 형태를 취할 수 있으므로 보이스 어시스턴트 기능을 수행하기 위해 사용자 음성으로부터 보이스 커맨드를 인식하고 해석하는 과정에는 복잡한 연산이 요구된다. 따라서, 스마트 디바이스(1000)가 자체적으로 임의의 보이스 커맨드를 인식하기 어렵기 때문에 대개 사용자 음성으로부터 보이스 커맨드를 처리하는 과정은 보이스 어시스턴트 서버(10)에서 이루어진다. 이에 반해 웨이크업 워드는 단일한 단어 또는 몇몇 단어의 집합에 불과하므로 사용자 음성으로부터 웨이크업 워드를 검출하는 과정은 스마트 디바이스(1000)에서 로컬로 처리될 수 있다.

1.2.7. 피드백

본 명세서에서 피드백이란 스마트 디바이스(1000)가 사용자로부터 요청받은 지시 내지는 요구, 요청에 대하여 스마트 디바이스(1000)가 출력하는 응답을 의미할 수 있다.

본 명세서에서 피드백은 오디오-타입 피드백과 비디오-타입 피드백을 포함할 수 있다. 여기서, 오디오-타입 피드백은 음성 출력 모듈(1300)을 통해 출력되는 청각적 피드백을 의미할 수 있으며 이하에서는 설명의 편의를 위해 오디오-타입의 피드백을 토크 백이라고 지칭하기로 한다. 또 여기서, 비디오-타입 피드백은 디스플레이 모듈(1400)을 통해 출력되는 시각적 피드백을 의미할 수 있으며, 이하에서는 설명의 편의를 위해 비디오-타입의 피드백을 디스플레이 백이라고 지칭하기로 한다.

한편, 토크 백(talk-back)이라는 용어가 '대화(talk)'라는 단어를 포함하고 있지만, 토크 백이 반드시 대화 형태의 피드백만을 의미하는 것은 아니며 음악이나 효과음 등의 청각적 피드백을 모두 아우르는 것으로 해석되어야 한다.

또한, 디스플레이 백(talk-back)이 비디오-타입 피드백을 지칭하는 것이지만, 반드시 동화상 형태여야만 하는 것은 아니며 정지 영상까지 포함할 수 있다. 나아가 디스플레이 백은 시각적 피드백으로 토크 백은 청각적 피드백으로 설명하였으나, 이하에서는 설명의 편의를 위해 디스플레이 백이 시각적 피드백에 청각적 피드백이 더해진 것까지도 포괄하는 것으로 해석될 수 있다. 예를 들어, 본 명세서에서는 스마트 디바이스(1000)가 영화나 게임과 같이 시청각적 경험을 제공하는 멀티미디어 콘텐츠를 재생하는 것에 대해 스마트 디바이스(1000)가 디스플레이 백을 출력하는 것으로 설명할 수도 있다. 예를 들어, 디스플레이 백에는 TV 프로그램, 영화나 뮤직 비디오, 유튜브(youtube) 스트리밍 서비스 등이 포함될 수 있다.

1.3. 스마트 디바이스의 구성 요소

이하에서는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 구성 요소에 관하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 블록도이다.

본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 음성 입력 모듈(1200), 음성 출력 모듈(1300), 통신 모듈(1020), 메모리(1040) 및 콘트롤러(1060)를 포함할 수 있다. 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 사용자 음성을 수신하고, 통신 모듈(1020)을 통해 보이스 어시스턴트 서버(10)에 사용자 음성을 송신하고, 사용자 음성에 포함된 보이스 커맨드에 의해 요청된 피드백 데이터를 수신하고, 음성 출력 모듈(1300)을 통해 토크 백을 출력할 수 있으며, 콘트롤러(1060)는 상술한 과정에 필요한 각 모듈을 제어하거나 각종 정보를 처리할 수 있으며, 메모리(1040)에는 각종 정보가 저장될 수 있다. 또 스마트 디바이스(1000)는 디스플레이 백을 출력하기 위해 디스플레이 모듈(1400)을 선택적으로 더 포함할 수 있다. 또 스마트 디바이스(1000)는 디스플레이 백의 방향을 조절하기 위한 구동 모듈(1500)을 선택적으로 더 포함할 수 있다.

음성 입력 모듈(1200)은 사용자 음성을 비롯한 다양한 음성을 수신할 수 있다. 음성 입력 모듈(1200)은 단일한 또는 복수의 마이크(1202)를 제공될 수 있다. 음성 입력 모듈(1200)이 복수의 마이크(1202)로 제공되는 경우, 음성 입력 모듈(1200)은 복수의 마이크(1202)가 소정의 형태를 이루고 배치되는 마이크 어레이(1204)로 제공될 수 있다.

음성 출력 모듈(1300)은 토크 백을 비롯한 각종 소리를 출력할 수 있다. 음성 출력 모듈(1300)은 단일한 또는 복수의 스피커(1302)로 제공될 수 있다. 음성 출력 모듈(1300)은 필요에 따라 무지향성(omnidireictional)을 갖는 구조로 배치될 수 있다. 또는 음성 출력 모듈(1300)은 필요에 따라 지향성으로 소리를 출력하는 구조로 배치될 수도 있다.

디스플레이 모듈(1400)은 디스플레이 백을 비롯한 각종 영상을 출력할 수 있다. 디스플레이 모듈(1400)은 디스플레이 패널(1420) 또는 프로젝터(1440) 등의 형태로 구현될 수 있다.

또 디스플레이 모듈(1400)의 방향 또는 디스플레이 모듈(1400)에 의해 출력되는 디스플레이 백의 방향은 구동 모듈(1500)에 의해 조절될 수 있다. 일 예로, 스마트 디바이스(1000)는 프로젝터(1440)를 통해 디스플레이 백을 출력하며, 디스플레이 백이 출력되는 디스플레이 영역 내지는 프로젝션 방향은 구동 모듈(1500)에 의해 사용자 주변으로 동적으로 조절될 수 있다. 한편, 구동 모듈(1500)은 현재 디스플레이 백의 방향을 감지하기 위한 방향 감지 센서(1560)를 더 포함할 수도 있다. 예를 들어, 방향 감지 센서(1560)는 프로젝터(1440)가 배치된 방향을 센싱할 수 있다.

통신 모듈(1020)은 외부 기기와 통신을 수행한다. 예를 들어, 스마트 디바이스(1000)는 통신 모듈(1020)을 통해 보이스 어시스턴트 서버(10)와 정보를 송수신할 수 있는데, 보다 구체적으로는 스마트 디바이스(1000)는 통신 모듈(1020)을 통해 보이스 어시스턴트 서버(10)로 사용자 음성을 전송하고, 통신 모듈(1020)을 통해 보이스 어시스턴트 서버(10)로부터 피드백 데이터를 수신할 수 있다.

통신 모듈(1020)은 크게 유선 타입과 무선 타입으로 나뉠 수 있다. 유선 타입과 무선 타입은 각각의 장단점을 가지며, 스마트 디바이스(1000)는 유선 타입의 통신 모듈(1020) 및/또는 무선 타입의 통신 모듈(1020)이 구비될 수도 있다.

유선 타입의 경우에는 유선 LAN(Local Area Network), USB(Universal Serial Bus) 통신 등이 대표적인 예이나 그 외의 다른 방식도 가능하다. 무선 타입의 경우에는 이동 통신 방식, 블루투스(Bluetooth)나 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식, 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식 및 그 외의 알려진 다른 통신 방식을 이용하는 것도 가능하다. 물론, 유/무선 통신 방식이 상술한 예로 한정되는 것은 아님을 미리 밝혀둔다.

메모리(1040)는 각종 정보를 저장할 수 있다. 메모리(1040)는 데이터를 임시적으로 또는 반영구적으로 저장할 수 있다. 메모리(1040)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리(1040)는 스마트 디바이스(1000)에 내장되는 형태나 피드백 디바이스에 탈부착 가능한 형태로 제공될 수 있다.

메모리(1040)에는 스마트 디바이스(1000)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 스마트 디바이스(1000)에 인스톨되는 각종 어플리케이션, 스마트 디바이스(1000)의 동작에 필요하거나 이용되는 각종 데이터가 저장될 수 있다.

콘트롤러(1060)는 스마트 디바이스(1000)의 전반적인 동작을 제어를 수행할 수 있다. 예를 들어, 스마트 디바이스(1000)가 디스플레이 백을 출력하는 것은 콘트롤러(1060)가 디스플레이 모듈(1400)을 제어함에 따라 수행될 수 있으며, 스마트 디바이스(1000)가 보이스 어시스턴트 서버(10)와 통신하는 것은 콘트롤러(1060)가 통신 모듈(1020)을 제어함에 따라 수행될 수 있다.

콘트롤러(1060)의 제어 동작은 콘트롤러(1060)가 각종 정보의 연산 및 처리를 수행함에 따라 이루어질 수 있다. 이를 위해 콘트롤러(1060)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 콘트롤러(1060)는 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다.

콘트롤러(1060)는 단일한 물리적 구성을 가질 수 있지만, 경우에 따라서는 물리적으로 분리된 형태로 제공될 수도 있다. 다시 말해, 콘트롤러(1060)는 단일한 칩으로 제조되는 것도 가능하지만, 물리적으로 분산 배치되는 복수의 칩 내지는 기판으로 제공될 수도 있으며 이때에는 각 분리된 콘트롤러(1060) 간의 통신 인터페이스가 연결되어 있을 수도 있다.

한편, 이하의 설명에서 스마트 디바이스(1000)가 수행하는 동작들은 별도의 언급이 없는 경우 콘트롤러(1060)에 의해 수행되는 것으로 해석될 수 있음을 밝혀둔다.

1.4. 스마트 디바이스의 구현예

이하에서는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 몇몇 구현예에 관하여 설명한다. 도 2 내지 6은 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 구현예들에 관한 사시도이다.

일 예에 따르면, 스마트 디바이스(1000)는 도 2에 도시된 바와 같이 테이블이나 플로어 등과 같은 수평면에 거치되어 이용되는 스마트 스피커 형태(1000a)로 제공될 수 있다.

본 예에서, 하우징(1100)은 수평면에 놓이는 하면(1101), 하면(1101)과 대응하는 상면(1102) 및 상기 하면(1101)과 상면(1102)을 연결하는 측면(1103)을 포함할 수 있다. 도 2는 하우징(1100)을 원 기둥 형상으로 도시하고 있으나, 하우징(1100)은 이외에도 다각 기둥, 상면(1102)이 경사진 테이퍼면인 원 또는 다각 기둥, 원 또는 다각 뿔 등 다양한 형상일 수 있다.

본 예에서 스마트 디바이스(1000)에는 스마트 디바이스(1000)의 작동 모드를 지시하는 인디케이터(1106)가 구비될 수 있다. 에를 들어, 인디케이터(1106)는 작동 모드에 따라 특정 색상이나 특정 패턴을 표시하는 램프 등일 수 있다. 도 2에는 인디케이터(1106)가 하우징(1100)의 측면(1103)의 테두리를 둘러싸도록 배치되는 것으로 도시했으나, 이로 인해 인디케이터(1106)의 형상이나 위치가 도 2로 제한되는 것은 아니다.

본 예에서 스마트 디바이스(1000)에 복수의 마이크(1202)를 포함하는 마이크 어레이(1204)가 구비될 수 있다. 예를 들어, 복수의 마이크(1202)는 도 2에 도시된 바와 같이 하우징(1100)의 상면(1102)에 방사형으로 배치되거나 하우징(1100)의 측면(1103)을 따라 배치될 수 있을 것이다. 물론, 스마트 디바이스(1000)에 단일한 마이크(1202)가 구비되는 것도 가능하다. 예를 들어, 단일한 마이크(1202)를 음성 입력 모듈(1200)로 이용하는 경우에는 마이크(1202)는 하우징(1100)의 측면(1103) 중 스마트 디바이스(1000)가 주로 사용되는 방향 쪽의 지점 또는 하우징(1100)의 상면(1102)에 배치될 수 있다.

본 예에서 스마트 디바이스(1000)에는 단일한 스피커(1302)가 무지향성으로 음성을 출력하도록 마련될 수 있다. 예를 들어, 스피커(1302)는 하우징(1100)의 내부에 하우징(1100)의 하면(1101)을 향해 음성을 출력하도록 배치되고, 하우징(1100)의 하면(1101)에는 콘 형태의 돌출부를 마련하여 사운드 패스가 하우징(1100)의 외측 전방향으로 출력되도록 할 수 있다. 물론, 스피커(1302)가 복수로 제공되는 것도 가능하며 이때에는 스마트 디바이스(1000)가 지향성 음성 출력을 하거나 멀티 채널(예를 들어, 스테레오 사운드나 5.1 채널 등)로 음성 출력하는 것이 가능할 수 있다.

본 예에 따른 스마트 디바이스(1000)의 구현예에서는 스마트 디바이스(1000)에 디스플레이 모듈(1400)이 탑재되지 않으므로, 스마트 디바이스(1000)가 디스플레이 백을 출력할 수는 없다. 후술될 본 발명의 일 실시예에 따른 스마트 디바이스(1000)와 그 제어 방법 중 일부는 디스플레이 모듈(1400)이 탑재된 스마트 디바이스(1000)에 한하여 적용될 수 있지만, 다른 일부는 디스플레이 모듈(1400)이 없는 스마트 디바이스(1000)에도 적용될 수 있음을 미리 밝혀둔다.

일 예에 따르면, 스마트 디바이스(1000)는 도 3에 도시된 바와 같이 테이블이나 플로어 등과 같은 수평면에 거치되어 이용되며 디스플레이 패널(1420)을 구비하는 형태(1000b)로 제공될 수 있다.

본 예에서, 스마트 디바이스(1000)에 디스플레이 패널(1420)이 구비될 수 있다. 디스플레이 패널(1420)은 주로 하우징(1100)의 일면에 구비될 수 있다. 스마트 디바이스(1000)는 디스플레이 패널(1420)을 통해 각종 영상(예를 들어, 디스플레이 백)을 출력할 수 있다. 한편, 디스플레이 패널(1420)이 터치 패널로 제공됨에 따라 디스플레이 패널(1420)이 터치 입력 인터페이스로 기능할 수도 있다.

또 디스플레이 패널(1420)이 인디케이터(1106)의 역할을 대체할 수 있으므로, 본 예에서 스마트 디바이스(1000)에서 인디케이터(1106)는 선택적으로 구비될 수 있다. 또 본 예의 스마트 디바이스(1000)에서 음성 출력 모듈(1300)과 음성 입력 모듈(1200)은 다양한 배치 형태로 제공될 수 있다.

이상에서는 본 예의 스마트 디바이스(1000)에 대해 거치형인 것으로 설명했으나, 이와 달리 스마트 디바이스(1000)가 벽걸이형으로 제공될 수도 있다. 이때에는 하우징(1100)에 스마트 디바이스(1000)가 벽에 걸릴 수 있도록 하는 마운팅 수단이 마련되어 있을 수 있다. 예를 들어, 마운팅 수단은 접착층이나 브라켓, 리세스 등으로 제공될 수 있다.

일 예에 따르면, 스마트 디바이스(1000)는 도 4에 도시된 바와 같이 프로젝터(1440)를 구비하는 형태(1000c)로 제공될 수 있다. 이에 따라 스마트 디바이스(1000)는 프로젝터(1440)를 통해 각종 영상을 출력할 수 있다. 도 4에 도시된 스마트 디바이스(1000)는 수평면에 거치되어 이용되거나 또는 천장이나 벽면 등에 설치되어 이용될 수 있다. 프로젝션 거리가 짧은 사용 환경을 목적하는 경우에는 스마트 디바이스(1000)의 프로젝터(1440)로는 초단초점(UST: Ultra Short Throw) 프로젝터가 이용될 수 있다.

본 예에서 스마트 디바이스(1000)는 선택적으로 터치 입력 인터페이스, 제스처 입력 인터페이스, 시선 인식 인터페이스 및/또는 공간 인지 인터페이스 구비할 수 있다.

터치 입력 인터페이스는 스마트 디바이스(1000)가 놓인 면이나 스마트 디바이스(1000)가 디스플레이 백을 프로젝션하는 면에 대한 사용자의 터치 입력을 감지할 수 있다. 터치 입력 인터페이스의 예로는 적외선 터치 센서를 들 수 있다. 적외선 터치 센서는 적외선을 조사하는 출광 수단과 적외선을 수신하는 수광 수단을 포함하고, 출광 수단에 의해 출사된 적외선이 사용자의 신체에 반사되어 수광 수단으로 수신되는 것을 이용하여 터치 입력을 획득할 수 있다. 적외선 터치 센서에서는 수광 수단 대신 일반 카메라나 적외선 카메라를 이용할 수도 있다. 적외선 카메라를 이용하는 경우에는 출광 수단이 소정의 패턴을 형성하도록 적외선을 출사하고, 적외선 카메라에서 사용자 신체에 의해 패턴이 변형되는 것을 감지하는 방식으로 터치 입력을 획득할 수 있다.

또 제스처 입력 인터페이스는 각종 이미지에 기초하여 사용자의 신체로 표현되는 제스처(예를 들어, 팔동작이나 손가락 동작, 손가락 형태 등)을 인식할 수 있다. 제스처 입력 인터페이스는 터치 인터페이스와 다르게 물리적 면에 대한 터치만을 입력받지 않고 공간에 대한 제스처를 입력받을 수 있는 장점이 있다.

또 시선 인식 인터페이스는 스마트 디바이스(1000)의 사용자의 시선을 인식할 수 있다. 예를 들어, 시선 인식 인터페이스는 사용자가 바라보는 방향 내지 사용자가 바라보는 지점을 2차원 또는 3차원 정보로써 인식할 수 있다.

또 공간 인지 인터페이스는 스마트 디바이스(1000)가 있는 주변의 공간과 사물을 인지할 수 있다. 예를 들어, 공간 인지 인터페이스는 스마트 디바이스(1000)가 놓인 방의 구조, 주변에 놓인 사물의 위치, 형태 등을 인식할 수 있다.

물론, 스마트 디바이스(1000)의 터치 입력 인터페이스, 제스처 입력 인터페이스, 시선 인식 인터페이스 및/또는 공간 인지 인터페이스가 상술한 예로 한정되는 것은 아니며, 당업자에게 자명한 다양한 변형이 가능함은 물론이다. 또한, 터치 입력 인터페이스, 제스처 입력 인터페이스, 시선 인식 인터페이스 및/또는 공간 인지 인터페이스는 본 예의 스마트 디바이스(1000) 뿐만 아니라 스마트 디바이스(1000) 다른 구현예들에도 적용될 수 있음을 밝혀둔다.

본 예에서, 스마트 디바이스(1000)는 그 거치 방향이 조절됨에 따라 프로젝션 방향이 조절되는 형태(1000d)로 제공될 수 있다. 예를 들어 도 5을 살펴보면, 스마트 디바이스(1000)의 하우징(1100)은 적어도 두 개의 거치면(1104, 1105)을 가질 수 있으며, 두 개의 거치면(1104, 1105) 중 어느 하나를 통해 하우징(1100)이 거치되는지 여부에 따라 프로젝션 방향이 벽면을 향하는지 또는 바닥면을 향하는지의 여부가 결정될 수 있다. 다시 말해, 사용자가 수동으로 스마트 디바이스(1000)의 거치 자세를 조절함으로써 스마트 디바이스(1000)의 프로젝션 방향 또는 프로젝션 영역이 조절될 수 있다.

한편, 수동으로 거치 자세가 조절됨에 따라 프로젝션 방향 내지는 영역이 조절되는 것과 달리 본 예에서, 스마트 디바이스(1000)는 프로젝션 방향을 자동적으로 조절할 수도 있다. 이를 위해 스마트 디바이스(1000)는 프로젝션의 방향이나 프로젝션의 영역을 조절하는 구동 모듈(1500)을 더 포함할 수도 있다. 예를 들어, 스마트 디바이스(1000)에는 프로젝터를 회전시키는 회전 모터(1520)가 구동 모듈(1500)로 구비될 수 있다. 다른 예를 들어, 스마트 디바이스(1000)에는 프로젝션의 광 경로를 조절하는 반사 미러 등이 구동 모듈(1500)로 구비될 수 있다. 또 다른 예로, 구동 모듈(1500)은 회전 모터(1520)와 반사 미러가 조합된 형태로 제공될 수도 있다. 여기서, 반사 미러는 MEMS 미러, 레조넌스 미러 등과 같이 고정 상태 타입(solid-state)로 구현되거나 물리적으로 방향이 조절되는 노딩 미러나 다각(polygonal) 미러 등으로 제공될 수 있다. 도 6을 살펴보면, 스마트 디바이스(1000)는 테이블 상에 거치되어 테이블 위로 디스플레이 백을 출력하는데, 이때 스마트 디바이스(1000)는 구동 모듈(1500)을 이용하여 디스플레이 백의 프로젝션 방향을 사용자 방향으로 이동시킬 수 있다. 또 스마트 디바이스(1000)는 구동 모듈(1500)을 이용하여 프로젝션 방향을 필요에 따라 벽면 또는 테이블면을 적절히 조절할 수 있다. 프로젝션 방향 내지는 프로젝션 영역을 자동으로 조절하는 스마트 디바이스(1000)가 프로젝터(1440)를 구비하는 형태로 한정되는 것은 아니다. 예를 들어, 도 에 도시된 형태의 스마트 디바이스(1000)에 디스플레이 패널(1420)의 방향을 조절하는 구동 모듈(1500)이 탑재해 스마트 디바이스(1000)가 구동 모듈(15000)을 통해 자동적으로 디스플레이 방향을 조절하는 것도 가능하다.

1.5. 스마트 디바이스의 작동 모드

1.5.1. 오프 상태

스마트 디바이스(1000)는 기기가 동작하지 않는 오프 상태를 가질 수 있다. 오프 상태에서는 전원이 공급되지 않아 기기가 꺼져있는 상태이거나 최소한의 전원만을 이용하는 휴면(hibernation) 상태일 수 있다.

1.5.2. 스탠바이 모드

스마트 디바이스(1000)는 전원이 인가되면 사용자로부터 특별히 지시를 받지 않은 상태에서 스탠바이 모드로 동작할 수 있다. 예를 들어, 스마트 디바이스(1000)는 전원이 인가되면 스탠바이 모드로 진입할 수 있다.

스탠바이 모드는 사용자로부터 스마트 디바이스(1000)를 이용하겠다는 의도를 전달받는 단계(phase)이다. 예를 들어, 스마트 디바이스(1000)는 스탠바이 모드에서 사용자 음성으로부터 웨이크업 워드를 검출하는 동작을 수행하고, 웨이크업 워드의 검출 여부에 따라 스마트 디바이스(1000)를 이용하려는 사용자의 의도를 판단할 수 있다.

스탠바이 모드에서 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 음성을 수신할 수 있다. 이때, 음성 입력 모듈(1200)은 음성을 비선별적으로 수신할 수 있다. 아직 스마트 디바이스(1000)는 수신되는 음성이 스마트 디바이스(1000)를 향해 발화된 사용자 음성인지 알 수 없기 때문에 보이스 커맨드의 해석을 위해 수신한 음성을 보이스 어시스턴트 서버(10)로 전송하지 않을 수 있다.

스탠바이 모드에서 스마트 디바이스(1000)는 수신되는 음성으로부터 웨이크업 워드를 검출할 수 있다. 웨이크업 워드는 스마트 디바이스(1000)의 제조사에 의해 미리 정해진 특정 단어 또는 어구이거나 스마트 디바이스(1000)의 제조사에 의해 미리 정해진 특정 단어군 또는 어구군 중 사용자에 의해 선택된 것일 수 있다.

상술한 바와 같이 웨이크업 워드는 임의적인 자연어 형태가 아니라 최대 몇몇 개의 미리 정해지는 단어 내지는 짧은 어구에 불과하므로, 입력되는 음성에서 웨이크업 워드를 검출하는 것은 많은 연산을 필요로 하지 않는다. 따라서, 스마트 디바이스(1000)의 콘트롤러(1060)는 보이스 어시스턴트 서버(10)와의 협업없이 직접 로컬에서 수신되는 음성으로부터 웨이크업 워드를 검출할 수 있다.

스탠바이 모드에서 스마트 디바이스(1000)는 수신된 음성으로부터 웨이크업 워드가 검출되는지 여부에 기초하여 스마트 디바이스(1000)를 이용하려는 사용자 의도를 판단할 수 있다. 수신되는 음성으로부터 웨이크업 워드가 검출되는 경우 스마트 디바이스(1000)는 사용자가 스마트 디바이스(1000)를 이용하려는 의도를 가진 것으로 이해할 수 있다.

스마트 디바이스(1000)는 사용자가 스마트 디바이스(1000)를 이용하려는 의도를 가진 것으로 판단하면, 사용자로부터 보이스 커맨드가 담긴 사용자 음성이 수신될 것을 대비해 리스닝 모드로 진입할 수 있다. 반대로 수신되는 음성으로부터 웨이크업 워드가 검출되지 않는 경우에는 스마트 디바이스(1000)는 사용자가 스마트 디바이스(1000)를 이용하려는 의도가 없는 것으로 이해할 수 있으며, 스마트 디바이스(1000)는 리스닝 모드로 진입하는 대신 스탠바이 모드를 유지할 수 있다.

한편, 스탠바이 모드는 웨이크업 워드를 검출/인식하는 모드이므로 경우에 따라서는 웨이크업 워드 검출 상태 또는 모드로 지칭할 수도 있다.

1.5.3. 리스닝 모드

상술한 바와 같이 스마트 디바이스(1000)는 스탠바이 모드에서 웨이크업 워드의 입력이 검출되면 리스닝 모드로 진입할 수 있다. 한편, 스마트 디바이스(1000)에 리스닝 모드로의 진입을 지시하는 버튼이 마련되어 있고 스마트 디바이스(1000)가 해당 버튼에 대한 사용자 입력에 응해 리스닝 모드에 진입하는 것도 가능하다.

리스닝 모드에서 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 사용자 음성을 입력받을 수 있다. 리스닝 모드에서 입력되는 사용자 음성은 스마트 디바이스(1000)에 특정한 동작을 지시하는 보이스 커맨드를 포함할 수 있다.

여기서, 반드시 그러한 것은 아니나 보이스 커맨드는 주로 자연어 형태를 취할 수 있다. 자연어 형태의 보이스 커맨드를 인식하는 것은 높은 연산량으로 인해 로컬에서 처리되기 어려울 수 있으므로, 스마트 디바이스(1000)는 보이스 어시스턴트 서버(10)와 협업하여 사용자 음성으로부터 보이스 커맨드를 해석할 수 있다.

따라서, 리스닝 모드에서 스마트 디바이스(1000)는 사용자 음성에 포함된 보이스 커맨드의 해석을 위해 입력된 사용자 음성을 보이스 어시스턴트 서버(10)로 전송할 수 있다. 스마트 디바이스(1000)는 몇몇 방식으로 사용자 음성을 보이스 어시스턴트 서버(10)에 전송할 수 있다. 일 예로, 스마트 디바이스(1000)는 리스닝 모드에서 수신되는 사용자 음성을 실시간으로 보이스 어시스턴트 서버(10)에 전송할 수 있다. 다른 예로, 스마트 디바이스(1000)는 수신되는 사용자 음성을 취합한 뒤 취합된 사용자 음성을 일괄적으로 보이스 어시스턴트 서버(10)에 전송할 수도 있다. 보이스 어시스턴트 서버(10)는 스마트 디바이스(1000)로부터 전달받은 사용자 음성으로부터 보이스 커맨드를 해석하고, 해석된 보이스 커맨드에 대응하는 피드백 데이터를 생성하여 스마트 디바이스(1000)로 반환할 수 있다.

리스닝 모드에서 스마트 디바이스(1000)가 사용자 음성을 보이스 어시스턴트 서버(10)로 전송하기 전에, 스마트 디바이스(1000)는 사용자 음성에 대한 전처리(pre-processing)을 수행할 수 있다. 전처리의 예로는 노이즈 캔슬링, 음성 데이터 압축 등이 있다. 예를 들어, 음성 출력 모듈(1300)을 통해 토크 백을 출력 중인 스마트 디바이스(1000)가 리스닝 모드에서 사용자 음성을 수신한 경우 스마트 디바이스(1000)에는 토크 백과 보이스 커맨드를 포함한 사용자 음성을 함께 수신할 수 있다. 이때, 스마트 디바이스(1000)는 스스로 출력하는 토크 백에 대한 정보를 이용하여 수신된 음성 중 토크 백 부분을 제거함으로써 수신된 음성에서 사용자 음성 부분을 추출해 낼 수 있다.

또 리스닝 모드에서 스마트 디바이스(1000)는 깨끗한 사용자 음성을 입력받기 위해 조용한 주변 환경을 조성하기 위한 동작을 수행할 수 있다. 일 예로, 스마트 디바이스(1000)는 리스닝 모드에서 진입하면 기 출력 중이던 토크 백의 출력을 중단하거나 토크 백의 오디오 볼륨을 감소시킬 수 있다. 예를 들어, 라디오 뉴스를 재생 중인 스마트 디바이스(1000)는 리스닝 모드에 진입하면 재생 중이던 라이브 뉴스를 일시 정지시킬 수 있다.

스마트 디바이스(1000)는 리스닝 모드를 일정한 시간 간격(time period) 동안 유지할 수 있다. 예를 들어, 스마트 디바이스(1000)는 보이스 커맨드를 담은 사용자 입력을 보이스 어시스턴트 서버(10)에 전송하고 보이스 어시스턴트 서버(10)로부터 피드백 데이터를 수신하면, 리스닝 모드를 종료할 수 있다. 다른 예를 들어, 스마트 디바이스(1000)는 사용자 음성의 입력이 완료된 경우 또는 사용자 음성 입력된 후 미리 정해진 시간 동안 음성이 입력되지 않는 경우에, 리스닝 모드를 종료할 수 있다. 또 다른 예를 들어, 스마트 디바이스(1000)는 리스닝 모드에 진입한 뒤 미리 정해진 시간 동안 사용자 음성의 입력이 없는 경우에 리스닝 모드를 종료할 수 있다. 이하에서는 스마트 디바이스(1000)가 리스닝 모드를 유지하는 시간 간격을 '리스닝 윈도우'로 지칭하기로 한다. 또한 이와 관련하여 스마트 디바이스(1000)가 리스닝 모드로 진입하는 동작을 '리스닝 윈도우를 연다(opening a listening window)'고 지칭하고, 반대로 스마트 디바이스(1000)가 리스닝 모드를 종료하는 동작을 '리스닝 윈도우를 닫는다(closing a listening window)'로 지칭하며, 스마트 디바이스(1000)가 리스닝 모드를 유지하는 상태를 '리스닝 모드가 열린' 상태로 지칭하기로 한다.

한편, 몇몇 경우에 스마트 디바이스(1000)는 리스닝 모드에서도 사용자 음성으로부터 웨이크업 워드를 검출할 수 있다. 리스닝 모드에서 웨이크업 워드가 검출되면 스마트 디바이스(1000)는 리스닝 모드를 다시 시작할 수 있으며, 리스닝 윈도우를 초기화시킬 수 있다.

1.5.4. 응답 모드

리스닝 모드에서 스마트 디바이스(1000)가 입력된 사용자 음성을 보이스 어시스턴트 서버(10)로 전달하면, 보이스 어시스턴트 서버(10)는 사용자 음성으로부터 보이스 커맨드를 추출하고 추출된 보이스 커맨드를 해석하고, 해석된 보이스 커맨드에 기초하여 피드백 데이터를 생성하고, 이를 스마트 디바이스(1000)에 전달할 수 있다.

피드백 데이터를 전달받은 스마트 디바이스(1000)는 피드백 데이터를 이용하여 피드백을 출력할 수 있다. 이처럼 피드백을 전달받아 출력하는 단계(phase)가 응답 모드이다. 응답 모드에서 스마트 디바이스(1000)는 피드백 데이터를 수신해 그에 따라 피드백을 출력하는데, 스마트 디바이스(1000)는 토크 백 및/또는 디스플레이 백을 출력할 수 있다.

한편, 스마트 디바이스(1000)는 피드백 데이터를 수신하여 피드백의 출력을 개시함과 동시에 또는 피드백의 출력을 개시한 뒤 곧이어 스탠바이 모드로 진입할 수 있다. 이 경우에는, 스마트 디바이스(1000)는 스탠바이 모드 또는 리스닝 모드인 상태에서 피드백을 출력할 수 있다. 관점에 따라서는, 스마트 디바이스(1000)가 스탠바이 모드나 리스닝 모드에서 피드백의 출력을 지속한다고 규정하는 대신, 응답 모드와 스탠바이 모드가 동시에 운용되는 것으로 해석할 수도 있다.

일 예로, 사용자로부터 라이브 뉴스의 스트리밍을 요구받은 스마트 디바이스(1000)는 응답 모드에서 보이스 어시스턴트 서버(10)로부터 라이브 뉴스에 대한 피드백 데이터를 수신해 라이브 뉴스의 재생을 개시한 뒤 스탠바이 모드로 진입하여 라이브 뉴스의 스트리밍을 지속할 수 있다. 다른 예로, 스탠바이 모드에서 라이브 뉴스 스트리밍 중 웨이크업 워드가 검출되면, 스마트 디바이스(1000)는 리스닝 모드로 진입하되, 여전히 라이브 뉴스 스트리밍을 유지하는 것도 가능하다.

1.5.5. 작동 상태의 운용

본 발명의 일 실시예에 따른 스마트 디바이스(1000)가 상술한 모드들을 모두 운용해야 하는 것은 아니다. 예를 들어, 스마트 디바이스(1000)의 작동 모드에서 응답 모드가 생략되는 것도 가능하다. 또 본 발명의 일 실시예에 따른 스마트 디바이스(1000)에서 상술한 모두들이 모두 독립적으로 운용되어야만 하는 것은 아니다. 예를 들어, 스마트 디바이스(1000)는 스탠바이 모드, 리스닝 모드 및 응답 모드는 그 전부 또는 일부가 중복된 작동 모드를 가질 수도 있다.

도 7 및 도 8은 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 작동 모드의 운용의 예시에 관한 도면이고, 도 9는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)와 보이스 어시스턴트 서버(10) 간의 통신에 관한 도면이다.

도 7 및 9를 살펴보면, 스마트 디바이스(1000)는 전원이 인가되면, 오프 상태로부터 스탠바이 모드로 진입할 수 있다. 스탠바이 모드인 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 지속적으로 음성을 수신하며 수신되는 음성으로부터 웨이크업 워드를 검출할 수 있다.

웨이크업 워드가 검출되면 스마트 디바이스(1000)는 리스닝 모드로 진입할 수 있다. 또는 리스닝 모드를 지시하는 터치/버튼/제스처 등의 사용자 입력이 입력되어도 스마트 디바이스(1000)는 리스닝 모드에 진입할 수 있다. 리스닝 모드에서 스마트 디바이스(1000)는 보이스 커맨드가 담긴 사용자 음성을 수신할 수 있다.

스마트 디바이스(1000)는 수신된 사용자 음성을 보이스 어시스턴트 서버(10)로 전송할 수 있다. 스마트 디바이스(1000)는 보이스 어시스턴트 서버(10)로부터 보이스 커맨드에 대한 피드백 데이터를 수신하고, 피드백 데이터에 기초하여 피드백을 출력할 수 있다.

리스닝 모드인 스마트 디바이스(1000)는 리스닝 모드로부터 스탠바이 모드로 복귀할 수 있다. 예를 들어, 리스닝 모드인 스마트 디바이스(1000)는 리스닝 모드 진입 후 사용자 음성이 입력되지 않으면 스탠바이 모드로 복귀할 수 있다. 또 예를 들어, 리스닝 모드인 스마트 디바이스(1000)는 사용자 음성이 입력된 후 추가적인 사용자 음성이 입력되지 않으면 스탠바이 모드로 복귀할 수 있다. 또 예를 들어, 리스닝 모드인 스마트 디바이스(1000)는 사용자 음성을 보이스 어시스턴트로 전달한 경우, 보이스 어시스턴트 서버(10)로부터 보이스 커맨드에 관련된 피드백의 피드백 데이터를 수신한 경우 또는 피드백 데이터에 기초하여 피드백의 출력(또는 출력의 개시)를 수행한 경우 스탠바이 모드로 복귀할 수 있다.

도 8 및 도 9을 살펴보면, 스마트 디바이스(1000)는 전원이 인가되면, 오프 상태로부터 스탠바이 모드로 진입할 수 있다. 스탠바이 모드인 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 지속적으로 음성을 수신하며 수신되는 음성으로부터 웨이크업 워드를 검출할 수 있다

웨이크업 워드가 검출되면 스마트 디바이스(1000)는 리스닝 모드로 진입할 수 있다.

리스닝 모드에서 스마트 디바이스(1000)는 보이스 커맨드가 담긴 사용자 음성을 수신할 수 있다. 스마트 디바이스(1000)는 수신된 사용자 음성을 보이스 어시스턴트 서버(10)로 전송할 수 있다.

수신된 사용자 음성을 보이스 어시스턴트 서버(10)로 전송한 스마트 디바이스(1000)는 응답 모드로 진입하여 피드백을 출력할 수 있다. 리스닝 모드인 스마트 디바이스(1000)는 사용자 음성을 보이스 어시스턴트 서버(10)에 전송한 경우 또는 보이스 어시스턴트 서버(10)로부터 피드백 데이터를 수신한 경우 응답 모드로 진입할 수 있다.

스마트 디바이스(1000)는 보이스 어시스턴트 서버(10)로부터 보이스 커맨드에 대한 피드백 데이터를 수신하고, 피드백 데이터에 기초하여 피드백을 출력할 수 있다. 피드백의 출력을 종료하거나 또는 피드백의 출력을 개시한 스마트 디바이스(1000)는 스탠바이 모드로 복귀할 수 있다.

한편, 리스닝 모드인 스마트 디바이스(1000)는 리스닝 모드인 동안 사용자 음성을 수신하지 못한 경우에는 응답 모드로 진입하는 대신 스탠바이 모드로 복귀할 수 있다.

2. 사용자 지향성 피드백(user directional feedback)을 출력하는 스마트 디바이스

이하에서는 본 발명의 일 실시예에 따른 사용자 지향성 피드백을 출력하는 스마트 디바이스(1000)에 관하여 설명한다. 스마트 디바이스(1000)는 사용자가 감상하기 적절한 위치 또는 방향으로 피드백을 출력할 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 사용자 지향성 피드백을 출력하는 스마트 디바이스(1000)는 사용자의 위치나 사용자의 방향을 고려하여 피드백이 출력되는 영역, 위치나 방향 등을 적절히 조절할 수 있다.

2.1. 사용자 지향성

여기서, 사용자 지향성 피드백이란 사용자가 감상하기 적절한 위치를 향해 출력되는 피드백을 의미할 수 있다. 예를 들어, 사용자 지향성 피드백이 디스플레이-백인 경우 스마트 디바이스(1000)는 사용자의 주변이나 사용자가 보고 있는 방향에 디스플레이-백을 디스플레이할 수 있다. 다른 예를 들어, 사용자 지향성 피드백이 토크-백인 경우 스마트 디바이스(1000)는 사용자를 향해 토크-백을 출력할 수 있다.

사용자 지향성 피드백은 전술한 바와 같이 토크-백이나 디스플레이-백 양자에 적용될 수 있으나, 이하에서는 설명의 편의를 위해 사용자 지향성 피드백이 디스플레이-백인 것을 기준으로 설명하기로 한다.

나아가 사용자 지향성 피드백인 디스플레이-백은 디스플레이 패널(1420)이나 또는 프로젝터(1440)인 디스플레이 모듈(1400)에 의해 출력될 수 있으나, 이하에서는 설명의 편의를 위해 사용자 지향성 피드백인 디스플레이-백이 프로젝터(1440)를 통해 출력되는 것을 기준으로 설명하기로 한다. 다만, 사용자 지향성 피드백인 디스플레이-백을 출력하기 위해 프로젝터(1440)의 프로젝션 방향을 조절하는 방식은 디스플레이의 디스플레이 방향을 조절하는 방식에도 적용될 수 있음을 미리 밝혀둔다.

한편, 이하의 설명에서 '지향성 피드백'은 사용자 지향성 피드백을 의미하고, '지향성 디스플레이-백'은 사용자 지향성을 갖는 디스플레이-백을 의미한다.

2.2. 지향성 스마트 디바이스

이하에서는 본 발명의 일 실시예에 관한 지향성 피드백을 출력하는 스마트 디바이스(1000)에 관하여 설명한다.

도 10은 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스(1000)의 블록도이고, 도 11은 본 발명의 일 실시에에 따른 지향성 피드백을 출력하는 스마트 디바이스(1000)의 구현예의 사시도이고, 도 12는 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스(1000)의 구현예의 분해 사시도이다. 이하에서는 도 10 내지 도 12를 참조하여 본 발명의 일 실시예에 관한 지향성 피드백을 출력하는 스마트 디바이스(1000)에 관하여 설명하지만, 지향성 스마트 디바이스(1000)의 구현예가 반드시 도 11 또는 도 12의 형태로 한정되는 것은 아니며 도 2 내지 도 6에 도시된 형태들을 포함한 다양한 다른 형태로 구현될 수도 있음을 미리 밝혀둔다. 반대로 이하의 지향성 피드백을 출력하는 스마트 디바이스(1000)에 관한 설명은 본 명세서에서 언급되는 스마트 디바이스(1000) 전반에 적용될 수 있음 역시 밝혀둔다.

도 10을 참조하면, 스마트 디바이스(1000)는 하우징(1100), 인디케이터(1106), 음성 입력 모듈(1200), 사용자 위치 감지 모듈(1700), 음성 출력 모듈(1300), 디스플레이 모듈(1400), 구동 모듈(1500), 전원 모듈(1600), 방열 모듈(1800), 통신 모듈(1020), 메모리(1040) 및 콘트롤러(1060)를 포함할 수 있다.

하우징(1100)은 스마트 디바이스(1000)의 외관을 형성한다. 또 하우징(1100)은 그 내부에 스마트 디바이스(1000)의 다른 구성 요소를 수용하며 이들을 외부의 충격으로부터 보호할 수 있다. 또 하우징(1100)은 사용자로하여금 심미감을 불러일으킬 수도 있다.

하우징(1100)은 스마트 디바이스(1000)가 이용되는 환경에 적합한 형태를 취할 수 있다. 예를 들어, 테이블 상에 거치되어 사용되는 스마트 디바이스(1000)의 하우징(1100)은 스마트 디바이스(1000)가 테이블에 안정적으로 지지되도록 그 바닥에 거치면을 가질 수 있다. 다른 예로, 벽이나 천장에 설치되는 스마트 디바이스(1000)의 하우징(1100)은 그에 적합한 형태를 가질 수 있다. 구체적인 하우징(1100)의 형태의 예로는 원이나 다각 기둥, 원뿔, 다각뿔, 육면체 등이 있다.

일 예로, 하우징(1100)은 도 11에 도시된 바와 같이 원 기둥 형태일 수 있다. 하우징(1100)은 하부 프레임(1120), 상부 프레임(1140), 및 투명 윈도우(1160)를 포함할 수 있다. 하부 프레임(1120)과 상부 프레임(1140)은 주로 불투명한 재질로 제공되며, 투명 윈도우(1160)는 상부 프레임(1140)과 하부 프레임(1120)의 사이에 배치되며 투명한 재질로 제공될 수 있다. 또한 투명 윈도우(1160)는 링 형태로 하우징(1100)을 감싸는 링 형상으로 제공될 수 있다. 투명 윈도우(1160)는 하우징(1100) 내에 배치되는 프로젝터(1440)가 출력하는 영상을 구성하는 광이 하우징(1100) 외부로 출력되는 통로 역할을 수행할 수 있다. 투명 윈도우(1160)는 프로젝터(1440)에서 출광되는 광을 외부로 통과시키면서도 하우징(1100)을 밀폐하기 위한 구성이다. 따라서, 필요에 따라서는 하우징(1100)에서 투명 윈도우(1160)를 제거하고, 그 대신 하우징(1100)에 프로젝터(1440)로부터 출력되는 광이 외부로 출광되는 경로를 제공하는 홀, 홈 또는 슬릿을 형성하는 것도 가능하다.

인디케이터(1106)는 하우징(1100)의 외면에 설치될 수 있다. 인디케이터(1106)는 스마트 디바이스(1000)의 상태를 표시한다. 인디케이터(1106)는 특정한 색상이나 특정한 패턴을 디스플레이함으로써 스마트 디바이스(1000)의 상태를 표시할 수 있다.

일 예로, 인디케이터(1106)는 도 11에 도시된 바와 같이 하우징(1100)의 상면이나 측면 상단에 방사형을 이루는 LED 어레이를 포함할 수 있다. LED 어레이는 색상이나 LED 어레이에 포함되는 LED들이 켜지는 순서나 방향 등을 통해 스마트 디바이스(1000)가 스탠바이 모드인지 리스닝 모드인지 또는 피드백 모드인지 여부, 정상 상태인지 오작동 상태인지 여부, 전원 상태, 통신 상태 등 다양한 정보를 표현할 수 있다.

음성 입력 모듈(1200)은 음성을 수신할 수 있다. 일 예로, 음성 입력 모듈(1200)은 도 11에 도시된 바와 같이 하우징(1100)의 상면 또는 측면 상단에 방사형을 이루는 마이크 어레이(1204)를 포함할 수 있다. 물론 마이크 어레이(1204)의 배치가 도 13에 의해 한정되는 것은 아니다.

마이크 어레이(1204)는 각각 음성을 수신하는 복수의 마이크(1202)를 포함할 수 있다. 복수의 아미크를 갖는 마이크 어레이(1204)를 이용하면 음성이 수신될 때 음원의 위치를 감지할 수 있다. 구체적으로 복수의 마이크(1202)는 스마트 디바이스(1000)에 대한 사용자의 위치에 따라 음성 크기, 수신 시점, 반사음 형태가 다른 사용자 음성을 수신할 수 있다. 콘트롤러(1060)는 복수의 마이크(1202) 각각에서 수신되는 사용자 음성을 비교하여 스마트 디바이스(1000)에 대한 사용자의 위치, 거리 및/또는 방향을 획득할 수 있다. 여기서, 사용자 위치는 사용자의 거리 및 사용자의 방향 중 적어도 하나를 포함하는 개념으로 해석될 수 있으며, 이하에서는 스마트 디바이스(1000)에 대한 사용자의 위치, 거리, 방향을 각각 '사용자 위치', '사용자 거리', '사용자 방향'으로 지칭하기로 한다.

사용자 위치 감지 모듈(1700)은 사용자 위치, 사용자 거리 및/또는 사용자 방향을 감지할 수 있다. 따라서, 도 11에 도시된 마이크 어레이(1204)는 음성 입력 모듈(1200)인 동시에 사용자 위치 감지 모듈(1700)이 될 수 있다. 스마트 디바이스(1000)가 마이크 어레이(1204)를 이용해 사용자 위치를 감지할 수 있다면 사용자 위치 감지 모듈(1700)이 마이크 어레이(1204)로만 구성되는 것도 가능하다. 그러나, 보다 정확한 사용자 위치를 감지하기 위해 사용자 위치 감지 모듈(1700)에 마이크 어레이(1204) 이외에도 다른 센서가 추가적으로 포함되는 것도 가능하다.

예를 들어, 사용자 위치 감지 모듈(1700)은 모노/스테레오 카메라(1720)일 수 있다. 모노/스테레오 카메라(1720)는 스마트 디바이스(1000) 주변를 촬상하고, 콘트롤러(1060)가 촬상된 영상 내의 사용자 이미지를 분석함으로써 사용자 위치를 감지할 수 있다. 다른 예를 들어, 사용자 위치 감지 모듈(1700)은 열화상 카메라, IR 카메라, IR 센서 등일 수 있다. 열화상 카메라나 IR 카메라는 각각 열화상 이미지나 IR 이미지를 촬상하고, 콘트롤러(1060)는 촬상된 열화상 이미지나 IR 이미지를 이용해 사용자 위치를 감지할 수 있다. IR 센서는 IR 출광 수단과 IR 수광 수단을 포함할 수 있으며, IR 출광 수단이 출광한 적외선을 IR 수광 수단이 수신하고, 수신된 정보를 콘트롤러(1060)에서 분석함으로써 사용자 위치를 감지할 수 있다. 물론, 사용자 위치 감지 모듈(1700)은 상술한 예시 이외에도 광학 센서나 깊이 센서 등을 비롯한 다양한 형태로 구현될 수 있다.

음성 출력 모듈(1300)은 토크-백을 출력할 수 있다. 비록 도 11에서는 음성 출력 모듈(1300)이 하우징(1100)의 하부 프레임(1120)에 하단에 배치되는 것으로 도시하고 있으나, 음성 출력 모듈(1300)의 형태나 배치가 도 11로 한정되는 것은 아니다.

디스플레이 모듈(1400)은 디스플레이-백을 출력할 수 있다. 일 예로, 디스플레이 모듈(1400)은 도 12에 도시된 바와 같이 프로젝터(1440)로 제공될 수 있다. 프로젝터(1440)는 하우징(1100)의 투명 윈도우(1160)를 투과해 영상을 프로젝션할 수 있다.

구동 모듈(1500)은 디스플레이 디스플레이-백의 출력 방향이나 출력 영역을 조절할 수 있다. 일 예로, 구동 모듈(1500)은 도 14에 도시된 바와 같이 회전 모터(1520) 및 회전 플레이트(1540)를 포함할 수 있다. 회전 모터(1520)는 하우징(1100)의 내부에 설치되고, 회전력을 발생시켜 회전 플레이트(1540)를 회전시킬 수 있다. 회전 플레이트(1540)는 도 14에 도시된 바와 같이 원형판으로 제공될 수 있다. 회전 플레이트(1540)는 회전 모터(1520)로부터 회전력을 전달받아 하우징(1100) 내부에서 하우징(1100)에 대해 상대적으로 회전할 수 있다. 회전 플레이트(1540) 상에는 프로젝터(1440)가 고정 설치되어 있으며, 따라서 회전 플레이트(1540)가 회전하면 프로젝터(1440)는 회전 플레이트(1540)와 일체로 회전하게 된다. 이에 따라 프로젝터(1440)의 프로젝션 방향이 회전할 수 있다.

또 구동 모듈(1500)은 추가적으로 현재 프로젝션 방향을 감지하기 위한 방향 감지 센서(1560)를 더 포함할 수 있다. 예를 들어, 방향 감지 센서(1560)로는 회전 플레이트(1540)의 모서리에 형성되는 소정의 패턴을 읽는 인코더, 회전 플레이트(1540)의 회전 각도를 감지하는 자이로 센서, 회전 모터(1520)의 회전 각도를 산출하는 각종 센서 등으로 제공될 수 있다.

이상에서는 구동 모듈(1500)이 프로젝터(1440)를 수평 방향으로 회전시키는 회전 모듈과 회전 플레이트(1540)로 구현되는 것으로 설명하였으나, 구동 모듈(1500)은 도 12 이외에도 다양한 형태를 가질 수 있으며, 프로젝션 방향이 반드시 수평 방향으로 조절되어야만 하는 것은 아니며 수직 방향으로 조절되는 것도 가능하다. 예를 들어, 구동 모듈(1500)은 회전 플레이트(1540)를 상하 방향으로 승강시키는 피스톤 또는 피스톤에 준하는 구동 수단을 포함하여 프로젝터(1440)를 승강시킴으로써 프로젝션 영역을 조절할 수 있다. 다른 예를 들어, 구동 모듈(1500)은 프로젝터(1440)로부터 출광되는 빔의 방향을 조절하는 MEMS 미러 등과 같은 틸팅 미러를 포함하여 프로젝션 방향을 수직 방향으로 조졸할 수 있다.

전원 모듈(1600)은 스마트 디바이스(1000)가 동작하기 위해 필요한 전원을 제공한다. 전원 모듈(1600)은 통상적으로 하우징(1100)의 하부에 마련될 수 있다. 전원 모듈(1600)은 전력을 입력받는 입력단, 입력된 전력을 저장하는 배터리, 배터리로부터 전력을 출력하는 출력단 및 출력단으로부터 스마트 디바이스(1000)의 각 구성 요소로 연결되는 전력선을 포함할 수 있다. 또는 전원 모듈(1600)은 필요에 따라 배터리를 생략하고 입력단으로부터 전력선으로 직접 연결될 수도 있다.

방열 모듈(1800)은 스마트 디바이스(1000)의 동작으로 인해 발생하는 열을 방열할 수 있다. 방열 모듈(1800)의 예로는 히트핀이나 히트싱크, 히트팬 등의 형태로 제공될 수 있다. 도 13 및 도 14에 도시된 스마트 디바이스(1000)의 구성 중 주로 프로젝터(1440)에서 가장 많은 열이 발생할 수 있는데, 이때에는 방열 모듈(1800)은 프로젝터(1440)의 주변에 설치되는 것이 바람직할 수 있다.

통신 모듈(1020), 메모리(1040) 및 콘트롤러(1060)는 본 예에서 그 일부 또는 전부가 사용자 위치를 감지하고, 지향성 피드백을 출력하는데 이용될 수 있다. 이들 구성에 대해서는 이미 상술한 바 있으므로 여기서는 자세한 설명은 생략하기로 한다.

2.3. 지향성 피드백의 출력 동작

2.3.1. 사용자 위치의 감지

본 발명의 일 실시예에서는 스마트 디바이스(1000)가 사용자 위치를 감지할 수 있다. 여기서, 사용자 위치란, 전술한 바와 같이 스마트 디바이스(1000)에 대한 사용자의 거리 및 방향 중 적어도 하나를 포함하는 개념이다.

스마트 디바이스(1000)는 다양한 방법을 통해 사용자 위치를 감지할 수 있다. 또 스마트 디바이스(1000)는 로컬에서 스탠드 얼론으로 독자적으로 사용자 위치를 감지하거나 또는 보이스 어시스턴트 서버(10)나 다른 서버와 협업하여 사용자 위치를 감지할 수 있다. 예를 들어, 스마트 디바이스(1000)는, 사용자 위치 감지 모듈(1700)이 사용자 위치를 감지하기 위한 정보를 획득하고 콘트롤러(1060)가 상기 정보를 이용해 사용자 위치를 판단하는 것을 통해, 사용자 위치를 감지할 수 있다. 다른 예로, 스마트 디바이스(1000)는 사용자 위치를 감지하기 위한 정보를 획득하고 이를 서버에 전송하고 서버로부터 상기 정보에 기초하여 판단된 사용자 위치를 수신받는 것을 통해 사용자 위치를 감지할 수도 있다.

스마트 디바이스(1000)는 사용자 위치를 감지하기 위한 정보를 다양한 형태로 획득할 수 있다.

일 예로, 스마트 디바이스(1000)는 각종 카메라를 이용해 가시광 이미지, 열화상 이미지 또는 적외선 이미지를 촬상하고, 촬상된 이미지로부터 이미지에 포함된 사용자를 인식하고, 인식된 사용자의 이미지 내의 위치에 기반해 사용자 위치를 판단할 수 있다. 다른 예로는, 마이크(1202)로 소프트사의 키넥트와 같이 적외선 패턴의 변형을 감지하는 방식을 이용할 수도 있다. 또 다른 예로는, 스마트 디바이스(1000)가 깊이 카메라(deapth camera)를 구비하여 깊이 이미지(depth iamge)를 획득하고, 깊이 이미지로부터 사용자를 인식하는 방식으로 사용자 위치를 판단할 수도 있다.

또는 스마트 디바이스(1000)는 음성 입력 모듈(1200)(특히, 마이크 어레이(1204))를 이용해 사용자 위치를 감지할 수도 있다. 예를 들어, 복수의 마이크(1202)로 구성되는 마이크 어레이(1204)를 가지는 스마트 디바이스(1000)는 사용자가 발화한 사용자 음성이 각 마이크(1202)에 수신될 때, 마이크(1202) 별로 수신되는 음성 특성이 상이한 것을 이용하여 사용자 위치를 감지할 수도 있다. 예를 들어, 콘트롤러(1060)는 마이크(1202) 별로 수신되는 사용자 음성을 분석하여, 수신된 음성의 크기가 가장 큰 마이크(1202)가 배치된 방향에 사용자가 있는 것으로 판단할 수 있다. 다른 예를 들어, 콘트롤러(1060)는 마이크(1202) 별로 수신되는 사용자 음성을 분석하여, 수신된 음성의 수신 시각이 가장 빠른 마이크(1202)가 배치된 방향에 사용자가 있는 것으로 판단할 수도 있다. 물론, 사용자 위치를 감지하기 위해 이용되는 음성 특성은 음성 크기, 음성 수신 시각 이외에도 다양할 수 있다.

2.3.2. 지향성 피드백의 출력

스마트 디바이스(1000)는 요청받은 피드백을 사용자를 지향해 출력할 수 있다. 여기서, 사용자 지향이란 단순히 사용자를 향해 출력하는 것은 물론, 사용자가 피드백을 제공받기 적절한 위치나 방향에 피드백을 출력하는 것을 의미할 수 있다.

도 13 및 도 14는 본 발명의 일 실시예에 따른 지향성 피드백의 출력에 관한 도면이다.

스마트 디바이스(1000)는 사용자를 향해 디스플레이-백을 프로젝션 할 수 있다. 콘트롤러(1060)가 프로젝터(1440)의 프로젝션 방향을 사용자를 향하도록 구동 모듈(1500)을 제어함으로써 디스플레이-백이 사용자를 향해 출력될 수 있다. 예를 들어, 스마트 디바이스(1000)는 프로젝션 영역이 사용자의 주변헤 형성시킬 수 있다. 구체적으로 도 13을 살펴보면 스마트 디바이스(1000)는 사용자와 스마트 디바이스(1000)를 연결하는 가상의 라인 상에서 사용자에 가까운 지점에 프로젝션 영역을 형성할 수 있다.

여기서, 지향성 디스플레이-백이 반드시 사용자를 향한 방향으로 프로젝션 되어야 하는 것은 아니다. 예를 들어, 스마트 디바이스(1000)는 벽을 향해 프로젝션 할 때에는, 사용자 위치의 반대측으로 영상을 출력할 수 있다. 구체적으로 도 14를 살펴보면 사용자, 스마트 디바이스(1000) 및 프로젝션 영역이 순서대로 배치되도록 프로젝션 영역을 형성할 수 있다.

한편, 스마트 디바이스(1000)가 사용자의 시선 방향을 감지할 수 있는 경우에는 스마트 디바이스(1000)는 사용자의 시선 방향을 더 고려하여 지향성 피드백의 출력 방향 또는 출력 영역을 조절할 수도 있다. 이를 위해 스마트 디바이스(1000)는 시선 방향을 감지하기 위한 구성을 더 구비하거나 콘트롤러(1060)가 각종 정보를 이용해 시선 방향을 판별할 수 있다.

2.3.3. 사용자 음성에 기반한 지향성 피드백의 출력

상술한 사용자 위치의 감지와 지향성 피드백의 출력은 사용자 음성에 기반하여 이루어질 수 있다.

일 예에 따르면, 스마트 디바이스(1000)가 스탠바이 모드일 때, 음성 입력 모듈(1200)이 사용자 음성을 획득하고 콘트롤러(1060)가 사용자 음성을 수신한 각 마이크(1202) 별 음성 특성에 기초하여 사용자 위치를 판단할 수 있다. 사용자 위치가 판단되면, 구동 모듈(1500)은 즉시 프로젝터(1440)의 프로젝션 방향을 사용자 지향성을 갖도록 조절할 수 있다. 이후 스마트 디바이스(1000)의 프로젝터(1440)는 리스닝 모드에서 입력되는 사용자 음성에 포함된 보이스 커맨드에 관련된 디스플레이-백을 지향성 피드백으로 출력할 수 있다.

다른 예에 따르면, 스마트 디바이스(1000)가 스탠바이 모드일 때, 음성 입력 모듈(1200)이 사용자 음성을 획득하고 사용자 음성로부터 웨이크업 워드를 검출할 수 있다. 웨이크업 워드가 검출되면, 콘트롤러(1060)는 사용자 음성을 수신한 각 마이크(1202) 별 음성 특성에 기초하여 사용자 위치를 판단하고 구동 모듈(1500)은 프로젝터(1440)의 프로젝션 방향을 사용자 지향성을 갖도록 조절할 수 있다. 이에 따라 스마트 디바이스(1000)의 프로젝터(1440)는 리스닝 모드에서 입력되는 사용자 음성에 포함된 보이스 커맨드에 관련된 디스플레이-백을 지향성 피드백으로 출력할 수 있다. 여기서, 사용자 위치의 판단과 프로젝션 방향의 조절은 리스닝 모드에 진입하기 전에, 진입한 후에 또는 진입과 동시에 이루어질 수 있다.

또 다른 예에 따르면, 스탠바이 모드인 스마트 디바이스(1000)는, 음성 입력 모듈(1200)이 사용자 음성을 획득하고 사용자 음성로부터 웨이크업 워드가 검출되면, 리스닝 모드로 진입할 수 있다. 리스닝 모드에 진입하면, 음성 입력 모듈(1200)은 보이스 커맨드를 담은 사용자 음성을 수신하고, 리스닝 모드에서 수신된 사용자 음성에 따른 각 마이크(1202) 별 음성 특성에 기초하여 사용자 위치를 판단하고 구동 모듈(1500)은 프로젝터(1440)의 프로젝션 방향을 사용자 지향성을 갖도록 조절할 수 있다. 이에 따라 스마트 디바이스(1000)의 프로젝터(1440)는 리스닝 모드에서 입력되는 사용자 음성에 포함된 보이스 커맨드에 관련된 디스플레이-백을 지향성 피드백으로 출력할 수 있다.

한편, 이상에서는 스마트 디바이스(1000)가 직접 사용자 위치를 판단하는 것으로 설명하였으나, 이와 달리 스마트 디바이스(1000)가 사용자 음성을 보이스 어시스턴트 서버(10)(또는 다른 서버)로 전송하고, 서버에서 사용자 위치를 판단하여 스마트 디바이스(1000)에 전달하는 것도 가능하다.

2.4. 지향성 스마트 디바이스의 세부 구성

이상에서는 지향성 피드백을 출력하는 스마트 디바이스(1000)와 그 동작에 관하여 설명하였다.

이와 관련하여 이하에서는 상술한 도 11 및 도 12에 도시된 지향성 피드백을 출력하는 스마트 디바이스(1000)의 예시에 적용될 수 있는 하우징(1100), 투명 윈도우(1160), 전원 모듈(1600) 및 콘트롤러(1060)의 구조, 형상, 배치 및 구성에 관하여 보다 구체적으로 설명한다.

2.4.1. 하우징

도 15 내지 도 17는 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스(1000)의 몇몇 예에 관한 도면이다.

일 예에 따르면, 도 15에 도시된 바와 같이 스마트 디바이스(1000)의 하우징(1100)은 상부 프레임(1140), 하부 프레임(1120) 및 투명 윈도우(1160)가 상하 방향에 따라 순서대로 배치되는 형태로 제공될 수 있다.

하부 프레임(1120)은 바닥에 거치되는 하면(거치면)과 하면으로부터 상방으로 연장되는 측면을 가질 수 있다. 여기서, 하부 프레임(1120)의 하면은 원판, 타원판 내지는 다각판일 수 있다. 또 하부 프레임(1120)의 상부는 개방된 형태로 제공될 수 있다. 예를 들어, 하부 프레임(1120)은 상부가 개방된 원통형으로 제공될 수 있다.

상부 프레임(1140)은 상면(거치면)과 상면으로부터 하방으로 연장되는 측면을 가질 수 있다. 여기서, 하부 프레임(1120)의 상면은 원판, 타원판 내지는 다각판일 수 있다. 또 상부 프레임(1140)의 하부는 개방된 형태로 제공될 수 있다. 예를 들어, 상부 프레임(1140)은 하부가 개방된 원통형으로 제공될 수 있다.

투명 윈도우(1160)는 상부와 하부가 개방된 통 형상으로 측면을 가질 수 있다. 여기서, 상부에서 본 투명 윈도우(1160)는 단면은 원, 타원 내지는 다각형일 수 있다. 예를 들어, 투명 윈도우(1160)는 상하부가 개방된 원형 링이나 원통 형상일 수 있다.

하부 프레임(1120)과 상부 프레임(1140)은 투명 윈도우(1160)를 사이에 두고 배치될 수 있다. 구체적으로 투명 윈도우(1160)의 하부에는 하부 프레임(1120)의 상부가 결합되고, 투명 윈도우(1160)의 상부에는 상부 프레임(1140)의 하부가 결합될 수 있다. 이로써, 하부 프레임(1120), 상부 프레임(1140) 및 투명 윈도우(1160)가 하우징(1100)으로 일체를 이룰 수 있다.

다른 예에 따르면, 도 15를 참조하여 설명한 바와 같이 하우징(1100)이 상부 프레임(1140), 하부 프레임(1120) 및 투명 윈도우(1160)가 상하 방향에 따라 순서대로 배치되는 형태로 제공되되, 도 16에 도시된 바와 같이 상부 프레임(1140)과 하부 프레임(1120)이 중앙 기둥을 통해 서로 연결될 수 있다.

여기서, 상부 프레임(1140), 중앙 기둥 및 하부 프레임(1120)은 단일한 몸체를 이룰 수도 있지만, 상부 프레임(1140), 중앙 기둥 및 하부 프레임(1120) 중 적어도 하나가 분리되는 형태로 제공되는 것도 가능하다. 한편, 여기서 중앙 기둥은 후술할 전력선이나 통신선 등이 그 내부에 수용되도록 그 내부가 빈 실린더 형태로 제공될 수도 있다.

또 다른 예에 따르면, 도 17에 도시된 바와 같이 하우징(1100)은 메인 프레임과 투명 윈도우(1160)를 포함할 수도 있다. 메인 프레임은 상면과 하면, 그리고 상면과 하면을 연결하는 측면을 가질 수 있다. 여기서, 상면과 하면은 원판, 타원판 내지는 다각판일 수 있다. 예를 들어, 메인 프레임은 원 기둥 형상일 수 있다.

이때, 메인 프레임에는 슬릿이 형성될 수 있다. 슬릿은 하나 또는 복수일 수 있다. 슬릿은 하우징(1100)을 상부에서 볼 때 하우징(1100)의 중심과 슬릿의 양단이 부채꼴을 이루는 형태로 형성될 수 있다. 슬릿의 각도는 30도 내지 360도 내에서 자유로이 설정될 수 있다. 또 슬릿이 복수 개 형성되는 것도 가능하다. 슬릿의 높이 역시 자유로이 설정될 수 있다.

투명 윈도우(1160)는 하우징(1100)에 형성된 슬릿에 대응하는 형상으로 제공되며, 슬릿이 삽입된 상태로 하우징(1100)에 체결될 수 있다.

2.4.2. 투명 윈도우

도 18은 본 발명의 일 실시예에 따른 투명 윈도우(1160)의 예시의 사시도이다.

투명 윈도우(1160)는 하우징(1100)의 형태에 따라 상부에서 볼 때 원 또는 부채꼴의 단면을 가지는 통 형상으로 제공될 수 있다. 예를 들어, 투명 윈도우(1160)는 도 18에 도시된 바와 같이 링 형상의 통으로 제공될 수 있다.

투명 윈도우(1160)는 프로젝터(1440)에서 출광되는 이미지가 통과하는 통로로 기능하므로 가능한한 광 투과율이 높은 재질을 이용하는 것이 바람직하다. 또한, 스마트 디바이스(1000)가 사용되는 중 투명 윈도우(1160)가 외부 충격을 받을 수도 있으므로, 투명 윈도우(1160)의 재질은 충격에 강하고, 흠짐이 잘 나지 않는 것을 사용하는 것이 좋다. 예를 들어, 투명 윈도우(1160)는 투명 플라스틱이나 유리 등의 소재로 제작될 수 있다.

한편, 투명 윈도우(1160)의 측단면을 살펴보면, 투명 윈도우(1160)의 두께는 다양한 형태를 취할 수 있다. 예를 들어, 투명 윈도우(1160)는 그 높이와 무관하게 동일한 두께를 가질 수 있다. 그러나, 다른 에를 들면, 투명 윈도우(1160)는 그 높이에 따라 두께가 상이할 수 있다.

도 19 및 도 21은 본 발명의 일 실시예에 따른 투명 윈도우(1160)의 몇몇 예시의 단면도이다.

도 19를 살펴보면, 투명 윈도우(1160)는 하부에서의 두께가 상부에서의 두께보다 작을 수 있다. 예를 들어, 투명 윈도우(1160)는 제1 높이에서의 두께가 제1 높이보다 작은 제2 높이에서의 두께보다 작을 수 있다.

스마트 디바이스(1000)의 프로젝터(1440)가 테이블이나 바닥면을 향해 프로젝션 하는 경우에 프로젝터(1440)는 광을 하방으로 출사할 수 있다. 이때 투명 윈도우(1160)의 두께가 높이와 무관하게 일정하다면, 전체 광 경로 중 상부 광경로가 투명 윈도우(1160)를 통과하는 거리보다 하부 광경로가 투명 윈도우(1160)를 통과하는 거리가 더 클 수 있다. 이에 반해 도 19와 같이 하부에서의 두께가 상부에서의 두께보다 큰 투명 윈도우(1160)를 이용하면 상부 광경로와 하부 광경로가 투명 윈도우(1160)를 통과하는 거리의 차이를 감소시키거나 제거할 수 있다. 이에 따라 프로젝션 영상이 개선될 수 있다.

도 20을 살펴보면, 투명 윈도우(1160)는 하부에서의 두께가 상부에서의 두께보다 클 수 있다. 예를 들어, 투명 윈도우(1160)는 제1 높이에서의 두께가 제1 높이보다 작은 제2 높이에서의 두께보다 클 수 있다.

스마트 디바이스(1000)의 프로젝터(1440)가 벽면 등을 향해 프로젝션 하는 경우에 프로젝터(1440)는 광을 상방으로 출사할 수 있다. 이때 투명 윈도우(1160)의 두께가 높이와 무관하게 일정하다면, 전체 광 경로 중 상부 광경로가 투명 윈도우(1160)를 통과하는 거리보다 하부 광경로가 투명 윈도우(1160)를 통과하는 거리가 더 작을 수 있다. 이에 반해 도 20과 같이 하부에서의 두께가 상부에서의 두께보다 작은 투명 윈도우(1160)를 이용하면 상부 광경로와 하부 광경로가 투명 윈도우(1160)를 통과하는 거리의 차이를 감소시키거나 제거할 수 있다. 이에 따라 프로젝션 영상이 개선될 수 있다.

도 21을 살펴보면, 투명 윈도우(1160)는 프로젝션 영상이 투명 윈도우(1160)를 수직으로 통과하는 높이에서의 두께보다 그 상부 및/또는 하부에서의 두께가 작을 수 있다. 다시 말해, 투명 윈도우(1160)는 수직 방향상 프로젝터(1440)의 출광부의 높이에 대응되는 지점에서의 두께가 다른 지점보다 클 수 있다.

스마트 디바이스(1000)의 프로젝터(1440)가 그 프로젝션 영상을 상하 방향으로 틸팅할 수 있다면, 프로젝터(1440)는 광을 수평 방향, 상방 또는 하방으로 출력할 수 있다. 따라서, 도 21과 같이 프로젝터(1440)에서 출사된 광이 투명 윈도우(1160)를 수직으로 통과하는 지점에 비해 다른 지점들에서의 두께가 작으면, 투명 윈도우(1160)를 통과하는 광경로 별로 투명 윈도우(1160)를 통과하는 거리의 차이를 감소시키거나 제거할 수 있다. 이에 따라 프로젝션 영상이 개선될 수 있다.

2.4.3. 전원 모듈 구조

도 22 및 23은 본 발명의 일 실시예에 따른 전원 모듈(1600)의 몇몇 예시에 관한 도면이다.

도 22에 도시된 일 예에 따르면, 입력단은 외부로부터 전원을 공급받는 플러그나 포트 형태로 제공될 수 있다. 배터리(배터리 대신 변압기나 정류기 등 전원 회로일 수 있음)는 하우징(1100)의 하부(예를 들어, 하부 프레임(1120)의 바닥면)에 설치될 수 있다.

하우징(1100)의 내부에는 프로젝터(1440)를 회전시키기 위한 회전 플레이트(1540)가 설치될 수 있다. 예를 들어, 회전 플레이트(1540)는 하부 프레임(1120)으로부터 미리 정해진 높이만큼 이격된 거리에는 설치될 수 있다. 회전 플레이트(1540)를 회전시키는 회전 모터(1520)는 하부 프레임(1120)에 설치되며, 회전 플레이트(1540)는 회전 모터(1520)의 상부에 직간접적으로 안착될 수 있다. 또 프로젝터(1440)는 회전 플레이트(1540)의 상면에 배치될 수 있다.

이때, 회전 플레이트(1540)의 중앙부에는 관통홀이 형성되어 있을 수 있다. 관통공은 반드시 회전 플레이트(1540)의 정중앙에 형성되어야 하는 것은 아니다. 예를 들어, 관통공이 형성되는 영역이 회전 플레이트(1540)의 중심축을 지나도록 관통공이 형성될 수 있다. 다른 예를 들어, 관통공이 형성되는 영역이 회전 플레이트(1540)의 중심축으로부터 미리 정해진 거리만큼만 이격된 거리를 지나도록 관통공이 형성될 수도 있다.

출력단에는 배터리로부터 프로젝터(1440)로 연결되는 전력선이 포함될 수 있다. 이때 전력선은 관통공을 통과하여 프로젝터(1440)로 연결될 수 있다. 스마트 디바이스(1000)가 프로젝션 방향을 조절하기 위해 회전 플레이트(1540)를 회전시키면, 하부 프레임(1120)에 고정된 배터리에 대하여 회전 플레이트(1540) 상에 설치된 프로젝터(1440)가 상대적으로 이동할 수 있다. 배터리로부터 프로젝터(1440)로 연결되는 전력선이 관통공을 통과하여 프로젝터(1440)로 연결되면, 배터리에 대하여 프로젝터(1440)가 상대 이동하더라도 전력선이 꼬이는 것이 최대한 방지할 수 있다.

도 23에 도시된 다른 예에 따르면, 출력단은 각각 하부 프레임(1120)과 회전 플레이트(1540)에 서로 삽입되어 연결되는 상부 전극(1620)과 하부 전극(1640)을 포함할 수 있다.

하부 전극(1640)은 배터리에 연결되며 하부 프레임(1120)의 상면에 슬릿이나 돌기 형태로 형성될 수 있다. 상부 전극(1620)은 프로젝터(1440)에 연결되며 회전 플레이트(1540)의 하면에 하부 전극(1640)과 상보적인 형태로 형성될 수 있다. 이에 따라 상부 전극(1620)과 하부 전극(1640)이 서로 체결되어 전기적으로 연결될 수 있다.

상부 전극(1620) 및 하부 전극(1640) 중 적어도 하나는 링형으로 형성될 수 있다. 또 상부 전극(1620)과 하부 전극(1640) 중 어느 하나는 링에 끼워져 링을 따라 회전이 가능한 브라켓 형태로 제공될 수 있다. 예를 들어, 하부 전극(1640)은 링 형태의 돌기나 홈으로 제공되고, 상부 전극(1620)은 돌기나 홈에 끼워지는 슬릿이나 슬롯 타입의 브라켓일 수 있다. 다른 예로, 하부 전극(1640)은 링 형태의 돌기나 홈으로 제공되고, 상부 전극(1620)은 하부 전극(1640)이 끼워지는 홈이나 하부 전극(1640)에 끼워지는 돌기로 제공되는 링으로 형성될 수 있다.

도 23에 도시된 전극 구조를 이용하면, 회전 플레이트(1540)가 회전하더라도 상부 전극(1620)과 하부 전극(1640)이 연결된 상태에서 서로 회전하므로 전력선이 꼬이는 것으로 인해 회전에 제약을 받는 문제점을 해결할 수 있다.

한편, 상부 전극(1620) 및 하부 전극(1640) 중 브라켓 형태로 제공되는 전극 측(하부 프레임(1120) 또는 회전 플레이트(1540))에는 더미 브라켓이 추가로 더 마련될 수 있다. 이는 회전 플레이트(1540)가 안정적으로 회전할 수 있도록 하기 위함이다.

상술한 상부 전극(1620) 및 하부 전극(1640) 간의 전기적 연결은 다양한 단자 형태로 이루어질 수 있다.

도 24 및 도 25는 본 발명의 일 실시예에 따른 전극의 단자들의 몇몇 예시에 관한 도면이다.

상부 전극(1620)과 하부 전극(1640)은 돌기와 홈 구조로 결합되므로, 세 면을 통해 서로 접촉할 수 있다. 전극의 단자들은 (+) 단자, (-) 단자, 접지 단자 중 적어도 둘을 포함할 수 있으며, 전극의 단자들은 각각 서로 다른 면에 배치될 수 있다.

예를 들어 도 24를 살펴보면, 링 형태의 돌기인 하부 전극(1640)에 브라켓 형태의 상부 전극(1620)이 끼워질 수 있다. 여기서, 하부 전극(1640)의 내측면, 상단면, 외측면에는 (+) 단자, 접지 단자, (-) 단자 중 어느 하나가 각각 마련될 수 있다. 이와 대응하여 상부 전극(1620)에도 하부 전극(1640)의 마주보는 면 별로 (+) 단자, 접지 단자, (-) 단자 중 어느 하나가 각각 마련될 수 있다. 여기서, 단자들 중 하나는 생략되는 것도 가능하다.

이와 달리 전극의 단자들이 모두 동일한 면에 배치되거나 적어도 두 개가 동일한 면에 배치되는 것도 가능하다.

예를 들어 도 25를 살펴보면, 링 형태의 돌기인 하부 전극(1640)에 브라켓 형태의 상부 전극(1620)이 끼워질 수 있다. 여기서, 하부 전극(1640)의 내측면의 서로 다른 높이에 (+) 단자, 접지 단자, (-) 단자 중 적어도 둘 이상이 마련되고, 이와 대응하여 상부 전극(1620)의 상기 내측면과 마주하는 면에도 서로 다른 높이에 (+) 단자, 접지 단자, (-) 단자 중 적어도 둘 이상이 마련될 수 있다.

한편, 상술한 단자 구조는 도 24 및 도 25에 의해 한정되는 것은 아니다. 예를 들어, 복수 개의 브라켓을 이용하는 경우에는 브라켓 별로 단자를 분산시킬 수도 있다. 또 링 형상의 전극이 반드시 완전한 링 형상이어야 하는 것은 아니며 불완전한 링 형상일 수도 있다.

2.4.4. 콘트롤러 등의 배치

상술한 도 11 및 도 12에 도시된 지향성 피드백을 출력하는 스마트 디바이스(1000)의 예시에서는 회전 플레이트(1540) 상에 배치된 프로젝터(1440)가 하우징(1100)에 대하여 상대적으로 회전할 수 있다. 여기서, 상부 프레임(1140) 또는 마이크 어레이(1204)도 프로젝터(1440)와 함께 회전할 수 있지만, 경우에 따라서 마이크 어레이(1204)는 회전하지 않을 수도 있다. 이때 콘트롤러(1060)가 단일 유닛으로 제공되면, 마이크 어레이(1204)나 프로젝터(1440)와 각각 데이터를 주고 받기 위한 통신선이 회전 플레이트(1540)의 회전에 의해 꼬일 수 있다.

따라서, 본 예에서는 콘트롤러(1060)가 복수 개 제공될 수 있다. 예를 들어, 프로젝터(1440)의 영상 처리를 위한 하나의 콘트롤러(1060)가 회전 플레이트(1540) 상에 설치되고, 마이크 어레이(1204)의 음성 처리를 위한 다른 콘트롤러(1060)는 하우징(1100)에 고정 설치될 수 있다. 여기서, 마이크 어레이(1204)를 위한 콘트롤러(1060)가 상부 프레임(1140)에 설치되고, 추가적으로 스마트 디바이스(1000) 전반을 관리하기 위한 또 다른 콘트롤러(1060)가 하부 프레임(1120)에 설치되는 것도 가능하다.

이와 같은 구조에서 각 콘트롤러(1060)는 유선으로 연결될 수도 있지만, 무선 통신 방식으로 연결될 수도 있다. 또는 상술한 도 24 및 도 25에서 전력 또는 전력선을 연결하는 방식과 유사하게 통신선을 연결하는 것도 가능하다.

이하에서는 본 발명의 일 실시예에 따른 지향성 피드백 출력 방법에 관하여 설명한다. 이하의 기재에서는 지향성 피드백 출력 방법이 상술한 스마트 디바이스(1000)에 의해 수행되는 것을 기준으로 설명하지만, 이는 설명의 편의를 위한 것에 불과하므로 지향성 피드백 출력 방법은 본 명세서에서 언급된 스마트 디바이스(1000) 이외에도 본 명세서에 언급된 스마트 디바이스(1000)와 유사한 동작을 수행할 수 있는 다른 기기에 의해서도 수행될 수 있음을 밝혀둔다. 한편, 이하의 설명에서 특별한 언급이 없는 경우에는 스마트 디바이스(1000)가 수행하는 동작들은 콘트롤러(1060)에 의해 수행되는 것으로 또는 콘트롤러(1060)가 스마트 디바이스(1000)의 다른 구성 요소를 제어하는 것을 통해 수행되는 것으로 이해될 수 있다.

이하에서는 본 발명의 일 실시예에 따른 지향성 피드백 출력 방법에 관하여 설명한다. 이하의 기재에서는 지향성 피드백 출력 방법이 상술한 스마트 디바이스에 의해 수행되는 것을 기준으로 설명하지만, 이는 설명의 편의를 위한 것에 불과하므로 지향성 피드백 출력 방법은 본 명세서에서 언급된 스마트 디바이스 이외에도 본 명세서에 언급된 스마트 디바이스와 유사한 동작을 수행할 수 있는 다른 기기에 의해서도 수행될 수 있음을 밝혀둔다. 한편, 이하의 설명에서 특별한 언급이 없는 경우에는 스마트 디바이스가 수행하는 동작들은 콘트롤러에 의해 수행되는 것으로 또는 콘트롤러가 스마트 디바이스의 다른 구성 요소를 제어하는 것을 통해 수행되는 것으로 이해될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

10: 보이스 어시스턴트 서버
1000: 스마트 디바이스
1020: 통신 모듈
1040: 메모리
1060: 콘트롤러
1100: 하우징
1106: 인디케이터
1120: 하부 프레임
1140: 상부 프레임
1160: 투명 윈도우
1200: 음성 입력 모듈
1202: 마이크
1204: 마이크 어레이
1300: 음성 출력 모듈
1302: 스피커
1400: 디스플레이 모듈
1420: 디스플레이 패널
1440: 프로젝터
1500: 구동 모듈
1520: 회전 모터
1540: 회전 플레이트
1560: 방향 감지 센서
1600: 전원 모듈
1700: 사용자 위치 감지 모듈
1720: (모노/스테레오) 카메라
1800: 방열 모듈

Claims (11)

1. 상부가 개방된 통 형상의 하부 프레임, 하부가 개방된 통 형상의 상부 프레임 및 상기 상부 프레임과 하부 프레임의 사이에 배치되는 상하부가 개방된 통 형상의 투명 윈도우를 포함하고, 상기 하부 프레임, 상기 투명 윈도우 및 상기 상부 프레임이 차례로 결합되서 일체를 이루는 하우징;
   상기 하우징의 내부에 설치되고, 상기 하우징의 중심을 회전축으로 회전하는 회전 부재;
   상기 회전 부재 상에 설치되어 상기 회전 부재의 회전에 따라 그 프로젝션 방향이 조절되고, 영상을 출력하는 광 출력부가 상기 회전축으로부터 상기 투명 윈도우의 내면을 향해 미리 정해진 이격 거리만큼 이격 배치되는 프로젝터;
   상기 하우징의 상면에 설치되는 복수의 마이크를 포함하고, 사용자 음성을 수신하는 마이크 어레이; 및
   상기 사용자 음성에 포함된 보이스 커맨드에 관련된 피드백 데이터에 기초하여 상기 프로젝터를 통해 디스플레이-백을 출력하되, 상기 복수의 마이크에서 수신된 사용자 음성에 기초하여 예측되는 사용자의 위치를 고려하여 상기 디스플레이-백이 출력되는 프로젝션 방향을 조절되도록 상기 회전 부재를 회전시키는 콘트롤러;를 포함하되,
   상기 투명 윈도우는, 높이 방향에 따라 그 두께가 상이한 것을 특징으로 하는
   스마트 디바이스.
   
2. 제1 항에 있어서,
   상기 투명 윈도우는, 제1 높이에서의 두께가 상기 제1 높이보다 작은 제2 높이에서의 두께가 더 작은 것을 특징으로 하는
   스마트 디바이스.
   
3. 제2 항에 있어서,
   상기 투명 윈도우는, 그 높이가 작을수록 그 두께가 작아지는 것을 특징으로 하는
   스마트 디바이스.
   
4. 제2 항에 있어서,
   상기 프로젝션 방향은 수평보다 아래쪽을 향하고,
   상기 프로젝션되는 광이 상기 제1 높이에서 상기 투명 윈도우를 통과하는 거리와 상기 제2 높이에서 상기 투명 윈도우를 통과하는 거리가 실질적으로 동일한
   스마트 디바이스.
   
5. 제1 항에 있어서,
   상기 투명 윈도우는, 제1 높이에서의 두께가 상기 제1 높이보다 큰 제2 높이에서의 두께가 더 작은 것을 특징으로 하는
   스마트 디바이스.
   
6. 제5 항에 있어서,
   상기 투명 윈도우는, 그 높이가 클수록 그 두께가 작아지는 것을 특징으로 하는
   스마트 디바이스.
   
7. 제5 항에 있어서,
   상기 프로젝션 방향은 수평보다 윗쪽을 향하고,
   상기 프로젝션되는 광이 상기 제1 높이에서 상기 투명 윈도우를 통과하는 거리와 상기 제2 높이에서 상기 투명 윈도우를 통과하는 거리가 실질적으로 동일한
   스마트 디바이스.
   
8. 제1 항에 있어서,
   상기 투명 윈도우는, 수평으로 프로젝션되는 빔이 통과하는 특정 지점에서의 두께보다 다른 지점에서의 두께가 더 작은 것을 특징으로 하는
   스마트 디바이스.
   
9. 제1 항에 있어서,
   상기 투명 윈도우는, 상기 프로젝터의 광을 출력부에 대응하는 높이에서의 두께보다 다른 지점에서의 두께가 더 작은 것을 특징으로 하는
   스마트 디바이스.
   
10. 제1 항에 있어서,
    상기 투명 윈도우는, 제1 높이에서의 두께보다 상기 제1 높이보다 낮거나 높은 제2 높이에서의 두께가 더 작은 것을 특징으로 하는
    스마트 디바이스.
    
11. 제10 항에 있어서,
    상기 투명 윈도우는, 상기 제1 높이로부터 멀어질수록 그 두께가 점점 작아지는 것을 특징으로 하는
    스마트 디바이스.
    

Images