KR20200012410A - 스마트 디바이스 및 그 제어 방법 - Google Patents
스마트 디바이스 및 그 제어 방법 Download PDFInfo
- Publication number
- KR20200012410A KR20200012410A KR1020180087680A KR20180087680A KR20200012410A KR 20200012410 A KR20200012410 A KR 20200012410A KR 1020180087680 A KR1020180087680 A KR 1020180087680A KR 20180087680 A KR20180087680 A KR 20180087680A KR 20200012410 A KR20200012410 A KR 20200012410A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- projection area
- smart
- voice
- smart device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000004044 response Effects 0.000 claims description 17
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 230000001939 inductive effect Effects 0.000 claims description 8
- 230000001678 irradiating effect Effects 0.000 abstract 1
- 230000008859 change Effects 0.000 description 32
- 230000036544 posture Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 10
- 230000006399 behavior Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000086550 Dinosauria Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006266 hibernation Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/145—Housing details, e.g. position adjustments thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 광을 출사하여 투영 영역에 영상을 출력하는 스마트 디바이스의 제어 방법에 있어서, 사용자의 스마트 디바이스에 대한 위치 정보를 획득하는 단계, 사용자 중 발화자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 발화자의 위치 정보에 대응되는 제1 투영 영역을 상기 투영 영역으로 하여 상기 제1 보이스 커맨드에 대응되는 영상 피드백을 출력하는 단계 및 발화자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하고, 사용자 중 비발화자의 위치 정보를 고려하여 결정되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 단계를 포함하는 스마트 디바이스의 제어 방법에 관한 것이다.
Description
본 발명은 스마트 디바이스 및 그 제어 방법에 관한 것이다. 구체적으로, 보이스 커맨드를 획득하고, 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 디바이스 및 그 제어 방법에 관한 것이다.
음성 인식 기술의 발전은 사물인터넷(IoT)의 확산에 힘입어, 스마트 홈 분야에서 그 활용성이 크게 증가하고 있다. 그 핵심 기기 중 하나로서, 음성을 매개로 명령을 내리고 대화를 나눌 수도 있는, 인공지능(AI)을 이용하는 스마트 스피커의 이용이 점차 보편화되고 있는 추세이다. 글로벌 시장을 살펴보면, 2014년 아마존이 최초의 음성인식 스피커 에코를 출시한 이후, 구글, 애플 등의 IT 공룡들이 앞다투어 자사 소프트웨어를 탑재한 스피커를 출시하였거나 출시를 결정하였으며, 국내 시장도 치열한 경쟁 양상을 보이고 있다.
이러한 '인공지능 비서' 기능이 탑재된 스마트 스피커는, 일반적으로, 보이스 커맨드를 입력받고, 커맨드에 따른 피드백을 오디오 형태로 출력할 수 있는 스마트 디바이스를 지칭한다. 전통적인 스마트 디바이스의 버튼 내지 터치 인터페이스에 비하여 음성으로 컨트롤이 가능하다는 점에서 사용자 편의성이 증진되었지만, 오디오 형태로 피드백을 제공한다는 한계에 따라, 제공 가능한 정보에 제약이 있고 사용자의 정보 획득이 비효율적이라는 비판이 제기되기도 하였다.
이러한 약점을 극복하기 위하여, 스마트 스피커는 점차 디스플레이가 탑재되고 오디오 형태뿐 아니라 비디오 형태의 피드백을 함께 제공할 수 있는 스마트 디스플레이 형태로 변모하고 있는 추세이다. 이러한 추세에 발맞추어, 증강 현실의 구축에 적극적으로 기여하고, 보다 나은 사용자 경험을 제공하는 개선된 형태의 스마트 디바이스의 개발이 요청되고 있다.
본 발명의 일 과제는 보이스 커맨드를 획득하고 피드백을 수행하는 스마트 디바이스를 제공하는 것이다.
본 발명의 일 과제는 보이스 커맨드를 획득하고 피드백을 수행하는 스마트 디바이스의 제어 방법을 제공하는 것이다.
본 발명의 일 과제는 사용자 지향성 피드백을 출력하는 스마트 디바이스를 제공하는 것이다.
본 발명의 일 과제는 스마트 디바이스가 사용자 지향성 피드백을 출력하도록 스마트 디바이스를 제어하는 방법을 제공하는 것이다.
본 발명의 일 양상에 따르면, 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 프로젝터 - 상기 스마트 프로젝터는 광을 출사하여 투영 영역에 영상을 출력함 - 의 제어 방법이 제공될 수 있다. 스마트 프로젝터의 제어 방법은 사용자의 상기 스마트 프로젝터에 대한 위치 정보를 획득하는 단계, 상기 사용자 중 발화자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 상기 발화자의 위치 정보에 대응되는 제1 투영 영역을 상기 투영 영역으로 하여 상기 제1 보이스 커맨드에 대응되는 영상 피드백을 출력하는 단계 및 상기 발화자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하고, 상기 사용자 중 비발화자의 위치 정보를 고려하여 결정되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 단계를 포함할 수 있다.
본 발명의 다른 일 양상에 따르면, 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 프로젝터 - 상기 스마트 프로젝터는 광을 출사하여 투영 영역에 영상을 출력하되, 상기 광이 출사되는 방향이 회전 가능하도록 마련됨 - 의 제어 방법으로서, 제1 사용자의 상기 스마트 프로젝터에 대한 위치 정보로서 제1 위치 정보 및 적어도 하나의 제2 사용자의 상기 스마트 프로젝터에 대한 위치 정보로서 제2 위치 정보를 획득하는 단계, 상기 제1 사용자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 상기 제1 보이스 커맨드에 대응되는 제1 영상 피드백을 상기 제1 위치 정보에 대응되는 제1 투영 영역에 출력하는 단계, 상기 제1 사용자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하는 단계- 제2 보이스 커맨드는 타겟 지시자를 포함함 -, 상기 타겟 지시자 및 상기 제1 위치 정보에 기초하여 상기 적어도 하나의 제2 사용자 중 타겟 사용자를 결정하는 단계 및 상기 제2 보이스 커맨드에 의해 요청되는 제2 영상 피드백을 상기 타겟 사용자의 상기 제2 위치 정보에 대응되는 제2 투영 영역에 출력하는 단계를 포함하는 스마트 프로젝터의 제어 방법이 제공될 수 있다.
본 발명의 또 다른 일 양상에 따르면, 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 프로젝터 - 상기 스마트 프로젝터는 광을 출사하여 영상을 출력하되, 상기 광이 출사되는 방향이 회전 가능하도록 마련됨 - 의 제어 방법으로서, 제1 사용자에 의해 발화되고 제2 사용자에게 영상 피드백을 제공할 것을 요청하는 보이스 커맨드를 포함하는 제1 보이스를 획득하는 단계, 상기 제2 사용자의 위치 정보를 획득하는 단계 및 상기 영상 피드백을 상기 제2 사용자의 위치 정보를 고려하여 결정된 투영 영역에 투영하는 단계를 포함하되, 상기 제2 사용자의 위치 정보를 수집하는 단계는 상기 제2 사용자의 위치 정보가 미리 저장되어 있는지 판단하는 단계, 제2 사용자의 위치 정보가 미리 저장되어 있지 않으면, 상기 제2 사용자의 발화를 유도하는 가이드 보이스를 출력하는 단계 및 상기 가이드 보이스에 응답하여 상기 제2 사용자에 의해 발화된 제2 보이스를 획득하고, 상기 획득된 제2 보이스에 기초하여 상기 제2 사용자의 위치 정보를 획득하는 단계를 포함하는 스마트 프로젝터의 제어 방법이 제공될 수 있다.
본 발명의 또 다른 일 양상에 따르면, 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하되, 광을 출사하여 투영 영역에 영상을 출력하는 스마트 프로젝터가 제공될 수 있다. 스마트 프로젝터는, 상기 보이스 커맨드를 포함하는 보이스를 획득하는 마이크 모듈, 광을 출사하여 상기 영상을 출력하는 프로젝터 모듈 및 상기 마이크 모듈을 통하여 사용자의 상기 스마트 프로젝터에 대한 위치 정보를 획득하고, 상기 사용자 중 발화자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 상기 프로젝터 모듈을 통하여 상기 발화자의 위치 정보에 대응되는 제1 투영 영역을 상기 투영 영역으로 하여 상기 제1 보이스 커맨드에 대응되는 영상 피드백을 출력하고, 상기 발화자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하고, 상기 사용자 중 비발화자의 위치 정보에 대응되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 프로젝터 모듈의 상기 광 출사 방향을 조정하는 제어부를 포함할 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 의하면 사용자 지향성 피드백을 출력하는 스마트 프로젝터가 제공될 수 있다.
본 발명에 의하면 사용자 위치를 고려하여 디스플레이-백을 출력하는 스마트 프로젝터가 제공될 수 있다.
본 발명에 의하면 사용자 위치를 고려하여 토크-백을 출력하는 스마트 디바이스가 제공될 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 스마트 디바이스를 설명하기 위한 블록도를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 스마트 디바이스의 상태 변화를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 스마트 디스플레이를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 스마트 디바이스의 사용자 위치 정보 획득을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 스마트 디바이스의 사용자 위치 정보 획득을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 사용자 지향성 토크-백을 수행하는 스마트 디바이스를 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 사용자 지향성 디스플레이-백을 수행하는 스마트 프로젝터를 도시한 것이다.
도 12는 본 발명의 일 실시예에 따른 사용자 지향성 디스플레이-백을 수행하는 스마트 프로젝터를 도시한 것이다.
도 13은 본 발명의 일 실시예에 따른 스마트 프로젝터로서, 지향성 디스플레이-백을 수행하는 스마트 프로젝터의 일 예를 도시한 것이다.
도 14는 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 19는 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 21은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 22는 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 23은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 24는 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다.
도 25는 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다.
도 26은 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다.
도 27은 본 발명의 일 실시예에 스마트 프로젝터의 제어 방법에 있어서, 제2 사용자의 위치 정보를 획득하는 단계를 보다 상세히 설명하기 위한 순서도이다.
도 28은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 스마트 디바이스의 상태 변화를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 스마트 디스플레이를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 스마트 디바이스의 사용자 위치 정보 획득을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 스마트 디바이스의 사용자 위치 정보 획득을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 사용자 지향성 토크-백을 수행하는 스마트 디바이스를 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 사용자 지향성 디스플레이-백을 수행하는 스마트 프로젝터를 도시한 것이다.
도 12는 본 발명의 일 실시예에 따른 사용자 지향성 디스플레이-백을 수행하는 스마트 프로젝터를 도시한 것이다.
도 13은 본 발명의 일 실시예에 따른 스마트 프로젝터로서, 지향성 디스플레이-백을 수행하는 스마트 프로젝터의 일 예를 도시한 것이다.
도 14는 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 19는 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 21은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 22는 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 23은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 24는 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다.
도 25는 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다.
도 26은 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다.
도 27은 본 발명의 일 실시예에 스마트 프로젝터의 제어 방법에 있어서, 제2 사용자의 위치 정보를 획득하는 단계를 보다 상세히 설명하기 위한 순서도이다.
도 28은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장된 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
1.
스마트 디바이스
1.1
개요
이하에서는 본 발명의 일 실시예에 따른 스마트 디바이스에 관하여 설명한다.
본 발명의 일 실시예에 따른 스마트 디바이스는 사용자로부터 다양한 형태의 커맨드를 입력받고, 이에 대응하여 음성이나 영상 형태의 피드백을 출력함으로써 사용자에게 다양한 정보를 제공할 수 있다. 일 예로, 스마트 디바이스는 마이크 모듈을 통해 사용자의 발화를 수신하는 등에 따라 보이스 커맨드를 획득하고, 토크-백 또는 디스플레이-백과 같은 피드백을 출력함으로써 사용자의 보이스 커맨드에 대하여 응답할 수 있다.
상술한 스마트 디바이스의 일 예로는 스마트 프로젝터를 들 수 있다. 여기서, 스마트 프로젝터는 기존의 스마트 스피커에 프로젝터가 탑재된 형태로 제공되는 디바이스일 수 있다. 이외에도, 스마트 디바이스의 예로는 스마트 스피커, 스마트 프로젝터, 스마트 TV 등이 있을 수 있다. 다만, 본 명세서에서 스마트 디바이스가 상술한 예로 한정되는 것은 아니며, 음성 및/또는 영상의 출력이 가능한 다양한 디바이스가 본 명세서에서 설명하는 스마트 디바이스로서 이용될 수 있음은 물론이다.
1.2
구성
스마트 디바이스는 다양한 기능을 수행하는 모듈을 적어도 하나 포함할 수 있다. 스마트 디바이스는 적어도 하나의 모듈을 이용하여 보이스 커맨드를 포함하는 보이스를 획득하거나, 보이스 커맨드에 대응하는 피드백을 출력할 수 있다. 이하에서는 모듈들의 종류 및 기능에 대하여 설명한다.
스마트 디바이스는 음성 신호를 수신하는 마이크 모듈을 포함할 수 있다. 마이크 모듈은 복수 개의 마이크를 포함할 수 있다.
스마트 디바이스는 토크-백을 출력하는 스피커 모듈을 포함할 수 있다. 스피커 모듈은 복수 개의 스피커를 포함할 수 있다.
스마트 디바이스는 영상 또는 이미지를 출력하는 디스플레이를 포함하는 디스플레이 모듈을 포함할 수 있다. 디스플레이 모듈은 터치 센서를 포함할 수 있다.
디스플레이 모듈은 광을 출사하는 프로젝터 모듈일 수 있다. 프로젝터 모듈은 초단초점(ultra short throw) 프로젝터 모듈일 수 있다. 이하에서, 프로젝터 모듈을 포함하는 스마트 디바이스를 스마트 프로젝터로 정의한다.
스마트 디바이스는 스마트 디바이스는 광을 수집하는 광학 센서 모듈을 포함할 수 있다. 스마트 디바이스는 광학 센서 모듈을 이용하여 3차원 공간 정보를 획득할 수 있다. 스마트 디바이스는 광학 센서 모듈을 이용하여 사용자 행동 정보(예컨대, 시선 정보)를 획득할 수 있다.
광학 센서 모듈은 영상 또는 이미지를 획득하는 카메라 모듈일 수 있다. 카메라 모듈은 적외선 카메라 모듈 또는 가시광 카메라 모듈일 수 있다.
광학 센서 모듈은 깊이 센서(depth sensor) 모듈일 수 있다. 깊이 센서 모듈은 TOF(time of flight)를 이용하여 물체의 깊이 정보를 제공할 수 있다.
스마트 디바이스는 통신부를 포함할 수 있다. 스마트 디바이스는 통신부를 이용하여 서버와 통신할 수 있다. 스마트 디바이스는 통신부를 이용하여 외부 장치와 통신할 수 있다.
통신부는 외부 장치와 무선 통신을 수행할 수 있다. 예를 들어, 통신부는 와이파이(WiFi), 블루투스(Bluetooth)등의 무선 통신을 수행할 수 있다.
통신부는 유선 통신을 수행할 수 있다. 예를 들어, 통신부는 USB, 이더넷(ethernet) 등의 유선 통신을 수행할 수 있다.
스마트 디바이스는 제어부를 포함할 수 있다. 제어부는 스마트 디바이스에 포함되는 모듈들을 제어할 수 있다.
도 1은 본 발명의 일 실시예에 따른 스마트 디바이스(1000)를 설명하기 위한 블록도를 도시한 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 마이크 모듈(1010), 카메라 모듈(1030), 스피커 모듈(1050), 디스플레이 모듈(1070), 제어부(1090) 및 통신부(1110)를 포함할 수 있다.
스마트 디바이스(1000)는 마이크 모듈(1010)을 이용하여 보이스(Input 1)을 획득할 수 있다. 스마트 디바이스(1000)는 카메라 모듈(1030)을 이용하여 이미지, 영상 또는 깊이 정보를 획득(Input 2)할 수 있다. 스마트 디바이스(1000) 스피커 모듈(1050)을 이용하여 오디오를 출력(Output 1)할 수 있다. 스마트 디바이스는 디스플레이 모듈(1070)을 이용하여 이미지 또는 영상을 출력(Output 2)할 수 있다.
스마트 디바이스는 제어부(1090)를 이용하여 각 모듈들을 제어할 수 있다. 스마트 디바이스는 제어부(1090)를 이용하여 각 모듈들로부터 획득한 정보를 처리할 수 있다.
스마트 디바이스는 통신부(1110)를 이용하여 외부 장치(2000)와 통신할 수 있다. 스마트 디바이스는 통신부(1110)를 이용하여 획득한 정보를 외부 장치(2000)로 전송할 수 있다. 외부 장치(2000)는 별도로 마련된 서버 장치일 수 있다.
한편, 도 1에서는 스마트 디바이스가 디스플레이 모듈을 포함하는 경우를 기준으로 설명하였으나, 스마트 디바이스는 프로젝터 모듈을 구비하는 스마트 프로젝터로 구현될 수 있다.
1.3
커맨드 & 피드백
스마트 디바이스는 상술한 모듈들을 이용하여 사용자로부터 커맨드를 입력받을 수 있다. 스마트 디바이스는 사용자 커맨드를 포함하는 신호를 획득할 수 있다. 또한 스마트 디바이스는 사용자 커맨드에 따른 신호(이하, 피드백)를 출력할 수 있다.
이하에서는, 스마트 디바이스가 획득하는 커맨드 및 스마트 디바이스가 출력하는 피드백에 대하여 설명한다.
1.3.1
커맨드
스마트 디바이스는 커맨드 또는 커맨드를 포함하는 신호를 획득할 수 있다. 대표적으로, 스마트 디바이스는 보이스 커맨드 또는 보이스 커맨드를 포함하는 보이스(또는 음성 신호)를 획득할 수 있다. 이외에도, 커맨드는 보이스 커맨드, 터치 커맨드 및 제스처 커맨드 등을 포함할 수 있다. 커맨드는 디바이스에 특정 또는 임의의 응답을 요청하는 사용자 행위로 정의될 수 있다.
스마트 디바이스는 사용자로부터 커맨드를 획득하기 위한 인터페이스를 제공할 수 있다. 인터페이스는 보이스 커맨드를 획득하기 위한 보이스 인터페이스, 터치 커맨드를 획득하기 위한 터치 인터페이스, 제스처 커맨드를 획득하기 위한 제스처 인터페이스를 포함할 수 있다.
스마트 디바이스는 보이스를 획득할 수 있다. 스마트 디바이스는 마이크 모듈을 이용하여 보이스를 획득할 수 있다. 스마트 디바이스는 사용자로부터 발화된 보이스를 획득할 수 있다. 스마트 디바이스는 마이크 모듈을 이용하여 보이스 커맨드를 포함하는 보이스를 획득할 수 있다.
스마트 디바이스는 획득한 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 신호를 외부 장치로 전달할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를, 보이스 커맨드에 의해 요청되는 정보를 제공하는 외부 장치로 전달할 수 있다. 스마트 디바이스는 보이스 커맨드 데이터를 외부 장치로 전송할 수 있다. 외부 장치는 적어도 하나의 디바이스와 통신하는 서버 장치일 수 있다.
스마트 디바이스는 터치 커맨드를 포함하는 터치 이벤트를 획득할 수 있다. 스마트 디바이스는 터치 센서를 이용하여 디스플레이에 발생하는 터치 이벤트를 획득할 수 있다.
스마트 디바이스는 제스처 커맨드를 포함하는 제스처 이벤트를 획득할 수 있다. 스마트 디바이스는 광학 센서 모듈 및/또는 카메라 모듈을 이용하여 제스처 이벤트를 획득할 수 있다.
이하에서는, 상술한 커맨드는 보이스 커맨드인 경우를 기준으로 설명한다. 다만, 본 명세서에서 설명하는 보이스 커맨드에 대한 내용은 터치 커맨드 또는 제스처 커맨드에 유사하게 적용될 수 있다.
1.3.2
피드백
스마트 디바이스는 상술한 보이스 커맨드에 대응하는 정보를 포함하는 피드백 데이터를 획득하고, 음성 또는 영상으로 피드백을 출력할 수 있다.
피드백은 디바이스가 커맨드를 획득하는 것에 응답하여 출력되는 커맨드에 대응하는 정보를 포함하는 신호로 이해될 수 있다. 커맨드에 대응하는 정보는 요청되는 정보는 멀티미디어 컨텐츠를 포함할 수 있다.
스마트 디바이스는 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를 획득하고, 커맨드에 대응하는 피드백 데이터를 획득할 수 있다.
스마트 디바이스는 외부 장치로부터 보이스 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 스마트 디바이스는 외부 장치로 보이스 커맨드 데이터를 전송하는 것에 응답하여 피드백 데이터를 획득할 수 있다.
스마트 디바이스는 피드백을 출력할 수 있다. 피드백은 음성 또는 음향으로 제공되는 보이스 피드백(이하, 보이스-백 또는 토크-백) 또는 영상 또는 이미지로 제공되는 디스플레이 피드백(이하, 디스플레이-백)을 포함할 수 있다.
스마트 디바이스는 토크-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를 획득하고, 토크-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드에 의해 요청되는 정보를 포함하는 토크-백을 출력할 수 있다. 스마트 디바이스는 스피커 모듈을 이용하여 토크-백을 출력할 수 있다. 토크-백은 음악, 라디오 등의 오디오 컨텐츠를 포함할 수 있다.
스마트 디바이스는 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를 획득하고, 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드에 의해 요청되는 정보를 포함하는 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 디스플레이 모듈 또는 프로젝터 모듈을 이용하여 디스플레이-백을 출력할 수 있다. 디스플레이-백은 TV 프로그램, Youtube, 영화 등의 비디오 컨텐츠를 포함할 수 있다.
1.4
디바이스의 상태
스마트 디바이스는 여러 구동 상태를 가질 수 있다. 스마트 디바이스의 데이터 처리 양태는 스마트 디바이스의 상태에 따라 변경될 수 있다.
1.4.1
오프 상태
스마트 디바이스는 오프 상태일 수 있다. 오프 상태에서, 스마트 디바이스는 전력 소모를 최소화할 수 있다. 오프 상태에서, 스마트 디바이스는 전력을 소모하지 않을 수 있다. 오프 상태에서, 스마트 디바이스는 신호를 수집 또는 출력하지 않을 수 있다. 오프 상태에서, 스마트 디바이스는 휴면(hibernation) 상태일 수 있다.
1.4.2
스탠바이 상태
스마트 디바이스는 스탠바이 상태를 가질 수 있다. 스탠바이 상태에서, 스마트 디바이스는 신호를 획득 또는 출력할 수 있다.
스탠바이 상태에서, 스마트 디바이스는 커맨드 발생을 예고하는 예비 커맨드를 포함하는 신호를 획득할 수 있다. 예비 커맨드 또는 예비 커맨드를 포함하는 신호는 미리 정해지고, 스마트 디바이스에 미리 저장될 수 있다.
스마트 디바이스는 예비 커맨드를 포함하는 보이스를 획득할 수 있다. 보이스에 포함된 예비 커맨드는 핫-워드 또는 웨이크업-워드의 형태로 구현될 수 있다. 다시 말해, 예비 커맨드는 특정 단어를 포함하는 커맨드로 미리 결정될 수 있다.
스마트 디바이스는 예비 커맨드를 포함하는 터치 이벤트 또는 제스처 이벤트를 획득할 수 있다. 터치 이벤트에 포함된 예비 커맨드는 임의의 터치 이벤트 또는 특정 영역에 대한 터치 이벤트일 수 있다. 제스처 이벤트에 포함된 예비 커맨드는 특정 시퀀스에 따른 웨이크업 제스처일 수 있다.
1.4.3
리스닝 상태
스마트 디바이스는 리스닝 상태를 가질 수 있다. 리스닝 상태에서, 스마트 디바이스는 보이스 커맨드를 포함하는 신호를 획득할 수 있다. 스마트 디바이스는 전술한 예비 커맨드(예를 들어, 핫-워드)를 포함하는 신호를 획득하고, 리스닝 상태로 변경될 수 있다. 리스닝 상태는 예비 커맨드를 포함하는 신호에 의하여 트리거될 수 있다.
리스닝 상태에서, 스마트 디바이스는 리스닝 윈도우를 오픈할 수 있다. 스마트 디바이스는핫-워드를 획득하고, 리스닝 윈도우를 오픈할 수 있다.
스마트 디바이스는 리스닝 윈도우를 오픈하고, 보이스 커맨드를 포함하는 보이스를 수집할 수 있다. 스마트 디바이스는 리스닝 윈도우를 미리 정해진 시간 간격 동안 오픈할 수 있다. 미리 정해진 시간 간격은 변경될 수 있다.
스마트 디바이스는 리스닝 윈도우를 폐쇄할 수 있다. 스마트 디바이스는 리스닝 윈도우를 폐쇄하고 보이스의 수집을 중단할 수 있다. 스마트 디바이스는 리스닝 윈도우를 폐쇄하고, 수집된 보이스를 외부 장치로 전송할 수 있다. 스마트 디바이스는 리스닝 윈도우가 오픈된 상태에서 수집된 보이스를 외부 장치로 전송할 수도 있다.
리스닝 상태에서, 스마트 디바이스는 예비 커맨드를 획득할 수 있다. 스마트 디바이스는 예비 커맨드를 획득하고, 리스닝 상태로 재진입할 수 있다. 스마트 디바이스는 리스닝 상태에서 예비 커맨드를 획득하고, 리스닝 윈도우를 재오픈 또는 초기화할 수 있다.
1.4.4
피드백 상태
스마트 디바이스는 피드백 상태를 가질 수 있다. 피드백 상태에서, 스마트 디바이스는 보이스 커맨드에 대응하는 피드백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드를 획득하고, 피드백 상태로 변경될 수 있다.
피드백 상태에서, 스마트 디바이스는 보이스 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 스마트 디바이스는 보이스 및/또는 보이스 커맨드를 외부 장치로 전송하는 것에 응답하여 보이스 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 피드백 데이터는 토크-백 데이터 또는 디스플레이-백 데이터일 수 있다.
피드백 상태에서, 스마트 디바이스는 피드백 데이터에 기초하여 피드백을 출력할 수 있다. 피드백 상태에서, 스마트 디바이스는 보이스 커맨드에 대응하는 토크-백 또는 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드에 의해 요청되는 정보를 포함하는 토크-백 또는 디스플레이-백을 출력할 수 있다. 피드백 상태에서, 스마트 디바이스는 토크-백과 디스플레이-백을 함께 또는 순차로 출력할 수도 있다.
피드백 상태에서, 스마트 디바이스는 핫-워드를 획득할 수 있다. 스마트 디바이스는 피드백 상태에서 핫-워드를 획득하고, 리스닝 상태로 변경될 수 있다.
1.5
동작
스마트 디바이스는 다양한 동작을 수행할 수 있다. 스마트 디바이스는 상술한 상태의 변화를 수반하는 다양한 동작을 수행할 수 있다. 이하에서는, 스마트 디바이스의 기본 동작 프로세스 및 부가적인 동작들에 대하여 몇몇 실시예를 들어 설명한다.
1.5.1
기본 프로세스 : 피드백 동작
본 발명의 일 실시예에 따르면, 스마트 디바이스는 핫-워드를 획득한 후, 보이스 커맨드를 획득하고, 피드백을 출력할 수 있다.
도 2는 본 발명의 일 실시예에 따른 스마트 디바이스의 상태 변화를 도시한 것이다. 이하에서는 도 2를 참조하여, 본 발명의 일 실시예에 따른 스마트 디바이스의 동작을 설명한다.
스마트 디바이스는 오프 상태에서 스탠바이 상태로 변경될 수 있다. 스마트 디바이스는 사용자 조작에 따라 오프 상태에서 스탠바이 상태로 변경될 수 있다.
스마트 디바이스는 스탠바이 상태에서 리스닝 상태로 변경될 수 있다. 스마트 디바이스는 스탠바이 상태에서 리스닝 윈도우를 오픈하고, 핫-워드를 포함하는 보이스를 획득하고, 리스닝 상태로 변경될 수 있다.
스마트 디바이스는 리스닝 상태에서 피드백 상태로 변경될 수 있다. 스마트 디바이스는 리스닝 상태에서 사용자로부터 발화되고 보이스 커맨드를 포함하는 보이스를 획득하고, 피드백 상태로 변경될 수 있다.
스마트 디바이스는 피드백의 출력이 완료되면, 스탠바이 상태로 변경될 수 있다. 경우에 따라, 스마트 디바이스는 피드백의 출력이 완료되면 커맨드 상태로 변경될 수 있다. 피드백의 종류에 따라, 스마트 디바이스는 피드백 출력 후 커맨드 상태로 변경될 수 있다. 예컨대, 출력되는 피드백이 사용자 커맨드를 요청하는 경우, 스마트 디바이스는 피드백을 출력한 후, 커맨드 상태로 변경될 수 있다.
스마트 디바이스는 피드백 상태에서 리스닝 상태로 변경될 수 있다. 피드백 상태에서, 스마트 디바이스는 피드백의 출력 중에 예비 커맨드, 예컨대 핫-워드를 획득할 수 있다. 스마트 디바이스는 피드백 출력 중 예비 커맨드를 획득하고, 리스닝 상태로 변경될 수 있다.
스마트 디바이스는 스탠바이 상태 또는 리스닝 상태에서 오프 상태로 변경될 수도 있다. 스마트 디바이스는 미리 정해신 시간 내에 핫-워드가 획득되지 아니하면 스탠바이 상태 또는 리스닝 상태에서 오프 상태로 변경될 수 있다.
1.5.2
사용자 위치 수집 동작
스마트 디바이스는 사용자 위치 정보를 획득하고, 저장할 수 있다. 스마트 디바이스는 사용자 위치와 관련된 기초 정보를 획득하고, 외부 장치로 전달할 수 있다. 사용자 위치 정보는 복수 사용자의 위치 정보를 포함할 수 있다.
사용자 위치 정보는 사용자의 스마트 디바이스로부터의 거리 정보를 포함할 수 있다. 사용자 위치 정보는 사용자의 스마트 디바이스의 기준 방향으로부터의 각변위 정보를 포함할 수 있다.
스마트 디바이스는 오프 상태에서 스탠바이 상태로 변경되면 사용자 위치 정보를 획득할 수 있다. 스마트 디바이스는 사용자 보이스가 획득되면 사용자 위치 정보를 획득할 수 있다.
스마트 디바이스는 전술한 광학 센서 모듈을 이용하여 사용자 위치 정보를 수집할 수 있다. 스마트 디바이스는 광학 센서 모듈을 이용하여 획득된 공간 정보에 기초하여 사용자 위치 정보를 획득할 수 있다.
스마트 디바이스는 전술한 마이크 모듈을 이용하여 사용자 위치 정보를 수집할 수 있다. 스마트 디바이스는 복수의 마이크를 이용하여 사용자로부터 발화된 보이스를 획득하고, 보이스가 발화되는 방향을 고려하여 사용자 위치 정보를 수집할 수 있다.
스마트 디바이스는 획득한 위치 정보를 저장할 수 있다. 스마트 디바이스는 획득한 위치 정보를 룩업테이블(look-up table) 형태로 저장할 수 있다. 스마트 디바이스는 획득한 위치 정보를 외부 장치(예컨대, 서버 장치)로 전달할 수 있다.
스마트 디바이스는 스탠바이 상태, 리스닝 상태 또는 피드백 상태에서 사용자 위치 정보를 획득할 수 있다. 스마트 디바이스는 사용자 위치 정보를 주기적으로 획득할 수 있다.
스마트 디바이스는 사용자 위치 정보를 고려하여 피드백을 출력할 수 있다. 스마트 디바이스는 사용자 위치 정보를 고려하여 토크-백의 출력 방향을 결정할 수 있다. 스마트 디바이스는 사용자 위치 정보를 고려하여 디스플레이-백의 출력 위치 및/또는 방향을 결정할 수 있다. 이와 관련하여, 후술하는 사용자 지향 피드백 목차에서 보다 상세하게 설명하기로 한다.
1.6
디바이스 형태
상술한 스마트 디바이스는 다양한 형태로 구현될 수 있다. 이하에서는, 스마트 디바이스의 형태에 대하여 몇몇 실시예를 들어 설명한다.
1.6.1
제1 타입 : display type
본 발명의 일 실시예에 따르면, 스마트 디바이스는 터치 인터페이스를 제공하는 디스플레이가 탑재된 스마트 디스플레이의 형태로 제공될 수 있다. 스마트 디스플레이는 보이스 커맨드를 획득하고 토크-백 또는 디스플레이-백을 출력할 수 있다.
도 3은 본 발명의 일 실시예에 따른 스마트 디스플레이(100a)를 도시한 것이다. 도 3을 참조하면, 스마트 디스플레이(100a)는 마이크(102a), 스피커(106a) 및 디스플레이(108a)를 포함할 수 있다. 또한, 스마트 디스플레이(100a)는 카메라(104a)를 선택적으로 포함할 수 있다.
스마트 디스플레이(100a)는 마이크(102a)를 이용하여 보이스 커맨드를 획득하고, 스피커(106a)를 이용하여 토크-백을 출력하거나 디스플레이(108a)를 통하여 디스플레이-백을 출력할 수 있다.
1.6.2
제2 타입 : wall type
본 발명의 일 실시예에 따르면, 스마트 디바이스는 프로젝터 모듈이 탑재된 스마트 프로젝터의 일 예로서, 상방으로 광을 출사하는 스마트 프로젝터의 형태로 제공될 수 있다.
도 4는 본 발명의 일 실시예에 따른 스마트 프로젝터(100b)를 도시한 것이다. 도 4를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100b)는 마이크(102b) 및 스피커(106b)를 포함할 수 있다. 도시하지는 아니하였으나, 스마트 프로젝터(100b)는 카메라를 포함할 수도 있다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터는 상방으로 광을 출사할 수 있다. 스마트 프로젝터는 임의의 벽면에 영상 또는 이미지를 투사할 수 있다. 스마트 프로젝터가 영상 또는 이미지를 투영하는 투영 영역(10a)은 변경될 수 있다. 투영 영역(10a)의 크기 또는 위치는 변경될 수 있다.
영상이 투영되는 방향은 그 시청이 용이하도록 결정될 수 있다. 영상이 투영되는 방향은 스마트 프로젝터가 영상을 투영하는 방향의 반대 방향에서 시청이 용이하도록 결정될 수 있다. 본 실시예에서, 스마트 스피커는 영상의 하측이 벽면의 하측에 위치하도록 투사할 수 있다. 다시 말해, 스마트 스피커는 영상이 벽면에 정립 방향으로 투영되도록 투사할 수 있다.
또한, 도시하지는 아니하였으나 스마트 프로젝터(100b)는 센서부를 더 포함하고, 투영 영역에 발생하는 제스처 이벤트 또는 터치 이벤트를 감지할 수 있다.
1.6.3
제3 타입 : table type
본 발명의 일 실시예에 따르면, 스마트 디바이스는 전술한 스마트 프로젝터의 일 예로서, 하방으로 광을 출사하는 스마트 프로젝터의 형태로 제공될 수 있다.
도 5는 본 발명의 일 실시예에 따른 스마트 프로젝터(100c)를 도시한 것이다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100c)는 마이크(102c) 및 스피커(106c)를 포함할 수 있다. 스마트 프로젝터(100c)는 카메라 또는 센서부를 더 포함할 수 있다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100c)는 하방으로 광을 출사할 수 있다. 스마트 프로젝터(100c)는 스마트 프로젝터(100c)가 위치된 바닥 또는 테이블 상에 영상 또는 이미지를 투사할 수 있다.
투영 영역(10b)의 크기 또는 위치는 변경될 수 있다. 영상이 투영되는 방향은 스마트 프로젝터가 영상을 투영하는 방향에서 시청이 용이하도록 결정될 수 있다. 본 실시예에서, 스마트 스피커는 영상의 하측이 테이블의 외측(즉, 장치로부터 먼 위치)에 투영되도록 투사할 수 있다.
1.6.4
제4 타입 : manually rotatable(rolling) type
본 발명의 일 실시예에 따르면, 전술한 스마트 프로젝터는 복수의 자세를 가질 수 있다. 스마트 프로젝터는 제1 자세 또는 제2 자세로 동작할 수 있다. 스마트 프로젝터는 자세 변경에 따라 상방 또는 하방으로 광을 출사할 수 있다.
도 6은 본 발명의 일 실시예에 따른 스마트 프로젝터(100d)를 도시한 것이다. 도 6을 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100d)는 제1 면을 상면으로 하는 제1 자세(도 6의 a) 및 제1 면과 다른 제2 면을 상면으로 하는 제2 자세(도 6의 b)로 동작할 수 있다. 이하에서는, 도 6을 참조하여 스마트 프로젝터(100d)의 자세에 따른 동작에 대하여 설명한다.
도 6을 참조하면, 스마트 프로젝터(100d)는 마이크(102d) 및 스피커(106d)를 포함할 수 있다. 스마트 프로젝터(100d)는 센서부 또는 카메라를 선택적으로 포함할 수 있다
도 6의 (a)를 참조하면, 스마트 프로젝터(100d)가 제1 자세(예를 들어, 벽 투영 자세)일 때, 스마트 프로젝터(100d)는 벽을 향하여 광을 상방 출사할 수 있다. 스마트 프로젝터(100d)가 제1 자세일 때, 스마트 프로젝터(100d)는 전술한 제2 타입 스마트 프로젝터(100b)와 유사하게 동작할 수 있다.
도 6의 (b)를 참조하면, 스마트 프로젝터(100d)가 제2 자세(예를 들어, 테이블 투영 자세)일 때, 스마트 프로젝터(100d)는 바닥 또는 테이블을 향하여 광을 하방 출사할 수 있다. 스마트 프로젝터(100d)가 제2 자세일 때, 스마트 프로젝터(100d)는 전술한 제3 타입 프로젝터(100c)와 유사하게 동작할 수 있다.
스마트 프로젝터(100d)의 자세는 변경될 수 있다. 스마트 프로젝터(100d)의 자세는 수동으로 변경될 수 있다. 스마트 프로젝터(100d)의 자세는 구동부에 의하여 자동으로 변경될 수 있다.
스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)에 포함된 모듈들 중 적어도 하나의 모듈의 동작이 변경될 수 있다. 스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)에 포함된 스피커 모듈, 마이크 모듈, 센서 모듈 중 어느 하나의 동작이 변경될 수 있다. 일 예로, 스마트 프로젝터(100d)가 제1 자세에서 제2 자세로 변경되면, 오디오를 출력하는 스피커(106d)가 변경될 수 있다.
다른 예로, 스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)가 광을 투사하는 방향이 변경될 수 있다. 스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)로부터 투사되는 영상(10c)의 투영 방향이 변경될 수 있다. 구체적으로, 스마트 프로젝터(100d)는 제1 자세에서 영상의 하단이 스마트 프로젝터(100d)와 가깝도록 영상을 투사하고, 제2 자세에서 영상의 하단이 스마트 프로젝터(100d)와 멀리 위치하도록 영상을 투사할 수 있다.
이상에서는 스마트 프로젝터(100d)가 제1 자세 및 제2 자세를 가지고, 제1 자세 및 제2 자세 사이에서 선택적으로 자세가 변경되는 경우를 기준으로 설명하였으나, 본 명세서에서 개시하는 발명이 이에 한정되는 것은 아니다. 스마트 프로젝터(100d)는 셋 이상의 자세를 가지고 필요에 따라 자세가 선택적으로 변경되도록 구현될 수 있다.
1.6.5
제5 타입 : rotatable
본 발명의 일 실시예에 따르면, 스마트 디바이스는 전술한 스마트 프로젝터의 일 예로서, 광의 투사 방향이 회전 가능한 스마트 프로젝터의 형태로 제공될 수 있다. 스마트 프로젝터(100e)는 벽면 및/또는 테이블 상에 영상을 투사하고, 영상의 투사 방향이 회전 가능하도록 마련될 수 있다.
도 7은 본 발명의 일 실시예에 따른 스마트 프로젝터(100e)를 도시한 것이다. 도 7을 참조하면, 스마트 프로젝터는 영상의 투영 방향이 회전 가능하도록 구현될 수 있다. 영상이 투사되는 방향은 스마트 프로젝터의 회전축을 중심으로 회전할 수 있다.
도 7을 참조하면, 스마트 프로젝터(100e)는 마이크(102e) 및 스피커(106e)를 포함할 수 있다. 스마트 프로젝터(100e)는 센서부 또는 카메라를 선택적으로 포함할 수 있다.
도 7의 (a)를 참조하면, 스마트 프로젝터(100e)는 하방으로 광을 출사하고, 광의 투사 방향이 회전 가능하도록 마련될 수 있다. 스마트 프로젝터(100e)는 테이블 상에 위치하고, 테이블 상면에 영상을 투영할 수 있다. 스마트 프로젝터(100e)는 테이블 상에서 영상을 투사하는 방향을 회전시킬 수 있다. 예를 들어, 스마트 프로젝터(100e)는 투영 영역이 제1 위치(10d)에서 제2 위치(10d')로 변경되도록 영상의 투사 방향을 회전시킬 수 있다.
도 7의 (b)를 참조하면, 스마트 프로젝터(100e)는 상방으로 광을 출사하고, 광의 투사 방향을 회전시킬 수 있다. 스마트 프로젝터(100e)는 벽면으로 영상을 투영할 수 있다. 스마트 프로젝터(100e)는 영상을 투사하는 방향을 회전시킬 수 있다. 스마트 프로젝터(100e)는 영상이 투영되는 벽면이 변경되도록 영상을 투사하는 방향을 회전시킬 수 있다. 예를 들어, 스마트 프로젝터(100e)는 투영 영역이 제3 위치(10e)에서 제4 위치(10e')로 변경되도록 영상의 투사 방향을 회전시킬 수 있다.
스마트 프로젝터(100e)는 벽 투영 모드(제1 모드) 및/또는 바닥 투영 모드(제2 모드)를 포함하는 복수의 모드 중 선택된 어느 하나의 모드로 동작할 수 있다.
2.
지향성 피드백
본 명세서에서 개시하는 스마트 디바이스는 보이스 커맨드를 포함하는 보이스를 획득하고 사용자 지향성 피드백을 수행할 수 있다. 스마트 디바이스는 보이스 커맨드를 포함하는 보이스를 획득하고, 사용자의 위치 정보를 고려하여, 토크-백 및/또는 디스플레이-백을 특정 방향으로 출력할 수 있다. 스마트 디바이스는 사용자 지향 피드백을 요청하는 지향 지시자를 포함하는 보이스 커맨드가 포함된 보이스를 획득하고, 요청되는 방향으로 피드백을 출력할 수도 있다.
이하에서는, 사용자 지향성을 가지는 피드백을 출력하는 스마트 디바이스 및 사용자 지향적 피드백을 출력하도록 스마트 디바이스를 제어하는 방법 등에 대하여 설명한다. 또한, 이하에서 특별한 언급이 없는 한, 스마트 프로젝터에 대하여, 전술한 제5 타입 스마트 프로젝터에 대한 내용이 적용될 수 있다.
2.1
지향성 피드백을 위한 위치 정보 획득
스마트 디바이스는 사용자 위치 정보를 획득하고, 이를 이용하여 지향성 피드백을 수행할 수 있다. 여기에서는, 지향성 피드백을 위한 사용자 위치 정보 획득에 대하여 몇몇 실시 예를 들어 설명한다.
스마트 디바이스는 사용자 위치 정보를 획득 및/또는 저장할 수 있다.
예를 들어, 사용자의 위치 정보는 사용자가 스마트 디바이스에 대하여 위치하는 방향에 대한 방향 정보 및/또는 사용자가 스마트 디바이스로부터 떨어진 거리 정보를 포함할 수 있다. 방향 정보는 기준 방향에 대하여 사용자 방향이 이격된 각변위로 마련될 수 있다. 사용자의 위치 정보는 스마트 디바이스에서 획득되고 스마트 디바이스를 기준으로 하는 3차원 공간 정보로서 마련될 수 있다.
스마트 디바이스는 사용자 위치 정보를 식별 정보와 함께 저장할 수 있다. 식별 정보는 위치 식별 정보 또는 사용자 식별 정보일 수 있다.
예를 들어, 스마트 디바이스는 스마트 디바이스를 기준으로 제1 위치에 위치하는 사용자의 위치 정보 및 제2 위치에 위치하는 사용자의 위치 정보를 각각 제1 위치 및 제2 위치에 연관하여 저장할 수 있다.
구체적으로, 스마트 디바이스는 기준 방향으로부터 제1 각변위를 가지는 방향으로부터 발화된 제1 보이스를 획득하고, 제1 각변위에 제1 사용자가 위치하는 것으로 매칭 및 저장할 수 있다.
다른 예를 들어, 스마트 디바이스는 사용자 위치 정보를, 개별 사용자의 특징에 기초하여 부여된 사용자 식별 정보와 연관하여 저장할 수 있다. 구체적으로, 스마트 디바이스는 제1 위치에 위치하는 사용자의 위치 정보 및 제2 위치에 위치하는 사용자의 위치 정보를 각각 제1 사용자 식별 정보 및 제2 사용자 식별 정보와 연관하여 저장할 수 있다.
구체적으로, 스마트 디바이스는 기준 방향으로부터 제2 각변위를 가지는 방향으로부터 발화된 제2 보이스를 획득하고, 제2 보이스를 발화한 사용자의 제1 식별 정보, 예컨대 사용자 이름을 매칭하여 저장할 수 있다.
사용자 식별 정보는 카메라 모듈 및/또는 마이크 모듈을 이용하여 획득된 사용자 특징에 기초하여 마련될 수 있다. 예컨대, 사용자 식별 정보는 카메라 모듈을 이용하여 획득된 사용자 얼굴 이미지(음성 인식) 또는 마이크 모듈을 통하여 획득된 사용자의 음성(성문 인식)의 특징에 기초하여 마련될 수 있다. 사용자 식별 정보는 획득된 보이스에 포함된 사용자 이름 등에 기초하여 마련될 수 있다. 사용자 식별 정보는 사용자 얼굴 또는 음성의 특징에 기초하여 결정된 사용자 성별, 사용자 연령, 사용자 키 등의 사용자 특성 정보를 포함할 수 있다.
스마트 디바이스는 사용자 위치 정보를 능동적으로 수집할 수 있다. 스마트 디바이스는 사용자 위치 정보 획득을 위한 특정 절차를 능동적으로 개시(initiate)하고, 특정 절차를 수행함으로써 사용자 위치 정보를 획득할 수 있다. 예를 들어, 스마트 디바이스는 사용자 위치 정보 획득을 위하여 사용자의 발화를 유도 내지 요청하는 가이드 보이스를 출력할 수 있다. 스마트 디바이스는 사용자의 발화를 유도 내지 요청하는 가이드 화면을 출력할 수도 있다.
본 발명의 일 실시예에 따른 스마트 디바이스는 사용자 식별 정보를 요청하는 보이스 가이드를 출력하고, 보이스 가이드에 대응하여 발화된 사용자의 보이스를 획득하고, 보이스에 기초하여 사용자의 위치 정보 및/또는 사용자의 식별 정보를 획득 및 저장할 수 있다.
예를 들어, 보이스 가이드는 사용자에게 이름을 포함하는 보이스를 발화할 것을 유도할 수 있다. 보이스 가이드는 사용자에게 이름 내지 아이디를 묻는 의문형 문장으로 제공될 수 있다. 스마트 디바이스는 보이스 가이드에 의해 유도된 사용자의 보이스를 획득하고, 보이스가 발화된 방향 및/또는 보이스의 음량을 고려하여 사용자의 위치 정보를 추출 및 저장할 수 있다. 스마트 디바이스는 유도된 사용자의 보이스를 획득하고, 보이스로부터 사용자의 이름 내지 아이디를 추출 및 저장할 수 있다.
도 8은 본 발명의 일 실시예에 따른 스마트 디바이스(100)의 사용자 위치 정보 획득을 설명하기 위한 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(100)는 제1 사용자(User 1) 및 제2 사용자(User 2)의 발화를 유도하는 보이스 가이드를 출력하고, 이에 응답하여 발화된 보이스를 적어도 일부 획득하여 제1 사용자(User 1) 및 제2 사용자(User 2)의 위치 정보 및 식별 정보를 획득 및 저장할 수있 다.
도 8을 참조하면, 스마트 디바이스(100)는 사용자에게 식별 정보(예컨대, 이름)을 요청하는 보이스 가이드, 예를 들어, "Let me know your name"을 출력할 수 있다. 스마트 디바이스(100)는 제1 사용자(User 1)가 발화한 보이스, 예컨대, "This is Jane" 및 제2 사용자(User 2)가 발화한 보이스, 예컨대, "This js James"를 획득하고, 제1 사용자(User 1) 및 제2 사용자(User 2)의 식별 정보, "Jane" 및 "James"를 각각 제1 사용자(User 1)의 위치 정보 및 제2 사용자(User 2)의 위치 정보와 함께 저장할 수 있다.
스마트 디바이스는 사용자 위치 정보를 수동적으로 수집할 수 있다. 스마트 디바이스는 사용자 위치 정보 획득을 위한 특정 절차의 수행 없이, 사용자들 간의 대화 또는 사용자로부터 발화된 보이스를 획득하고, 이에 기초하여 사용자 위치 정보를 획득 및 저장할 수 있다. 예를 들어, 스마트 디바이스는 사용자에 의해 발화된 보이스 커맨드를 획득하고, 보이스 커맨드에 기초하여 사용자의 위치 정보 및 사용자의 식별 정보를 획득 및 저장할 수 있다.
본 발명의 일 실시예에 따른 스마트 디바이스는 사용자에 의해 발화되고 보이스 커맨드를 포함하는 보이스가 획득되면, 보이스 커맨드에 기초하여 사용자 식별 정보 및 사용자 위치 정보를 획득 및 저장할 수 있다.
예를 들어, 스마트 디바이스는 복수의 사용자 간의 대화로부터 사용자 위치 정보 및/또는 사용자 식별 정보를 획득할 수 있다. 스마트 디바이스는 제1 사용자 및 제2 사용자의 대화로부터 제1 사용자의 제1 보이스 및 제2 사용자의 제2 보이스를 획득하고, 제1 보이스 및 제2 보이스로부터 제1 사용자 및 제2 사용자의 식별 정보를 각각 추출할 수 있다. 스마트 디바이스는 제1 보이스 및 제2 보이스가 발화된 방향에 기초하여 제1 사용자 및 제2 사용자의 위치 정보를 각각 획득할 수 있다.
도 9는 본 발명의 일 실시예에 따른 스마트 디바이스(100)의 사용자 위치 정보 획득을 설명하기 위한 도면이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(100)는 제1 사용자(User 1) 및 제2 사용자(User 2)의 대화에 포함되는 보이스를 적어도 일부 획득하고, 이에 기초하여 제1 사용자(User 1) 및 제2 사용자(User 2)의 위치 정보 및 식별 정보를 획득 및 저장할 수 있다.
도 9을 참조하면, 스마트 디바이스(100)는 사용자 간의 대화, 예컨대, 제1 사용자(User 1)에 의해 발화된 "How are you doing?" 및 제2 사용자(User 2)에 의해 발화된 "Fine, thank you!"를 획득할 수 있다. 스마트 디바이스(100)는 획득한 제1 사용자(User 1) 및 제2 사용자(User 2)의 보이스로부터 제1 사용자(User 1) 및 제2 사용자(User 2)의 위치 및 제1 사용자(User 1) 및 제2 사용자(User 2)의 식별 정보(예컨대, 성문, 성별 등)를 획득 및 저장할 수 있다.
본 발명의 일 실시예에 따르면, 스마트 디바이스는 사용자 위치 정보를 능동적으로 수집하는 방식 및 수동적으로 수집하는 방식 모두를 이용할 수도 있다. 스마트 디바이스는 사용자 위치 정보를 수동적으로 획득하는 것을 기본으로 하고, 요구되는 사용자 위치 정보가 저장되어 있지 아니한 경우, 사용자 위치 정보를 능동적으로 획득할 수도 있다.
본 발명의 일 실시예에 따르면, 스마트 디바이스는 타겟 사용자 위치로의 지향성 피드백의 제공이 요청된 경우, 타겟 사용자의 위치 정보가 저장되어 있는지 판단하고, 타겟 사용자의 위치 정보가 저장되어 있지 않은 경우, 타겟 사용자의 위치 정보를 요청하는 절차를 개시하고, 타겟 사용자 위치 정보를 획득하고, 획득한 타겟 사용자 위치 정보에 기초하여 피드백을 출력할 수 있다.
2.2
사용자 지향성 토크-백
본 발명의 일 실시예에 따르면, 스마트 디바이스는 사용자 지향 토크-백을 출력할 수 있다. 스마트 디바이스는 사용자 위치 정보를 획득하고, 획득한 사용자 위치 정보를 고려하여 사용자 지향 토크- 백을 출력할 수 있다.
예를 들어, 스마트 디바이스는 사용자 위치 정보를 획득하고, 획득한 사용자 위치 정보에 대응되는 방향으로 토크-백을 출력할 수 있다. 스마트 디바이스는 마이크 모듈을 이용하여 보이스를 발화한 사용자의 스마트 디바이스에 대한 방향 정보를 획득하고, 스피커 모듈을 이용하여, 사용자가 위치하는 방향으로 지향성 토크-백을 출력할 수 있다.
본 발명의 일 실시예에 따르면, 스마트 디바이스는 소정의 지시자가 포함된 보이스 커맨드를 획득하고, 사용자 지향 토크-백을 출력할 수 있다.
도 10은 본 발명의 일 실시예에 따른 사용자 지향성 토크-백을 수행하는 스마트 디바이스(100)를 도시한 것이다. 도 10을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(100)는 사용자의 보이스, 예컨대, "How is the weather today?"를 획득하고, 획득된 보이스가 발화된 방향을 검출할 수 있다. 스마트 디바이스(100)는 복수의 마이크를 포함하고, 각각의 마이크로부터 획득된 오디오 신호를 비교하여 보이스가 발화된 방향을 검출할 수 있다.
스마트 디바이스(100)는 획득된 발화 방향에 기초하여 사용자의 위치 정보를 획득하고, 사용자의 위치에 대응되는 방향으로 토크-백을 출력할 수 있다. 스마트 디바이스(100)는 복수의 스피커를 포함하고, 복수의 스피커 중 일부의 스피커를 이용하여 사용자의 위치에 대한 지향성 토크-백을 출력할 수 있다.
2.3
사용자 지향성 디스플레이-백
본 발명의 다른 일 실시예에 따르면, 스마트 디바이스는 사용자 위치 정보를 획득하고, 사용자 지향 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 프로젝터 모듈을 포함하는 스마트 프로젝터이고, 스마트 프로젝터는 사용자 지향 프로젝션을 수행할 수 있다. 이하에서, 지향성 디스플레이-백을 수행하는 스마트 프로젝터에 대하여, 별다른 언급이 없는 한, 전술한 제5 타입 스마트 프로젝터(100e)의 내용이 적용될 수 있다.
2.3.1
동작
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 사용자 위치 정보를 획득하고, 사용자 위치 정보를 고려하여 사용자 지향 디스플레이-백을 출력할 수 있다. 스마트 프로젝터는 획득한 사용자 위치 정보에 대응되는 방향으로 디스플레이-백을 출력할 수 있다.
스마트 프로젝터는 사용자 위치 정보를 획득하고, 사용자 위치 정보를 고려하여 결정된 투영 영역에 영상 내지 디스플레이-백을 출력할 수 있다. 투영 영역은 미리 정해진 복수의 예비 투영 영역 중에서 선택될 수 있다. 스마트 프로젝터는 사용자 위치 정보를 획득하고, 사용자 위치 정보를 고려하여 결정된 투사 방향으로 광을 투사하여 디스플레이-백을 출력할 수 있다.
예를 들어, 스마트 프로젝터는, 마이크 모듈을 이용하여, 보이스 커맨드를 획득하고, 보이스 커맨드를 포함하는 보이스가 발화된 사용자 방향 정보를 획득하고, 사용자 방향 정보를 고려하여 결정된 투영 영역에 디스플레이-백을 출력할 수 있다. 스마트 프로젝터는 사용자 방향 정보를 고려하여 결정된 투사 방향으로 광을 투사 할 수 있다.
다른 예를 들어, 스마트 프로젝터는, 카메라 모듈을 이용하여, 사용자 위치 정보를 획득하고, 획득된 위치 정보에 따라 사용자가 디스플레이-백을 용이하게 인식할 수 있는 위치에 디스플레이-백을 투사할 수 있다.
도 11 및 도 12는 본 발명의 일 실시예에 따른 사용자 지향성 디스플레이-백을 수행하는 스마트 프로젝터(100)를 도시한 것이다. 도 11 및 도 12를 참조하면, 스마트 프로젝터(100)는 바닥 투영 모드(제1 모드) 및 벽 투영 모드(제2 모드)에서의 지향성 디스플레이-백을 달리 수행할 수 있다.
도 11의 (a)를 참조하면, 스마트 프로젝터가 제1 모드일 때, 스마트 프로젝터(100)는 사용자가 위치하는 방향으로 디스플레이-백을 출력할 수 있다. 스마트 프로젝터가 제1 모드일 때, 스마트 프로젝터는 사용자의 시야 내에 내지 사용자의 인근에 제1 투영 영역(20a)이 위치되도록, 사용자가 위치하는 방향으로 디스플레이-백의 투사 방향 또는 투사 방향이 선택되는 범위를 결정할 수 있다.
도 11의 (b)를 참조하면, 스마트 프로젝터가 제1 모드일 때, 스마트 프로젝터(100)는 사용자의 위치가 변경됨에 따라, 디스플레이-백의 투영 영역 또는 투사 방향을 변경할 수 있다. 스마트 프로젝터(100)는 사용자의 이동에 대응되는 방향으로 광의 출사 방향을 회동하여, 디스플레이-백의 투영 영역을 제1 투영 영역(20a)에서 제2 투영 영역(20a')으로 변경할 수 있다.
도 12의 (a)를 참조하면, 스마트 프로젝터가 제2 모드일 때, 스마트 프로젝터(100)가 제1 모드일 때, 스마트 프로젝터(100)는 사용자의 스마트 프로젝터(100)에 대한 방향의 반대 방향으로 디스플레이-백을 출력할 수 있다. 스마트 프로젝터(100)가 제2 모드일 때, 스마트 프로젝터(100)는 사용자의 맞은 편에 영상이 투영되도록, 사용자가 위치하는 방향의 반대 방향으로 디스플레이-백의 투사 방향 또는 투사 방향이 선택되는 범위를 결정할 수 있다.
도 12의 (b)를 참조하면, 스마트 프로젝터가 제2 모드일 때, 스마트 프로젝터(100)는 사용자의 이동에 대응하여, 디스플레이-백의 투영 영역을 제1 투영 영역(20b)에서 제2 투영 영역(20b')으로 변경할 수 있다. 스마트 프로젝터(100)는 사용자의 이동에 대응하여, 디스플레이-백이 투영되는 벽면이 변경되도록 광의 출사 방향을 회동할 수 잇다.
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 사용자 위치 정보를 획득하고, 전술한 벽 투영 모드 또는 바닥 투영 모드 중 적절한 모드를 선택하여, 선택된 모드에서의 지향성 디스플레이-백을 수행할 수도 있다.
2.3.2
지시자에 따른 동작
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 지향 지시자를 포함하는 보이스 커맨드를 획득하고, 지향 지시자에 대응되는 방향으로 디스플레이-백의 프로젝션을 수행할 수 있다. 지향 지시자는 지향성 디스플레이-백을 요청할 수 있다. 지향 지시자는 광의 투사 방향 또는 방향의 결정 기준을 지시할 수 있다.
지향 지시자는 디스플레이-백의 투사 방향을 직접적으로 지시하는 방향 지시자일 수 있다. 방향 지시자는 기준 방향을 기준으로 광의 투사 방향을 지시할 수 있다. 방향 지시자는 기준 방향에 대한 회전 방향 및 정도를 지시할 수 있다. 방향 지시자는 광의 투사 방향 또는 프로젝터 모듈의 회동 방향 및 회동 정도에 대한 정보를 포함할 수 있다.
방향 지시자는 광의 투사 방향을 간접적으로 지시할 수 있다. 방향 지시자는 타겟 오브젝트를 지시할 수 있다. 스마트 프로젝터는 타겟 오브젝트를 지시하는 방향 지시자를 포함하는 보이스 커맨드를 획득하고, 타겟 오브젝트가 위치하는 방향으로 디스플레이-백을 투사할 수 있다. 일 예로, 타겟 오브젝트는 보이스 커맨드를 발화한 사용자일 수 있다.
방향 지시자는 스마트 프로젝터의 작동 모드와 관련된 정보를 포함할 수도 있다. 스마트 프로젝터는 작동 모드에 대한 정보를 포함하는 방향 지시자를 포함하는 보이스 커맨드를 획득하고, 작동 모드 및 투사 방향을 변경할 수 있다.
예컨대, 스마트 프로젝터는 제1 모드에서 방향 지시자를 포함하는 보이스 커맨드를 획득하고, 제2 모드로 변경하고 방향 지시자에 대응되는 방향으로 디스플레이-백을 출력할 수 있다.
스마트 프로젝터는 사용자 지향성 피드백을 요청하는 사용자 지시자를 포함하는 보이스 커맨드를 획득하고, 사용자 위치에 대응되는 방향으로 디스플레이-백의 프로젝션을 수행할 수 있다. 사용자 지시자는 보이스 커맨드에 포함되고 특정 사용자 식별에 이용되는 사용자 식별 정보일 수 있다.
2.4
장치
도 13은 본 발명의 일 실시예에 따른 스마트 프로젝터로서, 지향성 디스플레이-백을 수행하는 스마트 프로젝터의 일 예를 도시한 것이다. 도 13을 참조하면, 스마트 프로젝터(2000)는 마이크 모듈, 스피커 모듈, 프로젝터 모듈 및 제어부를 포함할 수 있다.
이외에도, 스마트 프로젝터는(2000) 스마트 디바이스와 관련하여 전술한 다양한 모듈들을 더 포함할 수 있다. 또한, 각 모듈 및 스마트 프로젝터(2000)에 대한 내용은 스마트 디바이스에 대하여 전술한 것과 유사하게 구현될 수 있다.
스마트 프로젝터(2000)는 오디오를 획득하는 마이크 모듈(2010)을 포함할 수 있다. 마이크 모듈(2010)은 보이스 커맨드를 포함하는 보이스를 획득할 수 있다.
스마트 프로젝터(2000) 광학 신호를 획득하는 카메라 모듈(2030)을 선택적으로 포함할 수 있다. 카메라 모듈(2030)은 이미지 정보, 공간 정보 등을 획득할 수 있다.
스마트 프로젝터(2000)는 오디오를 출력하는 스피커 모듈(2050)을 포함할 수 있다. 스피커 모듈(2050)은 토크-백을 출력할 수 있다.
스마트 프로젝터(2000)는 광을 출사하여 영상을 출력하는 프로젝터 모듈(2070)을 포함할 수 있다. 프로젝터 모듈(2070)은 회전 가능하도록 마련될 수 있다. 프로젝터 모듈()은 스마트 프로젝터의 하우징에 대하여 회전할 수 있다. 프로젝터 모듈(2070)은 스마트 프로젝터 내에 마련된 회전판과 일체로서 회전할 수 있다.
제어부(2090)는 스마트 프로젝터(2000)가 지향성 피드백을 수행하도록 제어할 수 있다. 제어부(2090)는 마이크 모듈(2010) 및/또는 카메라 모듈(2030)을 통하여 사용자 위치 정보를 획득할 수 있다.
제어부(2090)는 마이크 모듈(2010)을 이용하여 획득한 사용자의 보이스가 발화된 방향을 검출하고, 보이스가 검출된 방향 및 발화된 보이스의 음량에 기초하여 사용자 위치 정보를 획득할 수 있다. 제어부(2090)는 카메라 모듈(2030)을 이용하여 공간 정보를 획득하고, 공간 정보에 기초하여 인근에 위치하는 사용자 위치 정보를 획득할 수 있다.
제어부(2090)는 사용자 위치 정보를 이용하고 프로젝터 모듈(2070) 및/또는 스피커 모듈(2050을 통하여 지향성 피드백을 수행할 수 있다. 제어부(2090)는 사용자 위치 정보에 기초한 지향성 토크-백을 스피커 모듈(2050)을 통하여 출력할 수 있다. 제어부(2090)는 사용자 위치 정보에 기초한 지향성 디스플레이-백을 프로젝터 모듈(2070)을 통하여 출력할 수 있다.
3.
복수 사용자 환경에서의 지향성 피드백
전술한 사용자 지향성 피드백의 출력은, 복수의 사용자가 존재하는 경우에도 이용될 수 있다. 사용자 지향성 피드백의 출력은, 복수의 사용자가 존재하는 환경에서는 그 양상이 달라질 수 있다.
스마트 디바이스는 복수의 사용자가 존재하는 경우에 복수 사용자의 위치 정보를 고려하여 피드백을 출력할 수 있다. 특히, 스마트 프로젝터는 복수 사용자의 위치 정보를 고려하여 디스플레이-백의 출력을 수행할 수 있다.
이하에서는, 복수의 사용자가 존재하는 경우, 디스플레이-백을 출력하는 스마트 프로젝터 또는 디스플레이 백을 출력하도록 스마트 프로젝터를 제어하는 방법 등의 몇몇 실시예에 대하여 설명한다. 또한, 이하에서 특별한 언급이 없는 한, 스마트 프로젝터에 대하여, 전술한 제5 타입 스마트 프로젝터에 대한 내용이 적용될 수 있다.
3.1
복수의 사용자 타겟
본 발명의 일 실시예에 따르면, 복수의 사용자가 존재하고, 복수의 사용자가 스마트 프로젝터에 의해 출력되는 디스플레이-백을 공유할 것이 요청되는 경우가 있을 수 있다. 예컨대, 둘 이상의 사용자가 영상 컨텐츠를 시청하고자 하는 경우에, 스마트 프로젝터는 고려되는 시청자들 모두가 시청 가능한 위치로 적절히 선택된 투영 영역에 영상 컨텐츠를 투영할 수 있다.
이하에서는, 복수의 사용자에게 디스플레이-백을 제공하는 방법 등에 대하여 몇몇 실시 예를 들어 설명한다.
3.1.1
동작
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 복수의 사용자를 타겟 사용자로서 인식하고 복수의 타겟 사용자를 위한 투영 영역에 디스플레이-백을 출력할 수 있다.
스마트 프로젝터는 보이스 커맨드를 획득하고, 보이스를 발화한 사용자를 포함하는 복수의 타겟 사용자의 사용자 위치 정보를 고려하여, 복수의 타겟 사용자가 인식할 수 있도록 결정된 투영 영역에 디스플레이-백을 출력할 수 있다. 투영 영역은 벽면 또는 바닥면에서 선택될 수 있다.
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 적어도 하나의 타겟 사용자를 인식할 수 있다. 스마트 프로젝터는 카메라 모듈 및/또는 마이크 모듈을 이용하여 타겟 사용자를 인식할 수 있다. 스마트 프로젝터는 미리 저장된 식별 정보에 기초하여 타겟 사용자를 인식할 수 있다.
예를 들어, 스마트 프로젝터는 복수의 사용자를 타겟 사용자 또는 타겟 사용자 그룹으로 인식할 수 있다. 스마트 프로젝터는 스마트 프로젝터로부터 소정 거리 이내에 위치하는 사용자들을 타겟 사용자들로 인식할 수 있다.
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 복수의 타겟 사용자에게 디스플레이-백을 제공할 수 있다.
예를 들어, 타겟 사용자는 제1 사용자 및 제2 사용자를 포함하고, 스마트 프로젝터는 제1 사용자 및 제2 사용자에게 순차로 디스플레이-백을 제공할 수 있다. 스마트 프로젝터는 보이스 커맨드를 포함하는 보이스를 발화하는 사용자가 변경되면, 변경된 사용자의 위치에 대응되는 영역으로 투영 영역을 조정할 수 있다.
도 14는 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다.
도 14의 (a)를 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)의 보이스 커맨드에 응답하여 제1 사용자(User 1)의 위치에 대응되는 제1 투영 영역(20c)에 디스플레이-백을 투영할 수 있다. 도 14의 (b)를 참조하면, 스마트 프로젝터(100)는 제2 사용자(User 2)의 보이스 커맨드에 응답하여 제2 사용자(User 2)의 위치에 대응되는 제2 투영 영역(20c')에 디스플레이-백이 출력되도록 투영 영역을 조정할 수 있다.
도 14의 (a) 및 (b)를 참조하면, 스마트 프로젝터(100)는 제1 투영 영역(20c)에 디스플레이-백을 출력하고 있는 상태에서, 제2 사용자(User 2)의 보이스 커맨드를 획득하고, 제2 투영 영역(20c')으로 투영 영역을 변경할 수 있다.
다른 예를 들어, 타겟 사용자는 제1 사용자 및 제2 사용자를 포함하고, 스마트 프로젝터는 제1 사용자 및 제2 사용자가 함께 디스플레이-백을 관찰할 수 있도록 결정된 투영 영역에 디스플레이-백을 출력할 수 있다. 또한, 스마트 프로젝터는 제1 사용자 및/또는 제2 사용자의 위치가 변경되면, 디스플레이-백이 투영되는 투영 영역을 변경할 수 있다.
도 15는 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 도 15의 (a) 및 (b)를 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1) 및 제2 사용자(User 2)가 모두 관찰 가능한 벽면 상에서 결정된 투영 영역에 디스플레이-백을 출력할 수 있다.
도 15의 (a)를 참조하면, 제1 사용자(User 1) 및 제2 사용자(User 2)가 스마트 프로젝터에 대하여 위치하는 방향이 인접한 경우, 스마트 프로젝터(100)는 제1 사용자(User 1) 및 제2 사용자(User 2)와 마주보는 벽면 상에서 결정된 투영 영역에 디스플레이-백을 출력할 수 있다
도 15의 (b)를 참조하면, 제1 사용자(User 1) 및 제2 사용자(User 2)가 스마트 프로젝터(100)에 대하여 위치하는 방향이 소정 간격 이상 이격된 경우, 스마트 프로젝터(100)는 제1 사용자(User 1)가 등지는 벽면 및 제2 사용자(User 2)가 등지는 벽면을 제외한 벽면 상에서 결정된 투영 영역에 디스플레이-백을 출력할 수 있다.
도 15의 (a) 및 (b)를 참조하면, 제1 사용자(User 1)의 위치가 변경된 경우, 스마트 프로젝터(100)는 디스플레이-백이 출력되는 투영 영역을 조정할 수 있다. 스마트 프로젝터(100)는 제1 벽면 상에서 결정된 제1 투영 영역(20d)에 디스플레이-백을 출력하고 있는 상태에서, 제2 사용자(User 2)의 보이스 커맨드를 획득하고, 제2 벽면 상에서 결정된 제2 투영 영역(20d')으로 투영 영역을 변경할 수 있다.
도 16은 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 도 16의 (a) 및 (b)를 참조하면, 스마트 프로젝터(100)는 바닥면(즉, 테이블 면)에 있어서 제1 사용자(User 1) 및 제2 사용자(User 2)가 위치하는 방향을 고려하여 결정된 투영 영역(20e)에 디스플레이-백을 출력할 수 있다.
도 16의 (a)를 참조하면, 스마트 프로젝터(100)에 대하여 제1 사용자(User 1)가 위치하는 방향 및 스마트 프로젝터(100)에 대하여 제2 사용자(User 2)가 위치하는 방향이 인접하는 경우, 스마트 프로젝터(100)는 제1 사용자(User 1) 및 제2 사용자(User 2)가 위치하는 방향으로 디스플레이-백을 투사할 수 있다.
도 16의 (b)를 참조하면, 스마트 프로젝터(100)에 대하여 제1 사용자(User 1)가 위치하는 방향 및 스마트 프로젝터(100)에 대하여 제2 사용자(User 2)가 위치하는 방향이 소정 간격 이상 이격된 경우, 스마트 프로젝터(100)는 제1 사용자(User 1) 및 제2 사용자(User 2)가 위치하는 방향의 중간 방향으로 디스플레이-백을 투사할 수 있다.
도 16의 (a) 및 (b)를 참조하면, 스마트 프로젝터(100)는 디스플레이-백이 출력되는 투영 영역(20e)을 제2 사용자(User 2)의 이동에 대응하여 변경할 수 있다. 스마트 프로젝터(100)는, 제2 사용자(User 2)가 이동함에 따라, 디스플레이-백이 출력되는 투영 영역을 제1 영역(20e)에서 제2 영역(20e')으로 조정할 수 있다.
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 복수의 타겟 사용자의 위치 정보를 고려하여 결정된 투영 영역에 디스플레이-백을 출력할 수 있다.
도 17은 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 도 17을 참조하면, 타겟 사용자는 제1 사용자(User 1) 및 제2 사용자(User 2)를 포함하고, 디스플레이-백의 투사 방향 또는 투영 영역(20f)은 제1 사용자(User 1)의 스마트 프로젝터(100)에 대한 방향 및 제2 사용자(User 2)의 스마트 프로젝터(100)에 대한 방향의 중간 영역에서 선택될 수 있다.
도 17을 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)가 위치하는 방향 및 제2 사용자(User 2)가 위치하는 방향의 중간 방향을 향하여 광을 출사하여, 디스플레이-백을 출력할 수 있다. 광의 출사 방향은, 출사 방향과 제1 사용자(User 1)가 위치하는 방향이 이루는 각도 d1 및 출사 방향과 제2 사용자(User 2)가 위치하는 방향이 이루는 각도 d2가 같도록 결정될 수 있다.
도 18은 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 도 18을 참조하면, 타겟 사용자는 제1 사용자(User 1) 및 제2 사용자(User 2)를 포함하고, 투영 영역(20g) 또는 투사 방향은 제1 사용자(User 1)의 스마트 프로젝터로(100)부터의 거리 및 제2 사용자(User 2)의 스마트 프로젝터(100)로부터의 거리를 고려하여 결정될 수 있다.
도 18을 참조하면, 제2 사용자(User 2)의 스마트 프로젝터로(100)부터의 거리 r2가 제1 사용자의 스마트 프로젝터(100)로부터의 거리 r1 보다 긴 경우, 투영 영역(20g) 또는 투사 방향은 제2 사용자(User 2)가 위치하는 방향으로 치우치도록 결정될 수 있다. 또는, 반대로, 투영 영역(20g) 또는 투사 방향은 제1 사용자(User 1)가 위치하는 방향으로 치우치도록 결정될 수 있다.
도 19는 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 도 19를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100)는 복수의 사용자에 의해 요청된 복수의 컨텐츠를 하나의 디스플레이-백을 통하여 출력할 수 있다.
도 19를 참조하면, 스마트 프로젝터(100)는 투영 영역(20h)를 제1 서브 영역(20h-1) 및 제2 서브 영역(20h-2)으로 분할하여 출력할 수 있다. 스마트 프로젝터(100)는 제1 서브 영역(20h-1)에 제1 사용자에 의해 요청된 제1 컨텐츠를 출력하고, 제2 서브 영역(20h-2)에 제2 사용자에 의해 요청된 제2 컨텐츠를 출력할 수 있다.
스마트 프로젝터(100)는 제1 사용자(User 1)로부터 제1 컨텐츠를 요청하는 제1 보이스 커맨드를 획득하고, 제2 사용자(User 2)로부터 제2 컨텐츠를 요청하는 제2 보이스 커맨드를 획득하고, 제1 컨텐츠 및 제2 컨텐츠를 하나의 디스플레이-백을 통하여 출력할 수 있다. 출력되는 영상의 레이아웃, 즉, 제1 컨텐츠 및 제2 컨텐츠의 배치는 사용자들의 위치, 거리 등을 고려하여 결정될 수 있다.
3.1.2
지시자에 따른 동작
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 복수의 타겟 사용자에게 디스플레이-백을 제공할 것을 요청하는 보이스 커맨드를 획득하고, 복수의 타겟 사용자가 관찰할 수 있는 영역에 디스플레이-백을 출력할 수 있다.
예를 들어, 스마트 프로젝터는 제1 사용자에 의해 발화되고 제1 보이스 커맨드를 포함하는 보이스를 획득하고, 제1 보이스 커맨드에 응답하여, 제1 사용자 및 제1 사용자가 아닌 제2 사용자를 향하여 디스플레이-백을 출력할 수 있다.
스마트 프로젝터는 공유 지시자를 포함하는 보이스 커맨드를 포함하는 보이스를 획득하고, 공유 지시자에 대응되는 복수의 타겟 사용자가 관찰할 수 있는 위치로 결정된 투영 영역에 디스플레이-백을 출력할 수 있다.
보이스 커맨드는 복수의 타겟 사용자에게 디스플레이-백을 제공할 것을 요청하는 공유 지시자를 포함할 수 있다. 공유 지시자는 보이스 커맨드를 구성하는 문장에 포함되는 특정 의미를 가지는 어절 내지 형태소 등으로 미리 정해질 수 있다. 공유 지시자는 보이스 커맨드를 구성하는 문장에 포함되는 지시형 어절로서 미리 정해질 수 있다.
공유 지시자는 복수의 타겟 사용자를 인식하고, 복수의 타겟 사용자에게 디스플레이-백을 제공할 것을 요청하는 지시자일 수 있다. 공유 지시자는 디스플레이-백을 제공받을 타겟 사용자 그룹 또는 각각의 타겟 사용자를 지시 또는 암시하는 식별 정보를 포함할 수 있다.
3.2
특정 사용자 타겟
본 발명의 일 실시예에 따르면, 발화하는 사용자와 디스플레이-백을 획득하는 사용자가 일치하지 않는 경우가 있을 수 있다. 예컨대, 복수의 사용자가 존재하고, 디스플레이-백을 통하여 정보를 획득한 사용자가 다른 사용자와 정보를 공유하기를 원하는 경우가 있을 수 있다. 이러한 경우에, 스마트 디바이스는 정보를 요청한 발화자가 아닌 다른 사용자에게 디스플레이-백을 제공할 수 있을 것이다.
이하에서는, 발화자와 피드백 획득자(또는 타겟 사용자)가 불일치하는 경우, 즉, 발화자의 보이스 커맨드에 의한 디스플레이-백을 비발화자에게 제공하는 방법 등에 대하여 몇몇 실시예를 들어 설명한다.
3.2.1
동작
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 발화자에 의해 발화된 보이스 커맨드를 획득하고, 비발화자를 향하여 영상을 출력할 수 있다. 스마트 프로젝터는 발화자에 의해 발화되고 보이스 커맨드를 포함하는 보이스를 획득하고, 보이스 커맨드에 기초하여 비발화자를 향하여 지향성 디스플레이-백을 출력할 수 있다.
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 보이스 커맨드를 획득하고, 특정 타겟 사용자가 정보를 획득할 수 있도록 결정된 위치로 디스플레이-백을 투영할 수 있다. 타겟 사용자는 정보를 요청하는 보이스 커맨드를 발화한 사용자와 다른 사용자일 수 있다.
예컨대, 스마트 프로젝터는 제1 사용자(또는 발화자)에 의해 요청된 영상 피드백을 제1 사용자가 아닌 제2 사용자(또는 비발화자)를 향하여 투사할 수 있다. 제2 사용자는 여러 명일 수 있다.
도 20은 본 발명의 일 실시예에 따른 스마트 프로젝터(100)에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다. 도 20을 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)의 보이스 커맨드에 응답하여, 제2 사용자(User 2)를 향하여 디스플레이-백을 투영할 수 있다.
도 20을 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)를 향하여 광을 출사하여 제1 투영 영역(20i)에 디스플레이-백을 출력하고, 제1 사용자(User 1)의 보이스 커맨드를 획득하면, 투영 영역이 제2 투영 영역(20i')으로 조정 내지 변경되도록 광의 출사 방향을 변경할 수 있다.
스마트 프로젝터(100)는 제1 사용자(User 1)에 의해 발화되고 보이스 커맨드를 포함하는 보이스를 획득하고, 보이스 커맨드에 응답하여, 제1 사용자(User 1)가 아닌 제2 사용자(User 2)를 향하여 디스플레이-백을 출력할 수 있다.
스마트 프로젝터(100)는 제1 사용자(User 1)에 의해 발화된 보이스 커맨드를 획득하고, 보이스 커맨드에 포함된 사용자 식별 정보(예컨대, "Tom")에 기초하여 결정된 제2 사용자(User 2)를 향하여 광의 출사 방향을 회전시킬 수 있다.
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 디스플레이-백의 투영 영역이 변경되도록 광의 출사 방향을 일 방향으로 회전할 수 있다. 스마트 프로젝터는 출사 방향을 회전하는 동안 광의 출사를 중단할 수 있다. 또는, 스마트 프로젝터는 광을 출사하면서 출사 방향을 회전할 수 있다.
도 21은 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 도 21을 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)의 보이스 커맨드를 획득하고, 제2 사용자(User 2)를 향하여 디스플레이-백이 투영되도록 광의 출사 방향을 회전할 수 있다.
도 21을 참조하면, 스마트 프로젝터(100)는 출사 방향의 회전 방향은 투영 영역 조정이 최단 시간 내에 수행되도록 결정될 수 있다. 예컨대, 도 21에서 도시하는 실시예에 경우, 제2 사용자(User 2)가 제1 사용자(User 1)의 우측에 위치하므로, 스마트 프로젝터(100)는 광의 출사 방향을 반시계 방향으로 회전시킬 수 있다.
구체적인 예로, 본 발명의 일 실시예에 따른 스마트 프로젝터(100)는 제1 사용자(User 1)의 보이스 커맨드를 획득하고, 제1 사용자(User 1)에게 디스플레이-백이 제공되는 제1 투영 영역(20j)으로부터 제2 사용자(User 2)에게 디스플레이-백이 제공되는 제2 투영 영역(20j')으로 투영 영역이 변경되도록 광의 출사 방향을 회전하되, 투영 영역의 이동 변위가 최소화되는 방향(예컨대, 반시계 방향)으로 광의 출사 방향을 회전시킬 수 있다.
도 22는 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 도 22를 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)의 보이스 커맨드를 획득하고, 제1 사용자(User 1), 즉, 발화자) 아닌 복수의 사용자(즉, 복수의 비발화자)에게 디스플레이-백을 제공할 수 있다.
도 22를 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)의 보이스 커맨드를 획득하고, 제2 사용자(User 2) 및 제3 사용자(User 3)에게 디스플레이-백이 제공되도록, 광의 투사 방향을 변경할 수 있다. 도 22를 참조하면, 스마트 프로젝터(100)는, 제1 사용자(User 1)에게 디스플레이-백이 제공되는 제1 투영 영역(20k)에 디스플레이-백을 출력하고, 제1 사용자(User 1)의 보이스 커맨드를 획득하고, 제2 사용자(User 2) 및 제3 사용자(User 3)가 함께 시청할 수 있는 범위 내에서 결정된 제2 투영 영역(20k')에 디스플레이-백을 출력할 수 있다.
3.2.2
지시자에 따른 동작
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 타겟 사용자를 지정하는 타겟 지시자를 포함하는 보이스 커맨드를 포함하는 보이스를 획득하고, 타겟 지시자에 기초하여 디스플레이-백을 수행할 수 있다. 스마트 프로젝터는 타겟 지시자를 포함하는 보이스 커맨드를 획득하고, 타겟 지시자에 대응되는 타겟 사용자를 향하여 디스플레이-백이 투사되도록 광의 출사 방향을 변경할 수 있다.
타겟 지시자는 디스플레이-백을 제공받을 적어도 하나의 타겟 사용자를 지시 또는 암시할 수 있다. 스마트 프로젝터는 타겟 지시자를 고려하여 결정된 적어도 하나의 타겟 사용자에게 디스플레이-백을 제공할 수 있다. 타겟 지시자는 발화자에 대한 타겟 사용자의 상대 위치 정보를 더 포함할 수 있다.
타겟 지시자는 타겟 사용자를 지시하는 이름 또는 인칭대명사 등일 수 있다. 예컨대, 도 20 에서 도시하는 실시예의 경우, 타겟 지시자는 제2 사용자의 이름인 "Tom" 일 수 있다. 도 21 에서 도시하는 실시예의 경우, 타겟 지시자는 제2 사용자를 지시하는 "him" 일 수 있다. 도 22 에서 도시하는 실시예의 경우, 타겟 지시자는 제2 사용자 및 제3 사용자를 지시하는 "them" 일 수 있다.
도 23은 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 스마트 프로젝터는, 프로젝터 모듈을 비발화자를 향하여 회전하여, 비발화자를 대상으로 하는 지향성 디스플레이-백을 출력할 수 있다.
도 23을 참조하면, 스마트 프로젝터(100)는 발화자로서 제1 사용자(User 1)의 보이스 커맨드를 획득하고, 보이스 커맨드에 포함되는 타겟 지시자에 기초하여 복수의 비발화자 중 타겟 사용자에 대하여 지향성 디스플레이-백을 제공할 수 있다.
도 23을 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)의 보이스 커맨드를 획득하고, 보이스 커맨드에 포함되는 타겟 지시자를 획득할 수 있다. 예컨대, 타겟 지시자는 사용자 식별 정보로서, "Tom"과 같은 사용자 이름일 수 있다.
스마트 프로젝터(100)는 타겟 지시자에 기초하여, 지향성 디스플레이-백을 제공할 타겟 사용자를 결정할 수 있다. 예컨대, 스마트 프로젝터(100)는 제2 사용자(User 2) 및 제3 사용자(User 3)를 포함하는 복수의 비발화자 중, "Tom"을 이름으로 가지는 것으로 저장된 제2 사용자(User 2)를 타겟 사용자로 결정할 수 있다.
스마트 프로젝터(100)는 제1 사용자(User 1)의 위치에 대응되는 제1 투영 영역(20l)으로부터 타겟 사용자로서 제2 사용자(User 2)의 위치에 대응되는 제2 투영 영역(20l')으로 투영 영역이 변경되도록 광의 투사 방향을 변경할 수 있다.
도 24는 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다. 도 24를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법은 사용자의 스마트 프로젝터에 대한 위치 정보를 획득하는 단계(S110), 제1 투영 영역을 투영 영역으로 하여 영상 피드백을 출력하는 단계(S130) 및 제2 투영 영역에 영상 피드백이 출력되도록 투영 영역을 조정하는 단계(S150)를 포함할 수 있다.
상기 스마트 프로젝터는 상기 광이 출사되는 방향이 회전 가능하도록 마련될 수 있다.
사용자의 스마트 프로젝터에 대한 위치 정보를 획득하는 단계(S110)에 대하여는 전술한 위치 정보 획득에 관한 내용이 적용될 수 있다.
제1 투영 영역을 투영 영역으로 하여 영상 피드백을 출력하는 단계(S130)는 상기 사용자 중 발화자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 상기 발화자의 위치 정보에 대응되는 제1 투영 영역을 상기 투영 영역으로 하여 상기 제1 보이스 커맨드에 대응되는 영상 피드백을 출력하는 것을 포함할 수 있다.
제1 투영 영역을 투영 영역으로 하여 영상 피드백을 출력하는 단계(S130)는 상기 발화자가 상기 스마트 프로젝터에 대하여 위치하는 방향으로 상기 광을 출사하여 상기 제1 투영 영역에 상기 영상 피드백을 출력하는 것을 포함할 수 있다.
제2 투영 영역에 영상 피드백이 출력되도록 투영 영역을 조정하는 단계(S150)는 상기 발화자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하고, 상기 사용자 중 비발화자의 위치 정보를 고려하여 결정되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 것을 포함할 수 있다.
제2 보이스 커맨드는 타겟 지시자를 포함하고, 상기 제2 투영 영역은 상기 타겟 지시자 및 상기 발화자의 위치 정보를 고려하여 결정될 수 있다.
제2 투영 영역에 영상 피드백이 출력되도록 투영 영역을 조정하는 단계(S150)는 상기 비발화자가 상기 스마트 프로젝터에 대하여 위치하는 방향으로 상기 광을 출사하여 상기 제2 투영 영역에 상기 영상 피드백을 출력하는 것을 포함할 수 있다.
투영 영역을 조정하는 단계(S150)는 상기 투영 영역이 상기 제1 투영 영역에서 상기 제2 투영 영역으로 변경되도록, 상기 광이 출사되는 방향을 회동하여 상기 투영 영역을 조정하는 것을 더 포함할 수 있다.
비발화자는 제1 비발화자 및 제2 비발화자를 포함할 수 있다.
이때, 투영 영역을 조정하는 단계(S150)는 제1 비발화자의 위치 정보 및 상기 제2 비발화자의 위치 정보를 고려하여 결정된 상기 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 것을 더 포함할 수 있다.
투영 영역을 조정하는 단계(S150)는 발화자의 위치 정보 및 비발화자의 위치 정보를 함께 고려하여 결정되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 것을 더 포함할 수 있다.
타겟 지시자는 상기 발화자의 위치를 기준 위치로 하는 상기 비발화자의 상대 위치 정보를 포함할 수 있다. 이때, 투영 영역을 조정하는 단계(S150)는 발화자의 위치 정보 및 비발화자의 상대 위치 정보에 기초하여 결정된 상기 비발화자의 위치 정보에 대응되는 상기 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 것을 포함할 수 있다.
도 25는 본 발명의 일 실시예에 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다. 도 25를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법은 제1 위치 정보 및 제2 위치 정보를 획득하는 단계(S210), 제1 영상 피드백을 제1 투영 영역에 출력하는 단계(S230), 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하는 단계(S250), 타겟 사용자를 결정하는 단계(S270) 및 제2 영상 피드백을 제2 투영 영역에 출력하는 단계(S290)를 포함할 수 있다.
제1 위치 정보 및 제2 위치 정보를 획득하는 단계(S210)는 제1 사용자의 상기 스마트 프로젝터에 대한 위치 정보로서 제1 위치 정보 및 적어도 하나의 제2 사용자의 상기 스마트 프로젝터에 대한 위치 정보로서 제2 위치 정보를 획득하는 것을 포함할 수 있다.
제1 영상 피드백을 제1 투영 영역에 출력하는 단계(S230)는 상기 제1 사용자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 상기 제1 보이스 커맨드에 대응되는 제1 영상 피드백을 상기 제1 위치 정보에 대응되는 제1 투영 영역에 출력하는 것을 포함할 수 있다.
제2 보이스 커맨드를 포함하는 제2 보이스를 획득하는 단계(S250)는 제1 사용자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하는 것이고, 제2 보이스 커맨드는 타겟 지시자를 포함할 수 있다.
타겟 지시자는 상기 제2 사용자의 식별 정보를 포함할 수 있다. 타겟 지시자는 제1 사용자의 위치를 기준으로 하는 상기 제1 사용자의 위치에 대한 상기 제2 사용자의 상대 위치 정보를 포함할 수 있다. 타겟 지시자는 상기 스마트 프로젝터를 기준으로 하는 상기 제1 사용자의 위치에 대한 상기 제2 사용자의 위치 정보를 포함할 수 있다.
타겟 사용자를 결정하는 단계(S270)는 타겟 지시자 및 상기 제1 위치 정보에 기초하여 상기 적어도 하나의 제2 사용자 중 타겟 사용자를 결정하는 것을 포함할 수 있다.
제2 영상 피드백을 제2 투영 영역에 출력하는 단계(S290)는 제2 보이스 커맨드에 의해 요청되는 제2 영상 피드백을 상기 타겟 사용자의 상기 제2 위치 정보에 대응되는 제2 투영 영역에 출력하는 것을 포함할 수 있다.
제2 영상 피드백을 제2 투영 영역에 출력하는 단계(S290)는 상기 광이 출사되는 방향을 상기 제2 투영 영역까지의 회전 변위가 최소로 되는 방향으로 회전하여 상기 제2 영상 피드백을 상기 제2 투영 영역에 투영하는 것을 더 포함할 수 있다.
도 26은 본 발명의 일 실시예에 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다. 도 26을 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법은 제1 사용자에 의해 발화된 보이스를 획득하는 단계(S310), 제2 사용자의 위치 정보를 획득하는 단계(S330) 및 제2 사용자의 위치 정보를 고려하여 결정된 투영 영역에 영상 피드백을 투영하는 단계(S350)를 포함할 수 있다.
제1 사용자에 의해 발화된 보이스를 획득하는 단계(S310)는 제1 사용자에 의해 발화되고 제2 사용자에게 영상 피드백을 제공할 것을 요청하는 보이스 커맨드를 포함하는 제1 보이스를 획득하는 것을 포함할 수 있다.
제2 사용자의 위치 정보를 획득 또는 수집하는 단계(S330)는 제2 보이스가 발화된 방향 및 상기 보이스의 음량을 검출하고, 상기 보이스가 발화된 방향 및 상기 음량에 기초하여 상기 제2 사용자의 위치 정보를 산출하는 것을 더 포함할 수 있다. 제2 사용자의 위치 정보를 획득 또는 수집하는 단계(S330)에 대하여는 도 27과 관련하여 보다 상세히 설명한다.
제2 사용자의 위치 정보를 고려하여 결정된 투영 영역에 영상 피드백을 투영하는 단계(S350)는 투영 영역을 상기 제1 사용자의 위치 정보에 대응되는 제1 투영 영역으로부터 상기 제2 사용자의 위치 정보에 대응되는 제2 투영 영역으로 변경하고, 상기 투영 영역에 상기 영상 피드백을 투영하는 것을 더 포함할 수 있다.
도 27은 본 발명의 일 실시예에 스마트 프로젝터의 제어 방법에 있어서, 제2 사용자의 위치 정보를 획득하는 단계(S330)를 보다 상세히 설명하기 위한 순서도이다.
도 27을 참조하면, 제2 사용자의 위치 정보를 획득하는 단계(S330)는 제2 사용자의 위치 정보가 미리 저장되어 있는지 판단하는 단계(S331), 제2 사용자의 발화를 유도하는 가이드 보이스를 출력하는 단계(S333) 및 제2 사용자에 의해 발화된 제2 보이스에 기초하여 제2 사용자의 위치 정보를 획득하는 단계(S335)를 포함할 수 있다.
제2 사용자의 발화를 유도하는 가이드 보이스를 출력하는 단계(S333)는 제2 사용자의 위치 정보가 미리 저장되어 있지 않으면, 상기 제2 사용자의 발화를 유도하는 가이드 보이스를 출력하는 것을 포함할 수 있다. 가이드 보이스는 상기 제2 사용자의 위치 정보를 요청하는 의문문으로 미리 마련될 수 있다.
제2 사용자에 의해 발화된 제2 보이스에 기초하여 제2 사용자의 위치 정보를 획득하는 단계(S335)는 가이드 보이스에 응답하여 상기 제2 사용자에 의해 발화된 제2 보이스를 획득하고, 상기 획득된 제2 보이스에 기초하여 상기 제2 사용자의 위치 정보를 획득하는 것을 포함할 수 있다.
3.3
지향성의 변경
본 발명의 일 실시예에 따르면, 스마트 프로젝터의 사용자 지향성의 형태는 변경될 수 있다. 스마트 프로젝터는 본 명세서에서 개시하는 다양한 형태의 사용자 지향성을 지원하고, 사용자의 보이스 커맨드에 의하여 지향성의 형태가 변경 가능하도록 마련될 수 있다.
예를 들어, 스마트 프로젝터는 발화자 지향성 디스플레이-백을 출력하고, 타겟 사용자 지향성 디스플레이-백을 요청하는 타겟 지시자를 포함하는 보이스 커맨드가 획득되면 타겟 사용자 지향성(또는 비발화자 지향성) 디스플레이-백을 출력할 수 있다.
도 28은 본 발명의 일 실시예에 따른 스마트 프로젝터(100)에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.
도 28의 (a)를 참조하면, 스마트 프로젝터(100)는 제1 사용자에 대한 지향성 디스플레이-백을 출력할 수 있다. 도 28의 (b)를 참조하면, 스마트 프로젝터(100)는 제2 사용자에 대한 지향성 디스플레이-백 또는 제1 사용자(User 1) 및 제2 사용자(User 2)를 타겟 사용자로 하는 지향성 디스플레이-백을 출력하도록, 지향성이 변경될 수 있다. 스마트 프로젝터(100)는 제1 사용자(User 1) 또는 제2 사용자(User 2)로부터 발화된 보이스 커맨드를 획득하고, 디스플레이-백의 지향성이 변경될 수 있다.
3.4
장치
상술한 지향성 디스플레이-백은 본 명세서에서 개시하는 스마트 프로젝터(2000)에 의하여 수행될 수 있다. 이하에서는, 지향성 디스플레이-백을 수행하는 스마트 프로젝터(2000)에 대하여, 전술한 도 13을 참조하여 설명한다. 스마트 프로젝터(2000) 및 각 모듈들에 대하여는, 도 13과 관련하여 전술한 내용이 적용될 수 있다.
스마트 프로젝터(2000)는 마이크 모듈, 프로젝터 모듈 및 제어부를 포함할 수 있다. 프로젝터 모듈은 상기 광의 출사 방향이 회전 가능하도록 마련될 수 있다.
제어부는 상기 마이크 모듈을 통하여 사용자의 상기 스마트 프로젝터에 대한 위치 정보를 획득하고, 상기 사용자 중 발화자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득할 수 있다.
제어부는 상기 프로젝터 모듈을 통하여 상기 발화자의 위치 정보에 대응되는 제1 투영 영역을 상기 투영 영역으로 하여 상기 제1 보이스 커맨드에 대응되는 영상 피드백을 출력할 수 있다.
제어부는 상기 발화자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하고, 상기 사용자 중 비발화자의 위치 정보에 대응되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 프로젝터 모듈의 상기 광 출사 방향을 조정할 수 있다.
제어부는 상기 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 프로젝터 모듈의 상기 광 출사 방향을 회동하여 상기 광 출사 방향을 조정할 수 있다.
위치 정보는 방향 정보 및 거리 정보를 포함할 수 있다. 제어부는 상기 사용자에 의해 발화된 상기 보이스의 발화 방향에 기초하여 상기 방향 정보를 획득하고, 상기 보이스의 음량에 기초하여 상기 거리 정보를 획득할 수 있다.
비발화자는 제1 비발화자 및 제2 비발화자를 포함할 수 있다. 제어부는 상기 제1 비발화자가 상기 스마트 프로젝터에 대하여 위치하는 방향 및 상기 제2 비발화자가 상기 스마트 프로젝터에 대하여 위치하는 방향의 사이에서 상기 광의 출사 방향을 결정할 수 있다.
이외에도, 제어부는 스마트 프로젝터(2000)에 포함된 각 모듈들을 통하여, 본 명세서에서 개시하는 지향성 피드백을 수행할 수 있다.
4.
장애물의 취급
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 평평한 영역에 영상이 투영되도록 투영 영역 내지 투영 방향을 결정할 수 있다. 스마트 프로젝터는 카메라 모듈을 이용하여 소정 영역의 편평도를 판단하고, 편평도에 기초하여 투영 영역을 결정할 수 있다.
예를 들어, 스마트 프로젝터는 예비 투영 영역을 결정하고, 예비 투영 영역의 편평도를 고려하여 결정된 투영 영역으로 디스플레이-백을 출력할 수 있다. 예비 투영 영역의 편평도가 임계값에 못미치는 경우, 예비 투영 영역은 변경될 수 있다. 스마트 프로젝터는 투영 영역으로부터 돌출된 오브젝트를 검출하고, 돌출된 오브젝트의 위치를 고려하여 결정된 투영 영역으로 디스플레이-백을 출력할 수 있다.
다른 예를 들어, 스마트 프로젝터는 투영 영역이 선택되는 투영 범위를 결정하고, 투영 범위의 편평도를 고려하여 결정된 투영 영역으로 디스플레이-백을 출력할 수 있다. 스마트 프로젝터는 투영 범위 내의 돌출된 오브젝트를 검출하고, 돌출된 오브젝트의 위치를 고려하여 결정된 투영 영역으로 디스플레이-백을 출력할 수 있다.
또 다른 예를 들어, 스마트 프로젝터는 투영 범위 또는 예비 투영 영역 내에 위치하는 돌출된 오브젝트의 형태를 고려하여 그 레이아웃이 변경된 디스플레이-백을 출력할 수 있다.
예비 투영 영역 또는 투영 범위를 결정함에 있어서 전술한 사용자 위치 정보 또는 지향성 지시자가 고려될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (21)
- 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 프로젝터 - 상기 스마트 프로젝터는 광을 출사하여 투영 영역에 영상을 출력함 - 의 제어 방법에 있어서,
사용자의 상기 스마트 프로젝터에 대한 위치 정보를 획득하는 단계;
상기 사용자 중 발화자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 상기 발화자의 위치 정보에 대응되는 제1 투영 영역을 상기 투영 영역으로 하여 상기 제1 보이스 커맨드에 대응되는 영상 피드백을 출력하는 단계; 및
상기 발화자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하고, 상기 사용자 중 비발화자의 위치 정보를 고려하여 결정되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 단계; 를 포함하는
스마트 디바이스의 제어 방법.
- 제1항에 있어서,
상기 제1 투영 영역을 상기 투영 영역으로 하여 상기 영상 피드백을 출력하는 단계는 상기 발화자가 상기 스마트 디바이스에 대하여 위치하는 방향으로 상기 광을 출사하여 상기 제1 투영 영역에 상기 영상 피드백을 출력하는 것을 포함하고,
상기 제2 투영 영역을 상기 투영 영역으로 하여 상기 영상 피드백을 출력하는 단계는 상기 비발화자가 상기 스마트 디바이스에 대하여 위치하는 방향으로 상기 광을 출사하여 상기 제2 투영 영역에 상기 영상 피드백을 출력하는 것을 포함하는
스마트 디바이스의 제어 방법.
- 제1항에 있어서,
상기 스마트 디바이스는 상기 광이 출사되는 방향이 회전 가능하도록 마련되고,
상기 투영 영역을 조정하는 단계는
상기 투영 영역이 상기 제1 투영 영역에서 상기 제2 투영 영역으로 변경되도록, 상기 광이 출사되는 방향을 회동하여 상기 투영 영역을 조정하는 것을 더 포함하는
스마트 디바이스의 제어 방법.
- 제1항에 있어서,
상기 비발화자는 제1 비발화자 및 제2 비발화자를 포함하고,
상기 투영 영역을 조정하는 단계는
상기 제1 비발화자의 위치 정보 및 상기 제2 비발화자의 위치 정보를 고려하여 결정된 상기 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 것을 더 포함하는
스마트 디바이스의 제어 방법.
- 제1항에 있어서,
상기 투영 영역을 조정하는 단계는
상기 발화자의 위치 정보 및 상기 비발화자의 위치 정보를 함께 고려하여 결정되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 것을 더 포함하는,
스마트 디바이스의 제어 방법.
- 제1항에 있어서,
상기 제2 보이스 커맨드는 타겟 지시자를 포함하고, 상기 제2 투영 영역은 상기 타겟 지시자 및 상기 발화자의 위치 정보를 고려하여 결정되는
스마트 디바이스의 제어 방법.
- 제6항에 있어서,
상기 타겟 지시자는 상기 발화자의 위치를 기준 위치로 하는 상기 비발화자의 상대 위치 정보를 포함하고,
상기 투영 영역을 조정하는 단계는 상기 발화자의 위치 정보 및 상기 비발화자의 상대 위치 정보에 기초하여 결정된 상기 비발화자의 위치 정보에 대응되는 상기 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 것을 포함하는
스마트 디바이스의 제어 방법.
- 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 디바이스 - 상기 스마트 디바이스는 광을 출사하여 투영 영역에 영상을 출력하되, 상기 광이 출사되는 방향이 회전 가능하도록 마련됨 - 의 제어 방법에 있어서,
제1 사용자의 상기 스마트 디바이스에 대한 위치 정보로서 제1 위치 정보 및 적어도 하나의 제2 사용자의 상기 스마트 디바이스에 대한 위치 정보로서 제2 위치 정보를 획득하는 단계;
상기 제1 사용자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 상기 제1 보이스 커맨드에 대응되는 제1 영상 피드백을 상기 제1 위치 정보에 대응되는 제1 투영 영역에 출력하는 단계;
상기 제1 사용자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하는 단계- 제2 보이스 커맨드는 타겟 지시자를 포함함 -;
상기 타겟 지시자 및 상기 제1 위치 정보에 기초하여 상기 적어도 하나의 제2 사용자 중 타겟 사용자를 결정하는 단계; 및
상기 제2 보이스 커맨드에 의해 요청되는 제2 영상 피드백을 상기 타겟 사용자의 상기 제2 위치 정보에 대응되는 제2 투영 영역에 출력하는 단계;를 포함하는
스마트 디바이스의 제어 방법.
- 제8항에 있어서,
상기 타겟 지시자는 상기 제2 사용자의 식별 정보를 포함하는
스마트 디바이스의 제어 방법.
- 제8항에 있어서,
상기 타겟 지시자는 상기 제1 사용자의 위치를 기준으로 하는 상기 제1 사용자의 위치에 대한 상기 제2 사용자의 상대 위치 정보를 포함하는,
스마트 디바이스의 제어 방법.
- 제8항에 있어서,
상기 타겟 지시자는 상기 스마트 디바이스를 기준으로 하는 상기 제1 사용자의 위치에 대한 상기 제2 사용자의 위치 정보를 포함하는
스마트 디바이스의 제어 방법.
- 제8항에 있어서,
상기 제2 영상 피드백을 상기 제2 투영 영역에 출력하는 단계는
상기 광이 출사되는 방향을 상기 제2 투영 영역까지의 회전 변위가 최소로 되는 방향으로 회전하여 상기 제2 영상 피드백을 상기 제2 투영 영역에 투영하는 것을 더 포함하는
스마트 디바이스의 제어 방법.
- 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 디바이스 - 상기 스마트 디바이스는 광을 출사하여 영상을 출력하되, 상기 광이 출사되는 방향이 회전 가능하도록 마련됨 - 의 제어 방법에 있어서,
제1 사용자에 의해 발화되고 제2 사용자에게 영상 피드백을 제공할 것을 요청하는 보이스 커맨드를 포함하는 제1 보이스를 획득하는 단계;
상기 제2 사용자의 위치 정보를 획득하는 단계; 및
상기 영상 피드백을 상기 제2 사용자의 위치 정보를 고려하여 결정된 투영 영역에 투영하는 단계; 를 포함하되,
상기 제2 사용자의 위치 정보를 수집하는 단계는
상기 제2 사용자의 위치 정보가 미리 저장되어 있는지 판단하는 단계;
상기 제2 사용자의 위치 정보가 미리 저장되어 있지 않으면, 상기 제2 사용자의 발화를 유도하는 가이드 보이스를 출력하는 단계; 및
상기 가이드 보이스에 응답하여 상기 제2 사용자에 의해 발화된 제2 보이스를 획득하고, 상기 획득된 제2 보이스에 기초하여 상기 제2 사용자의 위치 정보를 획득하는 단계;를 포함하는
스마트 디바이스의 제어 방법.
- 제13항에 있어서,
상기 제2 보이스에 기초하여 상기 제2 사용자의 위치 정보를 획득하는 단계는 상기 제2 보이스가 발화된 방향 및 상기 보이스의 음량을 검출하고, 상기 보이스가 발화된 방향 및 상기 음량에 기초하여 상기 제2 사용자의 위치 정보를 산출하는 것을 더 포함하는
스마트 디바이스의 제어 방법.
- 제13항에 있어서,
상기 영상 피드백을 상기 제2 사용자의 위치 정보를 고려하여 결정된 투영 영역에 투영하는 단계는
상기 투영 영역을 상기 제1 사용자의 위치 정보에 대응되는 제1 투영 영역으로부터 상기 제2 사용자의 위치 정보에 대응되는 제2 투영 영역으로 변경하고, 상기 투영 영역에 상기 영상 피드백을 투영하는 것을 더 포함하는
스마트 디바이스의 제어 방법.
- 제13항에 있어서,
상기 가이드 보이스는 상기 제2 사용자의 위치 정보를 요청하는 의문문으로 미리 마련되는
스마트 디바이스의 제어 방법.
- 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하되, 광을 출사하여 투영 영역에 영상을 출력하는 스마트 디바이스에 있어서,
상기 보이스 커맨드를 포함하는 보이스를 획득하는 마이크 모듈;
광을 출사하여 상기 영상을 출력하는 디바이스 모듈; 및
상기 마이크 모듈을 통하여 사용자의 상기 스마트 디바이스에 대한 위치 정보를 획득하고, 상기 사용자 중 발화자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고,
상기 디바이스 모듈을 통하여 상기 발화자의 위치 정보에 대응되는 제1 투영 영역을 상기 투영 영역으로 하여 상기 제1 보이스 커맨드에 대응되는 영상 피드백을 출력하고,
상기 발화자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하고, 상기 사용자 중 비발화자의 위치 정보에 대응되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 디바이스 모듈의 상기 광 출사 방향을 조정하는 제어부; 를 포함하는
스마트 디바이스.
- 제17항에 있어서,
상기 디바이스 모듈은 상기 광의 출사 방향이 회전 가능하도록 마련되는
스마트 디바이스.
- 제17항에 있어서,
상기 제어부는 상기 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 디바이스 모듈의 상기 광 출사 방향을 회동하여 상기 광 출사 방향을 조정하는,
스마트 디바이스.
- 제17항에 있어서,
상기 위치 정보는 방향 정보 및 거리 정보를 포함하고,
상기 제어부는 상기 사용자에 의해 발화된 상기 보이스의 발화 방향에 기초하여 상기 방향 정보를 획득하고, 상기 보이스의 음량에 기초하여 상기 거리 정보를 획득하는,
스마트 디바이스.
- 제17항에 있어서,
상기 비발화자는 제1 비발화자 및 제2 비발화자를 포함하고,
상기 제어부는 상기 제1 비발화자가 상기 스마트 디바이스에 대하여 위치하는 방향 및 상기 제2 비발화자가 상기 스마트 디바이스에 대하여 위치하는 방향의 사이에서 상기 광의 출사 방향을 결정하는
스마트 디바이스.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180087680A KR20200012410A (ko) | 2018-07-27 | 2018-07-27 | 스마트 디바이스 및 그 제어 방법 |
| PCT/KR2018/014224 WO2020022570A1 (ko) | 2018-07-27 | 2018-11-19 | 스마트 디바이스 및 그 제어 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180087680A KR20200012410A (ko) | 2018-07-27 | 2018-07-27 | 스마트 디바이스 및 그 제어 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200012410A true KR20200012410A (ko) | 2020-02-05 |
Family
ID=69180978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180087680A KR20200012410A (ko) | 2018-07-27 | 2018-07-27 | 스마트 디바이스 및 그 제어 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20200012410A (ko) |
| WO (1) | WO2020022570A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3305037B2 (ja) * | 1993-04-07 | 2002-07-22 | 富士通株式会社 | 多地点制御装置、テレビ会議端末装置及び多地点テレビ会議システム |
| EP1315071A1 (en) * | 2001-11-27 | 2003-05-28 | BRITISH TELECOMMUNICATIONS public limited company | User interface |
| KR20160114873A (ko) * | 2015-03-25 | 2016-10-06 | 엘지전자 주식회사 | 회전 멀티미디어 장치 |
| KR20170097519A (ko) * | 2016-02-18 | 2017-08-28 | 삼성전자주식회사 | 음성 처리 방법 및 장치 |
| KR20180079824A (ko) * | 2017-01-02 | 2018-07-11 | 엘지전자 주식회사 | 홈 로봇 및 그 동작 방법 |
-
2018
- 2018-07-27 KR KR1020180087680A patent/KR20200012410A/ko not_active Application Discontinuation
- 2018-11-19 WO PCT/KR2018/014224 patent/WO2020022570A1/ko active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020022570A1 (ko) | 2020-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11212486B1 (en) | Location based device grouping with voice control | |
| KR102481454B1 (ko) | 방향성 인터페이스를 갖는 핸즈 프리 디바이스 | |
| CN107910007B (zh) | 语音接口设备上的多用户个性化 | |
| EP3552201B1 (en) | Electronic device and controlling method thereof | |
| KR102351366B1 (ko) | 음성 인식 방법 및 장치 | |
| US9729821B1 (en) | Sensor fusion for location based device grouping | |
| US11810560B1 (en) | Voice-controlled device switching between modes based on speech input | |
| KR20220031610A (ko) | 멀티-모달 사용자 인터페이스 | |
| KR102093030B1 (ko) | 스마트 디바이스 및 그 제어 방법 | |
| KR102209092B1 (ko) | 복수의 호출 용어를 이용하여 인공지능 기기를 제어하는 방법 및 시스템 | |
| EP3866158B1 (en) | Systems and methods for generating a singular voice audio stream | |
| KR20190053001A (ko) | 이동이 가능한 전자 장치 및 그 동작 방법 | |
| US10015595B2 (en) | Method and apparatus for controlling sound system included in at least one vehicle | |
| KR20200012410A (ko) | 스마트 디바이스 및 그 제어 방법 | |
| KR102136463B1 (ko) | 스마트 디바이스 및 그 제어 방법 | |
| JP2018045192A (ja) | 音声対話装置および発話音量調整方法 | |
| US11743588B1 (en) | Object selection in computer vision | |
| KR20200012408A (ko) | 스마트 프로젝터 및 그 제어 방법 | |
| KR102168812B1 (ko) | 사운드를 제어하는 전자 장치 및 그 동작 방법 | |
| KR102136461B1 (ko) | 스마트 디바이스 및 그 제어 방법 | |
| TWI840587B (zh) | 多模態使用者介面 | |
| KR20190074344A (ko) | 대화 시스템 및 대화 처리 방법 | |
| KR102136462B1 (ko) | 스마트 디바이스 및 그 제어 방법 | |
| WO2024077588A1 (en) | Voice-based user authentication | |
| KR20220064768A (ko) | 전자 장치 및 이의 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |