WO2020022571A1 - 스마트 디바이스 및 그 제어 방법 - Google Patents
스마트 디바이스 및 그 제어 방법 Download PDFInfo
- Publication number
- WO2020022571A1 WO2020022571A1 PCT/KR2018/014225 KR2018014225W WO2020022571A1 WO 2020022571 A1 WO2020022571 A1 WO 2020022571A1 KR 2018014225 W KR2018014225 W KR 2018014225W WO 2020022571 A1 WO2020022571 A1 WO 2020022571A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- smart device
- voice command
- voice
- display
- smart
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000004044 response Effects 0.000 claims description 18
- 238000012790 confirmation Methods 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 28
- 230000036544 posture Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000086550 Dinosauria Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006266 hibernation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/145—Housing details, e.g. position adjustments thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/221—Announcement of recognition results
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Definitions
- the present invention relates to a smart device and a control method thereof. Specifically, the present invention relates to a smart device for acquiring a voice command and outputting various feedback corresponding to the voice command, and a control method thereof.
- the smart speaker equipped with such an 'intelligent assistant' function generally refers to a smart device capable of receiving a voice command and outputting feedback according to the command in audio form.
- voice control is possible compared to buttons or touch interfaces of traditional smart devices
- criticism that the limitation of providing feedback in the form of audio is limited in the information that can be provided and the user's information acquisition is inefficient. This has been raised.
- smart speakers are increasingly being transformed into smart displays that can be equipped with a display and provide feedback in the form of video as well as audio.
- smart displays that can be equipped with a display and provide feedback in the form of video as well as audio.
- One object of the present invention is to provide a smart device for acquiring voice commands and performing feedback.
- One object of the present invention is to provide a control method of a smart device for acquiring a voice command and performing feedback.
- One object of the present invention is to provide a smart device supporting a voice interface.
- One object of the present invention is to provide a smart device for acquiring a voice command and providing user content corresponding to the voice command.
- a method of controlling a smart device that obtains a voice command and outputs various feedbacks corresponding to the voice command, the feedback including display-back and talk-back, may be provided.
- a control method of a smart device may include receiving a first voice uttered by a user and including a first voice command, and obtaining first content corresponding to the first voice command, wherein the first content includes a plurality of selectable objects.
- Each object included in the plurality of objects includes an identifier assigned to correspond to each object, and a display-back indicating a first area including some of the plurality of objects of the first content.
- a smart device that obtains a voice command and outputs various feedback-feedback corresponding to the voice command includes a display-back and a talk-back.
- the smart device is ignited by a user through a microphone module for acquiring a voice including a voice command, an image output module for outputting a display-back, a speaker module for outputting a talk-back, and a microphone module, and includes a first voice command.
- Receiving a first voice wherein the first content includes a plurality of selectable objects, each object included in the plurality of objects includes an identifier assigned to correspond to each object, and using an image output module Outputting a display-back indicating a first area including some of a plurality of objects among first contents corresponding to the first voice command, ignited by a user using a microphone module, and including a second voice command
- Receive 2 Voices-The second voice command is directed to the first object included in the plurality of objects.
- the controller may include a control unit configured to perform a second operation for requesting confirmation of the first object and the first operation on the first object by the user.
- a smart projector that outputs user-directed feedback can be provided.
- a smart projector for outputting a display-back in consideration of a user position may be provided.
- a smart device for outputting a talk-back in consideration of a user position may be provided.
- FIG. 1 is a block diagram illustrating a smart device according to an embodiment of the present invention.
- FIG. 2 illustrates a state change of a smart device according to an embodiment of the present invention.
- FIG 3 illustrates a smart display according to an embodiment of the present invention.
- FIG. 4 illustrates a smart projector according to an embodiment of the present invention.
- FIG. 5 illustrates a smart projector according to an embodiment of the present invention.
- FIG. 6 illustrates a smart projector according to an embodiment of the present invention.
- FIG. 7 illustrates a smart projector according to an embodiment of the present invention.
- FIG. 8 is a diagram illustrating user content according to an embodiment of the present invention.
- FIG. 9 is a diagram illustrating user content according to an embodiment of the present invention.
- FIG. 10 is a diagram for explaining display screen control of a smart device according to one embodiment of the present invention.
- FIG. 11 is a diagram for describing display screen control of a smart device according to one embodiment of the present invention.
- FIG. 12 is a view for explaining a connection operation according to an embodiment of the present invention.
- FIG. 13 is a view for explaining a connection operation according to an embodiment of the present invention.
- FIG. 14 is a view for explaining a connection operation according to an embodiment of the present invention.
- 15 is a view for explaining a connection operation according to an embodiment of the present invention.
- FIG. 16 illustrates a preliminary selection according to an embodiment of the present invention.
- 17 is a view for explaining a connection operation according to an embodiment of the present invention.
- FIG. 18 is a diagram for describing an operation of a smart projector according to an embodiment of the present invention.
- FIG. 19 is a diagram for describing an operation of a smart projector according to an embodiment of the present invention.
- 20 is a diagram illustrating an operation of a smart projector according to an embodiment of the present invention.
- 21 is a flowchart illustrating a control method of a smart device according to an embodiment of the present invention.
- FIG. 22 is a diagram for describing a control method of a smart device according to one embodiment of the present invention.
- FIG. 23 is a diagram for describing a control method of a smart device according to one embodiment of the present invention.
- 24 is a diagram illustrating a control method of a smart device according to one embodiment of the present invention.
- 25 is a diagram for describing a method of controlling a smart device, according to an exemplary embodiment.
- FIG. 26 is a diagram illustrating a control method of a smart device according to one embodiment of the present invention.
- FIG. 27 is a diagram for describing a method of controlling a smart device according to one embodiment of the present invention.
- the smart device may provide various information to the user by receiving various types of commands from the user and outputting feedback in the form of voice or video in response thereto.
- the smart device may respond to the voice command of the user by acquiring a voice command according to receiving the user's speech through the microphone module and outputting feedback such as talk-back or display-back.
- An example of the above-described smart device may be a smart projector.
- the smart projector may be a device provided in a form in which a projector is mounted on an existing smart speaker.
- examples of the smart device may include a smart speaker, a smart projector, a smart TV, and the like.
- the smart device is not limited to the above-described example, and various devices capable of outputting voice and / or video may be used as the smart device described herein.
- the smart device may include at least one module that performs various functions.
- the smart device may obtain a voice including a voice command using at least one module, or output a feedback corresponding to the voice command.
- the types and functions of the modules will be described.
- the smart device may include a microphone module for receiving a voice signal.
- the microphone module may include a plurality of microphones.
- the smart device may include a speaker module that outputs talk-back.
- the speaker module may include a plurality of speakers.
- the smart device may include a display module including a display for outputting an image or an image.
- the display module may include a touch sensor.
- the display module may be a projector module that emits light.
- the projector module may be an ultra short throw projector module.
- a smart device including a projector module is defined as a smart projector.
- the smart device may include an optical sensor module for collecting the light.
- the smart device may acquire 3D spatial information using the optical sensor module.
- the smart device may obtain user behavior information (eg, gaze information) using the optical sensor module.
- the optical sensor module may be a camera module for acquiring an image or an image.
- the camera module may be an infrared camera module or a visible light camera module.
- the optical sensor module may be a depth sensor module.
- the depth sensor module may provide depth information of an object using a time of flight (TOF).
- TOF time of flight
- the smart device may include a communication unit.
- the smart device may communicate with a server using a communication unit.
- the smart device may communicate with an external device using a communication unit.
- the communication unit may perform wireless communication with an external device.
- the communication unit may perform wireless communication such as Wi-Fi, Bluetooth, or the like.
- the communication unit may perform wired communication.
- the communication unit may perform wired communication such as USB, Ethernet, or the like.
- the smart device may include a controller.
- the controller may control modules included in the smart device.
- FIG. 1 is a block diagram illustrating a smart device 1000 according to an embodiment of the present invention.
- the smart device 1000 may include a microphone module 1010, a camera module 1030, a speaker module 1050, a display module 1070, a controller 1090, and a communication unit. 1110.
- the smart device 1000 may obtain a voice Input 1 using the microphone module 1010.
- the smart device 1000 may acquire an image, an image, or depth information by using the camera module 1030 (Input 2).
- the audio may be output (Output 1) using the smart device 1000 speaker module 1050.
- the smart device may output an image or an image using the display module 1070.
- the smart device may control each module by using the controller 1090.
- the smart device may process information obtained from each module by using the controller 1090.
- the smart device may communicate with the external device 2000 using the communication unit 1110.
- the smart device may transmit the information acquired using the communication unit 1110 to the external device 2000.
- the external device 2000 may be a server device provided separately.
- the smart device includes a display module.
- the smart device may be implemented as a smart projector including a projector module.
- the smart device may receive a command from a user using the above-described modules.
- the smart device may acquire a signal including the user command.
- the smart device may output a signal according to a user command (hereinafter, referred to as feedback).
- the smart device may acquire a command or a signal including the command.
- the smart device may acquire a voice command or a voice (or voice signal) including the voice command.
- the command may include a voice command, a touch command, a gesture command, and the like.
- the command may be defined as a user action that requests a specific or arbitrary response from the device.
- the smart device may provide an interface for obtaining a command from the user.
- the interface may include a voice interface for obtaining a voice command, a touch interface for obtaining a touch command, and a gesture interface for obtaining a gesture command.
- the smart device may obtain a voice.
- the smart device may acquire a voice using the microphone module.
- the smart device may obtain the spoken voice from the user.
- the smart device may acquire a voice including a voice command using the microphone module.
- the smart device may transmit a signal including the obtained voice command and / or voice command to an external device.
- the smart device may deliver the voice command and / or the voice including the voice command to an external device that provides the information requested by the voice command.
- the smart device may transmit voice command data to an external device.
- the external device may be a server device that communicates with at least one device.
- the smart device may obtain a touch event including a touch command.
- the smart device may acquire a touch event occurring in the display using the touch sensor.
- the smart device may obtain a gesture event that includes a gesture command.
- the smart device may obtain a gesture event using the optical sensor module and / or the camera module.
- the above-described command will be described on the basis of the case of the voice command.
- the content of the voice command described herein may be similarly applied to a touch command or a gesture command.
- the smart device may obtain feedback data including the information corresponding to the above-described voice command, and output the feedback by voice or video.
- Feedback may be understood as a signal containing information corresponding to a command that is output in response to the device obtaining a command.
- the information corresponding to the command may include the multimedia content.
- the smart device may obtain feedback data corresponding to the command.
- the smart device may acquire a voice including a voice command and / or a voice command, and obtain feedback data corresponding to the command.
- the smart device may obtain feedback data corresponding to the voice command from the external device.
- the smart device may obtain feedback data in response to sending the voice command data to the external device.
- the smart device may output the feedback.
- the feedback may include voice feedback (hereinafter, voice-back or talk-back) provided by voice or sound, or display feedback (hereinafter, display-back) provided by an image or an image.
- the smart device can output the talk-back.
- the smart device may obtain a voice including the voice command and / or voice command and output a talk-back.
- the smart device may output a talk-back that includes the information requested by the voice command.
- the smart device may output the talk-back using the speaker module.
- the talk-back may include audio content such as music, radio, or the like.
- the smart device can output a display-back.
- the smart device may obtain a voice including a voice command and / or voice command and output a display-back.
- the smart device may output a display-back that includes the information requested by the voice command.
- the smart device may output the display-back using the display module or the projector module.
- the display-back may include video content such as a TV program, Youtube, a movie, or the like.
- the smart device may have several driving states.
- the data processing aspect of the smart device may change depending on the state of the smart device.
- the smart device may be in an off state. In the off state, the smart device can minimize power consumption. In the off state, the smart device may not consume power. In the off state, the smart device may not collect or output a signal. In the off state, the smart device may be in a hibernation state.
- the smart device may have a standby state. In the standby state, the smart device may acquire or output a signal.
- the smart device may acquire a signal that includes a preliminary command foretelling the command generation.
- the preliminary command or a signal including the preliminary command may be predetermined and stored in advance in the smart device.
- the smart device may obtain a voice including the preliminary command.
- the preliminary command included in the voice may be implemented in the form of a hot-word or a wake-up word.
- the reserved command may be predetermined as a command including a specific word.
- the smart device may obtain a touch event or gesture event including the preliminary command.
- the preliminary command included in the touch event may be any touch event or a touch event for a specific region.
- the preliminary command included in the gesture event may be a wake up gesture according to a specific sequence.
- the smart device may have a listening state. In the listening state, the smart device may acquire a signal including a voice command.
- the smart device may acquire a signal including the preliminary command (eg, hot-word) described above and change to a listening state.
- the listening state may be triggered by a signal including a preliminary command.
- the smart device may open a listening window.
- the smart device may acquire a hot-word and open a listening window.
- the smart device may open a listening window and collect voices including voice commands.
- the smart device may open the listening window for a predetermined time interval.
- the predetermined time interval can be changed.
- the smart device may close the listening window.
- the smart device can close the listening window and stop collecting voice.
- the smart device may close the listening window and transmit the collected voice to an external device.
- the smart device may transmit the collected voice to the external device while the listening window is open.
- the smart device may obtain a preliminary command.
- the smart device may acquire the preliminary command and re-enter the listening state.
- the smart device may acquire a preliminary command in the listening state and reopen or initialize the listening window.
- the smart device may have a feedback state. In the feedback state, the smart device may output feedback corresponding to the voice command. The smart device may obtain a voice command and change to a feedback state.
- the smart device may obtain feedback data corresponding to the voice command.
- the smart device may obtain feedback data corresponding to the voice command in response to sending the voice and / or voice command to the external device.
- the feedback data may be talk-back data or display-back data.
- the smart device may output the feedback based on the feedback data.
- the smart device may output a talk-back or display-back corresponding to the voice command.
- the smart device may output a talk-back or display-back that includes the information requested by the voice command.
- the smart device may output the talk-back and the display-back together or sequentially.
- the smart device may obtain a hot-word.
- the smart device may acquire a hot-word in the feedback state and change to a listening state.
- the smart device may perform various operations.
- the smart device may perform various operations involving the change of state described above. In the following, some embodiments will be described with respect to the basic operating process and additional operations of the smart device.
- the smart device may obtain a voice command and output a feedback.
- FIG. 2 illustrates a state change of a smart device according to an embodiment of the present invention.
- an operation of a smart device according to an embodiment of the present invention will be described with reference to FIG. 2.
- the smart device may change from the off state to the standby state.
- the smart device may be changed from the off state to the standby state according to a user operation.
- the smart device may change from a standby state to a listening state.
- the smart device may open a listening window in a standby state, obtain a voice including a hot-word, and change to a listening state.
- the smart device may change from the listening state to the feedback state.
- the smart device may be voiced from the user in a listening state and obtain a voice including a voice command, and change to a feedback state.
- the smart device When the output of the feedback is completed, the smart device may be changed to the standby state. In some cases, the smart device may be changed to a command state when the output of the feedback is completed. According to the type of feedback, the smart device may change to a command state after outputting the feedback. For example, when the output feedback requests a user command, the smart device may change to a command state after outputting the feedback.
- the smart device may change from the feedback state to the listening state.
- the smart device may obtain a preliminary command, such as a hot-word, during the output of the feedback.
- the smart device may acquire a preliminary command during the feedback output and change to a listening state.
- the smart device may change from the standby state or the listening state to the off state.
- the smart device may change from a standby state or a listening state to an off state if a hot-word is not acquired within a predetermined time.
- the smart device may obtain and store user location information.
- the smart device may obtain basic information related to the user location and transmit the basic information to the external device.
- the user location information may include location information of a plurality of users.
- the user location information may include distance information from the smart device of the user.
- the user location information may include angular displacement information from a reference direction of the smart device of the user.
- the smart device may obtain user location information.
- the smart device may acquire user location information when a user voice is obtained.
- the smart device may collect user location information using the above-described optical sensor module.
- the smart device may obtain user location information based on the spatial information obtained using the optical sensor module.
- the smart device may collect user location information using the microphone module described above.
- the smart device may acquire a voice spoken by the user using a plurality of microphones and collect user location information in consideration of the direction in which the voice is spoken.
- the smart device may store the acquired location information.
- the smart device may store the acquired location information in the form of a look-up table.
- the smart device may transfer the acquired location information to an external device (eg, a server device).
- the smart device may acquire the user location information in the standby state, the listening state or the feedback state.
- the smart device may periodically acquire user location information.
- the smart device may output feedback in consideration of user location information.
- the smart device may determine the output direction of the talk-back in consideration of the user location information.
- the smart device may determine the output location and / or orientation of the display-back in consideration of the user location information. In this regard, it will be described in more detail in the Table of Contents below.
- the above-described smart device may be implemented in various forms. Hereinafter, some embodiments of the smart device will be described.
- the smart device may be provided in the form of a smart display equipped with a display providing a touch interface.
- the smart display can obtain voice commands and output talk-back or display-back.
- the smart display 100a may include a microphone 102a, a speaker 106a, and a display 108a.
- the smart display 100a may optionally include a camera 104a.
- the smart display 100a may obtain a voice command using the microphone 102a, output a talk-back using the speaker 106a, or output the display-back through the display 108a.
- the smart device may be provided in the form of a smart projector that emits light upward as an example of a smart projector equipped with a projector module.
- the smart projector 100b may include a microphone 102b and a speaker 106b.
- the smart projector 100b may include a camera.
- the smart projector may emit light upward.
- the smart projector can project an image or an image on any wall.
- the projection area 10a in which the smart projector projects the image or the image may be changed.
- the size or position of the projection area 10a can be changed.
- the direction in which the image is projected may be determined to facilitate viewing.
- the direction in which the image is projected may be determined to facilitate viewing in a direction opposite to the direction in which the smart projector projects the image.
- the smart speaker may project such that the lower side of the image is located below the wall surface. In other words, the smart speaker may project an image to be projected on the wall in the upright direction.
- the smart projector 100b may further include a sensor unit and may detect a gesture event or a touch event occurring in the projection area.
- the smart device may be provided in the form of a smart projector that emits light downward as an example of the above-described smart projector.
- the smart projector 100c may include a microphone 102c and a speaker 106c.
- the smart projector 100c may further include a camera or a sensor unit.
- the smart projector 100c may emit light downward.
- the smart projector 100c may project an image or an image on a floor or a table on which the smart projector 100c is located.
- the size or position of the projection area 10b can be changed.
- the direction in which the image is projected may be determined to facilitate viewing in the direction in which the smart projector projects the image.
- the smart speaker may project so that the lower side of the image is projected to the outside of the table (ie, a position far from the device).
- the above-described smart projector may have a plurality of postures.
- the smart projector may operate in the first posture or the second posture.
- the smart projector may emit light upward or downward depending on the posture change.
- the smart projector 100d may include a first posture (a) of FIG. 6 as a top surface and a second surface different from the first surface. It can operate in two postures (b of FIG. 6).
- a first posture
- b second surface different from the first surface. It can operate in two postures (b of FIG. 6).
- an operation according to the posture of the smart projector 100d will be described with reference to FIG. 6.
- the smart projector 100d may include a microphone 102d and a speaker 106d.
- the smart projector 100d may optionally include a sensor unit or a camera.
- the smart projector 100d when the smart projector 100d is in a first posture (eg, a wall projection posture), the smart projector 100d may emit light upward toward the wall.
- a first posture eg, a wall projection posture
- the smart projector 100d may operate similar to the second type smart projector 100b described above.
- the smart projector 100d when the smart projector 100d is in a second posture (eg, a table projection posture), the smart projector 100d may emit light downward toward the floor or the table.
- the smart projector 100d when the smart projector 100d is in the second posture, the smart projector 100d may operate similarly to the third type projector 100c described above.
- the attitude of the smart projector 100d may be changed.
- the attitude of the smart projector 100d may be changed manually.
- the attitude of the smart projector 100d may be automatically changed by the driver.
- the operation of at least one of the modules included in the smart projector 100d may be changed.
- the operation of any one of a speaker module, a microphone module, and a sensor module included in the smart projector 100d may be changed.
- the speaker 106d for outputting audio may be changed.
- the direction in which the smart projector 100d projects light may be changed.
- the projection direction of the image 10c projected from the smart projector 100d may be changed.
- the smart projector 100d projects an image such that the bottom of the image is close to the smart projector 100d in the first posture, and projects the image so that the bottom of the image is far from the smart projector 100d in the second posture. can do.
- the smart projector 100d has a first posture and a second posture, and has been described based on a case in which the posture is selectively changed between the first posture and the second posture. It is not.
- the smart projector 100d may have three or more postures and may be implemented to selectively change the posture as necessary.
- the smart device may be provided in the form of a smart projector in which the projection direction of light is rotatable as an example of the above-described smart projector.
- the smart projector 100e may be provided to project an image on a wall and / or a table, and to rotate the projection direction of the image.
- FIG. 7 illustrates a smart projector 100e according to an embodiment of the present invention.
- the smart projector may be implemented such that the projection direction of the image is rotatable.
- the direction in which the image is projected may rotate about the rotation axis of the smart projector.
- the smart projector 100e may include a microphone 102e and a speaker 106e.
- the smart projector 100e may optionally include a sensor unit or a camera.
- the smart projector 100e may be provided to emit light downward and to rotate the projection direction of the light.
- the smart projector 100e may be positioned on a table and project an image on the table upper surface.
- the smart projector 100e may rotate the direction in which the image is projected on the table.
- the smart projector 100e may rotate the projection direction of the image so that the projection area is changed from the first position 10d to the second position 10d '.
- the smart projector 100e may emit light upward and rotate the projection direction of the light.
- the smart projector 100e may project an image onto a wall.
- the smart projector 100e may rotate the direction in which the image is projected.
- the smart projector 100e may rotate the direction in which the image is projected so that the wall surface on which the image is projected is changed.
- the smart projector 100e may rotate the projection direction of the image so that the projection area is changed from the third position 10e to the fourth position 10e '.
- the smart projector 100e may operate in any one of a plurality of modes including a wall projection mode (first mode) and / or a floor projection mode (second mode).
- first mode a wall projection mode
- second mode a floor projection mode
- the smart device may provide a voice interface for obtaining a voice command from a user.
- the smart device may provide a voice control environment to the user by performing various operations in response to the voice command of the user.
- the smart device may be a smart display equipped with a display for displaying an image or a smart projector equipped with a beam projector for outputting an image.
- the smart device may provide a voice interface, obtain a voice including a voice command through the voice interface, and output information corresponding to the voice command.
- the smart device may provide a voice interface (or voice control environment) to the user, and output information corresponding to voice commands included in the voice of the user in various forms.
- the smart device may provide a voice interface that obtains a voice command through the voice interface and outputs information corresponding to the voice command as voice (eg, talk-back).
- voice e.g, talk-back
- the smart device may provide a voice interface that obtains a voice command through the voice interface and outputs information corresponding to the voice command as an image (eg, display-back).
- the smart device may output information corresponding to a voice command through the display-back.
- the smart device may provide user content that supports a voice interface.
- the smart device may provide user content that supports a voice interface, obtain a voice command of the user regarding the user content, and perform an operation according to the voice command.
- the smart device may provide the user content visually or audibly to the user.
- the user content may be provided as audio content or video content.
- User content may include multimedia content.
- the smart device may display the user content in the display area.
- the smart device may output user content including visual information using a display or projector module.
- the display area in which the user content is displayed may be provided on the display screen or the projection area.
- the user content may include information requested by the voice command.
- the user content may include a plurality of objects (or items) that may be selected by a voice command of the user.
- the user content may include a list in which a plurality of objects are listed.
- the user content may be stored in a separate server and requested by a voice command of the user and provided by the smart device.
- User content may be provided by a separate operator.
- the plurality of objects included in the user content may be provided with corresponding identifiers.
- the identifier assigned to each object may be an ordinal number.
- the smart device may display a plurality of objects included in the user content.
- the smart device may display each object with an assigned identifier.
- the user content may be provided in at least some scrollable form.
- the user content may be scrolled in at least one direction according to a user command.
- Each object included in the plurality of objects may be assigned a connection operation.
- the smart device may acquire a voice command for selecting a certain object and perform a connection operation corresponding to the object.
- Each object may include visual information about a corresponding connection operation.
- each object may include a thumbnail, an icon, and the like of the connected image.
- Each object may include an image of an item, a price, specification information, and the like.
- Each object may be a media object associated with the media content.
- each object may be a media object including a name of a music, an image, a representative image, or the like representing a music video, a TV program, or a music.
- the media object may include a link where each media content is played.
- the connection operation may be implemented by playing the selected music, video, etc., adding the playlist with the selected music, video, etc., or generating a related list of music, video, and the like.
- Each object may be a merchandise object for a merchandise.
- the user content may provide a shopping page, and each object may be a merchandise object including a merchandise name representing the merchandise being sold, an image of the merchandise, and the like.
- the connection operation may be implemented by opening a detail page of the selected product, adding a shopping cart of the selected product, or opening a purchase window of the selected product.
- the smart device may display a part of the information included in the user content.
- the smart device may determine the display area such that some of the plurality of objects included in the user content are displayed.
- the smart device may display or project the display area.
- the smart device may change the display area displayed among the user content.
- the display area may include a plurality of objects. Objects included in the display area may be changed. The number of objects included in the display area may be changed. For example, the display area may be enlarged (zoom-in) or reduced (zoom-out).
- the smart device may acquire a voice command or a touch event and change the display area.
- the change of the display area corresponding to the voice command will be described in more detail in the following voice control and content display control items.
- FIG. 8 is a diagram illustrating user content according to an embodiment of the present invention.
- a smart device may display user content including a plurality of videos on the display area 20.
- the user content may include a list of links to each video.
- the user content may include a plurality of objects each including a link to a designated video.
- the smart device acquires a voice command of a user requesting a 'documentary video' and forms a list of a plurality of objects including links of each of the plurality of documentary videos. It can output on the display area 20.
- FIG. 9 is a diagram illustrating user content according to an embodiment of the present invention.
- the smart device may output user content including a plurality of product information on the display area 20.
- the user content may include a plurality of objects including a connection link to a detail page or a purchase page of each product.
- the smart device obtains a voice command of a user requesting a 'list of chairs available for purchase', and includes a plurality of objects including thumbnails of each chair for user content including a plurality of chair information. It can be output on the display area 20 in the form listed.
- the smart device may provide a voice control environment to the user by providing a voice interface to the user and performing various operations according to voice commands acquired through the voice interface.
- the smart device may be a smart display including a display or a smart projector including a projector module.
- the smart display may provide a touch interface that recognizes a touch event applied to the display.
- the smart projector may provide a touch interface that recognizes a touch event applied to the projected image together with the voice interface.
- the smart device may acquire a voice command and change the display state of the content.
- the smart device may acquire a voice command of the user and scroll the displayed screen.
- the smart device may acquire a voice command and scroll the displayed screen vertically or horizontally.
- FIG. 10 is a diagram for explaining display screen control of a smart device according to one embodiment of the present invention.
- a smart device displays user content in which information or an object is listed in a vertical direction, obtains a user voice requesting vertical movement of the content, and is displayed among user contents.
- the area can be moved down (scrolled down).
- the smart device may obtain a user voice including a voice command requesting to move the display area down, for example, “scroll down,” and scroll down the displayed user content.
- FIG. 11 is a diagram for describing display screen control of a smart device according to one embodiment of the present invention.
- a smart device displays user content in which object icons are listed in a horizontal direction, obtains a user voice requesting a horizontal movement of a display screen, and is displayed among user contents. You can move the area to the right. For example, the smart device may acquire a voice command "scroll rignt" of the user and scroll the displayed user content to the right.
- the smart device acquires the voice and scrolls the output screen.
- the invention disclosed herein is not limited thereto.
- the smart device may obtain a touch event applied to the display and change the display state of the output screen.
- the smart display may be a smart projector including a projector module, and the smart projector may acquire a gesture event applied to the projected screen and change the display state of the screen to be output.
- the smart device may acquire a voice command (selection command) of a user who selects any one of a plurality of objects.
- the smart device may provide content including a plurality of objects, obtain a voice command of a user who selects any one of the plurality of objects through a voice interface, and perform a connection operation designated to the selected object.
- a smart device provides a content including a plurality of videos, displays a video list including a link for playing each video, and displays one of the plurality of videos.
- the selected video may be output in response to receiving the voice command of the user who selects.
- FIG. 12 is a view for explaining a connection operation according to an embodiment of the present invention.
- a smart device may display a user content including a plurality of videos, and include a voice command that is uttered by a user and selects one of a plurality of videos. A voice can be obtained and a video selected by the voice command can be output.
- the smart device acquires a user voice command requesting to play 'image 3' in a state where a screen including a plurality of image objects is displayed, and the image corresponding to number 3, That is, you can play 'The history of hockey'.
- a smart device provides user content including a plurality of products, displays a product list including a detailed page or a purchase page link of each product, and displays a plurality of products.
- user content including a plurality of products
- displays a product list including a detailed page or a purchase page link of each product and displays a plurality of products.
- a voice command of a user who selects any one of the products a detail page, a purchase page, and the like of the selected product may be output.
- FIG. 13 is a view for explaining a connection operation according to an embodiment of the present invention.
- a smart device acquires a voice command of a user selecting 'seat 8' while the screen shown in FIG. 8 is displayed, and more detailed information of the chair 8 is performed. Information can be displayed.
- a smart device obtains a voice command of a user requesting 'selection of chair 4' or 'purchase of chair 4' and outputs a purchase page of chair 4 can do.
- connection operations described with reference to FIGS. 12 to 14 are merely examples, and according to the smart device disclosed herein, various connection operations may be developed.
- the smart device provides a content including a plurality of objects, obtains a voice command (multi-selection command) of a user for selecting at least two of the plurality of objects, and selects the selected object. Can perform a connection operation on the devices.
- a multi-selection command environment can be provided so that a user can select a plurality of target goods or a plurality of target music and request an order or play.
- the smart device outputs a content including a plurality of selectable objects, receives a voice command for selecting at least two objects among the plurality of selectable objects, and selects at least two objects. In response to receiving the voice command to perform a connection operation connected to the selected objects.
- the smart device may determine the plurality of selection target objects based on the voice command included in the voice acquired within the reference time interval.
- the smart device may acquire a voice command including a predetermined indicator and determine a plurality of selection target objects based on the voice command.
- the method of controlling a smart device may provide a content including a plurality of music lists, obtain a voice command of a user who selects two or more music, and perform a connection operation of adding the selected music to a playlist. have.
- the smart device may display a playlist to which selected music is added. The smart device can play the selected music.
- the method of controlling a smart device provides a content including a plurality of product lists, obtains a voice command of a user for selecting two or more products, and displays a shopping cart screen to which the selected products are added or a purchase page of the products.
- the connection operation may be performed.
- the smart device may obtain a voice command for selecting products and output feedback informing that the selected products have been added to the shopping cart.
- 15 is a view for explaining a connection operation according to an embodiment of the present invention.
- a smart device displays a content including a plurality of products as illustrated in FIG. 9, and requests a voice command of a user to select at least two products among the plurality of products. And in response to acquiring the voice command, a purchase page for the plurality of selected products may be output.
- the smart device outputs user content including a plurality of objects, obtains a voice command for selecting at least one of the plurality of objects, and performs a preliminary selection procedure for the selected object. After that, the connection operation connected to the selected object may be performed.
- the preliminary selection procedure may be used as a procedure for confirming before performing the connection operation.
- the smart device outputs user content including a plurality of objects, obtains a voice command for selecting at least one of the plurality of objects, and as a preliminary selection procedure for the selected object. It can display executable connection operations.
- FIG. 16 illustrates a preliminary selection according to an embodiment of the present invention.
- the smart device acquires a voice command for selecting 'product number 4' in a state where contents including a plurality of products are displayed as shown in FIG. It is possible to indicate that the connection operation of adding the selected item 4 to the shopping cart, purchasing immediately, or opening a detail page is possible.
- the smart device outputs user content including a plurality of objects, obtains a voice command to preselect at least one of the plurality of objects, and displays a display state of the preselected object. Can be changed.
- 17 is a view for explaining a connection operation according to an embodiment of the present invention.
- the smart device outputs user content including a plurality of products, obtains a voice command of a user who selects products '2 and 7', and displays display states of products 2 and 7. You can change it. For example, the brightness of the selected objects and the unselected objects may be different. Specifically, the brightness of the objects of the remaining products except for the second and seventh products may be reduced. Alternatively, the color of the object representing the second and seventh products may be changed.
- a plurality of objects included in one content are not displayed on one screen, and objects displayed on the screen are changed while the screen is scrolled according to a scroll request of the user. There may be.
- FIG. 18 is a diagram for describing an operation of a smart device according to an embodiment of the present invention.
- a smart device may display a list including a plurality of image links and scroll the list according to a user's request.
- the smart device may be used in a state in which some objects on the top of the list are not displayed by scrolling.
- the smart device may acquire a voice command of a user who selects an object that is not displayed, for example, the first image.
- the smart device may acquire a voice command of a user who selects the first image while the first image is not displayed, and may play the first image.
- the case where the selected object (second video) exists in the display area displayed through the display module (left) and the case where the selected object does not exist in the display area may be considered. Accordingly, there is a need for a method of controlling a smart device to perform a connection operation in consideration of whether a selected object is displayed.
- FIG. 19 is a diagram for describing an operation of a smart device according to one embodiment of the present invention.
- a smart device scrolls down a list including a plurality of video links according to a user's request, so that some objects, for example, image 1, are not displayed.
- a voice command of a user who selects an object that is not displayed for example, a voice command requesting 'playing image 1' may be obtained.
- the smart device acquires a voice command requesting playback of video 1 while the object of video 1 is not displayed, and displays a pop-up window requesting confirmation of playback of video 1. You can overlay on the screen. In this case, the smart device may also output a voice guide requesting confirmation of playback of the first image.
- 20 is a diagram illustrating an operation of a smart device according to an embodiment of the present invention.
- a smart device is not displayed when a list including a plurality of image links is scrolled down and some objects, for example, image 1, are not displayed.
- a voice command of a user who selects an object that does not exist, for example, a voice command requesting 'playing image 1' may be obtained.
- the smart device may acquire a voice command for selecting an object that is not displayed, and change the display area of the content so that the first image object is displayed.
- the smart device may acquire a voice command for selecting the first image while the object of the first image is not displayed, and scroll the screen to display the object of the first image.
- the smart device may output the guide voice for notifying the playback of the first image simultaneously with the change of the screen.
- the smart device when the smart device according to the present invention obtains a voice command for selecting an object not displayed on the screen, the smart device may output various types of feedback for improving user convenience. .
- a control method of a smart device outputs a content including a plurality of selectable objects, receives a voice command for selecting any one of the plurality of selectable objects, and selects an object. And in response to receiving the voice command to perform a connection operation connected to the selected object.
- the smart device may be a smart display including a smart projector or a display that emits light to output a display-back and outputs the display-back on the display.
- the method may include receiving a first voice including a first voice command (S100) and obtaining first content corresponding to the first voice command.
- operation S200 outputting a display-back displaying a first area of first content in operation S300, receiving a second voice including a second voice command in operation S400, and a first object
- the method may include performing a first operation (S500) and performing a second operation when the first object is not included in the first area (S600).
- the first content includes a plurality of selectable objects, and each object included in the plurality of objects is assigned to correspond to each object. It may be implemented by including an identifier.
- the identifier may be an ordinal determined based on a state in which the plurality of objects are arranged.
- the outputting of the display-back displaying the first area of the first content may further include outputting the display-back displaying the first area including some of the plurality of objects of the first content.
- the first content may include a list including a plurality of objects, and the smart device may output a part of the list included in the first content to the display area.
- the first content may be provided to scroll in at least one direction according to a user command.
- the first area may change as the content or list is scrolled. As the displayed first area is changed, the plurality of objects included in the first area may be changed.
- FIG. 22 is a diagram for describing a control method of the smart device 200 according to one embodiment of the present invention.
- a control method of the smart device 200 may include receiving a voice including a voice command, obtaining user content corresponding to the voice command, and outputting a display-back displaying some areas of the user content. It may include.
- the smart device 200 may include a first voice (eg, “I want to watch a” including a first voice command for requesting a documentary image).
- a first area of the first content eg, user content including a plurality of documentary image links
- the first voice command may be output to the display area 30.
- the second voice command may be a request for an operation (feedback) related to the first object.
- the second voice command may be implemented by including a first identifier corresponding to the first object included in the plurality of objects and requesting to perform a first operation related to the first object.
- the performing of the first operation may include performing the first operation immediately without separate notification.
- the smart device may directly perform the first operation without additional feedback.
- the second voice command may be a voice command requesting display of second content connected to the first object.
- the first operation may include displaying second content connected to the first object.
- the performing of the second operation may include requesting confirmation of the first object and the first operation on the first object by the user. It may include performing.
- the step S600 of performing the second operation may include performing the first operation when a third voice including a third voice command confirming the performance of the first operation is received in response to the second operation. Can be.
- Performing the second operation (S600) may be implemented by outputting a feedback requesting confirmation of the performance of the first operation on the first identifier and the first object.
- the second operation includes outputting a display-back or talk-back to notify the user that the first operation according to the second voice command is related to the first object. Can be implemented.
- the second operation may be implemented to include displaying a second area determined to include the first object in the first content.
- the performing of the second operation (S600) may be implemented by overlapping the pop-up window including the first object on the first area in a state where the first area is displayed.
- the second operation may be implemented to include outputting a guide voice requesting confirmation of performing the first operation on the first object.
- the smart device control method receives a fourth voice including a fourth voice command for requesting scrolling of the displayed area, the third voice different from the first area of the first content;
- the method may further include outputting a display-back indicating an area.
- the performing of the first operation may include performing the first operation when the first object is included in the third region
- the performing the second operation may include performing second operation when the first object is not included in the third region. It can be implemented by performing an operation.
- FIG. 23 is a diagram for describing a control method of the smart device 200 according to an exemplary embodiment.
- a control method of a smart device 200 obtains a voice including a voice command requesting a change of a display area, and changes a partial area displayed among user contents. It may include.
- the smart device 200 receives a voice command (eg, “scroll down”) of a user requesting scrolling down a display area.
- the display area 30 may be scrolled downward.
- 24 is a diagram for describing a control method of the smart device 200 according to one embodiment of the present invention.
- control method of the smart device 200 may include acquiring a voice command for selecting an object that is not displayed.
- the smart device selects an object pushed out of the screen. Can be obtained.
- the smart device 200 may request a voice command (eg, “Play” of a user requesting playback of image 1 that does not appear on the display area 30. the first one ").
- a voice command eg, “Play” of a user requesting playback of image 1 that does not appear on the display area 30. the first one ".
- 25 is a diagram for describing a method of controlling a smart device, according to an exemplary embodiment.
- control method of the smart device 200 may include obtaining a voice command for selecting an object that is not displayed, displaying a pop-up window for notifying the selected object, and / or outputting a guide voice. .
- the smart device 200 obtains a voice command of a user requesting reproduction of image 1 that does not appear in the display area 30, and image 1 To display a pop-up window for guiding playback, or to output a guide voice requesting confirmation of playback of video 1 (eg, "Play the first video 'Life in Paris'"), or to display the pop-up window with the output of the guide voice. Can be done.
- FIG. 26 is a diagram illustrating a control method of a smart device according to one embodiment of the present invention.
- the control method of the smart device 200 receives a voice command of a user who determines a selected object in response to a pop-up window display for notifying the selected object and / or an output of a guide voice, and receives a voice command for the selected object. Performing a connection operation.
- the smart device 200 outputs feedback for confirming reproduction of a first image not included in the display area 30.
- the voice of the uttered user may be obtained, a voice command (eg, “Yes. Play that one”) included in the voice and confirming reproduction of the first image may be received, and the first image may be played.
- the smart device may check the voice command confirming the reproduction of the first image and immediately play the first image. Alternatively, the smart device may output the feedback confirming the reproduction of the first image even if the voice command of the user is not obtained and reproduce the first image when the reference time elapses.
- the control method of the smart device may receive a voice command for selecting a plurality of objects from the user in consideration of the type of content requested and output by the user.
- a voice interface may be provided in which a user selects a plurality of pieces of music to form a playlist, or selects a plurality of items and adds them to a shopping cart.
- control method of the smart device may include outputting feedback for confirming selection of objects not included in the display area when at least one object of the selected plurality of objects is not included in the display area.
- control method of the above-described smart device may be performed by the smart device disclosed herein.
- FIG. 27 is a diagram for describing a smart device 3000 according to an exemplary embodiment.
- the smart device 3000 may include a microphone module 3010 for acquiring a voice including a voice command, a speaker module 3030 for outputting a talk-back, and a display-back. It may include an image output module 3050 and the controller 3070 for outputting the.
- the image output module 3050 may be any one of a display module including a projector module and a display for outputting a display back by emitting light, and outputting a display-back using the display.
- the controller 3070 may receive a first voice uttered by a user through the microphone module and including a first voice command.
- the first content may include a plurality of selectable objects, and each object included in the plurality of objects may include an identifier assigned to correspond to each object.
- the controller 3070 may output a display-back displaying a first area including some of a plurality of objects among first contents corresponding to a first voice command through the image output module.
- the controller 3070 may receive a second voice uttered by the user through the microphone module and including a second voice command.
- the second voice command may include a first identifier corresponding to the first object included in the plurality of objects, and may request to perform a first operation related to the first object.
- the second voice command may be a voice command requesting display of second content connected to the first object, and the first operation may include displaying second content connected to the first object.
- the second operation can include outputting a display-back or talk-back to notify the user that the first operation according to the second voice command is related to the first object.
- the second operation may include overlapping the popup window including the first object on the first area in a state where the first area is displayed.
- the second operation may include outputting a guide voice requesting confirmation of performing the first operation on a first object.
- the controller 3070 may immediately perform the first operation.
- the controller 3070 may perform a second operation for requesting confirmation of the first object and the first operation on the first object.
- the second operation can include outputting a feedback requesting confirmation of the performance of the first operation on the first identifier and the first object.
- the controller 3070 acquires a second voice command confirming the performance of the first operation in response to the performance of the second operation through the microphone module,
- the method may further include performing an operation.
- the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
- the computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
- the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
- Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
- Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
- the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
본 발명은 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 디바이스의 제어 방법에 있어서, 사용자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 수신하는 단계, 상기 제1 보이스 커맨드에 대응되는 제1 컨텐츠를 획득하는 단계, 상기 제1 컨텐츠 중 상기 복수의 오브젝트 중 일부가 포함되는 제1 영역을 표시하는 디스플레이-백을 출력하는 단계, 상기 사용자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 수신하는 단계, 상기 제1 오브젝트가 상기 제1 영역에 포함되는 경우, 상기 제1 동작을 수행하는 단계 및 상기 제1 오브젝트가 상기 제1 영역에 포함되지 않는 경우, 제2 동작을 수행하는 단계를 포함하는 스마트 디바이스의 제어 방법에 관한 것이다.
Description
본 발명은 스마트 디바이스 및 그 제어 방법에 관한 것이다. 구체적으로, 보이스 커맨드를 획득하고, 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 디바이스 및 그 제어 방법에 관한 것이다.
음성 인식 기술의 발전은 사물인터넷(IoT)의 확산에 힘입어, 스마트 홈 분야에서 그 활용성이 크게 증가하고 있다. 그 핵심 기기 중 하나로서, 음성을 매개로 명령을 내리고 대화를 나눌 수도 있는, 인공지능(AI)을 이용하는 스마트 스피커의 이용이 점차 보편화되고 있는 추세이다. 글로벌 시장을 살펴보면, 2014년 아마존이 최초의 음성인식 스피커 에코를 출시한 이후, 구글, 애플 등의 IT 공룡들이 앞다투어 자사 소프트웨어를 탑재한 스피커를 출시하였거나 출시를 결정하였으며, 국내 시장도 치열한 경쟁 양상을 보이고 있다.
이러한 '인공지능 비서' 기능이 탑재된 스마트 스피커는, 일반적으로, 보이스 커맨드를 입력받고, 커맨드에 따른 피드백을 오디오 형태로 출력할 수 있는 스마트 디바이스를 지칭한다. 전통적인 스마트 디바이스의 버튼 내지 터치 인터페이스에 비하여 음성으로 컨트롤이 가능하다는 점에서 사용자 편의성이 증진되었지만, 오디오 형태로 피드백을 제공한다는 한계에 따라, 제공 가능한 정보에 제약이 있고 사용자의 정보 획득이 비효율적이라는 비판이 제기되기도 하였다.
이러한 약점을 극복하기 위하여, 스마트 스피커는 점차 디스플레이가 탑재되고 오디오 형태뿐 아니라 비디오 형태의 피드백을 함께 제공할 수 있는 스마트 디스플레이 형태로 변모하고 있는 추세이다. 이러한 추세에 발맞추어, 증강 현실의 구축에 적극적으로 기여하고, 보다 나은 사용자 경험을 제공하는 개선된 형태의 스마트 디바이스의 개발이 요청되고 있다.
본 발명의 일 과제는 보이스 커맨드를 획득하고 피드백을 수행하는 스마트 디바이스를 제공하는 것이다.
본 발명의 일 과제는 보이스 커맨드를 획득하고 피드백을 수행하는 스마트 디바이스의 제어 방법을 제공하는 것이다.
본 발명의 일 과제는 보이스 인터페이스를 지원하는 스마트 디바이스를 제공하는 것이다.
본 발명의 일 과제는 보이스 커맨드를 획득하고, 보이스 커맨드에 대응되는 사용자 컨텐츠를 제공하는 스마트 디바이스를 제공하는 것이다.
본 발명의 일 양상에 따르면, 보이스 커맨드를 획득하고, 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 디바이스 - 피드백은 디스플레이-백 및 토크-백을 포함함 -의 제어 방법이 제공될 수 있다.
스마트 디바이스의 제어 방법은 사용자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 수신하는 단계, 제1 보이스 커맨드에 대응되는 제1 컨텐츠를 획득하는 단계 - 제1 컨텐츠는 복수의 선택 가능한 오브젝트를 포함하고, 복수의 오브젝트에 포함되는 각각의 오브젝트는 각각의 오브젝트에 대응되도록 할당된 식별자를 포함함 -, 제1 컨텐츠 중 복수의 오브젝트 중 일부가 포함되는 제1 영역을 표시하는 디스플레이-백을 출력하는 단계, 사용자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 수신하는 단계 - 제2 보이스 커맨드는 복수의 오브젝트에 포함되는 제1 오브젝트에 대응되는 제1 식별자를 포함하고, 제1 오브젝트에 관련되는 제1 동작의 수행을 요청함 -, 제1 오브젝트가 제1 영역에 포함되는 경우, 제1 동작을 수행하는 단계 및 제1 오브젝트가 제1 영역에 포함되지 않는 경우, 사용자에게 제1 오브젝트 및 제1 오브젝트에 대한 제1 동작의 수행에 대한 확인을 요청하는 제2 동작을 수행하는 단계를 포함할 수 있따.
본 발명의 다른 일 양상에 따르면,보이스 커맨드를 획득하고, 보이스 커맨드에 대응되는 다양한 피드백- 피드백은 디스플레이-백 및 토크-백을 포함함 -을 출력하는 스마트 디바이스가 제공될 수 있다.
스마트 디바이스는 보이스 커맨드를 포함하는 보이스를 획득하는 마이크 모듈, 디스플레이-백을 출력하는 영상 출력 모듈, 토크-백을 출력하는 스피커 모듈 및 마이크 모듈을 통하여 사용자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 수신- 제1 컨텐츠는 복수의 선택 가능한 오브젝트를 포함하고, 복수의 오브젝트에 포함되는 각각의 오브젝트는 각각의 오브젝트에 대응되도록 할당된 식별자를 포함함 -하고, 영상 출력 모듈을 이용하여 제1 보이스 커맨드에 대응되는 제1 컨텐츠 중 복수의 오브젝트 중 일부가 포함되는 제1 영역을 표시하는 디스플레이-백을 출력하고, 마이크 모듈을 이용하여 사용자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 수신- 제2 보이스 커맨드는 복수의 오브젝트에 포함되는 제1 오브젝트에 대응되는 제1 식별자를 포함하고, 제1 오브젝트에 관련되는 제1 동작의 수행을 요청함 -하고, 제1 오브젝트가 제1 영역에 포함되는 경우, 제1 동작을 수행하고, 제1 오브젝트가 제1 영역에 포함되지 않는 경우, 사용자에게 제1 오브젝트 및 제1 오브젝트에 대한 제1 동작의 수행에 대한 확인을 요청하는 제2 동작을 수행하는 제어부를 포함할 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 의하면 사용자 지향성 피드백을 출력하는 스마트 프로젝터가 제공될 수 있다.
본 발명에 의하면 사용자 위치를 고려하여 디스플레이-백을 출력하는 스마트 프로젝터가 제공될 수 있다.
본 발명에 의하면 사용자 위치를 고려하여 토크-백을 출력하는 스마트 디바이스가 제공될 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 스마트 디바이스를 설명하기 위한 블록도를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 스마트 디바이스의 상태 변화를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 스마트 디스플레이를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 사용자 컨텐츠를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 사용자 컨텐츠를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 스마트 디바이스의 표시 화면 제어를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 스마트 디바이스의 표시 화면 제어를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 연결 동작을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 연결 동작을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 연결 동작을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 연결 동작을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른 예비 선택을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른 연결 동작을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 따른 스마트 프로젝터의 동작을 설명하기 위한 도면이다.
도 19는 본 발명의 일 실시예에 따른 스마트 프로젝터의 동작을 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시예에 따른 스마트 프로젝터의 동작을 설명하기 위한 도면이다.
도 21은 본 발명의 일 실시예에 따른 스마트 디바이스의 제어 방법을 설명하기 위한 순서도이다.
도 22는 본 발명의 일 실시예에 따른 스마트 디바이스의 제어 방법을 설명하기 위한 도면이다.
도 23은 본 발명의 일 실시예에 따른 스마트 디바이스의 제어 방법을 설명하기 위한 도면이다.
도 24는 본 발명의 일 실시예에 따른 스마트 디바이스의 제어 방법을 설명하기 위한 도면이다.
도 25는 본 발명의 일 실시예에 따른 스마트 디바이스의 제어 방법을 설명하기 위한 도면이다.
도 26은 본 발명의 일 실시예에 따른 스마트 디바이스의 제어 방법을 설명하기 위한 도면이다.
도 27은 본 발명의 일 실시예에 스마트 디바이스의 제어 방법을 설명하기 위한 도면이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장된 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
1. 스마트 디바이스
1.1 개요
이하에서는 본 발명의 일 실시예에 따른 스마트 디바이스에 관하여 설명한다.
본 발명의 일 실시예에 따른 스마트 디바이스는 사용자로부터 다양한 형태의 커맨드를 입력받고, 이에 대응하여 음성이나 영상 형태의 피드백을 출력함으로써 사용자에게 다양한 정보를 제공할 수 있다. 일 예로, 스마트 디바이스는 마이크 모듈을 통해 사용자의 발화를 수신하는 등에 따라 보이스 커맨드를 획득하고, 토크-백 또는 디스플레이-백과 같은 피드백을 출력함으로써 사용자의 보이스 커맨드에 대하여 응답할 수 있다.
상술한 스마트 디바이스의 일 예로는 스마트 프로젝터를 들 수 있다. 여기서, 스마트 프로젝터는 기존의 스마트 스피커에 프로젝터가 탑재된 형태로 제공되는 디바이스일 수 있다. 이외에도, 스마트 디바이스의 예로는 스마트 스피커, 스마트 프로젝터, 스마트 TV 등이 있을 수 있다. 다만, 본 명세서에서 스마트 디바이스가 상술한 예로 한정되는 것은 아니며, 음성 및/또는 영상의 출력이 가능한 다양한 디바이스가 본 명세서에서 설명하는 스마트 디바이스로서 이용될 수 있음은 물론이다.
1.2 구성
스마트 디바이스는 다양한 기능을 수행하는 모듈을 적어도 하나 포함할 수 있다. 스마트 디바이스는 적어도 하나의 모듈을 이용하여 보이스 커맨드를 포함하는 보이스를 획득하거나, 보이스 커맨드에 대응하는 피드백을 출력할 수 있다. 이하에서는 모듈들의 종류 및 기능에 대하여 설명한다.
스마트 디바이스는 음성 신호를 수신하는 마이크 모듈을 포함할 수 있다. 마이크 모듈은 복수 개의 마이크를 포함할 수 있다.
스마트 디바이스는 토크-백을 출력하는 스피커 모듈을 포함할 수 있다. 스피커 모듈은 복수 개의 스피커를 포함할 수 있다.
스마트 디바이스는 영상 또는 이미지를 출력하는 디스플레이를 포함하는 디스플레이 모듈을 포함할 수 있다. 디스플레이 모듈은 터치 센서를 포함할 수 있다.
디스플레이 모듈은 광을 출사하는 프로젝터 모듈일 수 있다. 프로젝터 모듈은 초단초점(ultra short throw) 프로젝터 모듈일 수 있다. 이하에서, 프로젝터 모듈을 포함하는 스마트 디바이스를 스마트 프로젝터로 정의한다.
스마트 디바이스는 스마트 디바이스는 광을 수집하는 광학 센서 모듈을 포함할 수 있다. 스마트 디바이스는 광학 센서 모듈을 이용하여 3차원 공간 정보를 획득할 수 있다. 스마트 디바이스는 광학 센서 모듈을 이용하여 사용자 행동 정보(예컨대, 시선 정보)를 획득할 수 있다.
광학 센서 모듈은 영상 또는 이미지를 획득하는 카메라 모듈일 수 있다. 카메라 모듈은 적외선 카메라 모듈 또는 가시광 카메라 모듈일 수 있다.
광학 센서 모듈은 깊이 센서(depth sensor) 모듈일 수 있다. 깊이 센서 모듈은 TOF(time of flight)를 이용하여 물체의 깊이 정보를 제공할 수 있다.
스마트 디바이스는 통신부를 포함할 수 있다. 스마트 디바이스는 통신부를 이용하여 서버와 통신할 수 있다. 스마트 디바이스는 통신부를 이용하여 외부 장치와 통신할 수 있다.
통신부는 외부 장치와 무선 통신을 수행할 수 있다. 예를 들어, 통신부는 와이파이(WiFi), 블루투스(Bluetooth)등의 무선 통신을 수행할 수 있다.
통신부는 유선 통신을 수행할 수 있다. 예를 들어, 통신부는 USB, 이더넷(ethernet) 등의 유선 통신을 수행할 수 있다.
스마트 디바이스는 제어부를 포함할 수 있다. 제어부는 스마트 디바이스에 포함되는 모듈들을 제어할 수 있다.
도 1은 본 발명의 일 실시예에 따른 스마트 디바이스(1000)를 설명하기 위한 블록도를 도시한 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 마이크 모듈(1010), 카메라 모듈(1030), 스피커 모듈(1050), 디스플레이 모듈(1070), 제어부(1090) 및 통신부(1110)를 포함할 수 있다.
스마트 디바이스(1000)는 마이크 모듈(1010)을 이용하여 보이스(Input 1)을 획득할 수 있다. 스마트 디바이스(1000)는 카메라 모듈(1030)을 이용하여 이미지, 영상 또는 깊이 정보를 획득(Input 2)할 수 있다. 스마트 디바이스(1000) 스피커 모듈(1050)을 이용하여 오디오를 출력(Output 1)할 수 있다. 스마트 디바이스는 디스플레이 모듈(1070)을 이용하여 이미지 또는 영상을 출력(Output 2)할 수 있다.
스마트 디바이스는 제어부(1090)를 이용하여 각 모듈들을 제어할 수 있다. 스마트 디바이스는 제어부(1090)를 이용하여 각 모듈들로부터 획득한 정보를 처리할 수 있다.
스마트 디바이스는 통신부(1110)를 이용하여 외부 장치(2000)와 통신할 수 있다. 스마트 디바이스는 통신부(1110)를 이용하여 획득한 정보를 외부 장치(2000)로 전송할 수 있다. 외부 장치(2000)는 별도로 마련된 서버 장치일 수 있다.
한편, 도 1에서는 스마트 디바이스가 디스플레이 모듈을 포함하는 경우를 기준으로 설명하였으나, 스마트 디바이스는 프로젝터 모듈을 구비하는 스마트 프로젝터로 구현될 수 있다.
1.3 커맨드 & 피드백
스마트 디바이스는 상술한 모듈들을 이용하여 사용자로부터 커맨드를 입력받을 수 있다. 스마트 디바이스는 사용자 커맨드를 포함하는 신호를 획득할 수 있다. 또한 스마트 디바이스는 사용자 커맨드에 따른 신호(이하, 피드백)를 출력할 수 있다.
이하에서는, 스마트 디바이스가 획득하는 커맨드 및 스마트 디바이스가 출력하는 피드백에 대하여 설명한다.
1.3.1 커맨드
스마트 디바이스는 커맨드 또는 커맨드를 포함하는 신호를 획득할 수 있다. 대표적으로, 스마트 디바이스는 보이스 커맨드 또는 보이스 커맨드를 포함하는 보이스(또는 음성 신호)를 획득할 수 있다. 이외에도, 커맨드는 보이스 커맨드, 터치 커맨드 및 제스처 커맨드 등을 포함할 수 있다. 커맨드는 디바이스에 특정 또는 임의의 응답을 요청하는 사용자 행위로 정의될 수 있다.
스마트 디바이스는 사용자로부터 커맨드를 획득하기 위한 인터페이스를 제공할 수 있다. 인터페이스는 보이스 커맨드를 획득하기 위한 보이스 인터페이스, 터치 커맨드를 획득하기 위한 터치 인터페이스, 제스처 커맨드를 획득하기 위한 제스처 인터페이스를 포함할 수 있다.
스마트 디바이스는 보이스를 획득할 수 있다. 스마트 디바이스는 마이크 모듈을 이용하여 보이스를 획득할 수 있다. 스마트 디바이스는 사용자로부터 발화된 보이스를 획득할 수 있다. 스마트 디바이스는 마이크 모듈을 이용하여 보이스 커맨드를 포함하는 보이스를 획득할 수 있다.
스마트 디바이스는 획득한 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 신호를 외부 장치로 전달할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를, 보이스 커맨드에 의해 요청되는 정보를 제공하는 외부 장치로 전달할 수 있다. 스마트 디바이스는 보이스 커맨드 데이터를 외부 장치로 전송할 수 있다. 외부 장치는 적어도 하나의 디바이스와 통신하는 서버 장치일 수 있다.
스마트 디바이스는 터치 커맨드를 포함하는 터치 이벤트를 획득할 수 있다. 스마트 디바이스는 터치 센서를 이용하여 디스플레이에 발생하는 터치 이벤트를 획득할 수 있다.
스마트 디바이스는 제스처 커맨드를 포함하는 제스처 이벤트를 획득할 수 있다. 스마트 디바이스는 광학 센서 모듈 및/또는 카메라 모듈을 이용하여 제스처 이벤트를 획득할 수 있다.
이하에서는, 상술한 커맨드는 보이스 커맨드인 경우를 기준으로 설명한다. 다만, 본 명세서에서 설명하는 보이스 커맨드에 대한 내용은 터치 커맨드 또는 제스처 커맨드에 유사하게 적용될 수 있다.
1.3.2 피드백
스마트 디바이스는 상술한 보이스 커맨드에 대응하는 정보를 포함하는 피드백 데이터를 획득하고, 음성 또는 영상으로 피드백을 출력할 수 있다.
피드백은 디바이스가 커맨드를 획득하는 것에 응답하여 출력되는 커맨드에 대응하는 정보를 포함하는 신호로 이해될 수 있다. 커맨드에 대응하는 정보는 요청되는 정보는 멀티미디어 컨텐츠를 포함할 수 있다.
스마트 디바이스는 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를 획득하고, 커맨드에 대응하는 피드백 데이터를 획득할 수 있다.
스마트 디바이스는 외부 장치로부터 보이스 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 스마트 디바이스는 외부 장치로 보이스 커맨드 데이터를 전송하는 것에 응답하여 피드백 데이터를 획득할 수 있다.
스마트 디바이스는 피드백을 출력할 수 있다. 피드백은 음성 또는 음향으로 제공되는 보이스 피드백(이하, 보이스-백 또는 토크-백) 또는 영상 또는 이미지로 제공되는 디스플레이 피드백(이하, 디스플레이-백)을 포함할 수 있다.
스마트 디바이스는 토크-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를 획득하고, 토크-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드에 의해 요청되는 정보를 포함하는 토크-백을 출력할 수 있다. 스마트 디바이스는 스피커 모듈을 이용하여 토크-백을 출력할 수 있다. 토크-백은 음악, 라디오 등의 오디오 컨텐츠를 포함할 수 있다.
스마트 디바이스는 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를 획득하고, 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드에 의해 요청되는 정보를 포함하는 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 디스플레이 모듈 또는 프로젝터 모듈을 이용하여 디스플레이-백을 출력할 수 있다. 디스플레이-백은 TV 프로그램, Youtube, 영화 등의 비디오 컨텐츠를 포함할 수 있다.
1.4 디바이스의 상태
스마트 디바이스는 여러 구동 상태를 가질 수 있다. 스마트 디바이스의 데이터 처리 양태는 스마트 디바이스의 상태에 따라 변경될 수 있다.
1.4.1 오프 상태
스마트 디바이스는 오프 상태일 수 있다. 오프 상태에서, 스마트 디바이스는 전력 소모를 최소화할 수 있다. 오프 상태에서, 스마트 디바이스는 전력을 소모하지 않을 수 있다. 오프 상태에서, 스마트 디바이스는 신호를 수집 또는 출력하지 않을 수 있다. 오프 상태에서, 스마트 디바이스는 휴면(hibernation) 상태일 수 있다.
1.4.2 스탠바이 상태
스마트 디바이스는 스탠바이 상태를 가질 수 있다. 스탠바이 상태에서, 스마트 디바이스는 신호를 획득 또는 출력할 수 있다.
스탠바이 상태에서, 스마트 디바이스는 커맨드 발생을 예고하는 예비 커맨드를 포함하는 신호를 획득할 수 있다. 예비 커맨드 또는 예비 커맨드를 포함하는 신호는 미리 정해지고, 스마트 디바이스에 미리 저장될 수 있다.
스마트 디바이스는 예비 커맨드를 포함하는 보이스를 획득할 수 있다. 보이스에 포함된 예비 커맨드는 핫-워드 또는 웨이크업-워드의 형태로 구현될 수 있다. 다시 말해, 예비 커맨드는 특정 단어를 포함하는 커맨드로 미리 결정될 수 있다.
스마트 디바이스는 예비 커맨드를 포함하는 터치 이벤트 또는 제스처 이벤트를 획득할 수 있다. 터치 이벤트에 포함된 예비 커맨드는 임의의 터치 이벤트 또는 특정 영역에 대한 터치 이벤트일 수 있다. 제스처 이벤트에 포함된 예비 커맨드는 특정 시퀀스에 따른 웨이크업 제스처일 수 있다.
1.4.3 리스닝 상태
스마트 디바이스는 리스닝 상태를 가질 수 있다. 리스닝 상태에서, 스마트 디바이스는 보이스 커맨드를 포함하는 신호를 획득할 수 있다. 스마트 디바이스는 전술한 예비 커맨드(예를 들어, 핫-워드)를 포함하는 신호를 획득하고, 리스닝 상태로 변경될 수 있다. 리스닝 상태는 예비 커맨드를 포함하는 신호에 의하여 트리거될 수 있다.
리스닝 상태에서, 스마트 디바이스는 리스닝 윈도우를 오픈할 수 있다. 스마트 디바이스는핫-워드를 획득하고, 리스닝 윈도우를 오픈할 수 있다.
스마트 디바이스는 리스닝 윈도우를 오픈하고, 보이스 커맨드를 포함하는 보이스를 수집할 수 있다. 스마트 디바이스는 리스닝 윈도우를 미리 정해진 시간 간격 동안 오픈할 수 있다. 미리 정해진 시간 간격은 변경될 수 있다.
스마트 디바이스는 리스닝 윈도우를 폐쇄할 수 있다. 스마트 디바이스는 리스닝 윈도우를 폐쇄하고 보이스의 수집을 중단할 수 있다. 스마트 디바이스는 리스닝 윈도우를 폐쇄하고, 수집된 보이스를 외부 장치로 전송할 수 있다. 스마트 디바이스는 리스닝 윈도우가 오픈된 상태에서 수집된 보이스를 외부 장치로 전송할 수도 있다.
리스닝 상태에서, 스마트 디바이스는 예비 커맨드를 획득할 수 있다. 스마트 디바이스는 예비 커맨드를 획득하고, 리스닝 상태로 재진입할 수 있다. 스마트 디바이스는 리스닝 상태에서 예비 커맨드를 획득하고, 리스닝 윈도우를 재오픈 또는 초기화할 수 있다.
1.4.4 피드백 상태
스마트 디바이스는 피드백 상태를 가질 수 있다. 피드백 상태에서, 스마트 디바이스는 보이스 커맨드에 대응하는 피드백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드를 획득하고, 피드백 상태로 변경될 수 있다.
피드백 상태에서, 스마트 디바이스는 보이스 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 스마트 디바이스는 보이스 및/또는 보이스 커맨드를 외부 장치로 전송하는 것에 응답하여 보이스 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 피드백 데이터는 토크-백 데이터 또는 디스플레이-백 데이터일 수 있다.
피드백 상태에서, 스마트 디바이스는 피드백 데이터에 기초하여 피드백을 출력할 수 있다. 피드백 상태에서, 스마트 디바이스는 보이스 커맨드에 대응하는 토크-백 또는 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드에 의해 요청되는 정보를 포함하는 토크-백 또는 디스플레이-백을 출력할 수 있다. 피드백 상태에서, 스마트 디바이스는 토크-백과 디스플레이-백을 함께 또는 순차로 출력할 수도 있다.
피드백 상태에서, 스마트 디바이스는 핫-워드를 획득할 수 있다. 스마트 디바이스는 피드백 상태에서 핫-워드를 획득하고, 리스닝 상태로 변경될 수 있다.
1.5 동작
스마트 디바이스는 다양한 동작을 수행할 수 있다. 스마트 디바이스는 상술한 상태의 변화를 수반하는 다양한 동작을 수행할 수 있다. 이하에서는, 스마트 디바이스의 기본 동작 프로세스 및 부가적인 동작들에 대하여 몇몇 실시예를 들어 설명한다.
1.5.1 기본 프로세스 : 피드백 동작
본 발명의 일 실시예에 따르면, 스마트 디바이스는 핫-워드를 획득한 후, 보이스 커맨드를 획득하고, 피드백을 출력할 수 있다.
도 2는 본 발명의 일 실시예에 따른 스마트 디바이스의 상태 변화를 도시한 것이다. 이하에서는 도 2를 참조하여, 본 발명의 일 실시예에 따른 스마트 디바이스의 동작을 설명한다.
스마트 디바이스는 오프 상태에서 스탠바이 상태로 변경될 수 있다. 스마트 디바이스는 사용자 조작에 따라 오프 상태에서 스탠바이 상태로 변경될 수 있다.
스마트 디바이스는 스탠바이 상태에서 리스닝 상태로 변경될 수 있다. 스마트 디바이스는 스탠바이 상태에서 리스닝 윈도우를 오픈하고, 핫-워드를 포함하는 보이스를 획득하고, 리스닝 상태로 변경될 수 있다.
스마트 디바이스는 리스닝 상태에서 피드백 상태로 변경될 수 있다. 스마트 디바이스는 리스닝 상태에서 사용자로부터 발화되고 보이스 커맨드를 포함하는 보이스를 획득하고, 피드백 상태로 변경될 수 있다.
스마트 디바이스는 피드백의 출력이 완료되면, 스탠바이 상태로 변경될 수 있다. 경우에 따라, 스마트 디바이스는 피드백의 출력이 완료되면 커맨드 상태로 변경될 수 있다. 피드백의 종류에 따라, 스마트 디바이스는 피드백 출력 후 커맨드 상태로 변경될 수 있다. 예컨대, 출력되는 피드백이 사용자 커맨드를 요청하는 경우, 스마트 디바이스는 피드백을 출력한 후, 커맨드 상태로 변경될 수 있다.
스마트 디바이스는 피드백 상태에서 리스닝 상태로 변경될 수 있다. 피드백 상태에서, 스마트 디바이스는 피드백의 출력 중에 예비 커맨드, 예컨대 핫-워드를 획득할 수 있다. 스마트 디바이스는 피드백 출력 중 예비 커맨드를 획득하고, 리스닝 상태로 변경될 수 있다.
스마트 디바이스는 스탠바이 상태 또는 리스닝 상태에서 오프 상태로 변경될 수도 있다. 스마트 디바이스는 미리 정해신 시간 내에 핫-워드가 획득되지 아니하면 스탠바이 상태 또는 리스닝 상태에서 오프 상태로 변경될 수 있다.
1.5.2 사용자 위치 수집 동작
스마트 디바이스는 사용자 위치 정보를 획득하고, 저장할 수 있다. 스마트 디바이스는 사용자 위치와 관련된 기초 정보를 획득하고, 외부 장치로 전달할 수 있다. 사용자 위치 정보는 복수 사용자의 위치 정보를 포함할 수 있다.
사용자 위치 정보는 사용자의 스마트 디바이스로부터의 거리 정보를 포함할 수 있다. 사용자 위치 정보는 사용자의 스마트 디바이스의 기준 방향으로부터의 각변위 정보를 포함할 수 있다.
스마트 디바이스는 오프 상태에서 스탠바이 상태로 변경되면 사용자 위치 정보를 획득할 수 있다. 스마트 디바이스는 사용자 보이스가 획득되면 사용자 위치 정보를 획득할 수 있다.
스마트 디바이스는 전술한 광학 센서 모듈을 이용하여 사용자 위치 정보를 수집할 수 있다. 스마트 디바이스는 광학 센서 모듈을 이용하여 획득된 공간 정보에 기초하여 사용자 위치 정보를 획득할 수 있다.
스마트 디바이스는 전술한 마이크 모듈을 이용하여 사용자 위치 정보를 수집할 수 있다. 스마트 디바이스는 복수의 마이크를 이용하여 사용자로부터 발화된 보이스를 획득하고, 보이스가 발화되는 방향을 고려하여 사용자 위치 정보를 수집할 수 있다.
스마트 디바이스는 획득한 위치 정보를 저장할 수 있다. 스마트 디바이스는 획득한 위치 정보를 룩업테이블(look-up table) 형태로 저장할 수 있다. 스마트 디바이스는 획득한 위치 정보를 외부 장치(예컨대, 서버 장치)로 전달할 수 있다.
스마트 디바이스는 스탠바이 상태, 리스닝 상태 또는 피드백 상태에서 사용자 위치 정보를 획득할 수 있다. 스마트 디바이스는 사용자 위치 정보를 주기적으로 획득할 수 있다.
스마트 디바이스는 사용자 위치 정보를 고려하여 피드백을 출력할 수 있다. 스마트 디바이스는 사용자 위치 정보를 고려하여 토크-백의 출력 방향을 결정할 수 있다. 스마트 디바이스는 사용자 위치 정보를 고려하여 디스플레이-백의 출력 위치 및/또는 방향을 결정할 수 있다. 이와 관련하여, 후술하는 사용자 지향 피드백 목차에서 보다 상세하게 설명하기로 한다.
1.6 디바이스 형태
상술한 스마트 디바이스는 다양한 형태로 구현될 수 있다. 이하에서는, 스마트 디바이스의 형태에 대하여 몇몇 실시예를 들어 설명한다.
1.6.1 제1 타입 : display type
본 발명의 일 실시예에 따르면, 스마트 디바이스는 터치 인터페이스를 제공하는 디스플레이가 탑재된 스마트 디스플레이의 형태로 제공될 수 있다. 스마트 디스플레이는 보이스 커맨드를 획득하고 토크-백 또는 디스플레이-백을 출력할 수 있다.
도 3은 본 발명의 일 실시예에 따른 스마트 디스플레이(100a)를 도시한 것이다. 도 3을 참조하면, 스마트 디스플레이(100a)는 마이크(102a), 스피커(106a) 및 디스플레이(108a)를 포함할 수 있다. 또한, 스마트 디스플레이(100a)는 카메라(104a)를 선택적으로 포함할 수 있다.
스마트 디스플레이(100a)는 마이크(102a)를 이용하여 보이스 커맨드를 획득하고, 스피커(106a)를 이용하여 토크-백을 출력하거나 디스플레이(108a)를 통하여 디스플레이-백을 출력할 수 있다.
1.6.2 제2 타입 : wall type
본 발명의 일 실시예에 따르면, 스마트 디바이스는 프로젝터 모듈이 탑재된 스마트 프로젝터의 일 예로서, 상방으로 광을 출사하는 스마트 프로젝터의 형태로 제공될 수 있다.
도 4는 본 발명의 일 실시예에 따른 스마트 프로젝터(100b)를 도시한 것이다. 도 4를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100b)는 마이크(102b) 및 스피커(106b)를 포함할 수 있다. 도시하지는 아니하였으나, 스마트 프로젝터(100b)는 카메라를 포함할 수도 있다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터는 상방으로 광을 출사할 수 있다. 스마트 프로젝터는 임의의 벽면에 영상 또는 이미지를 투사할 수 있다. 스마트 프로젝터가 영상 또는 이미지를 투영하는 투영 영역(10a)은 변경될 수 있다. 투영 영역(10a)의 크기 또는 위치는 변경될 수 있다.
영상이 투영되는 방향은 그 시청이 용이하도록 결정될 수 있다. 영상이 투영되는 방향은 스마트 프로젝터가 영상을 투영하는 방향의 반대 방향에서 시청이 용이하도록 결정될 수 있다. 본 실시예에서, 스마트 스피커는 영상의 하측이 벽면의 하측에 위치하도록 투사할 수 있다. 다시 말해, 스마트 스피커는 영상이 벽면에 정립 방향으로 투영되도록 투사할 수 있다.
또한, 도시하지는 아니하였으나 스마트 프로젝터(100b)는 센서부를 더 포함하고, 투영 영역에 발생하는 제스처 이벤트 또는 터치 이벤트를 감지할 수 있다.
1.6.3 제3 타입 : table type
본 발명의 일 실시예에 따르면, 스마트 디바이스는 전술한 스마트 프로젝터의 일 예로서, 하방으로 광을 출사하는 스마트 프로젝터의 형태로 제공될 수 있다.
도 5는 본 발명의 일 실시예에 따른 스마트 프로젝터(100c)를 도시한 것이다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100c)는 마이크(102c) 및 스피커(106c)를 포함할 수 있다. 스마트 프로젝터(100c)는 카메라 또는 센서부를 더 포함할 수 있다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100c)는 하방으로 광을 출사할 수 있다. 스마트 프로젝터(100c)는 스마트 프로젝터(100c)가 위치된 바닥 또는 테이블 상에 영상 또는 이미지를 투사할 수 있다.
투영 영역(10b)의 크기 또는 위치는 변경될 수 있다. 영상이 투영되는 방향은 스마트 프로젝터가 영상을 투영하는 방향에서 시청이 용이하도록 결정될 수 있다. 본 실시예에서, 스마트 스피커는 영상의 하측이 테이블의 외측(즉, 장치로부터 먼 위치)에 투영되도록 투사할 수 있다.
1.6.4 제4 타입 : manually rotatable(rolling) type
본 발명의 일 실시예에 따르면, 전술한 스마트 프로젝터는 복수의 자세를 가질 수 있다. 스마트 프로젝터는 제1 자세 또는 제2 자세로 동작할 수 있다. 스마트 프로젝터는 자세 변경에 따라 상방 또는 하방으로 광을 출사할 수 있다.
도 6은 본 발명의 일 실시예에 따른 스마트 프로젝터(100d)를 도시한 것이다. 도 6을 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100d)는 제1 면을 상면으로 하는 제1 자세(도 6의 a) 및 제1 면과 다른 제2 면을 상면으로 하는 제2 자세(도 6의 b)로 동작할 수 있다. 이하에서는, 도 6을 참조하여 스마트 프로젝터(100d)의 자세에 따른 동작에 대하여 설명한다.
도 6을 참조하면, 스마트 프로젝터(100d)는 마이크(102d) 및 스피커(106d)를 포함할 수 있다. 스마트 프로젝터(100d)는 센서부 또는 카메라를 선택적으로 포함할 수 있다
도 6의 (a)를 참조하면, 스마트 프로젝터(100d)가 제1 자세(예를 들어, 벽 투영 자세)일 때, 스마트 프로젝터(100d)는 벽을 향하여 광을 상방 출사할 수 있다. 스마트 프로젝터(100d)가 제1 자세일 때, 스마트 프로젝터(100d)는 전술한 제2 타입 스마트 프로젝터(100b)와 유사하게 동작할 수 있다.
도 6의 (b)를 참조하면, 스마트 프로젝터(100d)가 제2 자세(예를 들어, 테이블 투영 자세)일 때, 스마트 프로젝터(100d)는 바닥 또는 테이블을 향하여 광을 하방 출사할 수 있다. 스마트 프로젝터(100d)가 제2 자세일 때, 스마트 프로젝터(100d)는 전술한 제3 타입 프로젝터(100c)와 유사하게 동작할 수 있다.
스마트 프로젝터(100d)의 자세는 변경될 수 있다. 스마트 프로젝터(100d)의 자세는 수동으로 변경될 수 있다. 스마트 프로젝터(100d)의 자세는 구동부에 의하여 자동으로 변경될 수 있다.
스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)에 포함된 모듈들 중 적어도 하나의 모듈의 동작이 변경될 수 있다. 스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)에 포함된 스피커 모듈, 마이크 모듈, 센서 모듈 중 어느 하나의 동작이 변경될 수 있다. 일 예로, 스마트 프로젝터(100d)가 제1 자세에서 제2 자세로 변경되면, 오디오를 출력하는 스피커(106d)가 변경될 수 있다.
다른 예로, 스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)가 광을 투사하는 방향이 변경될 수 있다. 스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)로부터 투사되는 영상(10c)의 투영 방향이 변경될 수 있다. 구체적으로, 스마트 프로젝터(100d)는 제1 자세에서 영상의 하단이 스마트 프로젝터(100d)와 가깝도록 영상을 투사하고, 제2 자세에서 영상의 하단이 스마트 프로젝터(100d)와 멀리 위치하도록 영상을 투사할 수 있다.
이상에서는 스마트 프로젝터(100d)가 제1 자세 및 제2 자세를 가지고, 제1 자세 및 제2 자세 사이에서 선택적으로 자세가 변경되는 경우를 기준으로 설명하였으나, 본 명세서에서 개시하는 발명이 이에 한정되는 것은 아니다. 스마트 프로젝터(100d)는 셋 이상의 자세를 가지고 필요에 따라 자세가 선택적으로 변경되도록 구현될 수 있다.
1.6.5 제5 타입 : rotatable
본 발명의 일 실시예에 따르면, 스마트 디바이스는 전술한 스마트 프로젝터의 일 예로서, 광의 투사 방향이 회전 가능한 스마트 프로젝터의 형태로 제공될 수 있다. 스마트 프로젝터(100e)는 벽면 및/또는 테이블 상에 영상을 투사하고, 영상의 투사 방향이 회전 가능하도록 마련될 수 있다.
도 7은 본 발명의 일 실시예에 따른 스마트 프로젝터(100e)를 도시한 것이다. 도 7을 참조하면, 스마트 프로젝터는 영상의 투영 방향이 회전 가능하도록 구현될 수 있다. 영상이 투사되는 방향은 스마트 프로젝터의 회전축을 중심으로 회전할 수 있다.
도 7을 참조하면, 스마트 프로젝터(100e)는 마이크(102e) 및 스피커(106e)를 포함할 수 있다. 스마트 프로젝터(100e)는 센서부 또는 카메라를 선택적으로 포함할 수 있다.
도 7의 (a)를 참조하면, 스마트 프로젝터(100e)는 하방으로 광을 출사하고, 광의 투사 방향이 회전 가능하도록 마련될 수 있다. 스마트 프로젝터(100e)는 테이블 상에 위치하고, 테이블 상면에 영상을 투영할 수 있다. 스마트 프로젝터(100e)는 테이블 상에서 영상을 투사하는 방향을 회전시킬 수 있다. 예를 들어, 스마트 프로젝터(100e)는 투영 영역이 제1 위치(10d)에서 제2 위치(10d')로 변경되도록 영상의 투사 방향을 회전시킬 수 있다.
도 7의 (b)를 참조하면, 스마트 프로젝터(100e)는 상방으로 광을 출사하고, 광의 투사 방향을 회전시킬 수 있다. 스마트 프로젝터(100e)는 벽면으로 영상을 투영할 수 있다. 스마트 프로젝터(100e)는 영상을 투사하는 방향을 회전시킬 수 있다. 스마트 프로젝터(100e)는 영상이 투영되는 벽면이 변경되도록 영상을 투사하는 방향을 회전시킬 수 있다. 예를 들어, 스마트 프로젝터(100e)는 투영 영역이 제3 위치(10e)에서 제4 위치(10e')로 변경되도록 영상의 투사 방향을 회전시킬 수 있다.
스마트 프로젝터(100e)는 벽 투영 모드(제1 모드) 및/또는 바닥 투영 모드(제2 모드)를 포함하는 복수의 모드 중 선택된 어느 하나의 모드로 동작할 수 있다.
2. 보이스 인터페이스
2.1 개요
본 발명의 일 실시예에 따르면, 스마트 디바이스는 사용자로부터 보이스 커맨드를 획득하기 위한 보이스 인터페이스를 제공할 수 있다. 스마트 디바이스는 사용자의 보이스 커맨드에 응답하여 다양한 동작을 수행함으로써 사용자에게 음성 제어 환경을 제공할 수 있다.
이하에서는, 보이스 인터페이스를 제공하는 스마트 디바이스 및 그 제어 방법의 몇몇 실시예에 대하여 설명한다. 이하의 실시 예들에서, 스마트 디바이스는 영상을 표시하는 디스플레이가 탑재된 스마트 디스플레이 또는 영상을 출력하는 빔 프로젝터가 탑재된 스마트 프로젝터일 수 있다.
2.2 프로세스
스마트 디바이스는 보이스 인터페이스를 제공하고, 보이스 인터페이스를 통하여 보이스 커맨드를 포함하는 보이스를 획득하고, 보이스 커맨드에 대응하는 정보를 출력할 수 있다. 스마트 디바이스는 사용자에게 보이스 인터페이스(또는 음성 제어 환경)를 제공하여, 사용자의 보이스에 포함된 보이스 커맨드에 대응하는 정보를 다양한 형태로 출력할 수 있다.
스마트 디바이스는 보이스 인터페이스를 통하여 보이스 커맨드를 획득하고, 보이스 커맨드에 대응하는 정보가 음성(예컨대, 토크-백)으로 출력되도록 하는 보이스 인터페이스를 제공할 수 있다.
스마트 디바이스는 보이스 인터페이스를 통하여 보이스 커맨드를 획득하고, 보이스 커맨드에 대응하는 정보가 영상(예컨대, 디스플레이-백)으로 출력되도록 하는 보이스 인터페이스를 제공할 수 있다. 특히, 영상을 출력하는 스마트 디스플레이 또는 스마트 프로젝터의 경우, 스마트 디바이스는 보이스 커맨드에 대응하는 정보를 디스플레이-백을 통하여 출력할 수 있다.
2.3 컨텐츠
스마트 디바이스는 보이스 인터페이스를 지원하는 사용자 컨텐츠를 제공할 수 있다. 스마트 디바이스는 보이스 인터페이스를 지원하는 사용자 컨텐츠를 제공하고, 사용자 컨텐츠에 관한 사용자의 보이스 커맨드를 획득하고, 보이스 커맨드에 따른 동작을 수행할 수 있다.
스마트 디바이스는 사용자 컨텐츠를 시각 또는 청각적으로 사용자에게 제공할 수 있다. 사용자 컨텐츠는 오디오 컨텐츠 또는 비디오 컨텐츠로 마련될 수 있다. 사용자 컨텐츠는 멀티미디어 컨텐츠를 포함할 수 있다.
스마트 디바이스는 사용자 컨텐츠를 표시 영역에 표시할 수 있다. 스마트 디바이스는 디스플레이 또는 프로젝터 모듈을 이용하여 시각 정보를 포함하는 사용자 컨텐츠를 출력할 수 있다. 다시 말해, 사용자 컨텐츠가 표시되는 표시 영역은 디스플레이 화면 또는 투영 영역상에 마련될 수 있다. 본 명세서에서는, 별다른 언급이 없는 한 사용자 컨텐츠는 시각 정보를 포함하여 제공되는 경우를 기준으로 설명한다.
사용자 컨텐츠는 보이스 커맨드에 의해 요청되는 정보를 포함할 수 있다. 사용자 컨텐츠는 사용자의 보이스 커맨드에 의해 선택될 수 있는 복수의 오브젝트(또는 아이템)을 포함할 수 있다. 사용자 컨텐츠는 복수의 오브젝트가 나열된 리스트를 포함할 수 있다.
사용자 컨텐츠는 별도의 서버에 저장되고, 사용자의 보이스 커맨드에 의해 요청되어 스마트 디바이스에서 제공될 수 있다. 사용자 컨텐츠는 별도의 사업자에 의해 제공될 수 있다.
사용자 컨텐츠에 포함되는 복수의 오브젝트는 각각 대응되는 식별자가 할당되어 마련될 수 있다. 각각의 오브젝트에 할당된 식별자는 서수일 수 있다. 스마트 디바이스는 사용자 컨텐츠에 포함되는 복수의 오브젝트를 표시할 수 있다. 스마트 디바이스는 각각의 오브젝트를 할당된 식별자와 함께 표시할 수 있다.
사용자 컨텐츠는 적어도 일부 스크롤 가능한 형태로 제공될 수 있다. 사용자 컨텐츠는 사용자 커맨드에 따라 적어도 일 방향으로 스크롤될 수 있다.
복수의 오브젝트에 포함되는 각각의 오브젝트에는 연결 동작이 지정될 수 있다. 스마트 디바이스는 어느 오브젝트를 선택하는 보이스 커맨드를 획득하고, 해당 오브젝트에 대응되는 연결 동작을 수행할 수 있다.
각각의 오브젝트는 대응되는 연결 동작에 대한 시각 정보를 포함할 수 있다. 예컨대, 각각의 오브젝트는 연결된 영상의 썸네일, 아이콘 등을 포함할 수 있다. 각각의 오브젝트는 상품의 이미지, 가격, 제원 정보 등을 포함할 수 있다.
각각의 오브젝트는 미디어 컨텐츠와 연결된 미디어 오브젝트일 수 있다. 예컨대, 각각의 오브젝트는 뮤직비디오, TV 프로그램, 음악 등을 나타내는 음악, 영상 등의 명칭, 대표 이미지 등을 포함하는 미디어 오브젝트일 수 있다. 미디어 오브젝트는 각각의 미디어 컨텐츠가 재생되는 링크를 포함할 수 있다. 이때, 연결 동작은 선택된 음악, 영상 등의 재생, 선택된 음악, 영상 등의 재생 목록에의 추가, 음악, 영상 등의 연관 목록 생성 등으로 구현될 수 있다.
각각의 오브젝트는 판매 물품에 대한 상품 오브젝트일 수 있다. 예컨대, 사용자 컨텐츠는 쇼핑 페이지를 제공하고, 각각의 오브젝트는 판매되는 상품을 나타내는 상품 명칭, 상품의 이미지 등을 포함하는 상품 오브젝트일 수 있다. 이때, 연결 동작은 선택된 상품의 상세 페이지 오픈 또는 선택된 상품의 장바구니 추가, 선택된 상품의 구매창 오픈 등으로 구현될 수 있다.
스마트 디바이스는 사용자 컨텐츠에 포함된 정보의 일부를 표시할 수 있다. 스마트 디바이스는 사용자 컨텐츠에 포함된 복수의 오브젝트 중 일부가 표시되도록 표시 영역을 결정할 수 있다. 스마트 디바이스는 표시 영역을 디스플레이 하거나 투영하여 표시할 수 있다.
스마트 디바이스는 사용자 컨텐츠 중 표시되는 표시 영역을 변경할 수 있다. 표시 영역은 복수의 오브젝트를 포함할 수 있다. 표시 영역에 포함되는 오브젝트는 변경될 수 있다. 표시 영역에 포함되는 오브젝트의 수는 변경될 수 있다. 예컨대, 표시 영역은 확대(줌-인) 또는 축소(줌-아웃)될 수 있다.
스마트 디바이스는 보이스 커맨드 또는 터치 이벤트를 획득하고 표시 영역을 변경할 수 있다. 보이스 커맨드에 대응한 표시 영역의 변경에 관하여는, 이하의 음성 제어 및 컨텐츠 표시 제어 항목에서 보다 구체적으로 설명한다.
도 8은 본 발명의 일 실시예에 따른 사용자 컨텐츠를 설명하기 위한 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스는 복수의 동영상을 포함하는 사용자 컨텐츠를 표시 영역(20) 상에 표시할 수 있다.
사용자 컨텐츠는 각각의 동영상으로 연결되는 링크 리스트를 포함할 수 있다. 사용자 컨텐츠는 각각 지정된 동영상으로 연결되는 링크를 포함하는 복수의 오브젝트를 포함할 수 있다.
예를 들어, 스마트 디바이스는 '다큐멘터리 동영상'을 요청하는 사용자의 보이스 커맨드를 획득하고, 복수의 다큐멘터리 영상을 포함하는 사용자 컨텐츠를 복수의 다큐멘터리 동영상 각각의 링크를 포함하는 복수의 오브젝트가 나열된 리스트 형태로 표시 영역(20)상에 출력할 수 있다.
도 9는 본 발명의 일 실시예에 따른 사용자 컨텐츠를 설명하기 위한 도면이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스는 복수의 상품 정보를 포함하는 사용자 컨텐츠를 표시 영역(20) 상에 출력할 수 있다. 사용자 컨텐츠는 각각의 상품의 상세 페이지 또는 구매 페이지로 연결되는 연결 링크를 포함하는 복수의 오브젝트를 포함할 수 있다.
예를 들어, 스마트 디바이스는 '구매 가능한 의자 목록'을 요청하는 사용자의 보이스 커맨드를 획득하고, 판매되는 복수의 '의자' 정보를 포함하는 사용자 컨텐츠를 각각의 의자의 썸네일을 포함하는 복수의 오브젝트가 나열된 형태로 표시 영역(20) 상에 출력할 수 있다.
3. 음성 제어
본 발명의 일 실시예에 따르면, 스마트 디바이스는 사용자에게 보이스 인터페이스를 제공하고, 보이스 인터페이스를 통하여 획득한 보이스 커맨드에 따라 다양한 동작을 수행함으로써, 사용자에게 음성 제어 환경을 제공할 수 있다.
스마트 디바이스는 디스플레이를 포함하는 스마트 디스플레이 또는 프로젝터 모듈을 포함하는 스마트 프로젝터일 수 있다. 스마트 디스플레이는 보이스 인터페이스와 더불어, 디스플레이에 인가되는 터치 이벤트를 인식하는 터치 인터페이스를 함께 제공할 수 있다. 스마트 프로젝터는 보이스 인터페이스와 함께, 투영되는 영상에 인가되는 터치 이벤트를 인식하는 터치 인터페이스를 제공할 수 있다.
이하에서는, 스마트 디바이스의 음성 제어 방법에 대하여 몇몇 실시예를 들어 설명한다.
3.1 컨텐츠 표시 제어
본 발명의 일 실시예에 따르면, 스마트 디바이스는 보이스 커맨드를 획득하고, 컨텐츠의 표시 상태를 변경할 수 있다. 스마트 디바이스는 사용자의 보이스 커맨드를 획득하고, 표시되는 화면을 스크롤할 수 있다. 스마트 디바이스는 보이스 커맨드를 획득하고, 표시되는 화면을 세로 또는 가로로 스크롤할 수 있다.
도 10은 본 발명의 일 실시예에 따른 스마트 디바이스의 표시 화면 제어를 설명하기 위한 도면이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스는 세로 방향으로 정보 또는 오브젝트가 나열된 사용자 컨텐츠를 표시하고, 컨텐츠의 세로 방향 이동을 요청하는 사용자 보이스를 획득하고, 사용자 컨텐츠 중 표시되는 영역을 아래로 이동(스크롤 다운)할 수 있다. 예컨대, 스마트 디바이스는 표시 영역을 아래로 이동시킬 것을 요청하는 보이스 커맨드, 예를 들어 "scroll down" 를 포함하는 사용자 보이스를 획득하고, 표시되는 사용자 컨텐츠를 아래로 스크롤 할 수 있다.
도 11은 본 발명의 일 실시예에 따른 스마트 디바이스의 표시 화면 제어를 설명하기 위한 도면이다.
도 11을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스는 가로 방향으로 오브젝트 아이콘이 나열된 사용자 컨텐츠를 표시하고, 표시 화면의 가로 방향 이동을 요청하는 사용자 보이스를 획득하고, 사용자 컨텐츠 중 표시되는 영역을 우측으로 이동할 수 있다. 예컨대, 스마트 디바이스는 사용자의 보이스 커맨드 "scroll rignt"를 획득하고, 표시되는 사용자 컨텐츠를 우측으로 스크롤할 수 있다.
한편, 여기에서는 스마트 디바이스가 보이스를 획득하고, 출력되는 화면을 스크롤하는 경우를 기준으로 설명하였으나, 본 명세서에서 개시하는 발명이 이에 한정되는 것은 아니다. 예를 들어, 스마트 디바이스가 디스플레이를 포함하는 경우, 스마트 디바이스는 디스플레이에 인가되는 터치 이벤트를 획득하고, 출력되는 화면의 표시 상태를 변경할 수 있다. 또는, 스마트 디스플레이는 프로젝터 모듈을 포함하는 스마트 프로젝터이고, 스마트 프로젝터는 투영되는 화면에 인가되는 제스처 이벤트를 획득하고 출력되는 화면의 표시 상태를 변경할 수도 있다.
3.2 오브젝트 선택
본 발명의 일 실시예에 따르면, 스마트 디바이스는 복수의 오브젝트 중 어느 하나를 선택하는 사용자의 보이스 커맨드(셀렉션 커맨드)를 획득할 수 있다. 스마트 디바이스는 복수의 오브젝트를 포함하는 컨텐츠를 제공하고, 보이스 인터페이스를 통하여 복수의 오브젝트 중 어느 하나를 선택하는 사용자의 보이스 커맨드를 획득하고, 선택된 오브젝트에 지정된 연결 동작을 수행할 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 스마트 디바이스는 복수의 동영상을 포함하는 컨텐츠를 제공하되, 각각의 동영상이 재생되는 링크를 포함하는 동영상 리스트를 표시하고, 복수의 동영상 중 어느 하나의 동영상을 선택하는 사용자의 보이스 커맨드를 수신함에 응답하여 선택된 동영상을 출력할 수 있다.
도 12는 본 발명의 일 실시예에 따른 연결 동작을 설명하기 위한 도면이다.
도 12를 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스는 복수의 동영상을 포함하는 사용자 컨텐츠를 표시하고, 사용자에 의해 발화되고 복수의 동영상 중 어느 하나의 동영상을 선택하는 보이스 커맨드를 포함하는 보이스를 획득하고, 보이스 커맨드에 의해 선택된 동영상을 출력할 수 있다.
예컨대, 스마트 디바이스는 도 8에서 도시하는 것과 같이 복수의 영상 오브젝트를 포함하는 화면이 표시된 상태에서, '3번 영상을 재생'할 것을 요청하는 사용자 보이스 커맨드를 획득하고, 3번에 해당하는 영상, 즉 'The history of hockey'를 재생할 수 있다.
다른 예를 들어, 본 발명의 일 실시예에 따른 스마트 디바이스는 복수의 상품을 포함하는 사용자 컨텐츠를 제공하고, 각각의 상품의 상세 페이지 또는 구매 페이지 링크를 포함하는 상품 리스트를 표시하고, 복수의 상품 중 어느 하나의 상품을 선택하는 사용자의 보이스 커맨드를 수신함에 응답하여, 선택된 상품의 상세 페이지, 구매 페이지 등을 출력할 수 있다.
도 13은 본 발명의 일 실시예에 따른 연결 동작을 설명하기 위한 도면이다. 도 13을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스는 도 8에서 도시하는 화면이 표시된 상태에서, '8번 의자를 선택'하는 사용자의 보이스 커맨드를 획득하고, 8번 의자의 보다 상세한 정보를 표시할 수 있다.
도 14는 본 발명의 일 실시예에 따른 연결 동작을 설명하기 위한 도면이다. 도 14를 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스는 '4번 의자의 선택' 또는 '4번 의자의 구매'를 요청하는 사용자의 보이스 커맨드를 획득하고 4번 의자의 구매 페이지를 출력할 수 있다.
한편, 도 12 내지 14에서 설명하는 연결 동작 들은 예시에 불과하며, 본 명세서에서 개시하는 스마트 디바이스에 의하면, 다양한 연결 동작들이 전개될 수 있다.
3.2.1 복수의 오브젝트 선택
본 발명의 일 실시예에 따르면, 스마트 디바이스는 복수의 오브젝트를 포함하는 컨텐츠를 제공하고, 복수의 오브젝트 중 적어도 두 개의 오브젝트를 선택하는 사용자의 보이스 커맨드(멀티-셀렉션 커맨드)를 획득하고, 선택된 오브젝트들에 대한 연결 동작을 수행할 수 있다.
예컨대, 복수의 판매 상품 옵션을 제공하거나 음악 목록을 제공하는 경우에, 사용자가 복수의 대상 상품 또는 복수의 대상 음악을 선택하여 주문 내지 재생을 요청할 수 있도록 멀티-셀렉션 커맨드 환경이 제공될 수 있다.
본 발명의 일 실시예에 따르면, 스마트 디바이스는 복수의 선택 가능한 오브젝트를 포함하는 컨텐츠를 출력하고, 복수의 선택 가능한 오브젝트 중 적어도 두 개의 오브젝트를 선택하는 보이스 커맨드를 수신하고, 적어도 두 개의 오브젝트를 선택하는 보이스 커맨드를 수신하는 것에 응하여, 선택된 오브젝트들에 연결된 연결 동작을 수행할 수 있다.
본 발명의 일 실시예에 따르면, 스마트 디바이스는 기준 시간 간격 이내에 획득된 보이스에 포함된 보이스 커맨드에 기초하여 복수의 선택 대상 오브젝트를 판단할 수 있다. 스마트 디바이스는 미리 정해진 지시자를 포함하는 보이스 커맨드를 획득하고, 보이스 커맨드에 기초하여 복수의 선택 대상 오브젝트를 판단할 수 있다.
일 예로, 스마트 디바이스의 제어 방법은 복수의 음악 리스트를 포함하는 컨텐츠를 제공하고, 두 개 이상의 음악을 선택하는 사용자의 보이스 커맨드를 획득하고, 선택된 음악들을 재생 목록에 추가하는 연결 동작을 수행할 수 있다. 또는, 스마트 디바이스는 선택된 음악들이 추가된 재생 목록을 표시할 수 있다. 스마트 디바이스는 선택된 음악들을 재생할 수 있다.
다른 예로, 스마트 디바이스의 제어 방법은 복수의 상품 리스트를 포함하는 컨텐츠를 제공하고, 두 개 이상의 상품을 선택하는 사용자의 보이스 커맨드를 획득하고, 선택된 상품들이 추가된 장바구니 화면 또는 상품들의 구매 페이지를 표시하는 연결 동작을 수행할 수 있다. 스마트 디바이스는 사용자는 상품들을 선택하는 보이스 커맨드를 획득하고, 선택된 상품들이 장바구니에 추가되었음을 고지하는 피드백을 출력할 수 있다.
도 15는 본 발명의 일 실시예에 따른 연결 동작을 설명하기 위한 도면이다.
도 15를 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스는 도 9에서 도시하는 것처럼 복수의 상품을 포함하는 컨텐츠를 표시하고, 복수의 상품 중 적어도 두 개의 상품을 선택하는 사용자의 보이스 커맨드를 획득하고, 보이스 커맨드를 획득하는 것에 응답하여 선택된 복수의 상품에 대한 구매 페이지를 출력할 수 있다.
3.2.2 예비 선택
본 발명의 일 실시예에 따르면, 스마트 디바이스는 복수의 오브젝트를 포함하는 사용자 컨텐츠를 출력하고, 복수의 오브젝트 중 적어도 하나의 오브젝트를 선택하는 보이스 커맨드를 획득하고, 선택된 오브젝트에 대한 예비 선택 절차를 수행한 후, 선택된 오브젝트에 연결된 연결 동작을 수행할 수 있다.
예컨대, 보이스 커맨드가 오인식 되었거나 사용자가 선택 의도가 없었음에도 셀렉션 커맨드로 인식된 경우, 연결 동작을 수행하기 전에 확인하는 절차로서 예비 선택 절차가 이용될 수 있다.
본 발명의 일 실시예에 따르면, 스마트 디바이스는 복수의 오브젝트를 포함하는 사용자 컨텐츠를 출력하고, 복수의 오브젝트 중 적어도 하나의 오브젝트를 선택하는 보이스 커맨드를 획득하고, 선택된 오브젝트에 대한 예비 선택 절차로서, 실행 가능한 연결 동작들을 표시할 수 있다.
도 16은 본 발명의 일 실시예에 따른 예비 선택을 설명하기 위한 도면이다.
도 16을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스는 도 9에서 도시하는 것처럼 복수의 상품을 포함하는 컨텐츠가 표시된 상태에서, '4번 상품을 선택'하는 보이스 커맨드를 획득하고, 예비 선택된 4번 상품을 장바구니에 추가하거나, 바로 구매하거나, 상세 페이지를 오픈하는 연결 동작들이 가능함을 표시할 수 있다.
본 발명의 다른 일 실시예에 따르면, 스마트 디바이스는 복수의 오브젝트를 포함하는 사용자 컨텐츠를 출력하고, 복수의 오브젝트 중 적어도 하나의 오브젝트를 예비 선택하는 보이스 커맨드를 획득하고, 예비 선택된 오브젝트에 대한 표시 상태를 변경할 수 있다.
도 17은 본 발명의 일 실시예에 따른 연결 동작을 설명하기 위한 도면이다.
도 17을 참조하면, 스마트 디바이스는 복수의 상품을 포함하는 사용자 컨텐츠를 출력하고, '2번 및 7번' 상품을 선택하는 사용자의 보이스 커맨드를 획득하고, 2번 및 7번 상품의 표시 상태를 변경할 수 있다. 예컨대, 선택된 오브젝트들과 선택되지 않은 오브젝트들의 밝기를 달리할 수 있다. 구체적으로, 2번 및 7번 상품을 제외한 나머지 상품의 오브젝트들의 밝기를 감소시킬 수 있다. 또는, 2번 및 7번 상품을 나타내는 오브젝트의 색상을 변경할 수 있다.
3.2.3 표시되지 않는 오브젝트의 선택
상술한 바와 같이, 스마트 디바이스의 제어 상태에 따라, 일 컨텐츠에 포함되는 복수의 오브젝트가 한 화면에 다 표시되지 아니하고, 사용자의 스크롤 요청에 따라 화면이 스크롤 되면서 화면에 표시되는 오브젝트들이 변경되는 경우가 있을 수 있다.
이하에서는, 사용자로부터 변경된 화면에 포함되지 않는 오브젝트를 선택하는 보이스 커맨드를 포함하는 보이스가 수신된 경우의 스마트 디바이스의 동작에 대하여 몇몇 실시예를 들어 설명한다.
도 18은 본 발명의 일 실시예에 따른 스마트 디바이스의 동작을 설명하기 위한 도면이다.
도 18의 (a)를 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스는 복수의 영상 링크를 포함하는 리스트를 표시하고, 사용자의 요청에 따라 리스트를 스크롤할 수 있다. 예컨대, 스마트 디바이스는 도 18의 (a)에서 도시하는 것과 같이, 스크롤되어 리스트 상단의 일부 오브젝트가 표시되지 않는 상태로 이용될 수 있다. 이때, 스마트 디바이스는 표시되지 않는 오브젝트, 예컨대, 1번 영상을 선택하는 사용자의 보이스 커맨드를 획득할 수 있다.
도 18의 (b)를 참조하면, 스마트 디바이스는 1번 영상이 표시되고 있지 않는 상태에서 1번 영상을 선택하는 사용자의 보이스 커맨드를 획득하고, 1번 영상을 재생할 수 있다.
한편, 사용자가 화면에 포함되지 않는 오브젝트를 선택한 경우, 사용자가 화면에 포함되는 오브젝트를 선택한 경우와 동일하게 취급할 경우에, 표시되지 않은 오브젝트의 내용은 사용자의 기억에 의존하게 되어, 잘못 선택된 오브젝트에 대하여 연결 동작이 수행되는 등의 문제가 발생할 수 있다.
예를 들어, 위 도면에서 도시하는 것과 같이 선택된 오브젝트(두 번째 동영상)가 디스플레이 모듈을 통하여 표시되고 있는 표시 영역에 존재하는 경우(좌측) 및 선택된 오브젝트가 표시 영역에 존재하지 않는 경우를 고려할 수 있다. 이에 따라, 선택된 오브젝트의 표시 여부를 고려하여 연결 동작을 수행하도록 하는 스마트 디바이스의 제어 방법이 요구된다.
도 19는 본 발명의 일 실시예에 따른 스마트 디바이스의 동작을 설명하기 위한 도면이다.
도 19의 (a)를 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스는 사용자의 요청에 따라 복수의 영상 링크를 포함하는 리스트가 스크롤 다운되어 일부 오브젝트, 예컨대, 1번 영상이 표시되지 않는 상태에서, 표시되지 않는 오브젝트를 선택하는 사용자의 보이스 커맨드, 예컨대, '1번 영상의 재생'을 요청하는 보이스 커맨드를 획득할 수 있다.
도 19의 (b)를 참조하면, 스마트 디바이스는 1번 영상의 오브젝트가 표시되지 않는 상태에서 1번 영상의 재생을 요청하는 보이스 커맨드를 획득하고, 1번 영상 재생의 확인을 요청하는 팝업창을 표시 화면에 오버레이 할 수 있다. 이때, 스마트 디바이스는 1번 영상 재생의 확인을 요청하는 보이스 가이드를 함께 출력할 수도 있다.
도 20은 본 발명의 일 실시예에 따른 스마트 디바이스의 동작을 설명하기 위한 도면이다.
도 20의 (a)를 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스는 복수의 영상 링크를 포함하는 리스트가 스크롤 다운되어 일부 오브젝트, 예컨대, 1번 영상이 표시되지 않는 상태에서, 표시되지 않는 오브젝트를 선택하는 사용자의 보이스 커맨드, 예컨대, '1번 영상의 재생'을 요청하는 보이스 커맨드를 획득할 수 있다.
도 20의 (b)를 참조하면, 스마트 디바이스는, 일부 오브젝트가 표시되지 않는 상태에서, 표시되지 않는 오브젝트를 선택하는 보이스 커맨드를 획득하고, 1번 영상 오브젝트가 표시되도록 컨텐츠의 표시 영역을 변경할 수 있다. 예컨대, 스마트 디바이스는 1번 영상의 오브젝트가 표시되지 않는 상태에서 1번 영상을 선택하는 보이스 커맨드를 획득하고, 1번 영상의 오브젝트가 표시되도록 화면을 스크롤할 수 있다. 스마트 디바이스는 화면의 변경과 동시에 1번 영상의 재생을 고지하는 가이드 보이스를 함께 출력할 수 있다.
이상의 실시 예들은 예시에 불과하며, 본 발명에 따른 스마트 디바이스는 사용자로부터 화면에 표시되지 않는 오브젝트를 선택하는 보이스 커맨드를 획득한 경우에, 사용자 편의를 증진하기 위한 다양한 형태의 피드백을 출력할 수 있다.
이하에서는, 상술한 실시 예들에서와 같이 사용자가 화면에 표시되고 있지 않은 오브젝트를 선택한 경우에 스마트 디바이스를 제어하는 방법에 대하여 보다 구체적으로 살펴본다.
4. 동작 알고리즘 - 표시되지 않는 오브젝트가 선택된 경우
여기에서는 상술한 보이스 인터페이스를 제공하는 스마트 디바이스를 제어하는 방법으로서, 사용자가 선택한 오브젝트의 표시 상태를 고려하여 스마트 디바이스가 다음 동작을 수행하도록 제어하는 방법에 대하여 몇가지 실시예를 들어 설명한다.
4.1 알고리즘
본 발명의 일 실시예에 따르면, 스마트 디바이스의 제어 방법은 복수의 선택 가능한 오브젝트를 포함하는 컨텐츠를 출력하고, 복수의 선택 가능한 오브젝트 중 어느 하나의 오브젝트를 선택하는 보이스 커맨드를 수신하고, 오브젝트를 선택하는 보이스 커맨드를 수신하는 것에 응하여, 선택된 오브젝트에 연결된 연결 동작을 수행하는 것을 포함할 수 있다.
도 21은 본 발명의 일 실시예에 따른 스마트 디바이스의 제어 방법을 설명하기 위한 순서도이다. 이때, 스마트 디바이스는 스마트 디바이스는 광을 출사하여 디스플레이-백을 출력하는 스마트 프로젝터 또는 디스플레이를 포함하고 디스플레이 상에 디스플레이-백을 출력하는 스마트 디스플레이일 수 있다.
도 21을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스의 제어 방법은 제1 보이스 커맨드를 포함하는 제1 보이스를 수신하는 단계(S100), 제1 보이스 커맨드에 대응되는 제1 컨텐츠를 획득하는 단계(S200), 제1 컨텐츠 중 제1 영역을 표시하는 디스플레이-백을 출력하는 단계(S300), 제2 보이스 커맨드를 포함하는 제2 보이스를 수신하는 단계(S400), 제1 오브젝트가 제1 영역에 포함되는 경우, 제1 동작을 수행하는 단계(S500) 및 제1 오브젝트가 제1 영역에 포함되지 않는 경우, 제2 동작을 수행하는 단계(S600)를 포함할 수 있다.
제1 보이스 커맨드에 대응되는 제1 컨텐츠를 획득하는 단계(S200)는, 제1 컨텐츠는 복수의 선택 가능한 오브젝트를 포함하고, 복수의 오브젝트에 포함되는 각각의 오브젝트는 각각의 오브젝트에 대응되도록 할당된 식별자를 포함하는 것으로 구현될 수 있다. 식별자는 복수의 오브젝트가 정렬된 상태에 기초하여 결정된 서수일 수 있다.
제1 컨텐츠 중 제1 영역을 표시하는 디스플레이-백을 출력하는 단계(S300)는 제1 컨텐츠 중 복수의 오브젝트 중 일부가 포함되는 제1 영역을 표시하는 디스플레이-백을 출력하는 것을 더 포함할 수 있다. 다시 말해, 제1 컨텐츠는 복수의 오브젝트를 포함하는 목록 등을 포함하고, 스마트 디바이스는 제1 컨텐츠에 포함된 목록의 일부를 표시 영역에 출력할 수 있다. 제1 컨텐츠는 사용자 커맨드에 따라 적어도 일 방향으로 스크롤될 수 있도록 마련될 수 있다. 제1 영역은 컨텐츠 또는 리스트가 스크롤됨에 따라 변경될 수 있다. 표시되는 제1 영역이 변경됨에 따라 제1 영역에 포함되는 복수의 오브젝트는 변경될 수 있다.
도 22는 본 발명의 일 실시예에 따른 스마트 디바이스(200)의 제어 방법을 설명하기 위한 도면이다.
도 22를 참조하면, 스마트 디바이스(200)의 제어 방법은 보이스 커맨드를 포함하는 보이스를 수신하고, 보이스 커맨드에 대응되는 사용자 컨텐츠를 획득하고, 사용자 컨텐츠 중 일부 영역을 표시하는 디스플레이-백을 출력하는 것을 포함할 수 있다.
보다 구체적으로, 도 22를 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(200)는 다큐멘터리 영상을 요청하는 제1 보이스 커맨드를 포함하는 제1 보이스(예를 들어, "I want to watch a documentary)를 수신하고 제1 보이스 커맨드에 대응되는 제1 컨텐츠(예컨대, 복수의 다큐멘터리 영상 링크를 포함하는 사용자 컨텐츠) 중 제1 영역을 표시 영역(30)에 출력할 수 있다.
사용자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 수신하는 단계(S400)에 있어서, 제2 보이스 커맨드는 제1 오브젝트에 관련되는 동작(피드백)을 요청하는 것일 수 있다. 제2 보이스 커맨드는 복수의 오브젝트에 포함되는 제1 오브젝트에 대응되는 제1 식별자를 포함하고, 제1 오브젝트에 관련되는 제1 동작의 수행을 요청하는 것으로 구현될 수 있다.
제1 오브젝트가 제1 영역에 포함되는 경우, 제1 동작을 수행하는 단계(S500)는, 별도의 알림 없이 곧바로 제1 동작을 수행하는 것을 포함할 수 있다. 제1 오브젝트가 제1 영역에 포함되는 경우, 스마트 디바이스는 별도의 피드백 없이 곧바로 제1 동작을 수행할 수 있다.
제2 보이스 커맨드는 제1 오브젝트에 연결되는 제2 컨텐츠의 표시를 요청하는 보이스 커맨드일 수 있다. 이때, 제1 동작은 제1 오브젝트에 연결되는 제2 컨텐츠를 표시하는 것을 포함할 수 있다.
제1 오브젝트가 제1 영역에 포함되지 않는 경우, 제2 동작을 수행하는 단계(S600)는, 사용자에게 제1 오브젝트 및 제1 오브젝트에 대한 제1 동작의 수행에 대한 확인을 요청하는 제2 동작을 수행하는 것을 포함할 수 있다.
제2 동작을 수행하는 단계(S600)는, 제2 동작에 응답하여 제1 동작의 수행을 확인하는 제3 보이스 커맨드를 포함하는 제3 보이스가 수신되면 제1 동작을 수행하는 것을 포함하는 것으로 구현될 수 있다.
제2 동작을 수행하는 단계(S600)는, 제2 동작은 제1 식별자 및 제1 오브젝트에 대한 제1 동작의 수행의 확인을 요청하는 피드백을 출력하는 것을 포함하는 것으로 구현될 수 있다.
제2 동작을 수행하는 단계(S600)는, 제2 동작은 제2 보이스 커맨드에 따른 제1 동작이 제1 오브젝트에 관련된 것임을 사용자에게 고지하기 위한 디스플레이-백 또는 토크-백을 출력하는 것을 포함하는 것으로 구현될 수 있다.
제2 동작을 수행하는 단계(S600)는, 제2 동작은 제1 콘텐츠 중 제1 오브젝트가 포함되도록 결정된 제2 영역을 표시하는 것을 포함하는 것으로 구현될 수 있다.
제2 동작을 수행하는 단계(S600)는, 제2 동작은 제1 영역이 표시된 상태에서 제1 오브젝트를 포함하는 팝업창을 제1 영역에 오버랩하는 것을 포함하는 것으로 구현될 수 있다.
제2 동작을 수행하는 단계(S600)는, 제2 동작은 제1 오브젝트에 대한 제1 동작 수행의 확인을 요청하는 가이드 보이스를 출력하는 것을 포함하는 것으로 구현될 수 있다.
한편, 본 발명의 일 실시예에 따른 스마트 디바이스의 제어 방법은, 표시되는 영역의 스크롤을 요청하는 제4 보이스 커맨드를 포함하는 제4 보이스를 수신하고, 제1 컨텐츠 중 제1 영역과 다른 제3 영역을 표시하는 디스플레이-백을 출력하는 단계를 더 포함할 수 있다. 이때, 제1 동작을 수행하는 단계는 제1 오브젝트가 제3 영역에 포함되는 경우 제1 동작을 수행하고, 제2 동작을 수행하는 단계는 제1 오브젝트가 제3 영역에 포함되지 않는 경우 제2 동작을 수행하는 것으로 구현될 수 있다.
도 23은 본 발명의 일 실시예에 따른 스마트 디바이스(200)의 제어 방법을 설명하기 위한 도면이다.
도 23을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(200)의 제어 방법은 표시 영역의 변경을 요청하는 보이스 커맨드를 포함하는 보이스를 획득하고, 사용자 컨텐츠 중 표시되는 일부 영역을 변경하는 것을 포함할 수 있다.
보다 구체적으로, 도 23을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(200)는 표시 영역의 아래 방향 스크롤을 요청하는 사용자의 보이스 커맨드(예를 들어, "scroll down")를 수신하고, 표시 영역(30)을 아래 방향으로 스크롤할 수 있다.
도 24는 본 발명의 일 실시예에 따른 스마트 디바이스(200)의 제어 방법을 설명하기 위한 도면이다.
도 24를 참조하면, 스마트 디바이스(200)의 제어 방법은 표시되지 않는 오브젝트를 선택하는 보이스 커맨드를 획득하는 것을 포함할 수 있다.
예컨대, 도 23과 관련하여 전술한 바와 같이, 사용자의 보이스 커맨드에 의하여 표시 영역이 스크롤되어 표시 영역(30)에 포함되는 오브젝트가 변경된 상태에서, 스마트 디바이스는 화면 밖으로 밀려난 오브젝트를 선택하는 사용자 커맨드를 획득할 수 있다.
구체적으로, 도 24를 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(200)는 표시 영역(30)에 나타나지 않는 1번 영상의 재생을 요청하는 사용자의 보이스 커맨드(예를 들어, "Play the first one")를 수신할 수 있다.
도 25는 본 발명의 일 실시예에 따른 스마트 디바이스의 제어 방법을 설명하기 위한 도면이다.
도 25를 참조하면, 스마트 디바이스(200)의 제어 방법은 표시되지 않는 오브젝트를 선택하는 보이스 커맨드를 획득하고, 선택된 오브젝트를 고지하는 팝업창 표시 및/또는 가이드 보이스의 출력을 수행하는 것을 포함할 수 있다.
구체적으로, 도 25를 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(200)는 표시 영역(30)에 나타나지 않는 1번 영상의 재생을 요청하는 사용자의 보이스 커맨드를 획득하고, 1번 영상의 재생을 안내하는 팝업창을 표시하거나, 1번 영상의 재생 확인을 요청하는 가이드 보이스(예컨대, "Play the first video 'Life in Paris'")를 출력하거나, 가이드 보이스의 출력과 팝업창의 표시를 함께 수행할 수 있다.
도 26은 본 발명의 일 실시예에 따른 스마트 디바이스의 제어 방법을 설명하기 위한 도면이다.
도 26을 참조하면, 스마트 디바이스(200)의 제어 방법은 선택된 오브젝트를 고지하는 팝업창 표시 및/또는 가이드 보이스의 출력에 응답하여, 선택된 오브젝트를 확정하는 사용자의 보이스 커맨드를 수신하고, 선택된 오브젝트에 대한 연결 동작을 수행하는 것을 포함할 수 있다.
구체적으로, 도 26을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(200)는 도 25에서 설명한 것처럼, 표시 영역(30)에 포함되지 않는 제1 영상의 재생을 확인하는 피드백을 출력하고, 피드백에 응하여 발화된 사용자의 보이스를 획득하고, 보이스에 포함되고 제1 영상의 재생을 확인하는 보이스 커맨드(예컨대, "Yes. Play that one")를 수신하고, 제1 영상을 재생할 수 있다.
스마트 디바이스는 제1 영상의 재생을 확인하는 보이스 커맨드를 확인하고, 곧바로 제1 영상을 재생할 수 있다. 또는, 스마트 디바이스는, 사용자의 보이스 커맨드가 획득되지 않더라도, 제1 영상의 재생을 확인하는 피드백을 출력하고 기준 시간이 경과하면 제1 영상을 재생할 수도 있다.
한편, 본 발명의 일 실시예에 따르면, 스마트 디바이스의 제어 방법은, 사용자에 의해 요청되어 출력되는 컨텐츠의 종류를 고려하여, 사용자로부터 복수의 오브젝트를 선택하는 보이스 커맨드를 수신할 수도 있다. 예컨대, 사용자가 복수의 음악을 선택하여 재생 목록을 형성하거나 복수의 상품을 선택하여 장바구니에 담을 수 있도록 하는 보이스 인터페이스를 제공할 수 있다.
이때, 스마트 디바이스의 제어 방법은 선택된 복수의 오브젝트 중 적어도 어느 하나의 오브젝트가 표시 영역에 포함되지 않는 경우, 표시 영역에 포함되지 않는 오브젝트들의 선택을 확인하는 피드백을 출력하는 것을 포함할 수 있다.
4.2 장치
상술한 스마트 디바이스의 제어 방법은 본 명세서에서 개시하는 스마트 디바이스에 의하여 수행될 수 있다.
도 27은 본 발명의 일 실시예에 따른 스마트 디바이스(3000)를 설명하기 위한 도면이다.
도 27을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(3000)는 보이스 커맨드를 포함하는 보이스를 획득하는 마이크 모듈(3010), 토크-백을 출력하는 스피커 모듈(3030), 디스플레이-백을 출력하는 영상 출력 모듈(3050) 및 제어부(3070)를 포함할 수 있다.
영상 출력 모듈(3050)은 광을 출사하여 디스플레이 백을 출력하는 프로젝터 모듈 및 디스플레이를 포함하고 디스플레이를 이용하여 디스플레이-백을 출력하는 디스플레이 모듈 중 어느 하나일 수 있다.
제어부(3070)는 상기 마이크 모듈을 통하여 사용자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 수신할 수 있다. 이때, 제1 컨텐츠는 복수의 선택 가능한 오브젝트를 포함하고, 복수의 오브젝트에 포함되는 각각의 오브젝트는 각각의 오브젝트에 대응되도록 할당된 식별자를 포함할 수 있다.
제어부(3070)는 상기 영상 출력 모듈을 통하여 제1 보이스 커맨드에 대응되는 제1 컨텐츠 중 복수의 오브젝트 중 일부가 포함되는 제1 영역을 표시하는 디스플레이-백을 출력할 수 있다.
제어부(3070)는 상기 마이크 모듈을 통하여 사용자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 수신할 수 있다. 이때, 제2 보이스 커맨드는 복수의 오브젝트에 포함되는 제1 오브젝트에 대응되는 제1 식별자를 포함하고, 제1 오브젝트에 관련되는 제1 동작의 수행을 요청할 수 있다.
상기 제2 보이스 커맨드는 제1 오브젝트에 연결되는 제2 컨텐츠의 표시를 요청하는 보이스 커맨드이고, 제1 동작은 제1 오브젝트에 연결되는 제2 컨텐츠를 표시하는 것을 포함할 수 있다.
제2 동작은 제2 보이스 커맨드에 따른 제1 동작이 제1 오브젝트에 관련된 것임을 사용자에게 고지하기 위한 디스플레이-백 또는 토크-백을 출력하는 것을 포함할 수 있다.
제2 동작은 제1 영역이 표시된 상태에서 제1 오브젝트를 포함하는 팝업창을 제1 영역에 오버랩하는 것을 포함할 수 있다.
제2 동작은 제1 오브젝트에 대한 상기 제1 동작 수행의 확인을 요청하는 가이드 보이스를 출력하는 것을 포함할 수 있다.
제어부(3070)는 제1 오브젝트가 제1 영역에 포함되는 경우, 제1 동작을 곧바로 수행할 수 있다.
제어부(3070)는 제1 오브젝트가 제1 영역에 포함되지 않는 경우, 사용자에게 제1 오브젝트 및 제1 오브젝트에 대한 제1 동작의 수행에 대한 확인을 요청하는 제2 동작을 수행할 수 있다. 제2 동작은 제1 식별자 및 제1 오브젝트에 대한 제1 동작의 수행의 확인을 요청하는 피드백을 출력하는 것을 포함할 수 있다.
제어부(3070)는 제1 오브젝트가 제1 영역에 포함되지 않는 경우, 마이크 모듈을 통하여, 제2 동작의 수행에 응답하여, 제1 동작의 수행을 확인하는 제2 보이스 커맨드를 획득하고, 제1 동작을 수행하는 것을 더 포함할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (20)
- 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 디바이스 - 상기 피드백은 디스플레이-백 및 토크-백을 포함함 -의 제어 방법에 있어서,사용자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 수신하는 단계;상기 제1 보이스 커맨드에 대응되는 제1 컨텐츠를 획득하는 단계 - 상기 제1 컨텐츠는 복수의 선택 가능한 오브젝트를 포함하고, 상기 복수의 오브젝트에 포함되는 각각의 오브젝트는 상기 각각의 오브젝트에 대응되도록 할당된 식별자를 포함함 -;상기 제1 컨텐츠 중 상기 복수의 오브젝트 중 일부가 포함되는 제1 영역을 표시하는 디스플레이-백을 출력하는 단계;상기 사용자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 수신하는 단계 - 상기 제2 보이스 커맨드는 상기 복수의 오브젝트에 포함되는 제1 오브젝트에 대응되는 제1 식별자를 포함하고, 상기 제1 오브젝트에 관련되는 제1 동작의 수행을 요청함 - ;상기 제1 오브젝트가 상기 제1 영역에 포함되는 경우, 상기 제1 동작을 수행하는 단계; 및상기 제1 오브젝트가 상기 제1 영역에 포함되지 않는 경우, 상기 사용자에게 상기 제1 오브젝트 및 상기 제1 오브젝트에 대한 상기 제1 동작의 수행에 대한 확인을 요청하는 제2 동작을 수행하는 단계;를 포함하는스마트 디바이스의 제어 방법.
- 제1항에 있어서,상기 제2 동작을 수행하는 단계는,상기 제2 동작에 응답하여 상기 제1 동작의 수행을 확인하는 제3 보이스 커맨드가 수신되면 상기 제1 동작을 수행하는 것을 더 포함하는스마트 디바이스의 제어 방법.
- 제1항에 있어서,상기 제2 동작은 상기 제1 식별자 및 상기 제1 오브젝트에 대한 상기 제1 동작의 수행의 확인을 요청하는 상기 피드백을 출력하는 것을 포함하는스마트 디바이스의 제어 방법.
- 제1항에 있어서,상기 제2 보이스 커맨드는 상기 제1 오브젝트에 연결되는 제2 컨텐츠의 표시를 요청하는 보이스 커맨드이고,상기 제1 동작은 상기 제1 오브젝트에 연결되는 상기 제2 컨텐츠를 표시하는 것을 포함하는,스마트 디바이스의 제어 방법.
- 제1항에 있어서,상기 제2 동작은 상기 제2 보이스 커맨드에 따른 상기 제1 동작이 상기 제1 오브젝트에 관련된 것임을 사용자에게 고지하기 위한 디스플레이-백 또는 토크-백을 출력하는 것을 포함하는스마트 디바이스의 제어 방법.
- 제1항에 있어서,상기 식별자는 상기 복수의 오브젝트가 정렬된 상태에 기초하여 결정된 서수인스마트 디바이스의 제어 방법.
- 제1항에 있어서,상기 제1 컨텐츠는 사용자 커맨드에 따라 적어도 일 방향으로 스크롤될 수 있도록 마련된,스마트 디바이스의 제어 방법.
- 제1항에 있어서,상기 제2 동작은 상기 제1 콘텐츠 중 상기 제1 오브젝트가 포함되도록 결정된 제2 영역을 표시하는 것을 포함하는스마트 디바이스의 제어 방법.
- 제1항에 있어서,상기 제2 동작은 상기 제1 영역이 표시된 상태에서 상기 제1 오브젝트를 포함하는 팝업창을 상기 제1 영역에 오버랩하는 것을 포함하는스마트 디바이스의 제어 방법.
- 제1항에 있어서,상기 제2 동작은 상기 제1 오브젝트에 대한 상기 제1 동작 수행의 확인을 요청하는 가이드 보이스를 출력하는 것을 포함하는스마트 디바이스의 제어 방법.
- 제1항에 있어서,상기 스마트 디바이스는 광을 출사하여 상기 디스플레이-백을 출력하는 스마트 프로젝터인스마트 디바이스의 제어 방법.
- 제1항에 있어서,표시되는 영역의 스크롤을 요청하는 제4 보이스 커맨드를 포함하는 제4 보이스를 수신하고, 상기 제1 컨텐츠 중 상기 제1 영역과 다른 제3 영역을 표시하는 디스플레이-백을 출력하는 단계;를 더 포함하고,상기 제1 동작을 수행하는 단계는 상기 제1 오브젝트가 상기 제3 영역에 포함되는 경우 상기 제1 동작을 수행하고,상기 제2 동작을 수행하는 단계는 상기 제1 오브젝트가 상기 제3 영역에 포함되지 않는 경우 상기 제2 동작을 수행하는스마트 디바이스의 제어 방법.
- 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백- 상기 피드백은 디스플레이-백 및 토크-백을 포함함 -을 출력하는 스마트 디바이스에 있어서,상기 보이스 커맨드를 포함하는 보이스를 획득하는 마이크 모듈;상기 디스플레이-백을 출력하는 영상 출력 모듈;상기 토크-백을 출력하는 스피커 모듈; 및상기 마이크 모듈을 통하여 사용자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 수신- 상기 제1 컨텐츠는 복수의 선택 가능한 오브젝트를 포함하고, 상기 복수의 오브젝트에 포함되는 각각의 오브젝트는 상기 각각의 오브젝트에 대응되도록 할당된 식별자를 포함함 -하고,상기 영상 출력 모듈을 통하여 상기 제1 보이스 커맨드에 대응되는 제1 컨텐츠 중 상기 복수의 오브젝트 중 일부가 포함되는 제1 영역을 표시하는 디스플레이-백을 출력하고,상기 마이크 모듈을 통하여 상기 사용자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 수신- 상기 제2 보이스 커맨드는 상기 복수의 오브젝트에 포함되는 제1 오브젝트에 대응되는 제1 식별자를 포함하고, 상기 제1 오브젝트에 관련되는 제1 동작의 수행을 요청함 -하고,상기 제1 오브젝트가 상기 제1 영역에 포함되는 경우, 상기 제1 동작을 수행하고,상기 제1 오브젝트가 상기 제1 영역에 포함되지 않는 경우, 상기 사용자에게 상기 제1 오브젝트 및 상기 제1 오브젝트에 대한 상기 제1 동작의 수행에 대한 확인을 요청하는 제2 동작을 수행하는 제어부;를 포함하는스마트 디바이스.
- 제13항에 있어서,상기 제어부는 상기 제1 오브젝트가 상기 제1 영역에 포함되지 않는 경우, 상기 마이크 모듈을 통하여, 상기 제2 동작의 수행에 응답하여, 상기 제1 동작의 수행을 확인하는 제2 보이스 커맨드를 획득하고, 상기 제1 동작을 수행하는 것을 더 포함하는스마트 디바이스.
- 제13항에 있어서,상기 제2 동작은 상기 제1 식별자 및 상기 제1 오브젝트에 대한 상기 제1 동작의 수행의 확인을 요청하는 상기 피드백을 출력하는 것을 포함하는,스마트 디바이스.
- 제13항에 있어서,상기 영상 출력 모듈은 광을 출사하여 상기 디스플레이 백을 출력하는 프로젝터 모듈 및 디스플레이를 포함하고 상기 디스플레이를 통하여 상기 디스플레이-백을 출력하는 디스플레이 모듈 중 어느 하나인스마트 디바이스.
- 제13항에 있어서,상기 제2 보이스 커맨드는 상기 제1 오브젝트에 연결되는 제2 컨텐츠의 표시를 요청하는 보이스 커맨드이고,상기 제1 동작은 상기 제1 오브젝트에 연결되는 상기 제2 컨텐츠를 표시하는 것을 포함하는,스마트 디바이스.
- 제13항에 있어서,상기 제2 동작은 상기 제2 보이스 커맨드에 따른 상기 제1 동작이 상기 제1 오브젝트에 관련된 것임을 사용자에게 고지하기 위한 디스플레이-백 또는 토크-백을 출력하는 것을 포함하는스마트 디바이스.
- 제13항에 있어서,상기 제2 동작은 상기 제1 영역이 표시된 상태에서 상기 제1 오브젝트를 포함하는 팝업창을 상기 제1 영역에 오버랩하는 것을 포함하는스마트 디바이스.
- 제13항에 있어서,상기 제2 동작은 상기 제1 오브젝트에 대한 상기 제1 동작 수행의 확인을 요청하는 가이드 보이스를 출력하는 것을 포함하는스마트 디바이스.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/075,416 US20210035583A1 (en) | 2018-07-27 | 2020-10-20 | Smart device and method for controlling same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180087682A KR102136463B1 (ko) | 2018-07-27 | 2018-07-27 | 스마트 디바이스 및 그 제어 방법 |
KR10-2018-0087682 | 2018-07-27 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/075,416 Continuation US20210035583A1 (en) | 2018-07-27 | 2020-10-20 | Smart device and method for controlling same |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020022571A1 true WO2020022571A1 (ko) | 2020-01-30 |
Family
ID=69181813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2018/014225 WO2020022571A1 (ko) | 2018-07-27 | 2018-11-19 | 스마트 디바이스 및 그 제어 방법 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210035583A1 (ko) |
KR (1) | KR102136463B1 (ko) |
WO (1) | WO2020022571A1 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102592833B1 (ko) * | 2018-12-14 | 2023-10-23 | 현대자동차주식회사 | 차량의 음성 인식 기능 연동 제어 시스템 및 방법 |
KR20220006833A (ko) * | 2020-07-09 | 2022-01-18 | 삼성전자주식회사 | 음성 및 비접촉 제스처에 기반한 음성 비서 호출 방법 및 전자 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100696439B1 (ko) * | 2002-07-02 | 2007-03-19 | 노키아 코포레이션 | 음성 인식에 의하여 데이터 레코드들을 핸들링하기 위한방법 및 이동 통신 장치 |
KR20120020853A (ko) * | 2010-08-31 | 2012-03-08 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
KR20140045181A (ko) * | 2012-10-08 | 2014-04-16 | 삼성전자주식회사 | 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치 |
KR20160114873A (ko) * | 2015-03-25 | 2016-10-06 | 엘지전자 주식회사 | 회전 멀티미디어 장치 |
US20160328108A1 (en) * | 2014-05-10 | 2016-11-10 | Chian Chiu Li | Systems And Methods for Displaying Information |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101828273B1 (ko) * | 2011-01-04 | 2018-02-14 | 삼성전자주식회사 | 결합기반의 음성명령 인식 장치 및 그 방법 |
-
2018
- 2018-07-27 KR KR1020180087682A patent/KR102136463B1/ko active IP Right Grant
- 2018-11-19 WO PCT/KR2018/014225 patent/WO2020022571A1/ko active Application Filing
-
2020
- 2020-10-20 US US17/075,416 patent/US20210035583A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100696439B1 (ko) * | 2002-07-02 | 2007-03-19 | 노키아 코포레이션 | 음성 인식에 의하여 데이터 레코드들을 핸들링하기 위한방법 및 이동 통신 장치 |
KR20120020853A (ko) * | 2010-08-31 | 2012-03-08 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
KR20140045181A (ko) * | 2012-10-08 | 2014-04-16 | 삼성전자주식회사 | 음성 인식을 이용한 미리 설정된 동작 모드의 수행 방법 및 장치 |
US20160328108A1 (en) * | 2014-05-10 | 2016-11-10 | Chian Chiu Li | Systems And Methods for Displaying Information |
KR20160114873A (ko) * | 2015-03-25 | 2016-10-06 | 엘지전자 주식회사 | 회전 멀티미디어 장치 |
Also Published As
Publication number | Publication date |
---|---|
US20210035583A1 (en) | 2021-02-04 |
KR20200012412A (ko) | 2020-02-05 |
KR102136463B1 (ko) | 2020-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016137167A1 (en) | Terminal | |
WO2016108660A1 (en) | Method and device for controlling home device | |
WO2016099141A2 (ko) | 멀티미디어 콘텐츠 제작 및 재생 방법, 이를 수행하는 전자 기기 및 이를 실행하는 프로그램이 저장된 기록 매체 | |
WO2013151322A1 (en) | Method and device for executing object on display | |
WO2021060590A1 (ko) | 디스플레이 장치 및 인공 지능 시스템 | |
WO2017159941A1 (en) | Display device and method of operating the same | |
WO2015034326A1 (en) | Image forming apparatus and control method thereof | |
WO2021070976A1 (ko) | 소스 기기 및 무선 시스템 | |
WO2016013705A1 (ko) | 원격제어장치 및 그의 동작 방법 | |
WO2020022571A1 (ko) | 스마트 디바이스 및 그 제어 방법 | |
WO2017082583A1 (en) | Electronic apparatus and method for controlling the same | |
WO2017018561A1 (ko) | 전시공간 제어 시스템 및 전시공간 제어방법 | |
WO2017105033A1 (en) | Display apparatus, remote control apparatus, and control method thereof | |
WO2016125966A1 (ko) | 영상 투사 장치 및 그의 동작 방법 | |
WO2022149620A1 (ko) | 디스플레이 장치 | |
WO2022014738A1 (ko) | 디스플레이 장치 | |
WO2020166731A1 (ko) | 액션 로봇용 단말기 및 그의 동작 방법 | |
WO2021137333A1 (ko) | 디스플레이 장치 | |
WO2020022569A1 (ko) | 스마트 프로젝터 및 그 제어 방법 | |
WO2020171245A1 (ko) | 디스플레이 장치 및 그의 동작 방법 | |
WO2024058292A1 (ko) | 디스플레이 장치 및 그의 동작 방법 | |
WO2023191121A1 (ko) | 디스플레이 장치 | |
WO2023200044A1 (ko) | 공간 터치 제어장치 및 공간 터치 제어방법 | |
WO2024080389A1 (ko) | 디스플레이 장치 및 디스플레이 시스템 | |
WO2021221186A1 (ko) | 디스플레이 장치 및 그의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18927723 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18927723 Country of ref document: EP Kind code of ref document: A1 |