WO2020022570A1 - Smart device and method for controlling same - Google Patents

Smart device and method for controlling same Download PDF

Info

Publication number
WO2020022570A1
WO2020022570A1 PCT/KR2018/014224 KR2018014224W WO2020022570A1 WO 2020022570 A1 WO2020022570 A1 WO 2020022570A1 KR 2018014224 W KR2018014224 W KR 2018014224W WO 2020022570 A1 WO2020022570 A1 WO 2020022570A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
projection area
voice
smart device
smart
Prior art date
Application number
PCT/KR2018/014224
Other languages
French (fr)
Korean (ko)
Inventor
박성흠
김영훈
강승원
Original Assignee
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴맥스 filed Critical (주)휴맥스
Publication of WO2020022570A1 publication Critical patent/WO2020022570A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/145—Housing details, e.g. position adjustments thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Definitions

  • the present invention relates to a smart device and a control method thereof. Specifically, the present invention relates to a smart device for acquiring a voice command and outputting various feedback corresponding to the voice command, and a control method thereof.
  • the smart speaker equipped with such an 'intelligent assistant' function generally refers to a smart device capable of receiving a voice command and outputting feedback according to the command in audio form.
  • voice control is possible compared to buttons or touch interfaces of traditional smart devices
  • criticism that the limitation of providing feedback in the form of audio is limited in the information that can be provided and the user's information acquisition is inefficient. This has been raised.
  • smart speakers are increasingly being transformed into smart displays that can be equipped with a display and provide feedback in the form of video as well as audio.
  • smart displays that can be equipped with a display and provide feedback in the form of video as well as audio.
  • One object of the present invention is to provide a smart device for acquiring voice commands and performing feedback.
  • One object of the present invention is to provide a control method of a smart device for acquiring a voice command and performing feedback.
  • One object of the present invention is to provide a smart device for outputting user-oriented feedback.
  • One object of the present invention is to provide a method for controlling a smart device such that the smart device outputs user-oriented feedback.
  • the method of controlling a smart projector may include obtaining location information of the smart projector of a user, obtaining a first voice uttered by a talker among the users and including a first voice command, and corresponding to the location information of the talker. Outputting image feedback corresponding to the first voice command using the first projection area as the projection area, and acquiring a second voice uttered by the talker and including a second voice command; And adjusting the projection area such that the image feedback is output to the second projection area determined in consideration of position information of.
  • a smart projector for acquiring a voice command and outputting various feedback corresponding to the voice command, wherein the smart projector emits light and outputs an image to a projection area, wherein the light is emitted.
  • a direction control is provided to be rotatable, the control method comprising: obtaining first location information as location information on the smart projector of a first user and second location information as location information on the smart projector of at least one second user; And obtaining a first voice that is uttered by the first user and includes a first voice command, and outputs a first image feedback corresponding to the first voice command to a first projection area corresponding to the first position information.
  • Outputting a second voice, the second voice uttered by the first user and including a second voice command Acquiring-a second voice command includes a target indicator-determining a target user among the at least one second user based on the target indicator and the first location information and by the second voice command
  • a control method of a smart projector may be provided that includes outputting the requested second image feedback to a second projection area corresponding to the second location information of the target user.
  • a smart projector for acquiring a voice command and outputting various feedback corresponding to the voice command, wherein the smart projector emits light and outputs an image, but the direction in which the light is emitted is And a rotatable control method, the method comprising: obtaining a first voice including a voice command uttered by a first user and requesting a second user to provide image feedback, wherein the position information of the second user is obtained; Acquiring and projecting the image feedback to the projection area determined in consideration of the position information of the second user, wherein collecting the position information of the second user includes: Determining whether the information is stored, if the location information of the second user is not stored in advance, Outputting a guide voice for inducing a utterance of a second user and obtaining a second voice uttered by the second user in response to the guide voice, and based on the obtained second voice,
  • a control method of a smart projector may be provided that includes obtaining location information.
  • a smart projector may be provided that acquires a voice command, outputs various feedbacks corresponding to the voice command, and emits light to output an image in the projection area.
  • the smart projector may include a microphone module that acquires a voice including the voice command, a projector module that emits light to output the image, and acquires location information about the smart projector of the user through the microphone module. Acquire a first voice that is uttered by a talker and includes a first voice command, and corresponds to the first voice command with the first projection area corresponding to the location information of the talker as the projection area through the projector module.
  • a smart projector that outputs user-directed feedback can be provided.
  • a smart projector for outputting a display-back in consideration of a user position may be provided.
  • a smart device for outputting a talk-back in consideration of a user position may be provided.
  • FIG. 1 is a block diagram illustrating a smart device according to an embodiment of the present invention.
  • FIG. 2 illustrates a state change of a smart device according to an embodiment of the present invention.
  • FIG 3 illustrates a smart display according to an embodiment of the present invention.
  • FIG. 4 illustrates a smart projector according to an embodiment of the present invention.
  • FIG. 5 illustrates a smart projector according to an embodiment of the present invention.
  • FIG. 6 illustrates a smart projector according to an embodiment of the present invention.
  • FIG. 7 illustrates a smart projector according to an embodiment of the present invention.
  • FIG. 9 is a diagram for describing user location information acquisition of a smart device according to one embodiment of the present invention.
  • FIG. 10 illustrates a smart device for performing user-oriented talk-back in accordance with one embodiment of the present invention.
  • FIG. 11 illustrates a smart projector for performing user-oriented display-back according to an embodiment of the present invention.
  • FIG. 12 illustrates a smart projector for performing user-oriented display-back according to an embodiment of the present invention.
  • FIG. 13 illustrates an example of a smart projector performing a directional display-back as a smart projector according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
  • 15 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
  • 16 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
  • 17 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
  • FIG. 18 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
  • FIG. 19 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
  • 20 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
  • FIG. 21 illustrates a display-back performed by a smart projector according to an embodiment of the present invention.
  • FIG. 22 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
  • FIG. 23 illustrates a display-back performed by a smart projector according to an embodiment of the present invention.
  • 24 is a flowchart illustrating a control method of a smart projector according to an embodiment of the present invention.
  • 25 is a flowchart illustrating a control method of a smart projector according to an embodiment of the present invention.
  • 26 is a flowchart illustrating a control method of a smart projector according to an embodiment of the present invention.
  • FIG. 27 is a flowchart illustrating a method of obtaining location information of a second user in detail in a method of controlling a smart projector according to an embodiment of the present invention.
  • FIG. 28 illustrates a display-back performed by a smart projector according to an embodiment of the present invention.
  • the smart device may provide various information to the user by receiving various types of commands from the user and outputting feedback in the form of voice or video in response thereto.
  • the smart device may respond to the voice command of the user by acquiring a voice command according to receiving the user's speech through the microphone module and outputting feedback such as talk-back or display-back.
  • An example of the above-described smart device may be a smart projector.
  • the smart projector may be a device provided in a form in which a projector is mounted on an existing smart speaker.
  • examples of the smart device may include a smart speaker, a smart projector, a smart TV, and the like.
  • the smart device is not limited to the above-described example, and various devices capable of outputting voice and / or video may be used as the smart device described herein.
  • the smart device may include at least one module that performs various functions.
  • the smart device may obtain a voice including a voice command using at least one module, or output a feedback corresponding to the voice command.
  • the types and functions of the modules will be described.
  • the smart device may include a microphone module for receiving a voice signal.
  • the microphone module may include a plurality of microphones.
  • the smart device may include a speaker module that outputs talk-back.
  • the speaker module may include a plurality of speakers.
  • the smart device may include a display module including a display for outputting an image or an image.
  • the display module may include a touch sensor.
  • the display module may be a projector module that emits light.
  • the projector module may be an ultra short throw projector module.
  • a smart device including a projector module is defined as a smart projector.
  • the smart device may include an optical sensor module for collecting the light.
  • the smart device may acquire 3D spatial information using the optical sensor module.
  • the smart device may obtain user behavior information (eg, gaze information) using the optical sensor module.
  • the optical sensor module may be a camera module for acquiring an image or an image.
  • the camera module may be an infrared camera module or a visible light camera module.
  • the optical sensor module may be a depth sensor module.
  • the depth sensor module may provide depth information of an object using a time of flight (TOF).
  • TOF time of flight
  • the smart device may include a communication unit.
  • the smart device may communicate with a server using a communication unit.
  • the smart device may communicate with an external device using a communication unit.
  • the communication unit may perform wireless communication with an external device.
  • the communication unit may perform wireless communication such as Wi-Fi, Bluetooth, or the like.
  • the communication unit may perform wired communication.
  • the communication unit may perform wired communication such as USB, Ethernet, or the like.
  • the smart device may include a controller.
  • the controller may control modules included in the smart device.
  • FIG. 1 is a block diagram illustrating a smart device 1000 according to an embodiment of the present invention.
  • the smart device 1000 may include a microphone module 1010, a camera module 1030, a speaker module 1050, a display module 1070, a controller 1090, and a communication unit. 1110.
  • the smart device 1000 may obtain a voice Input 1 using the microphone module 1010.
  • the smart device 1000 may acquire an image, an image, or depth information by using the camera module 1030 (Input 2).
  • the audio may be output (Output 1) using the smart device 1000 speaker module 1050.
  • the smart device may output an image or an image using the display module 1070.
  • the smart device may control each module by using the controller 1090.
  • the smart device may process information obtained from each module by using the controller 1090.
  • the smart device may communicate with the external device 2000 using the communication unit 1110.
  • the smart device may transmit the information acquired using the communication unit 1110 to the external device 2000.
  • the external device 2000 may be a server device provided separately.
  • the smart device includes a display module.
  • the smart device may be implemented as a smart projector including a projector module.
  • the smart device may receive a command from a user using the above-described modules.
  • the smart device may acquire a signal including the user command.
  • the smart device may output a signal according to a user command (hereinafter, referred to as feedback).
  • the smart device may acquire a command or a signal including the command.
  • the smart device may acquire a voice command or a voice (or voice signal) including the voice command.
  • the command may include a voice command, a touch command, a gesture command, and the like.
  • the command may be defined as a user action that requests a specific or arbitrary response from the device.
  • the smart device may provide an interface for obtaining a command from the user.
  • the interface may include a voice interface for obtaining a voice command, a touch interface for obtaining a touch command, and a gesture interface for obtaining a gesture command.
  • the smart device may obtain a voice.
  • the smart device may acquire a voice using the microphone module.
  • the smart device may obtain the spoken voice from the user.
  • the smart device may acquire a voice including a voice command using the microphone module.
  • the smart device may transmit a signal including the obtained voice command and / or voice command to an external device.
  • the smart device may deliver the voice command and / or the voice including the voice command to an external device that provides the information requested by the voice command.
  • the smart device may transmit voice command data to an external device.
  • the external device may be a server device that communicates with at least one device.
  • the smart device may obtain a touch event including a touch command.
  • the smart device may acquire a touch event occurring in the display using the touch sensor.
  • the smart device may obtain a gesture event that includes a gesture command.
  • the smart device may obtain a gesture event using the optical sensor module and / or the camera module.
  • the above-described command will be described on the basis of the case of the voice command.
  • the content of the voice command described herein may be similarly applied to a touch command or a gesture command.
  • the smart device may obtain feedback data including the information corresponding to the above-described voice command, and output the feedback by voice or video.
  • Feedback may be understood as a signal containing information corresponding to a command that is output in response to the device obtaining a command.
  • the information corresponding to the command may include the multimedia content.
  • the smart device may obtain feedback data corresponding to the command.
  • the smart device may acquire a voice including a voice command and / or a voice command, and obtain feedback data corresponding to the command.
  • the smart device may obtain feedback data corresponding to the voice command from the external device.
  • the smart device may obtain feedback data in response to sending the voice command data to the external device.
  • the smart device may output the feedback.
  • the feedback may include voice feedback (hereinafter, voice-back or talk-back) provided by voice or sound, or display feedback (hereinafter, display-back) provided by an image or an image.
  • the smart device can output the talk-back.
  • the smart device may obtain a voice including the voice command and / or voice command and output a talk-back.
  • the smart device may output a talk-back that includes the information requested by the voice command.
  • the smart device may output the talk-back using the speaker module.
  • the talk-back may include audio content such as music, radio, or the like.
  • the smart device can output a display-back.
  • the smart device may obtain a voice including a voice command and / or voice command and output a display-back.
  • the smart device may output a display-back that includes the information requested by the voice command.
  • the smart device may output the display-back using the display module or the projector module.
  • the display-back may include video content such as a TV program, Youtube, a movie, or the like.
  • the smart device may have several driving states.
  • the data processing aspect of the smart device may change depending on the state of the smart device.
  • the smart device may be in an off state. In the off state, the smart device can minimize power consumption. In the off state, the smart device may not consume power. In the off state, the smart device may not collect or output a signal. In the off state, the smart device may be in a hibernation state.
  • the smart device may have a standby state. In the standby state, the smart device may acquire or output a signal.
  • the smart device may acquire a signal that includes a preliminary command foretelling the command generation.
  • the preliminary command or a signal including the preliminary command may be predetermined and stored in advance in the smart device.
  • the smart device may obtain a voice including the preliminary command.
  • the preliminary command included in the voice may be implemented in the form of a hot-word or a wake-up word.
  • the reserved command may be predetermined as a command including a specific word.
  • the smart device may obtain a touch event or gesture event including the preliminary command.
  • the preliminary command included in the touch event may be any touch event or a touch event for a specific region.
  • the preliminary command included in the gesture event may be a wake up gesture according to a specific sequence.
  • the smart device may have a listening state. In the listening state, the smart device may acquire a signal including a voice command.
  • the smart device may acquire a signal including the preliminary command (eg, hot-word) described above and change to a listening state.
  • the listening state may be triggered by a signal including a preliminary command.
  • the smart device may open a listening window.
  • the smart device may acquire a hot-word and open a listening window.
  • the smart device may open a listening window and collect voices including voice commands.
  • the smart device may open the listening window for a predetermined time interval.
  • the predetermined time interval can be changed.
  • the smart device may close the listening window.
  • the smart device can close the listening window and stop collecting voice.
  • the smart device may close the listening window and transmit the collected voice to an external device.
  • the smart device may transmit the collected voice to the external device while the listening window is open.
  • the smart device may obtain a preliminary command.
  • the smart device may acquire the preliminary command and re-enter the listening state.
  • the smart device may acquire a preliminary command in the listening state and reopen or initialize the listening window.
  • the smart device may have a feedback state. In the feedback state, the smart device may output feedback corresponding to the voice command. The smart device may obtain a voice command and change to a feedback state.
  • the smart device may obtain feedback data corresponding to the voice command.
  • the smart device may obtain feedback data corresponding to the voice command in response to sending the voice and / or voice command to the external device.
  • the feedback data may be talk-back data or display-back data.
  • the smart device may output the feedback based on the feedback data.
  • the smart device may output a talk-back or display-back corresponding to the voice command.
  • the smart device may output a talk-back or display-back that includes the information requested by the voice command.
  • the smart device may output the talk-back and the display-back together or sequentially.
  • the smart device may obtain a hot-word.
  • the smart device may acquire a hot-word in the feedback state and change to a listening state.
  • the smart device may perform various operations.
  • the smart device may perform various operations involving the change of state described above. In the following, some embodiments will be described with respect to the basic operating process and additional operations of the smart device.
  • the smart device may obtain a voice command and output a feedback.
  • FIG. 2 illustrates a state change of a smart device according to an embodiment of the present invention.
  • an operation of a smart device according to an embodiment of the present invention will be described with reference to FIG. 2.
  • the smart device may change from the off state to the standby state.
  • the smart device may be changed from the off state to the standby state according to a user operation.
  • the smart device may change from a standby state to a listening state.
  • the smart device may open a listening window in a standby state, obtain a voice including a hot-word, and change to a listening state.
  • the smart device may change from the listening state to the feedback state.
  • the smart device may be voiced from the user in a listening state and obtain a voice including a voice command, and change to a feedback state.
  • the smart device When the output of the feedback is completed, the smart device may be changed to the standby state. In some cases, the smart device may be changed to a command state when the output of the feedback is completed. According to the type of feedback, the smart device may change to a command state after outputting the feedback. For example, when the output feedback requests a user command, the smart device may change to a command state after outputting the feedback.
  • the smart device may change from the feedback state to the listening state.
  • the smart device may obtain a preliminary command, such as a hot-word, during the output of the feedback.
  • the smart device may acquire a preliminary command during the feedback output and change to a listening state.
  • the smart device may change from the standby state or the listening state to the off state.
  • the smart device may change from a standby state or a listening state to an off state if a hot-word is not acquired within a predetermined time.
  • the smart device may obtain and store user location information.
  • the smart device may obtain basic information related to the user location and transmit the basic information to the external device.
  • the user location information may include location information of a plurality of users.
  • the user location information may include distance information from the smart device of the user.
  • the user location information may include angular displacement information from a reference direction of the smart device of the user.
  • the smart device may obtain user location information.
  • the smart device may acquire user location information when a user voice is obtained.
  • the smart device may collect user location information using the above-described optical sensor module.
  • the smart device may obtain user location information based on the spatial information obtained using the optical sensor module.
  • the smart device may collect user location information using the microphone module described above.
  • the smart device may acquire a voice spoken by the user using a plurality of microphones and collect user location information in consideration of the direction in which the voice is spoken.
  • the smart device may store the acquired location information.
  • the smart device may store the acquired location information in the form of a look-up table.
  • the smart device may transfer the acquired location information to an external device (eg, a server device).
  • the smart device may acquire the user location information in the standby state, the listening state or the feedback state.
  • the smart device may periodically acquire user location information.
  • the smart device may output feedback in consideration of user location information.
  • the smart device may determine the output direction of the talk-back in consideration of the user location information.
  • the smart device may determine the output location and / or orientation of the display-back in consideration of the user location information. In this regard, it will be described in more detail in the Table of Contents below.
  • the above-described smart device may be implemented in various forms. Hereinafter, some embodiments of the smart device will be described.
  • the smart device may be provided in the form of a smart display equipped with a display providing a touch interface.
  • the smart display can obtain voice commands and output talk-back or display-back.
  • the smart display 100a may include a microphone 102a, a speaker 106a, and a display 108a.
  • the smart display 100a may optionally include a camera 104a.
  • the smart display 100a may obtain a voice command using the microphone 102a, output a talk-back using the speaker 106a, or output the display-back through the display 108a.
  • the smart device may be provided in the form of a smart projector that emits light upward as an example of a smart projector equipped with a projector module.
  • the smart projector 100b may include a microphone 102b and a speaker 106b.
  • the smart projector 100b may include a camera.
  • the smart projector may emit light upward.
  • the smart projector can project an image or an image on any wall.
  • the projection area 10a in which the smart projector projects the image or the image may be changed.
  • the size or position of the projection area 10a can be changed.
  • the direction in which the image is projected may be determined to facilitate viewing.
  • the direction in which the image is projected may be determined to facilitate viewing in a direction opposite to the direction in which the smart projector projects the image.
  • the smart speaker may project such that the lower side of the image is located below the wall surface. In other words, the smart speaker may project an image to be projected on the wall in the upright direction.
  • the smart projector 100b may further include a sensor unit and may detect a gesture event or a touch event occurring in the projection area.
  • the smart device may be provided in the form of a smart projector that emits light downward as an example of the above-described smart projector.
  • the smart projector 100c may include a microphone 102c and a speaker 106c.
  • the smart projector 100c may further include a camera or a sensor unit.
  • the smart projector 100c may emit light downward.
  • the smart projector 100c may project an image or an image on a floor or a table on which the smart projector 100c is located.
  • the size or position of the projection area 10b can be changed.
  • the direction in which the image is projected may be determined to facilitate viewing in the direction in which the smart projector projects the image.
  • the smart speaker may project so that the lower side of the image is projected to the outside of the table (ie, a position far from the device).
  • the above-described smart projector may have a plurality of postures.
  • the smart projector may operate in the first posture or the second posture.
  • the smart projector may emit light upward or downward depending on the posture change.
  • the smart projector 100d may include a first posture (a) of FIG. 6 as a top surface and a second surface different from the first surface. It can operate in two postures (b of FIG. 6).
  • a first posture
  • b second surface different from the first surface. It can operate in two postures (b of FIG. 6).
  • an operation according to the posture of the smart projector 100d will be described with reference to FIG. 6.
  • the smart projector 100d may include a microphone 102d and a speaker 106d.
  • the smart projector 100d may optionally include a sensor unit or a camera.
  • the smart projector 100d when the smart projector 100d is in a first posture (eg, a wall projection posture), the smart projector 100d may emit light upward toward the wall.
  • a first posture eg, a wall projection posture
  • the smart projector 100d may operate similar to the second type smart projector 100b described above.
  • the smart projector 100d when the smart projector 100d is in a second posture (eg, a table projection posture), the smart projector 100d may emit light downward toward the floor or the table.
  • the smart projector 100d when the smart projector 100d is in the second posture, the smart projector 100d may operate similarly to the third type projector 100c described above.
  • the attitude of the smart projector 100d may be changed.
  • the attitude of the smart projector 100d may be changed manually.
  • the attitude of the smart projector 100d may be automatically changed by the driver.
  • the operation of at least one of the modules included in the smart projector 100d may be changed.
  • the operation of any one of a speaker module, a microphone module, and a sensor module included in the smart projector 100d may be changed.
  • the speaker 106d for outputting audio may be changed.
  • the direction in which the smart projector 100d projects light may be changed.
  • the projection direction of the image 10c projected from the smart projector 100d may be changed.
  • the smart projector 100d projects an image such that the bottom of the image is close to the smart projector 100d in the first posture, and projects the image so that the bottom of the image is far from the smart projector 100d in the second posture. can do.
  • the smart projector 100d has a first posture and a second posture, and has been described based on a case in which the posture is selectively changed between the first posture and the second posture. It is not.
  • the smart projector 100d may have three or more postures and may be implemented to selectively change the posture as necessary.
  • the smart device may be provided in the form of a smart projector in which the projection direction of light is rotatable as an example of the above-described smart projector.
  • the smart projector 100e may be provided to project an image on a wall and / or a table, and to rotate the projection direction of the image.
  • FIG. 7 illustrates a smart projector 100e according to an embodiment of the present invention.
  • the smart projector may be implemented such that the projection direction of the image is rotatable.
  • the direction in which the image is projected may rotate about the rotation axis of the smart projector.
  • the smart projector 100e may include a microphone 102e and a speaker 106e.
  • the smart projector 100e may optionally include a sensor unit or a camera.
  • the smart projector 100e may be provided to emit light downward and to rotate the projection direction of the light.
  • the smart projector 100e may be positioned on a table and project an image on the table upper surface.
  • the smart projector 100e may rotate the direction in which the image is projected on the table.
  • the smart projector 100e may rotate the projection direction of the image so that the projection area is changed from the first position 10d to the second position 10d '.
  • the smart projector 100e may emit light upward and rotate the projection direction of the light.
  • the smart projector 100e may project an image onto a wall.
  • the smart projector 100e may rotate the direction in which the image is projected.
  • the smart projector 100e may rotate the direction in which the image is projected so that the wall surface on which the image is projected is changed.
  • the smart projector 100e may rotate the projection direction of the image so that the projection area is changed from the third position 10e to the fourth position 10e '.
  • the smart projector 100e may operate in any one of a plurality of modes including a wall projection mode (first mode) and / or a floor projection mode (second mode).
  • first mode a wall projection mode
  • second mode a floor projection mode
  • the smart device disclosed herein can obtain a voice that includes a voice command and perform user-oriented feedback.
  • the smart device may acquire a voice including a voice command and output the talk-back and / or display-back in a specific direction in consideration of the location information of the user.
  • the smart device may obtain a voice including a voice command including a direction indicator requesting user-oriented feedback and output the feedback in the requested direction.
  • the smart device may obtain user location information and use it to perform directional feedback.
  • user location information may be obtained and use it to perform directional feedback.
  • some embodiments will be described for obtaining user location information for directivity feedback.
  • the smart device may obtain and / or store user location information.
  • the location information of the user may include direction information on the direction in which the user is located with respect to the smart device and / or distance information from the user away from the smart device.
  • the direction information may be provided as an angular displacement in which the user direction is spaced with respect to the reference direction.
  • the location information of the user may be provided as three-dimensional spatial information obtained from the smart device and based on the smart device.
  • the smart device may store the user location information with the identification information.
  • the identification information may be location identification information or user identification information.
  • the smart device may store the location information of the user located at the first location and the location information of the user located at the second location in association with the first location and the second location, respectively.
  • the smart device may acquire the first voice uttered from the direction having the first angular displacement from the reference direction, and match and store the first user at the first angular displacement.
  • the smart device may store user location information in association with user identification information granted based on the characteristics of the individual user.
  • the smart device may store location information of the user located at the first location and location information of the user located at the second location in association with the first user identification information and the second user identification information, respectively.
  • the smart device may acquire the second voice uttered from the direction having the second angular displacement from the reference direction, and match and store the first identification information of the user who uttered the second voice, for example, the user name.
  • User identification information may be provided based on user characteristics obtained using a camera module and / or a microphone module.
  • the user identification information may be provided based on a feature of the user's face image (voice recognition) acquired using the camera module or the voice of the user (voice recognition) acquired through the microphone module.
  • the user identification information may be provided based on a user name included in the obtained voice.
  • the user identification information may include user characteristic information such as a user gender, a user age, a user key, and the like determined based on a feature of a user face or voice.
  • the smart device may actively collect user location information.
  • the smart device may acquire user location information by actively initiating a specific procedure for obtaining user location information and performing the specific procedure.
  • the smart device may output a guide voice for inducing or requesting a user's speech to obtain user location information.
  • the smart device may output a guide screen for inducing or requesting the user's speech.
  • the smart device outputs a voice guide requesting user identification information, obtains a voice of the user spoken in correspondence with the voice guide, and based on the voice, the location information of the user and / or the user's voice Identification information can be obtained and stored.
  • the voice guide may prompt the user to utter a voice including a name.
  • the voice guide may be provided in a questionable sentence asking a user a name or ID.
  • the smart device may acquire the voice of the user guided by the voice guide and extract and store the location information of the user in consideration of the direction in which the voice is uttered and / or the volume of the voice.
  • the smart device may obtain the voice of the derived user and extract and store the user's name or ID from the voice.
  • FIG. 8 is a view for explaining acquisition of user location information of the smart device 100 according to an embodiment of the present invention.
  • the smart device 100 outputs a voice guide for inducing utterances of the first user 1 and the second user 2, and responds in response thereto. At least a part of the acquired voice may be acquired to acquire and store location information and identification information of the first user User 1 and the second user User 2.
  • the smart device 100 may output a voice guide requesting identification information (eg, a name) to the user, for example, “Let me know your name”.
  • the smart device 100 obtains a voice uttered by the first user (User 1), for example, "This is Jane” and a voice uttered by the second user (User 2), for example, "This js James”.
  • the identification information "Jane” and “James" of the first user (User 1) and the second user (User 2) together with the location information of the first user (User 1) and the location information of the second user (User 2), respectively Can be stored.
  • the smart device may manually collect user location information.
  • the smart device may obtain a dialogue between users or a voice spoken from the user without obtaining a specific procedure for acquiring the user location information, and may acquire and store the user location information based on this.
  • the smart device may acquire a voice command spoken by the user, and obtain and store location information of the user and identification information of the user based on the voice command.
  • the smart device may acquire and store user identification information and user location information based on the voice command when a voice uttered by the user and a voice including a voice command is obtained.
  • the smart device may obtain user location information and / or user identification information from a conversation between the plurality of users.
  • the smart device obtains the first voice of the first user and the second voice of the second user from the conversations of the first user and the second user, and the identification information of the first user and the second user from the first voice and the second voice. Can be extracted respectively.
  • the smart device may obtain location information of the first user and the second user based on the direction in which the first voice and the second voice are uttered.
  • FIG. 9 is a view for explaining acquisition of user location information of the smart device 100 according to an embodiment of the present invention.
  • the smart device 100 obtains at least a part of a voice included in a conversation between a first user User 1 and a second user User 2, and based on this, The location information and the identification information of the first user User 1 and the second user User 2 may be obtained and stored.
  • the smart device 100 may communicate with a user, for example, “How are you doing?” Spoken by the first user. And "Fine, thank you! Spoken by the second user (User 2).
  • the smart device 100 may determine the location of the first user User 1 and the second user User 2 and the first user User 1 from the acquired voices of the first user User 1 and the second user User 2.
  • identification information of the second user eg, the voiceprint, gender, etc.
  • the smart device may use both a method of actively collecting and passively collecting user location information.
  • the smart device may be based on passively acquiring user location information, and may actively acquire user location information when the required user location information is not stored.
  • the smart device when the smart device is requested to provide the directional feedback to the target user location, the smart device determines whether the location information of the target user is stored, and if the location information of the target user is not stored, The procedure for requesting location information of the target user may be initiated, the target user location information may be obtained, and the feedback may be output based on the obtained target user location information.
  • the smart device may output a user-oriented talk-back.
  • the smart device may acquire the user location information and output the user-oriented talk-back in consideration of the obtained user location information.
  • the smart device may acquire user location information and output a talk-back in a direction corresponding to the acquired user location information.
  • the smart device may obtain direction information on the smart device of the user who uttered the voice by using the microphone module and output the directional talk-back in the direction in which the user is located by using the speaker module.
  • the smart device may obtain a voice command including a predetermined indicator and output a user-oriented talk-back.
  • the smart device 100 may acquire a voice of a user, for example, “How is the weather today?” And detect a direction in which the obtained voice is uttered. .
  • the smart device 100 may include a plurality of microphones and detect a direction in which the voice is uttered by comparing audio signals obtained from the respective microphones.
  • the smart device 100 may obtain location information of the user based on the obtained utterance direction, and output the talk-back in a direction corresponding to the location of the user.
  • the smart device 100 may include a plurality of speakers, and may output a directional talk-back of a user's position using a speaker of some of the plurality of speakers.
  • the smart device may obtain user location information and output a user-oriented display-back.
  • the smart device is a smart projector that includes a projector module, and the smart projector can perform user-oriented projection.
  • the smart projector that performs the directional display-back, the contents of the above-described fifth type smart projector 100e may be applied unless otherwise stated.
  • the smart projector may acquire user location information and output a user-oriented display-back in consideration of the user location information.
  • the smart projector may output the display-back in a direction corresponding to the acquired user location information.
  • the smart projector may acquire user location information and output an image or display-back to the projection area determined in consideration of the user location information.
  • the projection area may be selected from a plurality of predetermined preliminary projection areas.
  • the smart projector may obtain user location information and output light by projecting light in a projection direction determined in consideration of the user location information.
  • the smart projector uses a microphone module to acquire a voice command, obtain voice direction in which the voice including the voice command is uttered, and display-back the projection area determined in consideration of the user direction information. You can print The smart projector may project light in a projection direction determined in consideration of user direction information.
  • the smart projector may acquire user location information using the camera module and project the display back to a location where the user can easily recognize the display back according to the acquired location information.
  • 11 and 12 illustrate a smart projector 100 for performing user directional display-back in accordance with one embodiment of the present invention.
  • the smart projector 100 may perform directional display-back in the bottom projection mode (first mode) and the wall projection mode (second mode) differently.
  • the smart projector 100 may output the display-back in the direction in which the user is located.
  • the smart projector is a range in which the projection direction or the projection direction of the display-back is selected in the direction in which the user is positioned so that the first projection area 20a is located within the user's field of vision or in the vicinity of the user. Can be determined.
  • the smart projector 100 may change the projection area or the projection direction of the display-back as the position of the user is changed.
  • the smart projector 100 may rotate the light emitting direction in a direction corresponding to the movement of the user, thereby changing the display area of the display-back from the first projection area 20a to the second projection area 20a '.
  • the smart projector 100 when the smart projector is in the second mode, when the smart projector 100 is in the first mode, the smart projector 100 is opposite to the direction of the user's smart projector 100. You can output the display back.
  • the smart projector 100 When the smart projector 100 is in the second mode, the smart projector 100 sets a range in which the projection direction or the projection direction of the display-back is selected in a direction opposite to the direction in which the user is positioned so that an image is projected opposite to the user. You can decide.
  • the smart projector 100 may change the display-back projection area from the first projection area 20b to the second projection area in response to the movement of the user. Can be changed to (20b ').
  • the smart projector 100 may rotate the light emitting direction so that the wall surface on which the display-back is projected is changed in response to the movement of the user.
  • the smart projector may acquire user position information, select an appropriate mode among the above-described wall projection mode or floor projection mode, and perform directional display-back in the selected mode.
  • the smart projector may obtain a voice command including a directing indicator and perform display-back projection in a direction corresponding to the directing indicator.
  • the direction indicator may request a directional display-back.
  • the directing indicator may indicate a criterion for determining the projection direction or the direction of light.
  • the direction indicator may be a direction indicator that directly indicates the projection direction of the display-back.
  • the direction indicator may indicate the projection direction of the light with respect to the reference direction.
  • the direction indicator may indicate the direction and degree of rotation with respect to the reference direction.
  • the direction indicator may include information about the projection direction of the light or the rotation direction and the degree of rotation of the projector module.
  • the direction indicator may indirectly indicate the projection direction of the light.
  • the direction indicator may indicate the target object.
  • the smart projector may obtain a voice command including a direction indicator indicating the target object, and project the display-back in the direction in which the target object is located.
  • the target object may be a user who utters a voice command.
  • the direction indicator may include information related to the operation mode of the smart projector.
  • the smart projector may obtain a voice command including a direction indicator including information on the operation mode, and change the operation mode and the projection direction.
  • the smart projector may acquire a voice command including the direction indicator in the first mode, change to the second mode, and output the display-back in the direction corresponding to the direction indicator.
  • the smart projector may obtain a voice command including a user indicator requesting user-directed feedback and perform projection of the display-back in a direction corresponding to the user position.
  • the user indicator may be user identification information included in the voice command and used for identifying a specific user.
  • FIG. 13 illustrates an example of a smart projector performing a directional display-back as a smart projector according to an embodiment of the present invention.
  • the smart projector 2000 may include a microphone module, a speaker module, a projector module, and a controller.
  • the smart projector 2000 may further include various modules described above with respect to the smart device.
  • the contents of each module and the smart projector 2000 may be implemented similarly to those described above for the smart device.
  • the smart projector 2000 may include a microphone module 2010 for obtaining audio.
  • the microphone module 2010 may obtain a voice including a voice command.
  • the smart projector 2000 may optionally include a camera module 2030 for acquiring an optical signal.
  • the camera module 2030 may acquire image information, spatial information, and the like.
  • the smart projector 2000 may include a speaker module 2050 for outputting audio.
  • the speaker module 2050 may output the talk-back.
  • the smart projector 2000 may include a projector module 2070 that emits light to output an image.
  • the projector module 2070 may be provided to be rotatable.
  • the projector module () may rotate relative to the housing of the smart projector.
  • the projector module 2070 may rotate integrally with the rotating plate provided in the smart projector.
  • the controller 2090 may control the smart projector 2000 to perform directional feedback.
  • the controller 2090 may acquire user location information through the microphone module 2010 and / or the camera module 2030.
  • the controller 2090 may detect a direction in which the voice of the user is obtained using the microphone module 2010 and obtain user location information based on the direction in which the voice is detected and the volume of the spoken voice.
  • the controller 2090 may acquire spatial information by using the camera module 2030, and may acquire user location information located nearby based on the spatial information.
  • the controller 2090 may use the user position information and perform directional feedback through the projector module 2070 and / or the speaker module 2050.
  • the controller 2090 may generate a directional talk-back based on the user position information.
  • the controller 2090 may output the directional display-back based on the user location information through the projector module 2070.
  • the above-described output of the user directivity feedback may be used even when there are a plurality of users.
  • the output of the user-directed feedback may vary in an environment in which a plurality of users exist.
  • the smart device may output feedback in consideration of the location information of the plurality of users.
  • the smart projector may perform output of the display-back in consideration of location information of a plurality of users.
  • a smart projector that outputs a display-back or a method of controlling the smart projector to output a display back when there are a plurality of users.
  • the above-described fifth type smart projector may be applied to the smart projector.
  • the smart projector may project the image content to a projection area appropriately selected to a position where all the viewers considered can be viewed.
  • the smart projector may obtain a voice command and output the display-back to the projection area determined to be recognized by the plurality of target users in consideration of user location information of the plurality of target users including the user who uttered the voice.
  • the projection area can be selected on the wall or the bottom.
  • the smart projector may recognize a plurality of users as target users or target user groups.
  • the smart projector may recognize users located within a predetermined distance from the smart projector as target users.
  • the smart projector may provide a display-back to a plurality of target users.
  • FIG. 14 is a diagram illustrating a display-back of the smart projector 100 according to an embodiment of the present invention.
  • the smart projector 100 displays the first projection area 20c corresponding to the position of the first user 1 in response to a voice command of the first user User 1. Can project the back.
  • the smart projector 100 may respond to the voice command of the second user 2 in the second projection area 20c ′ corresponding to the position of the second user 2.
  • the projection area can be adjusted to output the display-back.
  • the smart projector 100 obtains a voice command of a second user User 2 while outputting a display-back to the first projection area 20c.
  • the projection area can be changed to the second projection area 20c '.
  • the target user includes a first user and a second user
  • the smart projector can output the display-back to the determined projection area so that the first user and the second user can observe the display-back together.
  • the smart projector may change the projection area where the display-back is projected when the position of the first user and / or the second user is changed.
  • the smart projector 100 may be the first user User 1. And display-back to a projection area determined on a wall facing the second user (User 2).
  • the smart projector 100 may be The display-back may be output to the projection area determined on the wall surface except the wall where the first user User 1 is back and the wall where the second user 2 is back.
  • the smart projector 100 may adjust the projection area where the display-back is output.
  • the smart projector 100 obtains a voice command of the second user User 2 while outputting the display-back to the first projection area 20d determined on the first wall, and then determines the second determined on the second wall.
  • the projection area can be changed to the projection area 20d '.
  • FIGS. 16A and 16B are diagram illustrating a display-back of the smart projector 100 according to an embodiment of the present invention.
  • the smart projector 100 may determine a direction in which a first user User 1 and a second user User 2 are located on a floor surface (ie, a table surface).
  • the display-back may be output to the projection area 20e determined in consideration.
  • the direction in which the first user User 1 is positioned with respect to the smart projector 100 and the direction in which the second user User 2 is positioned with respect to the smart projector 100 are adjacent to each other.
  • the smart projector 100 may project the display-back in the direction in which the first user User 1 and the second user User 2 are located.
  • the direction in which the first user User 1 is located with respect to the smart projector 100 and the direction in which the second user 2 is located with respect to the smart projector 100 are predetermined intervals.
  • the smart projector 100 may project the display-back in the middle of the direction in which the first user User 1 and the second user User 2 are located.
  • the smart projector 100 may change the projection area 20e through which the display-back is output in response to the movement of the second user 2. As the second user User 2 moves, the smart projector 100 may adjust the projection area where the display-back is output from the first area 20e to the second area 20e '.
  • the smart projector may output the display-back to the projection area determined in consideration of the location information of the plurality of target users.
  • the target user includes a first user User 1 and a second user User 2, and the projection direction or the projection area 20f of the display-back is the smart projector of the first user User 1. It may be selected in the middle area of the direction for the 100 and the direction for the smart projector 100 of the second user (User 2).
  • the smart projector 100 emits light toward a middle direction of a direction in which a first user 1 is located and a direction in which a second user 2 is located, and outputs a display-back. can do.
  • the emission direction of the light may be determined such that the angle d1 formed by the emission direction and the direction in which the first user User 1 is located and the angle d2 formed by the emission direction and the direction in which the second user User 2 are located are the same.
  • the target user includes a first user User 1 and a second user User 2, and the projection area 20g or the projection direction is the smart projector 100 of the first user 1. ) And a distance from the smart projector 100 of the second user (User 2).
  • the projection area 20g or the projection direction May be determined to be biased in the direction in which the second user 2 is located.
  • the projection area 20g or the projection direction may be determined to be biased in the direction in which the first user User 1 is located.
  • the smart projector 100 may output a plurality of contents requested by a plurality of users through one display-back.
  • the smart projector 100 may divide the projection area 20h into a first sub area 20h-1 and a second sub area 20h-2 and output the divided area.
  • the smart projector 100 outputs the first content requested by the first user in the first sub area 20h-1, and the second content requested by the second user in the second sub area 20h-2. You can output
  • the smart projector 100 obtains a first voice command requesting the first content from the first user User 1, obtains a second voice command requesting the second content from the second user User 2,
  • the first content and the second content may be output through one display-back.
  • the layout of the output image that is, the arrangement of the first content and the second content may be determined in consideration of the location and distance of the users.
  • the smart projector may obtain a voice command requesting the plurality of target users to provide the display-back, and output the display-back to an area that can be observed by the plurality of target users. have.
  • the smart projector acquires a voice that is uttered by the first user and includes the first voice command and, in response to the first voice command, displays toward the first user and a second user who is not the first user. You can output the bag.
  • the smart projector may acquire a voice including a voice command including a sharing indicator, and output the display-back to the projection area determined as a position that can be observed by a plurality of target users corresponding to the sharing indicator.
  • the voice command may include a sharing indicator that requests a plurality of target users to provide display-back.
  • the sharing indicator may be predetermined in terms of a word, a morpheme, or the like having a specific meaning included in a sentence constituting the voice command.
  • the sharing indicator may be predetermined as a directive word included in a sentence constituting the voice command.
  • the sharing indicator may be an indicator that recognizes a plurality of target users and requests to provide display-back to the plurality of target users.
  • the sharing indicator may include identification information indicating or implying the target user group or each target user to be provided with the display-back.
  • the smart device may provide display-back to a user other than the talker who requested the information.
  • the smart projector may acquire a voice command spoken by the talker and output an image toward the non-talker.
  • the smart projector may obtain a voice that is uttered by the talker and includes the voice command, and output a directional display-back toward the non-talker based on the voice command.
  • the smart projector can obtain a voice command and project the display-back to a determined location so that a specific target user can obtain the information.
  • the target user may be a different user than the user who uttered the voice command requesting the information.
  • the smart projector may project the image feedback requested by the first user (or talker) toward a second user (or non-talker) rather than the first user. There may be several second users.
  • FIG. 20 is a diagram illustrating a display-back performed by the smart projector 100 according to an embodiment of the present invention.
  • the smart projector 100 may project the display-back toward the second user User 2 in response to a voice command of the first user User 1.
  • the smart projector 100 emits light toward a first user User 1 to output a display-back to the first projection area 20i and to generate a voice command of the first user User 1.
  • the emission direction of light may be changed so that the projection area is adjusted or changed to the second projection area 20i ′.
  • the smart projector 100 obtains a voice that is uttered by the first user User 1 and includes a voice command, and, in response to the voice command, selects a second user User 2 that is not the first user User 1. Output display back.
  • the smart projector 100 obtains a voice command uttered by the first user User 1, and acquires a second user User 2 determined based on user identification information (eg, “Tom”) included in the voice command.
  • the light exit direction can be rotated.
  • the smart projector may rotate the light emission direction in one direction so that the projection area of the display-back is changed.
  • the smart projector may stop emitting light while rotating the emitting direction.
  • the smart projector may rotate the emission direction while emitting light.
  • FIG. 21 is a diagram illustrating a display-back of the smart projector 100 according to an embodiment of the present invention.
  • the smart projector 100 may obtain a voice command of the first user User 1 and rotate the light emitting direction so that the display-back is projected toward the second user User 2.
  • the smart projector 100 may determine the rotation direction of the emission direction so that the projection area adjustment is performed within the shortest time. For example, in the embodiment illustrated in FIG. 21, since the second user 2 is located to the right of the first user 1, the smart projector 100 may rotate the light emission direction counterclockwise. have.
  • the smart projector 100 acquires a voice command of the first user User 1 and the first projection area 20j in which the display-back is provided to the first user User 1.
  • Rotate the light exit direction so that the projection area is changed from the projection area to the second projection area 20j 'where the display-back is provided to the second user (User 2), but the movement displacement of the projection area is minimized (e.g., counterclockwise).
  • Direction the light exit direction can be rotated.
  • the smart projector 100 obtains a voice command of a first user User 1, and is a plurality of users (ie, a plurality of non-talkers) who are not the first user (ie, the talker). Can provide a display-back.
  • the smart projector 100 obtains a voice command of a first user User 1 and projects light to provide a display-back to a second user 3 and a user 3. You can change the direction.
  • the smart projector 100 outputs the display-back to the first projection area 20k where the display-back is provided to the first user User 1, and the voice of the first user User 1 is output.
  • the command may be obtained, and the display-back may be output to the second projection area 20k 'determined within the range that the second user 3 and the user 3 may view together.
  • the smart projector may acquire a voice including a voice command including a target indicator specifying a target user, and perform display-back based on the target indicator.
  • the smart projector may acquire a voice command including the target indicator, and change the emission direction of the light so that the display-back is projected toward the target user corresponding to the target indicator.
  • the target indicator may indicate or imply at least one target user to be provided with the display-back.
  • the smart projector may provide a display-back to at least one target user determined in consideration of the target indicator.
  • the target indicator may further include relative location information of the target user with respect to the talker.
  • the target indicator may be a name or a personal pronoun indicating the target user.
  • the target indicator may be "Tom" which is the name of the second user.
  • the target indicator may be "him” indicating the second user.
  • the target indicator may be "them” indicating the second user and the third user.
  • FIG. 23 is a diagram illustrating a display-back of the smart projector 100 according to an embodiment of the present invention.
  • the smart projector may rotate the projector module toward the non-speaker, and output a directional display-back targeted at the non-speaker.
  • the smart projector 100 acquires a voice command of a first user (User 1) as a talker, and displays a directional display for a target user among a plurality of non-talkers based on a target indicator included in the voice command. Bag can be provided.
  • the smart projector 100 may obtain a voice command of the first user User 1 and obtain a target indicator included in the voice command.
  • the target indicator may be a user name such as "Tom" as user identification information.
  • the smart projector 100 may determine the target user to provide the directional display-back based on the target indicator. For example, the smart projector 100 targets a second user (User 2) stored as having a name of "Tom" among a plurality of non-talkers including a second user (User 2) and a third user (User 3). Can be determined by the user.
  • a second user User 2 stored as having a name of "Tom" among a plurality of non-talkers including a second user (User 2) and a third user (User 3).
  • the smart projector 100 moves from the first projection area 20l corresponding to the position of the first user User 1 to the second projection area 20l 'corresponding to the position of the second user User 2 as a target user.
  • the projection direction of the light can be changed so that the projection area is changed.
  • the method may include obtaining position information of a smart projector of a user (S110) and outputting image feedback using the first projection area as a projection area. Step S130 and adjusting the projection area to output image feedback to the second projection area (S150).
  • the smart projector may be provided so that the direction in which the light is emitted is rotatable.
  • the above-described information on obtaining location information may be applied to the step (S110) of obtaining location information of the smart projector of the user.
  • the step S130 of outputting image feedback using the first projection area as the projection area may include obtaining a first voice uttered by a talker among the users and including a first voice command, and corresponding to the location information of the talker. And outputting image feedback corresponding to the first voice command using the first projection area as the projection area.
  • the step S130 of outputting image feedback using the first projection area as the projection area includes outputting the light in a direction in which the talker is positioned with respect to the smart projector to output the image feedback to the first projection area. can do.
  • Adjusting the projection area to output the image feedback to the second projection area obtains a second voice that is uttered by the talker and includes a second voice command, and considers the location information of the non-talker among the users. And adjusting the projection area to output the image feedback to the second projection area determined by the control.
  • the second voice command may include a target indicator, and the second projection area may be determined in consideration of position information of the target indicator and the talker.
  • Adjusting the projection area so that the image feedback is output to the second projection area (S150) outputs the image feedback to the second projection area by emitting the light in a direction in which the non-talker is located with respect to the smart projector. It may include.
  • Adjusting the projection area (S150) may further include adjusting the projection area by rotating the direction in which the light is emitted such that the projection area is changed from the first projection area to the second projection area.
  • a non-talker can include a first non-talker and a second non-talker.
  • the adjusting of the projection area (S150) may include adjusting the projection area to output the image feedback to the second projection area determined in consideration of the position information of the first non-talker and the position information of the second non-talker. It may further include.
  • the adjusting of the projection area (S150) may further include adjusting the projection area such that the image feedback is output to the second projection area that is determined in consideration of both the location information of the talker and the location information of the non-talker.
  • the method may include obtaining first location information and second location information (S210) and outputting first image feedback to a first projection area. (S230), obtaining a second voice including a second voice command (S250), determining a target user (S270), and outputting a second image feedback to the second projection area (S290). can do.
  • Acquiring first location information and second location information may include first location information as location information on the smart projector of the first user and location information about the smart projector of the at least one second user. 2 may include obtaining location information.
  • outputting a first image feedback to a first projection area may include obtaining a first voice that is uttered by the first user and includes a first voice command, and may include a first image corresponding to the first voice command. And outputting feedback to a first projection area corresponding to the first location information.
  • Acquiring a second voice including the second voice command is to obtain a second voice uttered by the first user and including the second voice command, and the second voice command may include a target indicator. Can be.
  • the target indicator may include identification information of the second user.
  • the target indicator may include relative location information of the second user with respect to the location of the first user based on the location of the first user.
  • the target indicator may include location information of the second user with respect to the location of the first user based on the smart projector.
  • Determining a target user may include determining a target user among the at least one second user based on a target indicator and the first location information.
  • the step S290 of outputting the second image feedback to the second projection area may include outputting the second image feedback requested by the second voice command to the second projection area corresponding to the second position information of the target user. It may include.
  • outputting the second image feedback to the second projection area may be performed by rotating the light output direction in a direction in which rotational displacement to the second projection area is minimized. It may further comprise projecting onto the projection area.
  • the method may include obtaining a voice spoken by a first user (S310), obtaining location information of a second user (S330), and In operation S350, the image feedback may be projected on the projection area determined in consideration of the location information of the second user.
  • Acquiring a voice uttered by the first user may include acquiring a first voice that is uttered by the first user and includes a voice command requesting the second user to provide image feedback. have.
  • Acquiring or collecting location information of a second user may include detecting a direction in which a second voice is uttered and a volume of the voice, and based on the direction in which the voice is uttered and the volume of the second user. It may further include calculating the information. Acquiring or collecting location information of the second user (S330) will be described in more detail with reference to FIG. 27.
  • Projecting the image feedback to the projection area determined in consideration of the location information of the second user corresponds to the location information of the second user from the first projection area corresponding to the location information of the first user.
  • the method may further include changing to a second projection area, and projecting the image feedback on the projection area.
  • FIG. 27 is a flowchart illustrating a method (S330) of obtaining location information of a second user in a method of controlling a smart projector according to an embodiment of the present disclosure.
  • the method may include a step S333 and a step S335 of obtaining location information of the second user based on the second voice spoken by the second user.
  • the step S333 of outputting the guide voice for inducing the utterance of the second user may include outputting the guide voice for inducing the utterance of the second user if the location information of the second user is not stored in advance.
  • the guide voice may be prepared in advance as a question requesting the location information of the second user.
  • Acquiring the location information of the second user based on the second voice uttered by the second user may acquire a second voice uttered by the second user in response to a guide voice, And obtaining location information of the second user based on a second voice.
  • the form of user orientation of the smart projector may be changed.
  • the smart projector supports various types of user directivity disclosed herein, and may be provided to change the type of directivity by a voice command of the user.
  • the smart projector may output a talker directional display-back, and output a target user-oriented (or non-talker-oriented) display-back when a voice command including a target indicator requesting the target user-oriented display-back is obtained.
  • a talker directional display-back may output a talker directional display-back, and output a target user-oriented (or non-talker-oriented) display-back when a voice command including a target indicator requesting the target user-oriented display-back is obtained.
  • a target user-oriented or non-talker-oriented
  • FIG. 28 is a diagram illustrating a display-back performed by the smart projector 100 according to an embodiment of the present invention.
  • the smart projector 100 may output a directional display-back for a first user.
  • the smart projector 100 may display a directional display-back for a second user or a directional display-back for a first user (User 1) and a second user (User 2).
  • the directivity can be changed to output.
  • the smart projector 100 may obtain a voice command spoken from the first user 1 or the second user 2, and change the directivity of the display-back.
  • the aforementioned directional display-back may be performed by the smart projector 2000 disclosed herein.
  • a smart projector 2000 that performs directional display-back will be described with reference to FIG. 13.
  • the above description with respect to FIG. 13 may be applied.
  • the smart projector 2000 may include a microphone module, a projector module, and a controller.
  • the projector module may be provided so that the emission direction of the light is rotatable.
  • the controller may acquire location information of the smart projector of the user through the microphone module, and obtain a first voice that is uttered by a talker among the users and includes a first voice command.
  • the controller may output the image feedback corresponding to the first voice command by using the projector module as the projection area as the first projection area corresponding to the position information of the talker.
  • the control unit obtains a second voice uttered by the talker and includes a second voice command, and outputs the image feedback to a second projection area corresponding to the position information of the non-talker among the users.
  • the exit direction can be adjusted.
  • the controller may adjust the light output direction by rotating the light output direction of the projector module so that the image feedback is output to the second projection area.
  • the location information may include direction information and distance information.
  • the controller may acquire the direction information based on the utterance direction of the voice spoken by the user, and obtain the distance information based on the volume of the voice.
  • a non-talker can include a first non-talker and a second non-talker.
  • the controller may determine a direction in which the light is emitted between a direction in which the first non-talker is located with respect to the smart projector and a direction in which the second non-ignitor is located with respect to the smart projector.
  • controller may perform the directional feedback disclosed herein through respective modules included in the smart projector 2000.
  • the smart projector may determine the projection area or the projection direction so that the image is projected on the flat area.
  • the smart projector may determine the flatness of the predetermined area by using the camera module, and determine the projection area based on the flatness.
  • the smart projector may determine the preliminary projection area and output the display-back to the projection area determined in consideration of the flatness of the preliminary projection area. If the flatness of the preliminary projection area falls short of the threshold, the preliminary projection area may be changed.
  • the smart projector may detect an object protruding from the projection area and output the display-back to the projection area determined in consideration of the position of the protruding object.
  • the smart projector may determine the projection range in which the projection area is selected and output the display-back to the projection area determined in consideration of the flatness of the projection range.
  • the smart projector may detect the protruding object within the projection range and output the display-back to the projection area determined in consideration of the position of the protruding object.
  • the smart projector may output a display-back whose layout is changed in consideration of the shape of the protruding object located in the projection range or the preliminary projection area.
  • the above-described user position information or directivity indicator may be considered.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

The present invention relates to a method for controlling a smart device which emits light to output an image on a projection area, the method comprising the steps of: acquiring location information of users with respect to a smart device; acquiring a first voice which is uttered by a speaker among the users and includes a first voice command, and outputting an image feedback corresponding to the first voice command by using, as the projection area, a first projection area corresponding to location information of the speaker; and acquiring a second voice which is uttered by a speaker and includes a second voice command, and adjusting the projection area so that the image feedback is output on a second projection area determined in consideration of location information of non-speaker among the users.

Description

스마트 디바이스 및 그 제어 방법Smart device and its control method
본 발명은 스마트 디바이스 및 그 제어 방법에 관한 것이다. 구체적으로, 보이스 커맨드를 획득하고, 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 디바이스 및 그 제어 방법에 관한 것이다.The present invention relates to a smart device and a control method thereof. Specifically, the present invention relates to a smart device for acquiring a voice command and outputting various feedback corresponding to the voice command, and a control method thereof.
음성 인식 기술의 발전은 사물인터넷(IoT)의 확산에 힘입어, 스마트 홈 분야에서 그 활용성이 크게 증가하고 있다. 그 핵심 기기 중 하나로서, 음성을 매개로 명령을 내리고 대화를 나눌 수도 있는, 인공지능(AI)을 이용하는 스마트 스피커의 이용이 점차 보편화되고 있는 추세이다. 글로벌 시장을 살펴보면, 2014년 아마존이 최초의 음성인식 스피커 에코를 출시한 이후, 구글, 애플 등의 IT 공룡들이 앞다투어 자사 소프트웨어를 탑재한 스피커를 출시하였거나 출시를 결정하였으며, 국내 시장도 치열한 경쟁 양상을 보이고 있다. Advances in voice recognition technology are being greatly utilized in the smart home field due to the proliferation of the Internet of Things (IoT). As one of its core devices, the use of smart speakers using artificial intelligence (AI), which can command and communicate via voice, is becoming more common. Looking at the global market, since Amazon launched its first speech-recognized speaker echo in 2014, IT dinosaurs such as Google and Apple have vigorously launched or decided to launch their own speakers equipped with their own software. It is showing.
이러한 '인공지능 비서' 기능이 탑재된 스마트 스피커는, 일반적으로, 보이스 커맨드를 입력받고, 커맨드에 따른 피드백을 오디오 형태로 출력할 수 있는 스마트 디바이스를 지칭한다. 전통적인 스마트 디바이스의 버튼 내지 터치 인터페이스에 비하여 음성으로 컨트롤이 가능하다는 점에서 사용자 편의성이 증진되었지만, 오디오 형태로 피드백을 제공한다는 한계에 따라, 제공 가능한 정보에 제약이 있고 사용자의 정보 획득이 비효율적이라는 비판이 제기되기도 하였다.The smart speaker equipped with such an 'intelligent assistant' function generally refers to a smart device capable of receiving a voice command and outputting feedback according to the command in audio form. Although user convenience has been enhanced in that voice control is possible compared to buttons or touch interfaces of traditional smart devices, criticism that the limitation of providing feedback in the form of audio is limited in the information that can be provided and the user's information acquisition is inefficient. This has been raised.
이러한 약점을 극복하기 위하여, 스마트 스피커는 점차 디스플레이가 탑재되고 오디오 형태뿐 아니라 비디오 형태의 피드백을 함께 제공할 수 있는 스마트 디스플레이 형태로 변모하고 있는 추세이다. 이러한 추세에 발맞추어, 증강 현실의 구축에 적극적으로 기여하고, 보다 나은 사용자 경험을 제공하는 개선된 형태의 스마트 디바이스의 개발이 요청되고 있다.In order to overcome these drawbacks, smart speakers are increasingly being transformed into smart displays that can be equipped with a display and provide feedback in the form of video as well as audio. In response to this trend, there is a need for development of improved types of smart devices that actively contribute to the construction of augmented reality and provide a better user experience.
본 발명의 일 과제는 보이스 커맨드를 획득하고 피드백을 수행하는 스마트 디바이스를 제공하는 것이다.One object of the present invention is to provide a smart device for acquiring voice commands and performing feedback.
본 발명의 일 과제는 보이스 커맨드를 획득하고 피드백을 수행하는 스마트 디바이스의 제어 방법을 제공하는 것이다.One object of the present invention is to provide a control method of a smart device for acquiring a voice command and performing feedback.
본 발명의 일 과제는 사용자 지향성 피드백을 출력하는 스마트 디바이스를 제공하는 것이다.One object of the present invention is to provide a smart device for outputting user-oriented feedback.
본 발명의 일 과제는 스마트 디바이스가 사용자 지향성 피드백을 출력하도록 스마트 디바이스를 제어하는 방법을 제공하는 것이다.One object of the present invention is to provide a method for controlling a smart device such that the smart device outputs user-oriented feedback.
본 발명의 일 양상에 따르면, 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 프로젝터 - 상기 스마트 프로젝터는 광을 출사하여 투영 영역에 영상을 출력함 - 의 제어 방법이 제공될 수 있다. 스마트 프로젝터의 제어 방법은 사용자의 상기 스마트 프로젝터에 대한 위치 정보를 획득하는 단계, 상기 사용자 중 발화자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 상기 발화자의 위치 정보에 대응되는 제1 투영 영역을 상기 투영 영역으로 하여 상기 제1 보이스 커맨드에 대응되는 영상 피드백을 출력하는 단계 및 상기 발화자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하고, 상기 사용자 중 비발화자의 위치 정보를 고려하여 결정되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 단계를 포함할 수 있다.According to an aspect of the present invention, there is provided a control method of obtaining a voice command and outputting various feedback corresponding to the voice command, wherein the smart projector emits light to output an image in the projection area. Can be. The method of controlling a smart projector may include obtaining location information of the smart projector of a user, obtaining a first voice uttered by a talker among the users and including a first voice command, and corresponding to the location information of the talker. Outputting image feedback corresponding to the first voice command using the first projection area as the projection area, and acquiring a second voice uttered by the talker and including a second voice command; And adjusting the projection area such that the image feedback is output to the second projection area determined in consideration of position information of.
본 발명의 다른 일 양상에 따르면, 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 프로젝터 - 상기 스마트 프로젝터는 광을 출사하여 투영 영역에 영상을 출력하되, 상기 광이 출사되는 방향이 회전 가능하도록 마련됨 - 의 제어 방법으로서, 제1 사용자의 상기 스마트 프로젝터에 대한 위치 정보로서 제1 위치 정보 및 적어도 하나의 제2 사용자의 상기 스마트 프로젝터에 대한 위치 정보로서 제2 위치 정보를 획득하는 단계, 상기 제1 사용자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 상기 제1 보이스 커맨드에 대응되는 제1 영상 피드백을 상기 제1 위치 정보에 대응되는 제1 투영 영역에 출력하는 단계, 상기 제1 사용자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하는 단계- 제2 보이스 커맨드는 타겟 지시자를 포함함 -, 상기 타겟 지시자 및 상기 제1 위치 정보에 기초하여 상기 적어도 하나의 제2 사용자 중 타겟 사용자를 결정하는 단계 및 상기 제2 보이스 커맨드에 의해 요청되는 제2 영상 피드백을 상기 타겟 사용자의 상기 제2 위치 정보에 대응되는 제2 투영 영역에 출력하는 단계를 포함하는 스마트 프로젝터의 제어 방법이 제공될 수 있다. According to another aspect of the present invention, a smart projector for acquiring a voice command and outputting various feedback corresponding to the voice command, wherein the smart projector emits light and outputs an image to a projection area, wherein the light is emitted. A direction control is provided to be rotatable, the control method comprising: obtaining first location information as location information on the smart projector of a first user and second location information as location information on the smart projector of at least one second user; And obtaining a first voice that is uttered by the first user and includes a first voice command, and outputs a first image feedback corresponding to the first voice command to a first projection area corresponding to the first position information. Outputting a second voice, the second voice uttered by the first user and including a second voice command Acquiring-a second voice command includes a target indicator-determining a target user among the at least one second user based on the target indicator and the first location information and by the second voice command A control method of a smart projector may be provided that includes outputting the requested second image feedback to a second projection area corresponding to the second location information of the target user.
본 발명의 또 다른 일 양상에 따르면, 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 프로젝터 - 상기 스마트 프로젝터는 광을 출사하여 영상을 출력하되, 상기 광이 출사되는 방향이 회전 가능하도록 마련됨 - 의 제어 방법으로서, 제1 사용자에 의해 발화되고 제2 사용자에게 영상 피드백을 제공할 것을 요청하는 보이스 커맨드를 포함하는 제1 보이스를 획득하는 단계, 상기 제2 사용자의 위치 정보를 획득하는 단계 및 상기 영상 피드백을 상기 제2 사용자의 위치 정보를 고려하여 결정된 투영 영역에 투영하는 단계를 포함하되, 상기 제2 사용자의 위치 정보를 수집하는 단계는 상기 제2 사용자의 위치 정보가 미리 저장되어 있는지 판단하는 단계, 제2 사용자의 위치 정보가 미리 저장되어 있지 않으면, 상기 제2 사용자의 발화를 유도하는 가이드 보이스를 출력하는 단계 및 상기 가이드 보이스에 응답하여 상기 제2 사용자에 의해 발화된 제2 보이스를 획득하고, 상기 획득된 제2 보이스에 기초하여 상기 제2 사용자의 위치 정보를 획득하는 단계를 포함하는 스마트 프로젝터의 제어 방법이 제공될 수 있다. According to another aspect of the present invention, a smart projector for acquiring a voice command and outputting various feedback corresponding to the voice command, wherein the smart projector emits light and outputs an image, but the direction in which the light is emitted is And a rotatable control method, the method comprising: obtaining a first voice including a voice command uttered by a first user and requesting a second user to provide image feedback, wherein the position information of the second user is obtained; Acquiring and projecting the image feedback to the projection area determined in consideration of the position information of the second user, wherein collecting the position information of the second user includes: Determining whether the information is stored, if the location information of the second user is not stored in advance, Outputting a guide voice for inducing a utterance of a second user and obtaining a second voice uttered by the second user in response to the guide voice, and based on the obtained second voice, A control method of a smart projector may be provided that includes obtaining location information.
본 발명의 또 다른 일 양상에 따르면, 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하되, 광을 출사하여 투영 영역에 영상을 출력하는 스마트 프로젝터가 제공될 수 있다. 스마트 프로젝터는, 상기 보이스 커맨드를 포함하는 보이스를 획득하는 마이크 모듈, 광을 출사하여 상기 영상을 출력하는 프로젝터 모듈 및 상기 마이크 모듈을 통하여 사용자의 상기 스마트 프로젝터에 대한 위치 정보를 획득하고, 상기 사용자 중 발화자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 상기 프로젝터 모듈을 통하여 상기 발화자의 위치 정보에 대응되는 제1 투영 영역을 상기 투영 영역으로 하여 상기 제1 보이스 커맨드에 대응되는 영상 피드백을 출력하고, 상기 발화자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하고, 상기 사용자 중 비발화자의 위치 정보에 대응되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 프로젝터 모듈의 상기 광 출사 방향을 조정하는 제어부를 포함할 수 있다.According to another aspect of the present invention, a smart projector may be provided that acquires a voice command, outputs various feedbacks corresponding to the voice command, and emits light to output an image in the projection area. The smart projector may include a microphone module that acquires a voice including the voice command, a projector module that emits light to output the image, and acquires location information about the smart projector of the user through the microphone module. Acquire a first voice that is uttered by a talker and includes a first voice command, and corresponds to the first voice command with the first projection area corresponding to the location information of the talker as the projection area through the projector module. Outputting the image feedback, obtaining a second voice uttered by the talker and including a second voice command, and outputting the image feedback to a second projection area corresponding to the position information of the non-talker among the users. It includes a control unit for adjusting the light output direction of the module Can.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Means for solving the problems of the present invention are not limited to the above-described solutions, and the solutions not mentioned will be clearly understood by those skilled in the art from the present specification and the accompanying drawings. Could be.
본 발명에 의하면 사용자 지향성 피드백을 출력하는 스마트 프로젝터가 제공될 수 있다.According to the present invention, a smart projector that outputs user-directed feedback can be provided.
본 발명에 의하면 사용자 위치를 고려하여 디스플레이-백을 출력하는 스마트 프로젝터가 제공될 수 있다.According to the present invention, a smart projector for outputting a display-back in consideration of a user position may be provided.
본 발명에 의하면 사용자 위치를 고려하여 토크-백을 출력하는 스마트 디바이스가 제공될 수 있다.According to the present invention, a smart device for outputting a talk-back in consideration of a user position may be provided.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-described effects, and effects that are not mentioned will be clearly understood by those skilled in the art from the present specification and the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 스마트 디바이스를 설명하기 위한 블록도를 도시한 것이다.1 is a block diagram illustrating a smart device according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 스마트 디바이스의 상태 변화를 도시한 것이다.2 illustrates a state change of a smart device according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 스마트 디스플레이를 도시한 것이다.3 illustrates a smart display according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.4 illustrates a smart projector according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.5 illustrates a smart projector according to an embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.6 illustrates a smart projector according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.7 illustrates a smart projector according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따른 스마트 디바이스의 사용자 위치 정보 획득을 설명하기 위한 도면이다. 8 is a diagram for describing user location information acquisition of a smart device according to one embodiment of the present invention.
도 9는 본 발명의 일 실시예에 따른 스마트 디바이스의 사용자 위치 정보 획득을 설명하기 위한 도면이다.9 is a diagram for describing user location information acquisition of a smart device according to one embodiment of the present invention.
도 10은 본 발명의 일 실시예에 따른 사용자 지향성 토크-백을 수행하는 스마트 디바이스를 도시한 것이다. 10 illustrates a smart device for performing user-oriented talk-back in accordance with one embodiment of the present invention.
도 11은 본 발명의 일 실시예에 따른 사용자 지향성 디스플레이-백을 수행하는 스마트 프로젝터를 도시한 것이다. 11 illustrates a smart projector for performing user-oriented display-back according to an embodiment of the present invention.
도 12는 본 발명의 일 실시예에 따른 사용자 지향성 디스플레이-백을 수행하는 스마트 프로젝터를 도시한 것이다.12 illustrates a smart projector for performing user-oriented display-back according to an embodiment of the present invention.
도 13은 본 발명의 일 실시예에 따른 스마트 프로젝터로서, 지향성 디스플레이-백을 수행하는 스마트 프로젝터의 일 예를 도시한 것이다.FIG. 13 illustrates an example of a smart projector performing a directional display-back as a smart projector according to an embodiment of the present invention.
도 14는 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.14 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
도 15는 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.15 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
도 16은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.16 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
도 17은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.17 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
도 18은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.18 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
도 19는 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.19 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
도 20은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.20 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
도 21은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.FIG. 21 illustrates a display-back performed by a smart projector according to an embodiment of the present invention.
도 22는 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.22 is a diagram illustrating a display-back performed by a smart projector according to an embodiment of the present invention.
도 23은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.FIG. 23 illustrates a display-back performed by a smart projector according to an embodiment of the present invention.
도 24는 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다.24 is a flowchart illustrating a control method of a smart projector according to an embodiment of the present invention.
도 25는 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다.25 is a flowchart illustrating a control method of a smart projector according to an embodiment of the present invention.
도 26은 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다.26 is a flowchart illustrating a control method of a smart projector according to an embodiment of the present invention.
도 27은 본 발명의 일 실시예에 스마트 프로젝터의 제어 방법에 있어서, 제2 사용자의 위치 정보를 획득하는 단계를 보다 상세히 설명하기 위한 순서도이다.FIG. 27 is a flowchart illustrating a method of obtaining location information of a second user in detail in a method of controlling a smart projector according to an embodiment of the present invention.
도 28은 본 발명의 일 실시예에 따른 스마트 프로젝터에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다.FIG. 28 illustrates a display-back performed by a smart projector according to an embodiment of the present invention.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. The above objects, features and advantages of the present invention will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. However, the present invention may be modified in various ways and may have various embodiments. Hereinafter, specific embodiments will be illustrated in the drawings and described in detail.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장된 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.In the drawings, the thicknesses of layers and regions are exaggerated for clarity, and elements or layers are referred to as "on" or "on" of other components or layers. This includes both intervening other layers or other components in the middle as well as directly above other components or layers. Like numbers refer to like elements throughout. In addition, the components with the same functions within the scope of the same idea shown in the drawings of each embodiment will be described using the same reference numerals.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.If it is determined that the detailed description of the known function or configuration related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, numerals (eg, first, second, etc.) used in the description of the present specification are merely identification symbols for distinguishing one component from another component.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. In addition, the suffixes "module" and "unit" for components used in the following description are given or mixed in consideration of ease of specification, and do not have meanings or roles distinguished from each other.
1. 스마트 디바이스1. Smart device
1.1 개요1.1 Overview
이하에서는 본 발명의 일 실시예에 따른 스마트 디바이스에 관하여 설명한다. Hereinafter, a smart device according to an embodiment of the present invention will be described.
본 발명의 일 실시예에 따른 스마트 디바이스는 사용자로부터 다양한 형태의 커맨드를 입력받고, 이에 대응하여 음성이나 영상 형태의 피드백을 출력함으로써 사용자에게 다양한 정보를 제공할 수 있다. 일 예로, 스마트 디바이스는 마이크 모듈을 통해 사용자의 발화를 수신하는 등에 따라 보이스 커맨드를 획득하고, 토크-백 또는 디스플레이-백과 같은 피드백을 출력함으로써 사용자의 보이스 커맨드에 대하여 응답할 수 있다. The smart device according to an embodiment of the present invention may provide various information to the user by receiving various types of commands from the user and outputting feedback in the form of voice or video in response thereto. For example, the smart device may respond to the voice command of the user by acquiring a voice command according to receiving the user's speech through the microphone module and outputting feedback such as talk-back or display-back.
상술한 스마트 디바이스의 일 예로는 스마트 프로젝터를 들 수 있다. 여기서, 스마트 프로젝터는 기존의 스마트 스피커에 프로젝터가 탑재된 형태로 제공되는 디바이스일 수 있다. 이외에도, 스마트 디바이스의 예로는 스마트 스피커, 스마트 프로젝터, 스마트 TV 등이 있을 수 있다. 다만, 본 명세서에서 스마트 디바이스가 상술한 예로 한정되는 것은 아니며, 음성 및/또는 영상의 출력이 가능한 다양한 디바이스가 본 명세서에서 설명하는 스마트 디바이스로서 이용될 수 있음은 물론이다.An example of the above-described smart device may be a smart projector. Here, the smart projector may be a device provided in a form in which a projector is mounted on an existing smart speaker. In addition, examples of the smart device may include a smart speaker, a smart projector, a smart TV, and the like. However, in the present specification, the smart device is not limited to the above-described example, and various devices capable of outputting voice and / or video may be used as the smart device described herein.
1.2 구성 1.2 Configuration
스마트 디바이스는 다양한 기능을 수행하는 모듈을 적어도 하나 포함할 수 있다. 스마트 디바이스는 적어도 하나의 모듈을 이용하여 보이스 커맨드를 포함하는 보이스를 획득하거나, 보이스 커맨드에 대응하는 피드백을 출력할 수 있다. 이하에서는 모듈들의 종류 및 기능에 대하여 설명한다.The smart device may include at least one module that performs various functions. The smart device may obtain a voice including a voice command using at least one module, or output a feedback corresponding to the voice command. Hereinafter, the types and functions of the modules will be described.
스마트 디바이스는 음성 신호를 수신하는 마이크 모듈을 포함할 수 있다. 마이크 모듈은 복수 개의 마이크를 포함할 수 있다. The smart device may include a microphone module for receiving a voice signal. The microphone module may include a plurality of microphones.
스마트 디바이스는 토크-백을 출력하는 스피커 모듈을 포함할 수 있다. 스피커 모듈은 복수 개의 스피커를 포함할 수 있다.The smart device may include a speaker module that outputs talk-back. The speaker module may include a plurality of speakers.
스마트 디바이스는 영상 또는 이미지를 출력하는 디스플레이를 포함하는 디스플레이 모듈을 포함할 수 있다. 디스플레이 모듈은 터치 센서를 포함할 수 있다. The smart device may include a display module including a display for outputting an image or an image. The display module may include a touch sensor.
디스플레이 모듈은 광을 출사하는 프로젝터 모듈일 수 있다. 프로젝터 모듈은 초단초점(ultra short throw) 프로젝터 모듈일 수 있다. 이하에서, 프로젝터 모듈을 포함하는 스마트 디바이스를 스마트 프로젝터로 정의한다.The display module may be a projector module that emits light. The projector module may be an ultra short throw projector module. Hereinafter, a smart device including a projector module is defined as a smart projector.
스마트 디바이스는 스마트 디바이스는 광을 수집하는 광학 센서 모듈을 포함할 수 있다. 스마트 디바이스는 광학 센서 모듈을 이용하여 3차원 공간 정보를 획득할 수 있다. 스마트 디바이스는 광학 센서 모듈을 이용하여 사용자 행동 정보(예컨대, 시선 정보)를 획득할 수 있다.The smart device may include an optical sensor module for collecting the light. The smart device may acquire 3D spatial information using the optical sensor module. The smart device may obtain user behavior information (eg, gaze information) using the optical sensor module.
광학 센서 모듈은 영상 또는 이미지를 획득하는 카메라 모듈일 수 있다. 카메라 모듈은 적외선 카메라 모듈 또는 가시광 카메라 모듈일 수 있다. The optical sensor module may be a camera module for acquiring an image or an image. The camera module may be an infrared camera module or a visible light camera module.
광학 센서 모듈은 깊이 센서(depth sensor) 모듈일 수 있다. 깊이 센서 모듈은 TOF(time of flight)를 이용하여 물체의 깊이 정보를 제공할 수 있다.The optical sensor module may be a depth sensor module. The depth sensor module may provide depth information of an object using a time of flight (TOF).
스마트 디바이스는 통신부를 포함할 수 있다. 스마트 디바이스는 통신부를 이용하여 서버와 통신할 수 있다. 스마트 디바이스는 통신부를 이용하여 외부 장치와 통신할 수 있다. The smart device may include a communication unit. The smart device may communicate with a server using a communication unit. The smart device may communicate with an external device using a communication unit.
통신부는 외부 장치와 무선 통신을 수행할 수 있다. 예를 들어, 통신부는 와이파이(WiFi), 블루투스(Bluetooth)등의 무선 통신을 수행할 수 있다.The communication unit may perform wireless communication with an external device. For example, the communication unit may perform wireless communication such as Wi-Fi, Bluetooth, or the like.
통신부는 유선 통신을 수행할 수 있다. 예를 들어, 통신부는 USB, 이더넷(ethernet) 등의 유선 통신을 수행할 수 있다.The communication unit may perform wired communication. For example, the communication unit may perform wired communication such as USB, Ethernet, or the like.
스마트 디바이스는 제어부를 포함할 수 있다. 제어부는 스마트 디바이스에 포함되는 모듈들을 제어할 수 있다. The smart device may include a controller. The controller may control modules included in the smart device.
도 1은 본 발명의 일 실시예에 따른 스마트 디바이스(1000)를 설명하기 위한 블록도를 도시한 것이다.1 is a block diagram illustrating a smart device 1000 according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 마이크 모듈(1010), 카메라 모듈(1030), 스피커 모듈(1050), 디스플레이 모듈(1070), 제어부(1090) 및 통신부(1110)를 포함할 수 있다. Referring to FIG. 1, the smart device 1000 according to an embodiment of the present invention may include a microphone module 1010, a camera module 1030, a speaker module 1050, a display module 1070, a controller 1090, and a communication unit. 1110.
스마트 디바이스(1000)는 마이크 모듈(1010)을 이용하여 보이스(Input 1)을 획득할 수 있다. 스마트 디바이스(1000)는 카메라 모듈(1030)을 이용하여 이미지, 영상 또는 깊이 정보를 획득(Input 2)할 수 있다. 스마트 디바이스(1000) 스피커 모듈(1050)을 이용하여 오디오를 출력(Output 1)할 수 있다. 스마트 디바이스는 디스플레이 모듈(1070)을 이용하여 이미지 또는 영상을 출력(Output 2)할 수 있다.The smart device 1000 may obtain a voice Input 1 using the microphone module 1010. The smart device 1000 may acquire an image, an image, or depth information by using the camera module 1030 (Input 2). The audio may be output (Output 1) using the smart device 1000 speaker module 1050. The smart device may output an image or an image using the display module 1070.
스마트 디바이스는 제어부(1090)를 이용하여 각 모듈들을 제어할 수 있다. 스마트 디바이스는 제어부(1090)를 이용하여 각 모듈들로부터 획득한 정보를 처리할 수 있다. The smart device may control each module by using the controller 1090. The smart device may process information obtained from each module by using the controller 1090.
스마트 디바이스는 통신부(1110)를 이용하여 외부 장치(2000)와 통신할 수 있다. 스마트 디바이스는 통신부(1110)를 이용하여 획득한 정보를 외부 장치(2000)로 전송할 수 있다. 외부 장치(2000)는 별도로 마련된 서버 장치일 수 있다.The smart device may communicate with the external device 2000 using the communication unit 1110. The smart device may transmit the information acquired using the communication unit 1110 to the external device 2000. The external device 2000 may be a server device provided separately.
한편, 도 1에서는 스마트 디바이스가 디스플레이 모듈을 포함하는 경우를 기준으로 설명하였으나, 스마트 디바이스는 프로젝터 모듈을 구비하는 스마트 프로젝터로 구현될 수 있다.Meanwhile, in FIG. 1, the smart device includes a display module. However, the smart device may be implemented as a smart projector including a projector module.
1.3 커맨드 & 피드백 1.3 Command & Feedback
스마트 디바이스는 상술한 모듈들을 이용하여 사용자로부터 커맨드를 입력받을 수 있다. 스마트 디바이스는 사용자 커맨드를 포함하는 신호를 획득할 수 있다. 또한 스마트 디바이스는 사용자 커맨드에 따른 신호(이하, 피드백)를 출력할 수 있다. The smart device may receive a command from a user using the above-described modules. The smart device may acquire a signal including the user command. In addition, the smart device may output a signal according to a user command (hereinafter, referred to as feedback).
이하에서는, 스마트 디바이스가 획득하는 커맨드 및 스마트 디바이스가 출력하는 피드백에 대하여 설명한다.Hereinafter, the command acquired by the smart device and the feedback output by the smart device will be described.
1.3.1 커맨드1.3.1 Command
스마트 디바이스는 커맨드 또는 커맨드를 포함하는 신호를 획득할 수 있다. 대표적으로, 스마트 디바이스는 보이스 커맨드 또는 보이스 커맨드를 포함하는 보이스(또는 음성 신호)를 획득할 수 있다. 이외에도, 커맨드는 보이스 커맨드, 터치 커맨드 및 제스처 커맨드 등을 포함할 수 있다. 커맨드는 디바이스에 특정 또는 임의의 응답을 요청하는 사용자 행위로 정의될 수 있다.The smart device may acquire a command or a signal including the command. Typically, the smart device may acquire a voice command or a voice (or voice signal) including the voice command. In addition, the command may include a voice command, a touch command, a gesture command, and the like. The command may be defined as a user action that requests a specific or arbitrary response from the device.
스마트 디바이스는 사용자로부터 커맨드를 획득하기 위한 인터페이스를 제공할 수 있다. 인터페이스는 보이스 커맨드를 획득하기 위한 보이스 인터페이스, 터치 커맨드를 획득하기 위한 터치 인터페이스, 제스처 커맨드를 획득하기 위한 제스처 인터페이스를 포함할 수 있다.The smart device may provide an interface for obtaining a command from the user. The interface may include a voice interface for obtaining a voice command, a touch interface for obtaining a touch command, and a gesture interface for obtaining a gesture command.
스마트 디바이스는 보이스를 획득할 수 있다. 스마트 디바이스는 마이크 모듈을 이용하여 보이스를 획득할 수 있다. 스마트 디바이스는 사용자로부터 발화된 보이스를 획득할 수 있다. 스마트 디바이스는 마이크 모듈을 이용하여 보이스 커맨드를 포함하는 보이스를 획득할 수 있다. The smart device may obtain a voice. The smart device may acquire a voice using the microphone module. The smart device may obtain the spoken voice from the user. The smart device may acquire a voice including a voice command using the microphone module.
스마트 디바이스는 획득한 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 신호를 외부 장치로 전달할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를, 보이스 커맨드에 의해 요청되는 정보를 제공하는 외부 장치로 전달할 수 있다. 스마트 디바이스는 보이스 커맨드 데이터를 외부 장치로 전송할 수 있다. 외부 장치는 적어도 하나의 디바이스와 통신하는 서버 장치일 수 있다.The smart device may transmit a signal including the obtained voice command and / or voice command to an external device. The smart device may deliver the voice command and / or the voice including the voice command to an external device that provides the information requested by the voice command. The smart device may transmit voice command data to an external device. The external device may be a server device that communicates with at least one device.
스마트 디바이스는 터치 커맨드를 포함하는 터치 이벤트를 획득할 수 있다. 스마트 디바이스는 터치 센서를 이용하여 디스플레이에 발생하는 터치 이벤트를 획득할 수 있다. The smart device may obtain a touch event including a touch command. The smart device may acquire a touch event occurring in the display using the touch sensor.
스마트 디바이스는 제스처 커맨드를 포함하는 제스처 이벤트를 획득할 수 있다. 스마트 디바이스는 광학 센서 모듈 및/또는 카메라 모듈을 이용하여 제스처 이벤트를 획득할 수 있다. The smart device may obtain a gesture event that includes a gesture command. The smart device may obtain a gesture event using the optical sensor module and / or the camera module.
이하에서는, 상술한 커맨드는 보이스 커맨드인 경우를 기준으로 설명한다. 다만, 본 명세서에서 설명하는 보이스 커맨드에 대한 내용은 터치 커맨드 또는 제스처 커맨드에 유사하게 적용될 수 있다.In the following, the above-described command will be described on the basis of the case of the voice command. However, the content of the voice command described herein may be similarly applied to a touch command or a gesture command.
1.3.2 피드백1.3.2 Feedback
스마트 디바이스는 상술한 보이스 커맨드에 대응하는 정보를 포함하는 피드백 데이터를 획득하고, 음성 또는 영상으로 피드백을 출력할 수 있다. The smart device may obtain feedback data including the information corresponding to the above-described voice command, and output the feedback by voice or video.
피드백은 디바이스가 커맨드를 획득하는 것에 응답하여 출력되는 커맨드에 대응하는 정보를 포함하는 신호로 이해될 수 있다. 커맨드에 대응하는 정보는 요청되는 정보는 멀티미디어 컨텐츠를 포함할 수 있다.Feedback may be understood as a signal containing information corresponding to a command that is output in response to the device obtaining a command. The information corresponding to the command may include the multimedia content.
스마트 디바이스는 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를 획득하고, 커맨드에 대응하는 피드백 데이터를 획득할 수 있다.The smart device may obtain feedback data corresponding to the command. The smart device may acquire a voice including a voice command and / or a voice command, and obtain feedback data corresponding to the command.
스마트 디바이스는 외부 장치로부터 보이스 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 스마트 디바이스는 외부 장치로 보이스 커맨드 데이터를 전송하는 것에 응답하여 피드백 데이터를 획득할 수 있다.The smart device may obtain feedback data corresponding to the voice command from the external device. The smart device may obtain feedback data in response to sending the voice command data to the external device.
스마트 디바이스는 피드백을 출력할 수 있다. 피드백은 음성 또는 음향으로 제공되는 보이스 피드백(이하, 보이스-백 또는 토크-백) 또는 영상 또는 이미지로 제공되는 디스플레이 피드백(이하, 디스플레이-백)을 포함할 수 있다. The smart device may output the feedback. The feedback may include voice feedback (hereinafter, voice-back or talk-back) provided by voice or sound, or display feedback (hereinafter, display-back) provided by an image or an image.
스마트 디바이스는 토크-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를 획득하고, 토크-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드에 의해 요청되는 정보를 포함하는 토크-백을 출력할 수 있다. 스마트 디바이스는 스피커 모듈을 이용하여 토크-백을 출력할 수 있다. 토크-백은 음악, 라디오 등의 오디오 컨텐츠를 포함할 수 있다.The smart device can output the talk-back. The smart device may obtain a voice including the voice command and / or voice command and output a talk-back. The smart device may output a talk-back that includes the information requested by the voice command. The smart device may output the talk-back using the speaker module. The talk-back may include audio content such as music, radio, or the like.
스마트 디바이스는 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를 획득하고, 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드에 의해 요청되는 정보를 포함하는 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 디스플레이 모듈 또는 프로젝터 모듈을 이용하여 디스플레이-백을 출력할 수 있다. 디스플레이-백은 TV 프로그램, Youtube, 영화 등의 비디오 컨텐츠를 포함할 수 있다.The smart device can output a display-back. The smart device may obtain a voice including a voice command and / or voice command and output a display-back. The smart device may output a display-back that includes the information requested by the voice command. The smart device may output the display-back using the display module or the projector module. The display-back may include video content such as a TV program, Youtube, a movie, or the like.
1.4 디바이스의 상태1.4 Device Status
스마트 디바이스는 여러 구동 상태를 가질 수 있다. 스마트 디바이스의 데이터 처리 양태는 스마트 디바이스의 상태에 따라 변경될 수 있다.The smart device may have several driving states. The data processing aspect of the smart device may change depending on the state of the smart device.
1.4.1 오프 상태1.4.1 Off state
스마트 디바이스는 오프 상태일 수 있다. 오프 상태에서, 스마트 디바이스는 전력 소모를 최소화할 수 있다. 오프 상태에서, 스마트 디바이스는 전력을 소모하지 않을 수 있다. 오프 상태에서, 스마트 디바이스는 신호를 수집 또는 출력하지 않을 수 있다. 오프 상태에서, 스마트 디바이스는 휴면(hibernation) 상태일 수 있다.The smart device may be in an off state. In the off state, the smart device can minimize power consumption. In the off state, the smart device may not consume power. In the off state, the smart device may not collect or output a signal. In the off state, the smart device may be in a hibernation state.
1.4.2 스탠바이 상태1.4.2 Standby State
스마트 디바이스는 스탠바이 상태를 가질 수 있다. 스탠바이 상태에서, 스마트 디바이스는 신호를 획득 또는 출력할 수 있다. The smart device may have a standby state. In the standby state, the smart device may acquire or output a signal.
스탠바이 상태에서, 스마트 디바이스는 커맨드 발생을 예고하는 예비 커맨드를 포함하는 신호를 획득할 수 있다. 예비 커맨드 또는 예비 커맨드를 포함하는 신호는 미리 정해지고, 스마트 디바이스에 미리 저장될 수 있다.In the standby state, the smart device may acquire a signal that includes a preliminary command foretelling the command generation. The preliminary command or a signal including the preliminary command may be predetermined and stored in advance in the smart device.
스마트 디바이스는 예비 커맨드를 포함하는 보이스를 획득할 수 있다. 보이스에 포함된 예비 커맨드는 핫-워드 또는 웨이크업-워드의 형태로 구현될 수 있다. 다시 말해, 예비 커맨드는 특정 단어를 포함하는 커맨드로 미리 결정될 수 있다.The smart device may obtain a voice including the preliminary command. The preliminary command included in the voice may be implemented in the form of a hot-word or a wake-up word. In other words, the reserved command may be predetermined as a command including a specific word.
스마트 디바이스는 예비 커맨드를 포함하는 터치 이벤트 또는 제스처 이벤트를 획득할 수 있다. 터치 이벤트에 포함된 예비 커맨드는 임의의 터치 이벤트 또는 특정 영역에 대한 터치 이벤트일 수 있다. 제스처 이벤트에 포함된 예비 커맨드는 특정 시퀀스에 따른 웨이크업 제스처일 수 있다.The smart device may obtain a touch event or gesture event including the preliminary command. The preliminary command included in the touch event may be any touch event or a touch event for a specific region. The preliminary command included in the gesture event may be a wake up gesture according to a specific sequence.
1.4.3 리스닝 상태1.4.3 Listening Status
스마트 디바이스는 리스닝 상태를 가질 수 있다. 리스닝 상태에서, 스마트 디바이스는 보이스 커맨드를 포함하는 신호를 획득할 수 있다. 스마트 디바이스는 전술한 예비 커맨드(예를 들어, 핫-워드)를 포함하는 신호를 획득하고, 리스닝 상태로 변경될 수 있다. 리스닝 상태는 예비 커맨드를 포함하는 신호에 의하여 트리거될 수 있다.The smart device may have a listening state. In the listening state, the smart device may acquire a signal including a voice command. The smart device may acquire a signal including the preliminary command (eg, hot-word) described above and change to a listening state. The listening state may be triggered by a signal including a preliminary command.
리스닝 상태에서, 스마트 디바이스는 리스닝 윈도우를 오픈할 수 있다. 스마트 디바이스는핫-워드를 획득하고, 리스닝 윈도우를 오픈할 수 있다. In the listening state, the smart device may open a listening window. The smart device may acquire a hot-word and open a listening window.
스마트 디바이스는 리스닝 윈도우를 오픈하고, 보이스 커맨드를 포함하는 보이스를 수집할 수 있다. 스마트 디바이스는 리스닝 윈도우를 미리 정해진 시간 간격 동안 오픈할 수 있다. 미리 정해진 시간 간격은 변경될 수 있다. The smart device may open a listening window and collect voices including voice commands. The smart device may open the listening window for a predetermined time interval. The predetermined time interval can be changed.
스마트 디바이스는 리스닝 윈도우를 폐쇄할 수 있다. 스마트 디바이스는 리스닝 윈도우를 폐쇄하고 보이스의 수집을 중단할 수 있다. 스마트 디바이스는 리스닝 윈도우를 폐쇄하고, 수집된 보이스를 외부 장치로 전송할 수 있다. 스마트 디바이스는 리스닝 윈도우가 오픈된 상태에서 수집된 보이스를 외부 장치로 전송할 수도 있다.The smart device may close the listening window. The smart device can close the listening window and stop collecting voice. The smart device may close the listening window and transmit the collected voice to an external device. The smart device may transmit the collected voice to the external device while the listening window is open.
리스닝 상태에서, 스마트 디바이스는 예비 커맨드를 획득할 수 있다. 스마트 디바이스는 예비 커맨드를 획득하고, 리스닝 상태로 재진입할 수 있다. 스마트 디바이스는 리스닝 상태에서 예비 커맨드를 획득하고, 리스닝 윈도우를 재오픈 또는 초기화할 수 있다.In the listening state, the smart device may obtain a preliminary command. The smart device may acquire the preliminary command and re-enter the listening state. The smart device may acquire a preliminary command in the listening state and reopen or initialize the listening window.
1.4.4 피드백 상태1.4.4 Feedback Status
스마트 디바이스는 피드백 상태를 가질 수 있다. 피드백 상태에서, 스마트 디바이스는 보이스 커맨드에 대응하는 피드백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드를 획득하고, 피드백 상태로 변경될 수 있다. The smart device may have a feedback state. In the feedback state, the smart device may output feedback corresponding to the voice command. The smart device may obtain a voice command and change to a feedback state.
피드백 상태에서, 스마트 디바이스는 보이스 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 스마트 디바이스는 보이스 및/또는 보이스 커맨드를 외부 장치로 전송하는 것에 응답하여 보이스 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 피드백 데이터는 토크-백 데이터 또는 디스플레이-백 데이터일 수 있다.In the feedback state, the smart device may obtain feedback data corresponding to the voice command. The smart device may obtain feedback data corresponding to the voice command in response to sending the voice and / or voice command to the external device. The feedback data may be talk-back data or display-back data.
피드백 상태에서, 스마트 디바이스는 피드백 데이터에 기초하여 피드백을 출력할 수 있다. 피드백 상태에서, 스마트 디바이스는 보이스 커맨드에 대응하는 토크-백 또는 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드에 의해 요청되는 정보를 포함하는 토크-백 또는 디스플레이-백을 출력할 수 있다. 피드백 상태에서, 스마트 디바이스는 토크-백과 디스플레이-백을 함께 또는 순차로 출력할 수도 있다.In the feedback state, the smart device may output the feedback based on the feedback data. In the feedback state, the smart device may output a talk-back or display-back corresponding to the voice command. The smart device may output a talk-back or display-back that includes the information requested by the voice command. In the feedback state, the smart device may output the talk-back and the display-back together or sequentially.
피드백 상태에서, 스마트 디바이스는 핫-워드를 획득할 수 있다. 스마트 디바이스는 피드백 상태에서 핫-워드를 획득하고, 리스닝 상태로 변경될 수 있다.In the feedback state, the smart device may obtain a hot-word. The smart device may acquire a hot-word in the feedback state and change to a listening state.
1.5 동작1.5 motion
스마트 디바이스는 다양한 동작을 수행할 수 있다. 스마트 디바이스는 상술한 상태의 변화를 수반하는 다양한 동작을 수행할 수 있다. 이하에서는, 스마트 디바이스의 기본 동작 프로세스 및 부가적인 동작들에 대하여 몇몇 실시예를 들어 설명한다.The smart device may perform various operations. The smart device may perform various operations involving the change of state described above. In the following, some embodiments will be described with respect to the basic operating process and additional operations of the smart device.
1.5.1 기본 프로세스 : 피드백 동작1.5.1 Basic Process: Feedback Behavior
본 발명의 일 실시예에 따르면, 스마트 디바이스는 핫-워드를 획득한 후, 보이스 커맨드를 획득하고, 피드백을 출력할 수 있다.According to an embodiment of the present invention, after obtaining the hot-word, the smart device may obtain a voice command and output a feedback.
도 2는 본 발명의 일 실시예에 따른 스마트 디바이스의 상태 변화를 도시한 것이다. 이하에서는 도 2를 참조하여, 본 발명의 일 실시예에 따른 스마트 디바이스의 동작을 설명한다.2 illustrates a state change of a smart device according to an embodiment of the present invention. Hereinafter, an operation of a smart device according to an embodiment of the present invention will be described with reference to FIG. 2.
스마트 디바이스는 오프 상태에서 스탠바이 상태로 변경될 수 있다. 스마트 디바이스는 사용자 조작에 따라 오프 상태에서 스탠바이 상태로 변경될 수 있다.The smart device may change from the off state to the standby state. The smart device may be changed from the off state to the standby state according to a user operation.
스마트 디바이스는 스탠바이 상태에서 리스닝 상태로 변경될 수 있다. 스마트 디바이스는 스탠바이 상태에서 리스닝 윈도우를 오픈하고, 핫-워드를 포함하는 보이스를 획득하고, 리스닝 상태로 변경될 수 있다. The smart device may change from a standby state to a listening state. The smart device may open a listening window in a standby state, obtain a voice including a hot-word, and change to a listening state.
스마트 디바이스는 리스닝 상태에서 피드백 상태로 변경될 수 있다. 스마트 디바이스는 리스닝 상태에서 사용자로부터 발화되고 보이스 커맨드를 포함하는 보이스를 획득하고, 피드백 상태로 변경될 수 있다. The smart device may change from the listening state to the feedback state. The smart device may be voiced from the user in a listening state and obtain a voice including a voice command, and change to a feedback state.
스마트 디바이스는 피드백의 출력이 완료되면, 스탠바이 상태로 변경될 수 있다. 경우에 따라, 스마트 디바이스는 피드백의 출력이 완료되면 커맨드 상태로 변경될 수 있다. 피드백의 종류에 따라, 스마트 디바이스는 피드백 출력 후 커맨드 상태로 변경될 수 있다. 예컨대, 출력되는 피드백이 사용자 커맨드를 요청하는 경우, 스마트 디바이스는 피드백을 출력한 후, 커맨드 상태로 변경될 수 있다.When the output of the feedback is completed, the smart device may be changed to the standby state. In some cases, the smart device may be changed to a command state when the output of the feedback is completed. According to the type of feedback, the smart device may change to a command state after outputting the feedback. For example, when the output feedback requests a user command, the smart device may change to a command state after outputting the feedback.
스마트 디바이스는 피드백 상태에서 리스닝 상태로 변경될 수 있다. 피드백 상태에서, 스마트 디바이스는 피드백의 출력 중에 예비 커맨드, 예컨대 핫-워드를 획득할 수 있다. 스마트 디바이스는 피드백 출력 중 예비 커맨드를 획득하고, 리스닝 상태로 변경될 수 있다. The smart device may change from the feedback state to the listening state. In the feedback state, the smart device may obtain a preliminary command, such as a hot-word, during the output of the feedback. The smart device may acquire a preliminary command during the feedback output and change to a listening state.
스마트 디바이스는 스탠바이 상태 또는 리스닝 상태에서 오프 상태로 변경될 수도 있다. 스마트 디바이스는 미리 정해신 시간 내에 핫-워드가 획득되지 아니하면 스탠바이 상태 또는 리스닝 상태에서 오프 상태로 변경될 수 있다.The smart device may change from the standby state or the listening state to the off state. The smart device may change from a standby state or a listening state to an off state if a hot-word is not acquired within a predetermined time.
1.5.2 사용자 위치 수집 동작1.5.2 User Location Collection Behavior
스마트 디바이스는 사용자 위치 정보를 획득하고, 저장할 수 있다. 스마트 디바이스는 사용자 위치와 관련된 기초 정보를 획득하고, 외부 장치로 전달할 수 있다. 사용자 위치 정보는 복수 사용자의 위치 정보를 포함할 수 있다.The smart device may obtain and store user location information. The smart device may obtain basic information related to the user location and transmit the basic information to the external device. The user location information may include location information of a plurality of users.
사용자 위치 정보는 사용자의 스마트 디바이스로부터의 거리 정보를 포함할 수 있다. 사용자 위치 정보는 사용자의 스마트 디바이스의 기준 방향으로부터의 각변위 정보를 포함할 수 있다.The user location information may include distance information from the smart device of the user. The user location information may include angular displacement information from a reference direction of the smart device of the user.
스마트 디바이스는 오프 상태에서 스탠바이 상태로 변경되면 사용자 위치 정보를 획득할 수 있다. 스마트 디바이스는 사용자 보이스가 획득되면 사용자 위치 정보를 획득할 수 있다. When the smart device changes from the off state to the standby state, the smart device may obtain user location information. The smart device may acquire user location information when a user voice is obtained.
스마트 디바이스는 전술한 광학 센서 모듈을 이용하여 사용자 위치 정보를 수집할 수 있다. 스마트 디바이스는 광학 센서 모듈을 이용하여 획득된 공간 정보에 기초하여 사용자 위치 정보를 획득할 수 있다.The smart device may collect user location information using the above-described optical sensor module. The smart device may obtain user location information based on the spatial information obtained using the optical sensor module.
스마트 디바이스는 전술한 마이크 모듈을 이용하여 사용자 위치 정보를 수집할 수 있다. 스마트 디바이스는 복수의 마이크를 이용하여 사용자로부터 발화된 보이스를 획득하고, 보이스가 발화되는 방향을 고려하여 사용자 위치 정보를 수집할 수 있다.The smart device may collect user location information using the microphone module described above. The smart device may acquire a voice spoken by the user using a plurality of microphones and collect user location information in consideration of the direction in which the voice is spoken.
스마트 디바이스는 획득한 위치 정보를 저장할 수 있다. 스마트 디바이스는 획득한 위치 정보를 룩업테이블(look-up table) 형태로 저장할 수 있다. 스마트 디바이스는 획득한 위치 정보를 외부 장치(예컨대, 서버 장치)로 전달할 수 있다.The smart device may store the acquired location information. The smart device may store the acquired location information in the form of a look-up table. The smart device may transfer the acquired location information to an external device (eg, a server device).
스마트 디바이스는 스탠바이 상태, 리스닝 상태 또는 피드백 상태에서 사용자 위치 정보를 획득할 수 있다. 스마트 디바이스는 사용자 위치 정보를 주기적으로 획득할 수 있다.The smart device may acquire the user location information in the standby state, the listening state or the feedback state. The smart device may periodically acquire user location information.
스마트 디바이스는 사용자 위치 정보를 고려하여 피드백을 출력할 수 있다. 스마트 디바이스는 사용자 위치 정보를 고려하여 토크-백의 출력 방향을 결정할 수 있다. 스마트 디바이스는 사용자 위치 정보를 고려하여 디스플레이-백의 출력 위치 및/또는 방향을 결정할 수 있다. 이와 관련하여, 후술하는 사용자 지향 피드백 목차에서 보다 상세하게 설명하기로 한다.The smart device may output feedback in consideration of user location information. The smart device may determine the output direction of the talk-back in consideration of the user location information. The smart device may determine the output location and / or orientation of the display-back in consideration of the user location information. In this regard, it will be described in more detail in the Table of Contents below.
1.6 디바이스 형태1.6 Device Type
상술한 스마트 디바이스는 다양한 형태로 구현될 수 있다. 이하에서는, 스마트 디바이스의 형태에 대하여 몇몇 실시예를 들어 설명한다.The above-described smart device may be implemented in various forms. Hereinafter, some embodiments of the smart device will be described.
1.6.1 제1 타입 : display type1.6.1 First type: display type
본 발명의 일 실시예에 따르면, 스마트 디바이스는 터치 인터페이스를 제공하는 디스플레이가 탑재된 스마트 디스플레이의 형태로 제공될 수 있다. 스마트 디스플레이는 보이스 커맨드를 획득하고 토크-백 또는 디스플레이-백을 출력할 수 있다.According to an embodiment of the present invention, the smart device may be provided in the form of a smart display equipped with a display providing a touch interface. The smart display can obtain voice commands and output talk-back or display-back.
도 3은 본 발명의 일 실시예에 따른 스마트 디스플레이(100a)를 도시한 것이다. 도 3을 참조하면, 스마트 디스플레이(100a)는 마이크(102a), 스피커(106a) 및 디스플레이(108a)를 포함할 수 있다. 또한, 스마트 디스플레이(100a)는 카메라(104a)를 선택적으로 포함할 수 있다.3 illustrates a smart display 100a according to an embodiment of the present invention. Referring to FIG. 3, the smart display 100a may include a microphone 102a, a speaker 106a, and a display 108a. In addition, the smart display 100a may optionally include a camera 104a.
스마트 디스플레이(100a)는 마이크(102a)를 이용하여 보이스 커맨드를 획득하고, 스피커(106a)를 이용하여 토크-백을 출력하거나 디스플레이(108a)를 통하여 디스플레이-백을 출력할 수 있다. The smart display 100a may obtain a voice command using the microphone 102a, output a talk-back using the speaker 106a, or output the display-back through the display 108a.
1.6.2 제2 타입 : wall type1.6.2 Second type: wall type
본 발명의 일 실시예에 따르면, 스마트 디바이스는 프로젝터 모듈이 탑재된 스마트 프로젝터의 일 예로서, 상방으로 광을 출사하는 스마트 프로젝터의 형태로 제공될 수 있다. According to an embodiment of the present invention, the smart device may be provided in the form of a smart projector that emits light upward as an example of a smart projector equipped with a projector module.
도 4는 본 발명의 일 실시예에 따른 스마트 프로젝터(100b)를 도시한 것이다. 도 4를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100b)는 마이크(102b) 및 스피커(106b)를 포함할 수 있다. 도시하지는 아니하였으나, 스마트 프로젝터(100b)는 카메라를 포함할 수도 있다.4 illustrates a smart projector 100b according to an embodiment of the present invention. Referring to FIG. 4, the smart projector 100b according to an embodiment of the present invention may include a microphone 102b and a speaker 106b. Although not shown, the smart projector 100b may include a camera.
도 4를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터는 상방으로 광을 출사할 수 있다. 스마트 프로젝터는 임의의 벽면에 영상 또는 이미지를 투사할 수 있다. 스마트 프로젝터가 영상 또는 이미지를 투영하는 투영 영역(10a)은 변경될 수 있다. 투영 영역(10a)의 크기 또는 위치는 변경될 수 있다.Referring to FIG. 4, the smart projector according to the exemplary embodiment may emit light upward. The smart projector can project an image or an image on any wall. The projection area 10a in which the smart projector projects the image or the image may be changed. The size or position of the projection area 10a can be changed.
영상이 투영되는 방향은 그 시청이 용이하도록 결정될 수 있다. 영상이 투영되는 방향은 스마트 프로젝터가 영상을 투영하는 방향의 반대 방향에서 시청이 용이하도록 결정될 수 있다. 본 실시예에서, 스마트 스피커는 영상의 하측이 벽면의 하측에 위치하도록 투사할 수 있다. 다시 말해, 스마트 스피커는 영상이 벽면에 정립 방향으로 투영되도록 투사할 수 있다. The direction in which the image is projected may be determined to facilitate viewing. The direction in which the image is projected may be determined to facilitate viewing in a direction opposite to the direction in which the smart projector projects the image. In the present embodiment, the smart speaker may project such that the lower side of the image is located below the wall surface. In other words, the smart speaker may project an image to be projected on the wall in the upright direction.
또한, 도시하지는 아니하였으나 스마트 프로젝터(100b)는 센서부를 더 포함하고, 투영 영역에 발생하는 제스처 이벤트 또는 터치 이벤트를 감지할 수 있다. In addition, although not shown, the smart projector 100b may further include a sensor unit and may detect a gesture event or a touch event occurring in the projection area.
1.6.3 제3 타입 : table type1.6.3 Third type: table type
본 발명의 일 실시예에 따르면, 스마트 디바이스는 전술한 스마트 프로젝터의 일 예로서, 하방으로 광을 출사하는 스마트 프로젝터의 형태로 제공될 수 있다. According to an embodiment of the present invention, the smart device may be provided in the form of a smart projector that emits light downward as an example of the above-described smart projector.
도 5는 본 발명의 일 실시예에 따른 스마트 프로젝터(100c)를 도시한 것이다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100c)는 마이크(102c) 및 스피커(106c)를 포함할 수 있다. 스마트 프로젝터(100c)는 카메라 또는 센서부를 더 포함할 수 있다.5 illustrates a smart projector 100c according to an embodiment of the present invention. Referring to FIG. 5, the smart projector 100c according to an embodiment of the present invention may include a microphone 102c and a speaker 106c. The smart projector 100c may further include a camera or a sensor unit.
도 5를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100c)는 하방으로 광을 출사할 수 있다. 스마트 프로젝터(100c)는 스마트 프로젝터(100c)가 위치된 바닥 또는 테이블 상에 영상 또는 이미지를 투사할 수 있다. Referring to FIG. 5, the smart projector 100c according to the exemplary embodiment may emit light downward. The smart projector 100c may project an image or an image on a floor or a table on which the smart projector 100c is located.
투영 영역(10b)의 크기 또는 위치는 변경될 수 있다. 영상이 투영되는 방향은 스마트 프로젝터가 영상을 투영하는 방향에서 시청이 용이하도록 결정될 수 있다. 본 실시예에서, 스마트 스피커는 영상의 하측이 테이블의 외측(즉, 장치로부터 먼 위치)에 투영되도록 투사할 수 있다.The size or position of the projection area 10b can be changed. The direction in which the image is projected may be determined to facilitate viewing in the direction in which the smart projector projects the image. In this embodiment, the smart speaker may project so that the lower side of the image is projected to the outside of the table (ie, a position far from the device).
1.6.4 제4 타입 : manually rotatable(rolling) type1.6.4 Type 4: Manually Rotatable (Rolling) Type
본 발명의 일 실시예에 따르면, 전술한 스마트 프로젝터는 복수의 자세를 가질 수 있다. 스마트 프로젝터는 제1 자세 또는 제2 자세로 동작할 수 있다. 스마트 프로젝터는 자세 변경에 따라 상방 또는 하방으로 광을 출사할 수 있다.According to an embodiment of the present invention, the above-described smart projector may have a plurality of postures. The smart projector may operate in the first posture or the second posture. The smart projector may emit light upward or downward depending on the posture change.
도 6은 본 발명의 일 실시예에 따른 스마트 프로젝터(100d)를 도시한 것이다. 도 6을 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100d)는 제1 면을 상면으로 하는 제1 자세(도 6의 a) 및 제1 면과 다른 제2 면을 상면으로 하는 제2 자세(도 6의 b)로 동작할 수 있다. 이하에서는, 도 6을 참조하여 스마트 프로젝터(100d)의 자세에 따른 동작에 대하여 설명한다. 6 illustrates a smart projector 100d according to an embodiment of the present invention. Referring to FIG. 6, the smart projector 100d according to an embodiment of the present invention may include a first posture (a) of FIG. 6 as a top surface and a second surface different from the first surface. It can operate in two postures (b of FIG. 6). Hereinafter, an operation according to the posture of the smart projector 100d will be described with reference to FIG. 6.
도 6을 참조하면, 스마트 프로젝터(100d)는 마이크(102d) 및 스피커(106d)를 포함할 수 있다. 스마트 프로젝터(100d)는 센서부 또는 카메라를 선택적으로 포함할 수 있다Referring to FIG. 6, the smart projector 100d may include a microphone 102d and a speaker 106d. The smart projector 100d may optionally include a sensor unit or a camera.
도 6의 (a)를 참조하면, 스마트 프로젝터(100d)가 제1 자세(예를 들어, 벽 투영 자세)일 때, 스마트 프로젝터(100d)는 벽을 향하여 광을 상방 출사할 수 있다. 스마트 프로젝터(100d)가 제1 자세일 때, 스마트 프로젝터(100d)는 전술한 제2 타입 스마트 프로젝터(100b)와 유사하게 동작할 수 있다.Referring to FIG. 6A, when the smart projector 100d is in a first posture (eg, a wall projection posture), the smart projector 100d may emit light upward toward the wall. When the smart projector 100d is in the first posture, the smart projector 100d may operate similar to the second type smart projector 100b described above.
도 6의 (b)를 참조하면, 스마트 프로젝터(100d)가 제2 자세(예를 들어, 테이블 투영 자세)일 때, 스마트 프로젝터(100d)는 바닥 또는 테이블을 향하여 광을 하방 출사할 수 있다. 스마트 프로젝터(100d)가 제2 자세일 때, 스마트 프로젝터(100d)는 전술한 제3 타입 프로젝터(100c)와 유사하게 동작할 수 있다.Referring to FIG. 6B, when the smart projector 100d is in a second posture (eg, a table projection posture), the smart projector 100d may emit light downward toward the floor or the table. When the smart projector 100d is in the second posture, the smart projector 100d may operate similarly to the third type projector 100c described above.
스마트 프로젝터(100d)의 자세는 변경될 수 있다. 스마트 프로젝터(100d)의 자세는 수동으로 변경될 수 있다. 스마트 프로젝터(100d)의 자세는 구동부에 의하여 자동으로 변경될 수 있다. The attitude of the smart projector 100d may be changed. The attitude of the smart projector 100d may be changed manually. The attitude of the smart projector 100d may be automatically changed by the driver.
스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)에 포함된 모듈들 중 적어도 하나의 모듈의 동작이 변경될 수 있다. 스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)에 포함된 스피커 모듈, 마이크 모듈, 센서 모듈 중 어느 하나의 동작이 변경될 수 있다. 일 예로, 스마트 프로젝터(100d)가 제1 자세에서 제2 자세로 변경되면, 오디오를 출력하는 스피커(106d)가 변경될 수 있다. When the attitude of the smart projector 100d is changed, the operation of at least one of the modules included in the smart projector 100d may be changed. When the attitude of the smart projector 100d is changed, the operation of any one of a speaker module, a microphone module, and a sensor module included in the smart projector 100d may be changed. For example, when the smart projector 100d is changed from the first posture to the second posture, the speaker 106d for outputting audio may be changed.
다른 예로, 스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)가 광을 투사하는 방향이 변경될 수 있다. 스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)로부터 투사되는 영상(10c)의 투영 방향이 변경될 수 있다. 구체적으로, 스마트 프로젝터(100d)는 제1 자세에서 영상의 하단이 스마트 프로젝터(100d)와 가깝도록 영상을 투사하고, 제2 자세에서 영상의 하단이 스마트 프로젝터(100d)와 멀리 위치하도록 영상을 투사할 수 있다.As another example, when the attitude of the smart projector 100d is changed, the direction in which the smart projector 100d projects light may be changed. When the attitude of the smart projector 100d is changed, the projection direction of the image 10c projected from the smart projector 100d may be changed. Specifically, the smart projector 100d projects an image such that the bottom of the image is close to the smart projector 100d in the first posture, and projects the image so that the bottom of the image is far from the smart projector 100d in the second posture. can do.
이상에서는 스마트 프로젝터(100d)가 제1 자세 및 제2 자세를 가지고, 제1 자세 및 제2 자세 사이에서 선택적으로 자세가 변경되는 경우를 기준으로 설명하였으나, 본 명세서에서 개시하는 발명이 이에 한정되는 것은 아니다. 스마트 프로젝터(100d)는 셋 이상의 자세를 가지고 필요에 따라 자세가 선택적으로 변경되도록 구현될 수 있다.In the above description, the smart projector 100d has a first posture and a second posture, and has been described based on a case in which the posture is selectively changed between the first posture and the second posture. It is not. The smart projector 100d may have three or more postures and may be implemented to selectively change the posture as necessary.
1.6.5 제5 타입 : rotatable1.6.5 Fifth Type: rotatable
본 발명의 일 실시예에 따르면, 스마트 디바이스는 전술한 스마트 프로젝터의 일 예로서, 광의 투사 방향이 회전 가능한 스마트 프로젝터의 형태로 제공될 수 있다. 스마트 프로젝터(100e)는 벽면 및/또는 테이블 상에 영상을 투사하고, 영상의 투사 방향이 회전 가능하도록 마련될 수 있다.According to an embodiment of the present invention, the smart device may be provided in the form of a smart projector in which the projection direction of light is rotatable as an example of the above-described smart projector. The smart projector 100e may be provided to project an image on a wall and / or a table, and to rotate the projection direction of the image.
도 7은 본 발명의 일 실시예에 따른 스마트 프로젝터(100e)를 도시한 것이다. 도 7을 참조하면, 스마트 프로젝터는 영상의 투영 방향이 회전 가능하도록 구현될 수 있다. 영상이 투사되는 방향은 스마트 프로젝터의 회전축을 중심으로 회전할 수 있다.7 illustrates a smart projector 100e according to an embodiment of the present invention. Referring to FIG. 7, the smart projector may be implemented such that the projection direction of the image is rotatable. The direction in which the image is projected may rotate about the rotation axis of the smart projector.
도 7을 참조하면, 스마트 프로젝터(100e)는 마이크(102e) 및 스피커(106e)를 포함할 수 있다. 스마트 프로젝터(100e)는 센서부 또는 카메라를 선택적으로 포함할 수 있다.Referring to FIG. 7, the smart projector 100e may include a microphone 102e and a speaker 106e. The smart projector 100e may optionally include a sensor unit or a camera.
도 7의 (a)를 참조하면, 스마트 프로젝터(100e)는 하방으로 광을 출사하고, 광의 투사 방향이 회전 가능하도록 마련될 수 있다. 스마트 프로젝터(100e)는 테이블 상에 위치하고, 테이블 상면에 영상을 투영할 수 있다. 스마트 프로젝터(100e)는 테이블 상에서 영상을 투사하는 방향을 회전시킬 수 있다. 예를 들어, 스마트 프로젝터(100e)는 투영 영역이 제1 위치(10d)에서 제2 위치(10d')로 변경되도록 영상의 투사 방향을 회전시킬 수 있다.Referring to FIG. 7A, the smart projector 100e may be provided to emit light downward and to rotate the projection direction of the light. The smart projector 100e may be positioned on a table and project an image on the table upper surface. The smart projector 100e may rotate the direction in which the image is projected on the table. For example, the smart projector 100e may rotate the projection direction of the image so that the projection area is changed from the first position 10d to the second position 10d '.
도 7의 (b)를 참조하면, 스마트 프로젝터(100e)는 상방으로 광을 출사하고, 광의 투사 방향을 회전시킬 수 있다. 스마트 프로젝터(100e)는 벽면으로 영상을 투영할 수 있다. 스마트 프로젝터(100e)는 영상을 투사하는 방향을 회전시킬 수 있다. 스마트 프로젝터(100e)는 영상이 투영되는 벽면이 변경되도록 영상을 투사하는 방향을 회전시킬 수 있다. 예를 들어, 스마트 프로젝터(100e)는 투영 영역이 제3 위치(10e)에서 제4 위치(10e')로 변경되도록 영상의 투사 방향을 회전시킬 수 있다.Referring to FIG. 7B, the smart projector 100e may emit light upward and rotate the projection direction of the light. The smart projector 100e may project an image onto a wall. The smart projector 100e may rotate the direction in which the image is projected. The smart projector 100e may rotate the direction in which the image is projected so that the wall surface on which the image is projected is changed. For example, the smart projector 100e may rotate the projection direction of the image so that the projection area is changed from the third position 10e to the fourth position 10e '.
스마트 프로젝터(100e)는 벽 투영 모드(제1 모드) 및/또는 바닥 투영 모드(제2 모드)를 포함하는 복수의 모드 중 선택된 어느 하나의 모드로 동작할 수 있다.The smart projector 100e may operate in any one of a plurality of modes including a wall projection mode (first mode) and / or a floor projection mode (second mode).
2. 지향성 피드백 2. Directional Feedback
본 명세서에서 개시하는 스마트 디바이스는 보이스 커맨드를 포함하는 보이스를 획득하고 사용자 지향성 피드백을 수행할 수 있다. 스마트 디바이스는 보이스 커맨드를 포함하는 보이스를 획득하고, 사용자의 위치 정보를 고려하여, 토크-백 및/또는 디스플레이-백을 특정 방향으로 출력할 수 있다. 스마트 디바이스는 사용자 지향 피드백을 요청하는 지향 지시자를 포함하는 보이스 커맨드가 포함된 보이스를 획득하고, 요청되는 방향으로 피드백을 출력할 수도 있다.The smart device disclosed herein can obtain a voice that includes a voice command and perform user-oriented feedback. The smart device may acquire a voice including a voice command and output the talk-back and / or display-back in a specific direction in consideration of the location information of the user. The smart device may obtain a voice including a voice command including a direction indicator requesting user-oriented feedback and output the feedback in the requested direction.
이하에서는, 사용자 지향성을 가지는 피드백을 출력하는 스마트 디바이스 및 사용자 지향적 피드백을 출력하도록 스마트 디바이스를 제어하는 방법 등에 대하여 설명한다. 또한, 이하에서 특별한 언급이 없는 한, 스마트 프로젝터에 대하여, 전술한 제5 타입 스마트 프로젝터에 대한 내용이 적용될 수 있다.Hereinafter, a smart device for outputting user-oriented feedback and a method for controlling the smart device to output user-oriented feedback will be described. Also, unless otherwise mentioned below, the above-described fifth type smart projector may be applied to the smart projector.
2.1 지향성 피드백을 위한 위치 정보 획득2.1 Acquisition of Location Information for Directional Feedback
스마트 디바이스는 사용자 위치 정보를 획득하고, 이를 이용하여 지향성 피드백을 수행할 수 있다. 여기에서는, 지향성 피드백을 위한 사용자 위치 정보 획득에 대하여 몇몇 실시 예를 들어 설명한다.The smart device may obtain user location information and use it to perform directional feedback. Here, some embodiments will be described for obtaining user location information for directivity feedback.
스마트 디바이스는 사용자 위치 정보를 획득 및/또는 저장할 수 있다.The smart device may obtain and / or store user location information.
예를 들어, 사용자의 위치 정보는 사용자가 스마트 디바이스에 대하여 위치하는 방향에 대한 방향 정보 및/또는 사용자가 스마트 디바이스로부터 떨어진 거리 정보를 포함할 수 있다. 방향 정보는 기준 방향에 대하여 사용자 방향이 이격된 각변위로 마련될 수 있다. 사용자의 위치 정보는 스마트 디바이스에서 획득되고 스마트 디바이스를 기준으로 하는 3차원 공간 정보로서 마련될 수 있다.For example, the location information of the user may include direction information on the direction in which the user is located with respect to the smart device and / or distance information from the user away from the smart device. The direction information may be provided as an angular displacement in which the user direction is spaced with respect to the reference direction. The location information of the user may be provided as three-dimensional spatial information obtained from the smart device and based on the smart device.
스마트 디바이스는 사용자 위치 정보를 식별 정보와 함께 저장할 수 있다. 식별 정보는 위치 식별 정보 또는 사용자 식별 정보일 수 있다. The smart device may store the user location information with the identification information. The identification information may be location identification information or user identification information.
예를 들어, 스마트 디바이스는 스마트 디바이스를 기준으로 제1 위치에 위치하는 사용자의 위치 정보 및 제2 위치에 위치하는 사용자의 위치 정보를 각각 제1 위치 및 제2 위치에 연관하여 저장할 수 있다. For example, the smart device may store the location information of the user located at the first location and the location information of the user located at the second location in association with the first location and the second location, respectively.
구체적으로, 스마트 디바이스는 기준 방향으로부터 제1 각변위를 가지는 방향으로부터 발화된 제1 보이스를 획득하고, 제1 각변위에 제1 사용자가 위치하는 것으로 매칭 및 저장할 수 있다.In detail, the smart device may acquire the first voice uttered from the direction having the first angular displacement from the reference direction, and match and store the first user at the first angular displacement.
다른 예를 들어, 스마트 디바이스는 사용자 위치 정보를, 개별 사용자의 특징에 기초하여 부여된 사용자 식별 정보와 연관하여 저장할 수 있다. 구체적으로, 스마트 디바이스는 제1 위치에 위치하는 사용자의 위치 정보 및 제2 위치에 위치하는 사용자의 위치 정보를 각각 제1 사용자 식별 정보 및 제2 사용자 식별 정보와 연관하여 저장할 수 있다.For another example, the smart device may store user location information in association with user identification information granted based on the characteristics of the individual user. In detail, the smart device may store location information of the user located at the first location and location information of the user located at the second location in association with the first user identification information and the second user identification information, respectively.
구체적으로, 스마트 디바이스는 기준 방향으로부터 제2 각변위를 가지는 방향으로부터 발화된 제2 보이스를 획득하고, 제2 보이스를 발화한 사용자의 제1 식별 정보, 예컨대 사용자 이름을 매칭하여 저장할 수 있다.In detail, the smart device may acquire the second voice uttered from the direction having the second angular displacement from the reference direction, and match and store the first identification information of the user who uttered the second voice, for example, the user name.
사용자 식별 정보는 카메라 모듈 및/또는 마이크 모듈을 이용하여 획득된 사용자 특징에 기초하여 마련될 수 있다. 예컨대, 사용자 식별 정보는 카메라 모듈을 이용하여 획득된 사용자 얼굴 이미지(음성 인식) 또는 마이크 모듈을 통하여 획득된 사용자의 음성(성문 인식)의 특징에 기초하여 마련될 수 있다. 사용자 식별 정보는 획득된 보이스에 포함된 사용자 이름 등에 기초하여 마련될 수 있다. 사용자 식별 정보는 사용자 얼굴 또는 음성의 특징에 기초하여 결정된 사용자 성별, 사용자 연령, 사용자 키 등의 사용자 특성 정보를 포함할 수 있다.User identification information may be provided based on user characteristics obtained using a camera module and / or a microphone module. For example, the user identification information may be provided based on a feature of the user's face image (voice recognition) acquired using the camera module or the voice of the user (voice recognition) acquired through the microphone module. The user identification information may be provided based on a user name included in the obtained voice. The user identification information may include user characteristic information such as a user gender, a user age, a user key, and the like determined based on a feature of a user face or voice.
스마트 디바이스는 사용자 위치 정보를 능동적으로 수집할 수 있다. 스마트 디바이스는 사용자 위치 정보 획득을 위한 특정 절차를 능동적으로 개시(initiate)하고, 특정 절차를 수행함으로써 사용자 위치 정보를 획득할 수 있다. 예를 들어, 스마트 디바이스는 사용자 위치 정보 획득을 위하여 사용자의 발화를 유도 내지 요청하는 가이드 보이스를 출력할 수 있다. 스마트 디바이스는 사용자의 발화를 유도 내지 요청하는 가이드 화면을 출력할 수도 있다.The smart device may actively collect user location information. The smart device may acquire user location information by actively initiating a specific procedure for obtaining user location information and performing the specific procedure. For example, the smart device may output a guide voice for inducing or requesting a user's speech to obtain user location information. The smart device may output a guide screen for inducing or requesting the user's speech.
본 발명의 일 실시예에 따른 스마트 디바이스는 사용자 식별 정보를 요청하는 보이스 가이드를 출력하고, 보이스 가이드에 대응하여 발화된 사용자의 보이스를 획득하고, 보이스에 기초하여 사용자의 위치 정보 및/또는 사용자의 식별 정보를 획득 및 저장할 수 있다.The smart device according to an embodiment of the present invention outputs a voice guide requesting user identification information, obtains a voice of the user spoken in correspondence with the voice guide, and based on the voice, the location information of the user and / or the user's voice Identification information can be obtained and stored.
예를 들어, 보이스 가이드는 사용자에게 이름을 포함하는 보이스를 발화할 것을 유도할 수 있다. 보이스 가이드는 사용자에게 이름 내지 아이디를 묻는 의문형 문장으로 제공될 수 있다. 스마트 디바이스는 보이스 가이드에 의해 유도된 사용자의 보이스를 획득하고, 보이스가 발화된 방향 및/또는 보이스의 음량을 고려하여 사용자의 위치 정보를 추출 및 저장할 수 있다. 스마트 디바이스는 유도된 사용자의 보이스를 획득하고, 보이스로부터 사용자의 이름 내지 아이디를 추출 및 저장할 수 있다.For example, the voice guide may prompt the user to utter a voice including a name. The voice guide may be provided in a questionable sentence asking a user a name or ID. The smart device may acquire the voice of the user guided by the voice guide and extract and store the location information of the user in consideration of the direction in which the voice is uttered and / or the volume of the voice. The smart device may obtain the voice of the derived user and extract and store the user's name or ID from the voice.
도 8은 본 발명의 일 실시예에 따른 스마트 디바이스(100)의 사용자 위치 정보 획득을 설명하기 위한 도면이다. 8 is a view for explaining acquisition of user location information of the smart device 100 according to an embodiment of the present invention.
도 8을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(100)는 제1 사용자(User 1) 및 제2 사용자(User 2)의 발화를 유도하는 보이스 가이드를 출력하고, 이에 응답하여 발화된 보이스를 적어도 일부 획득하여 제1 사용자(User 1) 및 제2 사용자(User 2)의 위치 정보 및 식별 정보를 획득 및 저장할 수있 다.Referring to FIG. 8, the smart device 100 according to an embodiment of the present invention outputs a voice guide for inducing utterances of the first user 1 and the second user 2, and responds in response thereto. At least a part of the acquired voice may be acquired to acquire and store location information and identification information of the first user User 1 and the second user User 2.
도 8을 참조하면, 스마트 디바이스(100)는 사용자에게 식별 정보(예컨대, 이름)을 요청하는 보이스 가이드, 예를 들어, "Let me know your name"을 출력할 수 있다. 스마트 디바이스(100)는 제1 사용자(User 1)가 발화한 보이스, 예컨대, "This is Jane" 및 제2 사용자(User 2)가 발화한 보이스, 예컨대, "This js James"를 획득하고, 제1 사용자(User 1) 및 제2 사용자(User 2)의 식별 정보, "Jane" 및 "James"를 각각 제1 사용자(User 1)의 위치 정보 및 제2 사용자(User 2)의 위치 정보와 함께 저장할 수 있다.Referring to FIG. 8, the smart device 100 may output a voice guide requesting identification information (eg, a name) to the user, for example, “Let me know your name”. The smart device 100 obtains a voice uttered by the first user (User 1), for example, "This is Jane" and a voice uttered by the second user (User 2), for example, "This js James". The identification information "Jane" and "James" of the first user (User 1) and the second user (User 2) together with the location information of the first user (User 1) and the location information of the second user (User 2), respectively Can be stored.
스마트 디바이스는 사용자 위치 정보를 수동적으로 수집할 수 있다. 스마트 디바이스는 사용자 위치 정보 획득을 위한 특정 절차의 수행 없이, 사용자들 간의 대화 또는 사용자로부터 발화된 보이스를 획득하고, 이에 기초하여 사용자 위치 정보를 획득 및 저장할 수 있다. 예를 들어, 스마트 디바이스는 사용자에 의해 발화된 보이스 커맨드를 획득하고, 보이스 커맨드에 기초하여 사용자의 위치 정보 및 사용자의 식별 정보를 획득 및 저장할 수 있다. The smart device may manually collect user location information. The smart device may obtain a dialogue between users or a voice spoken from the user without obtaining a specific procedure for acquiring the user location information, and may acquire and store the user location information based on this. For example, the smart device may acquire a voice command spoken by the user, and obtain and store location information of the user and identification information of the user based on the voice command.
본 발명의 일 실시예에 따른 스마트 디바이스는 사용자에 의해 발화되고 보이스 커맨드를 포함하는 보이스가 획득되면, 보이스 커맨드에 기초하여 사용자 식별 정보 및 사용자 위치 정보를 획득 및 저장할 수 있다. The smart device according to an embodiment of the present invention may acquire and store user identification information and user location information based on the voice command when a voice uttered by the user and a voice including a voice command is obtained.
예를 들어, 스마트 디바이스는 복수의 사용자 간의 대화로부터 사용자 위치 정보 및/또는 사용자 식별 정보를 획득할 수 있다. 스마트 디바이스는 제1 사용자 및 제2 사용자의 대화로부터 제1 사용자의 제1 보이스 및 제2 사용자의 제2 보이스를 획득하고, 제1 보이스 및 제2 보이스로부터 제1 사용자 및 제2 사용자의 식별 정보를 각각 추출할 수 있다. 스마트 디바이스는 제1 보이스 및 제2 보이스가 발화된 방향에 기초하여 제1 사용자 및 제2 사용자의 위치 정보를 각각 획득할 수 있다.For example, the smart device may obtain user location information and / or user identification information from a conversation between the plurality of users. The smart device obtains the first voice of the first user and the second voice of the second user from the conversations of the first user and the second user, and the identification information of the first user and the second user from the first voice and the second voice. Can be extracted respectively. The smart device may obtain location information of the first user and the second user based on the direction in which the first voice and the second voice are uttered.
도 9는 본 발명의 일 실시예에 따른 스마트 디바이스(100)의 사용자 위치 정보 획득을 설명하기 위한 도면이다. 9 is a view for explaining acquisition of user location information of the smart device 100 according to an embodiment of the present invention.
도 9를 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(100)는 제1 사용자(User 1) 및 제2 사용자(User 2)의 대화에 포함되는 보이스를 적어도 일부 획득하고, 이에 기초하여 제1 사용자(User 1) 및 제2 사용자(User 2)의 위치 정보 및 식별 정보를 획득 및 저장할 수 있다.Referring to FIG. 9, the smart device 100 according to an embodiment of the present invention obtains at least a part of a voice included in a conversation between a first user User 1 and a second user User 2, and based on this, The location information and the identification information of the first user User 1 and the second user User 2 may be obtained and stored.
도 9을 참조하면, 스마트 디바이스(100)는 사용자 간의 대화, 예컨대, 제1 사용자(User 1)에 의해 발화된 "How are you doing?" 및 제2 사용자(User 2)에 의해 발화된 "Fine, thank you!"를 획득할 수 있다. 스마트 디바이스(100)는 획득한 제1 사용자(User 1) 및 제2 사용자(User 2)의 보이스로부터 제1 사용자(User 1) 및 제2 사용자(User 2)의 위치 및 제1 사용자(User 1) 및 제2 사용자(User 2)의 식별 정보(예컨대, 성문, 성별 등)를 획득 및 저장할 수 있다.Referring to FIG. 9, the smart device 100 may communicate with a user, for example, “How are you doing?” Spoken by the first user. And "Fine, thank you!" Spoken by the second user (User 2). The smart device 100 may determine the location of the first user User 1 and the second user User 2 and the first user User 1 from the acquired voices of the first user User 1 and the second user User 2. ) And identification information of the second user (eg, the voiceprint, gender, etc.) may be obtained and stored.
본 발명의 일 실시예에 따르면, 스마트 디바이스는 사용자 위치 정보를 능동적으로 수집하는 방식 및 수동적으로 수집하는 방식 모두를 이용할 수도 있다. 스마트 디바이스는 사용자 위치 정보를 수동적으로 획득하는 것을 기본으로 하고, 요구되는 사용자 위치 정보가 저장되어 있지 아니한 경우, 사용자 위치 정보를 능동적으로 획득할 수도 있다.According to an embodiment of the present invention, the smart device may use both a method of actively collecting and passively collecting user location information. The smart device may be based on passively acquiring user location information, and may actively acquire user location information when the required user location information is not stored.
본 발명의 일 실시예에 따르면, 스마트 디바이스는 타겟 사용자 위치로의 지향성 피드백의 제공이 요청된 경우, 타겟 사용자의 위치 정보가 저장되어 있는지 판단하고, 타겟 사용자의 위치 정보가 저장되어 있지 않은 경우, 타겟 사용자의 위치 정보를 요청하는 절차를 개시하고, 타겟 사용자 위치 정보를 획득하고, 획득한 타겟 사용자 위치 정보에 기초하여 피드백을 출력할 수 있다. According to an embodiment of the present invention, when the smart device is requested to provide the directional feedback to the target user location, the smart device determines whether the location information of the target user is stored, and if the location information of the target user is not stored, The procedure for requesting location information of the target user may be initiated, the target user location information may be obtained, and the feedback may be output based on the obtained target user location information.
2.2 사용자 지향성 토크-백2.2 User-Directed Talk-Back
본 발명의 일 실시예에 따르면, 스마트 디바이스는 사용자 지향 토크-백을 출력할 수 있다. 스마트 디바이스는 사용자 위치 정보를 획득하고, 획득한 사용자 위치 정보를 고려하여 사용자 지향 토크- 백을 출력할 수 있다.According to one embodiment of the invention, the smart device may output a user-oriented talk-back. The smart device may acquire the user location information and output the user-oriented talk-back in consideration of the obtained user location information.
예를 들어, 스마트 디바이스는 사용자 위치 정보를 획득하고, 획득한 사용자 위치 정보에 대응되는 방향으로 토크-백을 출력할 수 있다. 스마트 디바이스는 마이크 모듈을 이용하여 보이스를 발화한 사용자의 스마트 디바이스에 대한 방향 정보를 획득하고, 스피커 모듈을 이용하여, 사용자가 위치하는 방향으로 지향성 토크-백을 출력할 수 있다.For example, the smart device may acquire user location information and output a talk-back in a direction corresponding to the acquired user location information. The smart device may obtain direction information on the smart device of the user who uttered the voice by using the microphone module and output the directional talk-back in the direction in which the user is located by using the speaker module.
본 발명의 일 실시예에 따르면, 스마트 디바이스는 소정의 지시자가 포함된 보이스 커맨드를 획득하고, 사용자 지향 토크-백을 출력할 수 있다.According to an embodiment of the present invention, the smart device may obtain a voice command including a predetermined indicator and output a user-oriented talk-back.
도 10은 본 발명의 일 실시예에 따른 사용자 지향성 토크-백을 수행하는 스마트 디바이스(100)를 도시한 것이다. 도 10을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(100)는 사용자의 보이스, 예컨대, "How is the weather today?"를 획득하고, 획득된 보이스가 발화된 방향을 검출할 수 있다. 스마트 디바이스(100)는 복수의 마이크를 포함하고, 각각의 마이크로부터 획득된 오디오 신호를 비교하여 보이스가 발화된 방향을 검출할 수 있다. 10 illustrates a smart device 100 for performing user-oriented talk-back in accordance with one embodiment of the present invention. Referring to FIG. 10, the smart device 100 according to an embodiment of the present invention may acquire a voice of a user, for example, “How is the weather today?” And detect a direction in which the obtained voice is uttered. . The smart device 100 may include a plurality of microphones and detect a direction in which the voice is uttered by comparing audio signals obtained from the respective microphones.
스마트 디바이스(100)는 획득된 발화 방향에 기초하여 사용자의 위치 정보를 획득하고, 사용자의 위치에 대응되는 방향으로 토크-백을 출력할 수 있다. 스마트 디바이스(100)는 복수의 스피커를 포함하고, 복수의 스피커 중 일부의 스피커를 이용하여 사용자의 위치에 대한 지향성 토크-백을 출력할 수 있다.The smart device 100 may obtain location information of the user based on the obtained utterance direction, and output the talk-back in a direction corresponding to the location of the user. The smart device 100 may include a plurality of speakers, and may output a directional talk-back of a user's position using a speaker of some of the plurality of speakers.
2.3 사용자 지향성 디스플레이-백2.3 User-Oriented Display-Back
본 발명의 다른 일 실시예에 따르면, 스마트 디바이스는 사용자 위치 정보를 획득하고, 사용자 지향 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 프로젝터 모듈을 포함하는 스마트 프로젝터이고, 스마트 프로젝터는 사용자 지향 프로젝션을 수행할 수 있다. 이하에서, 지향성 디스플레이-백을 수행하는 스마트 프로젝터에 대하여, 별다른 언급이 없는 한, 전술한 제5 타입 스마트 프로젝터(100e)의 내용이 적용될 수 있다.According to another embodiment of the present invention, the smart device may obtain user location information and output a user-oriented display-back. The smart device is a smart projector that includes a projector module, and the smart projector can perform user-oriented projection. Hereinafter, for the smart projector that performs the directional display-back, the contents of the above-described fifth type smart projector 100e may be applied unless otherwise stated.
2.3.1 동작 2.3.1 Action
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 사용자 위치 정보를 획득하고, 사용자 위치 정보를 고려하여 사용자 지향 디스플레이-백을 출력할 수 있다. 스마트 프로젝터는 획득한 사용자 위치 정보에 대응되는 방향으로 디스플레이-백을 출력할 수 있다. According to an embodiment of the present invention, the smart projector may acquire user location information and output a user-oriented display-back in consideration of the user location information. The smart projector may output the display-back in a direction corresponding to the acquired user location information.
스마트 프로젝터는 사용자 위치 정보를 획득하고, 사용자 위치 정보를 고려하여 결정된 투영 영역에 영상 내지 디스플레이-백을 출력할 수 있다. 투영 영역은 미리 정해진 복수의 예비 투영 영역 중에서 선택될 수 있다. 스마트 프로젝터는 사용자 위치 정보를 획득하고, 사용자 위치 정보를 고려하여 결정된 투사 방향으로 광을 투사하여 디스플레이-백을 출력할 수 있다.The smart projector may acquire user location information and output an image or display-back to the projection area determined in consideration of the user location information. The projection area may be selected from a plurality of predetermined preliminary projection areas. The smart projector may obtain user location information and output light by projecting light in a projection direction determined in consideration of the user location information.
예를 들어, 스마트 프로젝터는, 마이크 모듈을 이용하여, 보이스 커맨드를 획득하고, 보이스 커맨드를 포함하는 보이스가 발화된 사용자 방향 정보를 획득하고, 사용자 방향 정보를 고려하여 결정된 투영 영역에 디스플레이-백을 출력할 수 있다. 스마트 프로젝터는 사용자 방향 정보를 고려하여 결정된 투사 방향으로 광을 투사 할 수 있다.For example, the smart projector uses a microphone module to acquire a voice command, obtain voice direction in which the voice including the voice command is uttered, and display-back the projection area determined in consideration of the user direction information. You can print The smart projector may project light in a projection direction determined in consideration of user direction information.
다른 예를 들어, 스마트 프로젝터는, 카메라 모듈을 이용하여, 사용자 위치 정보를 획득하고, 획득된 위치 정보에 따라 사용자가 디스플레이-백을 용이하게 인식할 수 있는 위치에 디스플레이-백을 투사할 수 있다. As another example, the smart projector may acquire user location information using the camera module and project the display back to a location where the user can easily recognize the display back according to the acquired location information. .
도 11 및 도 12는 본 발명의 일 실시예에 따른 사용자 지향성 디스플레이-백을 수행하는 스마트 프로젝터(100)를 도시한 것이다. 도 11 및 도 12를 참조하면, 스마트 프로젝터(100)는 바닥 투영 모드(제1 모드) 및 벽 투영 모드(제2 모드)에서의 지향성 디스플레이-백을 달리 수행할 수 있다. 11 and 12 illustrate a smart projector 100 for performing user directional display-back in accordance with one embodiment of the present invention. 11 and 12, the smart projector 100 may perform directional display-back in the bottom projection mode (first mode) and the wall projection mode (second mode) differently.
도 11의 (a)를 참조하면, 스마트 프로젝터가 제1 모드일 때, 스마트 프로젝터(100)는 사용자가 위치하는 방향으로 디스플레이-백을 출력할 수 있다. 스마트 프로젝터가 제1 모드일 때, 스마트 프로젝터는 사용자의 시야 내에 내지 사용자의 인근에 제1 투영 영역(20a)이 위치되도록, 사용자가 위치하는 방향으로 디스플레이-백의 투사 방향 또는 투사 방향이 선택되는 범위를 결정할 수 있다.Referring to FIG. 11A, when the smart projector is in the first mode, the smart projector 100 may output the display-back in the direction in which the user is located. When the smart projector is in the first mode, the smart projector is a range in which the projection direction or the projection direction of the display-back is selected in the direction in which the user is positioned so that the first projection area 20a is located within the user's field of vision or in the vicinity of the user. Can be determined.
도 11의 (b)를 참조하면, 스마트 프로젝터가 제1 모드일 때, 스마트 프로젝터(100)는 사용자의 위치가 변경됨에 따라, 디스플레이-백의 투영 영역 또는 투사 방향을 변경할 수 있다. 스마트 프로젝터(100)는 사용자의 이동에 대응되는 방향으로 광의 출사 방향을 회동하여, 디스플레이-백의 투영 영역을 제1 투영 영역(20a)에서 제2 투영 영역(20a')으로 변경할 수 있다.Referring to FIG. 11B, when the smart projector is in the first mode, the smart projector 100 may change the projection area or the projection direction of the display-back as the position of the user is changed. The smart projector 100 may rotate the light emitting direction in a direction corresponding to the movement of the user, thereby changing the display area of the display-back from the first projection area 20a to the second projection area 20a '.
도 12의 (a)를 참조하면, 스마트 프로젝터가 제2 모드일 때, 스마트 프로젝터(100)가 제1 모드일 때, 스마트 프로젝터(100)는 사용자의 스마트 프로젝터(100)에 대한 방향의 반대 방향으로 디스플레이-백을 출력할 수 있다. 스마트 프로젝터(100)가 제2 모드일 때, 스마트 프로젝터(100)는 사용자의 맞은 편에 영상이 투영되도록, 사용자가 위치하는 방향의 반대 방향으로 디스플레이-백의 투사 방향 또는 투사 방향이 선택되는 범위를 결정할 수 있다.Referring to FIG. 12A, when the smart projector is in the second mode, when the smart projector 100 is in the first mode, the smart projector 100 is opposite to the direction of the user's smart projector 100. You can output the display back. When the smart projector 100 is in the second mode, the smart projector 100 sets a range in which the projection direction or the projection direction of the display-back is selected in a direction opposite to the direction in which the user is positioned so that an image is projected opposite to the user. You can decide.
도 12의 (b)를 참조하면, 스마트 프로젝터가 제2 모드일 때, 스마트 프로젝터(100)는 사용자의 이동에 대응하여, 디스플레이-백의 투영 영역을 제1 투영 영역(20b)에서 제2 투영 영역(20b')으로 변경할 수 있다. 스마트 프로젝터(100)는 사용자의 이동에 대응하여, 디스플레이-백이 투영되는 벽면이 변경되도록 광의 출사 방향을 회동할 수 잇다.Referring to FIG. 12B, when the smart projector is in the second mode, the smart projector 100 may change the display-back projection area from the first projection area 20b to the second projection area in response to the movement of the user. Can be changed to (20b '). The smart projector 100 may rotate the light emitting direction so that the wall surface on which the display-back is projected is changed in response to the movement of the user.
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 사용자 위치 정보를 획득하고, 전술한 벽 투영 모드 또는 바닥 투영 모드 중 적절한 모드를 선택하여, 선택된 모드에서의 지향성 디스플레이-백을 수행할 수도 있다.According to an embodiment of the present invention, the smart projector may acquire user position information, select an appropriate mode among the above-described wall projection mode or floor projection mode, and perform directional display-back in the selected mode.
2.3.2 지시자에 따른 동작2.3.2 Behavior according to the indicator
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 지향 지시자를 포함하는 보이스 커맨드를 획득하고, 지향 지시자에 대응되는 방향으로 디스플레이-백의 프로젝션을 수행할 수 있다. 지향 지시자는 지향성 디스플레이-백을 요청할 수 있다. 지향 지시자는 광의 투사 방향 또는 방향의 결정 기준을 지시할 수 있다.According to an embodiment of the present invention, the smart projector may obtain a voice command including a directing indicator and perform display-back projection in a direction corresponding to the directing indicator. The direction indicator may request a directional display-back. The directing indicator may indicate a criterion for determining the projection direction or the direction of light.
지향 지시자는 디스플레이-백의 투사 방향을 직접적으로 지시하는 방향 지시자일 수 있다. 방향 지시자는 기준 방향을 기준으로 광의 투사 방향을 지시할 수 있다. 방향 지시자는 기준 방향에 대한 회전 방향 및 정도를 지시할 수 있다. 방향 지시자는 광의 투사 방향 또는 프로젝터 모듈의 회동 방향 및 회동 정도에 대한 정보를 포함할 수 있다.The direction indicator may be a direction indicator that directly indicates the projection direction of the display-back. The direction indicator may indicate the projection direction of the light with respect to the reference direction. The direction indicator may indicate the direction and degree of rotation with respect to the reference direction. The direction indicator may include information about the projection direction of the light or the rotation direction and the degree of rotation of the projector module.
방향 지시자는 광의 투사 방향을 간접적으로 지시할 수 있다. 방향 지시자는 타겟 오브젝트를 지시할 수 있다. 스마트 프로젝터는 타겟 오브젝트를 지시하는 방향 지시자를 포함하는 보이스 커맨드를 획득하고, 타겟 오브젝트가 위치하는 방향으로 디스플레이-백을 투사할 수 있다. 일 예로, 타겟 오브젝트는 보이스 커맨드를 발화한 사용자일 수 있다.The direction indicator may indirectly indicate the projection direction of the light. The direction indicator may indicate the target object. The smart projector may obtain a voice command including a direction indicator indicating the target object, and project the display-back in the direction in which the target object is located. For example, the target object may be a user who utters a voice command.
방향 지시자는 스마트 프로젝터의 작동 모드와 관련된 정보를 포함할 수도 있다. 스마트 프로젝터는 작동 모드에 대한 정보를 포함하는 방향 지시자를 포함하는 보이스 커맨드를 획득하고, 작동 모드 및 투사 방향을 변경할 수 있다. The direction indicator may include information related to the operation mode of the smart projector. The smart projector may obtain a voice command including a direction indicator including information on the operation mode, and change the operation mode and the projection direction.
예컨대, 스마트 프로젝터는 제1 모드에서 방향 지시자를 포함하는 보이스 커맨드를 획득하고, 제2 모드로 변경하고 방향 지시자에 대응되는 방향으로 디스플레이-백을 출력할 수 있다. For example, the smart projector may acquire a voice command including the direction indicator in the first mode, change to the second mode, and output the display-back in the direction corresponding to the direction indicator.
스마트 프로젝터는 사용자 지향성 피드백을 요청하는 사용자 지시자를 포함하는 보이스 커맨드를 획득하고, 사용자 위치에 대응되는 방향으로 디스플레이-백의 프로젝션을 수행할 수 있다. 사용자 지시자는 보이스 커맨드에 포함되고 특정 사용자 식별에 이용되는 사용자 식별 정보일 수 있다.The smart projector may obtain a voice command including a user indicator requesting user-directed feedback and perform projection of the display-back in a direction corresponding to the user position. The user indicator may be user identification information included in the voice command and used for identifying a specific user.
2.4 장치2.4 Device
도 13은 본 발명의 일 실시예에 따른 스마트 프로젝터로서, 지향성 디스플레이-백을 수행하는 스마트 프로젝터의 일 예를 도시한 것이다. 도 13을 참조하면, 스마트 프로젝터(2000)는 마이크 모듈, 스피커 모듈, 프로젝터 모듈 및 제어부를 포함할 수 있다. FIG. 13 illustrates an example of a smart projector performing a directional display-back as a smart projector according to an embodiment of the present invention. Referring to FIG. 13, the smart projector 2000 may include a microphone module, a speaker module, a projector module, and a controller.
이외에도, 스마트 프로젝터는(2000) 스마트 디바이스와 관련하여 전술한 다양한 모듈들을 더 포함할 수 있다. 또한, 각 모듈 및 스마트 프로젝터(2000)에 대한 내용은 스마트 디바이스에 대하여 전술한 것과 유사하게 구현될 수 있다.In addition, the smart projector 2000 may further include various modules described above with respect to the smart device. In addition, the contents of each module and the smart projector 2000 may be implemented similarly to those described above for the smart device.
스마트 프로젝터(2000)는 오디오를 획득하는 마이크 모듈(2010)을 포함할 수 있다. 마이크 모듈(2010)은 보이스 커맨드를 포함하는 보이스를 획득할 수 있다.The smart projector 2000 may include a microphone module 2010 for obtaining audio. The microphone module 2010 may obtain a voice including a voice command.
스마트 프로젝터(2000) 광학 신호를 획득하는 카메라 모듈(2030)을 선택적으로 포함할 수 있다. 카메라 모듈(2030)은 이미지 정보, 공간 정보 등을 획득할 수 있다.The smart projector 2000 may optionally include a camera module 2030 for acquiring an optical signal. The camera module 2030 may acquire image information, spatial information, and the like.
스마트 프로젝터(2000)는 오디오를 출력하는 스피커 모듈(2050)을 포함할 수 있다. 스피커 모듈(2050)은 토크-백을 출력할 수 있다.The smart projector 2000 may include a speaker module 2050 for outputting audio. The speaker module 2050 may output the talk-back.
스마트 프로젝터(2000)는 광을 출사하여 영상을 출력하는 프로젝터 모듈(2070)을 포함할 수 있다. 프로젝터 모듈(2070)은 회전 가능하도록 마련될 수 있다. 프로젝터 모듈()은 스마트 프로젝터의 하우징에 대하여 회전할 수 있다. 프로젝터 모듈(2070)은 스마트 프로젝터 내에 마련된 회전판과 일체로서 회전할 수 있다. The smart projector 2000 may include a projector module 2070 that emits light to output an image. The projector module 2070 may be provided to be rotatable. The projector module () may rotate relative to the housing of the smart projector. The projector module 2070 may rotate integrally with the rotating plate provided in the smart projector.
제어부(2090)는 스마트 프로젝터(2000)가 지향성 피드백을 수행하도록 제어할 수 있다. 제어부(2090)는 마이크 모듈(2010) 및/또는 카메라 모듈(2030)을 통하여 사용자 위치 정보를 획득할 수 있다. The controller 2090 may control the smart projector 2000 to perform directional feedback. The controller 2090 may acquire user location information through the microphone module 2010 and / or the camera module 2030.
제어부(2090)는 마이크 모듈(2010)을 이용하여 획득한 사용자의 보이스가 발화된 방향을 검출하고, 보이스가 검출된 방향 및 발화된 보이스의 음량에 기초하여 사용자 위치 정보를 획득할 수 있다. 제어부(2090)는 카메라 모듈(2030)을 이용하여 공간 정보를 획득하고, 공간 정보에 기초하여 인근에 위치하는 사용자 위치 정보를 획득할 수 있다.The controller 2090 may detect a direction in which the voice of the user is obtained using the microphone module 2010 and obtain user location information based on the direction in which the voice is detected and the volume of the spoken voice. The controller 2090 may acquire spatial information by using the camera module 2030, and may acquire user location information located nearby based on the spatial information.
제어부(2090)는 사용자 위치 정보를 이용하고 프로젝터 모듈(2070) 및/또는 스피커 모듈(2050을 통하여 지향성 피드백을 수행할 수 있다. 제어부(2090)는 사용자 위치 정보에 기초한 지향성 토크-백을 스피커 모듈(2050)을 통하여 출력할 수 있다. 제어부(2090)는 사용자 위치 정보에 기초한 지향성 디스플레이-백을 프로젝터 모듈(2070)을 통하여 출력할 수 있다. The controller 2090 may use the user position information and perform directional feedback through the projector module 2070 and / or the speaker module 2050. The controller 2090 may generate a directional talk-back based on the user position information. The controller 2090 may output the directional display-back based on the user location information through the projector module 2070.
3. 복수 사용자 환경에서의 지향성 피드백3. Directional Feedback in a Multi-User Environment
전술한 사용자 지향성 피드백의 출력은, 복수의 사용자가 존재하는 경우에도 이용될 수 있다. 사용자 지향성 피드백의 출력은, 복수의 사용자가 존재하는 환경에서는 그 양상이 달라질 수 있다. The above-described output of the user directivity feedback may be used even when there are a plurality of users. The output of the user-directed feedback may vary in an environment in which a plurality of users exist.
스마트 디바이스는 복수의 사용자가 존재하는 경우에 복수 사용자의 위치 정보를 고려하여 피드백을 출력할 수 있다. 특히, 스마트 프로젝터는 복수 사용자의 위치 정보를 고려하여 디스플레이-백의 출력을 수행할 수 있다. When there are a plurality of users, the smart device may output feedback in consideration of the location information of the plurality of users. In particular, the smart projector may perform output of the display-back in consideration of location information of a plurality of users.
이하에서는, 복수의 사용자가 존재하는 경우, 디스플레이-백을 출력하는 스마트 프로젝터 또는 디스플레이 백을 출력하도록 스마트 프로젝터를 제어하는 방법 등의 몇몇 실시예에 대하여 설명한다. 또한, 이하에서 특별한 언급이 없는 한, 스마트 프로젝터에 대하여, 전술한 제5 타입 스마트 프로젝터에 대한 내용이 적용될 수 있다.Hereinafter, some embodiments will be described, such as a smart projector that outputs a display-back or a method of controlling the smart projector to output a display back when there are a plurality of users. Also, unless otherwise mentioned below, the above-described fifth type smart projector may be applied to the smart projector.
3.1 복수의 사용자 타겟 3.1 Multiple user targets
본 발명의 일 실시예에 따르면, 복수의 사용자가 존재하고, 복수의 사용자가 스마트 프로젝터에 의해 출력되는 디스플레이-백을 공유할 것이 요청되는 경우가 있을 수 있다. 예컨대, 둘 이상의 사용자가 영상 컨텐츠를 시청하고자 하는 경우에, 스마트 프로젝터는 고려되는 시청자들 모두가 시청 가능한 위치로 적절히 선택된 투영 영역에 영상 컨텐츠를 투영할 수 있다.According to an embodiment of the present invention, there may be a case where a plurality of users exist and a plurality of users are requested to share the display-back output by the smart projector. For example, when two or more users want to watch the image content, the smart projector may project the image content to a projection area appropriately selected to a position where all the viewers considered can be viewed.
이하에서는, 복수의 사용자에게 디스플레이-백을 제공하는 방법 등에 대하여 몇몇 실시 예를 들어 설명한다.Hereinafter, some embodiments will be described with respect to a method of providing a display-back to a plurality of users.
3.1.1 동작 3.1.1 Action
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 복수의 사용자를 타겟 사용자로서 인식하고 복수의 타겟 사용자를 위한 투영 영역에 디스플레이-백을 출력할 수 있다. According to an embodiment of the present invention, the smart projector may recognize the plurality of users as the target user and output the display-back to the projection area for the plurality of target users.
스마트 프로젝터는 보이스 커맨드를 획득하고, 보이스를 발화한 사용자를 포함하는 복수의 타겟 사용자의 사용자 위치 정보를 고려하여, 복수의 타겟 사용자가 인식할 수 있도록 결정된 투영 영역에 디스플레이-백을 출력할 수 있다. 투영 영역은 벽면 또는 바닥면에서 선택될 수 있다.The smart projector may obtain a voice command and output the display-back to the projection area determined to be recognized by the plurality of target users in consideration of user location information of the plurality of target users including the user who uttered the voice. . The projection area can be selected on the wall or the bottom.
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 적어도 하나의 타겟 사용자를 인식할 수 있다. 스마트 프로젝터는 카메라 모듈 및/또는 마이크 모듈을 이용하여 타겟 사용자를 인식할 수 있다. 스마트 프로젝터는 미리 저장된 식별 정보에 기초하여 타겟 사용자를 인식할 수 있다.According to an embodiment of the present invention, the smart projector may recognize at least one target user. The smart projector may recognize the target user by using the camera module and / or the microphone module. The smart projector may recognize the target user based on the previously stored identification information.
예를 들어, 스마트 프로젝터는 복수의 사용자를 타겟 사용자 또는 타겟 사용자 그룹으로 인식할 수 있다. 스마트 프로젝터는 스마트 프로젝터로부터 소정 거리 이내에 위치하는 사용자들을 타겟 사용자들로 인식할 수 있다. For example, the smart projector may recognize a plurality of users as target users or target user groups. The smart projector may recognize users located within a predetermined distance from the smart projector as target users.
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 복수의 타겟 사용자에게 디스플레이-백을 제공할 수 있다. According to one embodiment of the invention, the smart projector may provide a display-back to a plurality of target users.
예를 들어, 타겟 사용자는 제1 사용자 및 제2 사용자를 포함하고, 스마트 프로젝터는 제1 사용자 및 제2 사용자에게 순차로 디스플레이-백을 제공할 수 있다. 스마트 프로젝터는 보이스 커맨드를 포함하는 보이스를 발화하는 사용자가 변경되면, 변경된 사용자의 위치에 대응되는 영역으로 투영 영역을 조정할 수 있다.For example, the target user may include a first user and a second user, and the smart projector may sequentially provide display-back to the first user and the second user. When the user who utters the voice including the voice command is changed, the smart projector may adjust the projection area to an area corresponding to the changed user's position.
도 14는 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 14 is a diagram illustrating a display-back of the smart projector 100 according to an embodiment of the present invention.
도 14의 (a)를 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)의 보이스 커맨드에 응답하여 제1 사용자(User 1)의 위치에 대응되는 제1 투영 영역(20c)에 디스플레이-백을 투영할 수 있다. 도 14의 (b)를 참조하면, 스마트 프로젝터(100)는 제2 사용자(User 2)의 보이스 커맨드에 응답하여 제2 사용자(User 2)의 위치에 대응되는 제2 투영 영역(20c')에 디스플레이-백이 출력되도록 투영 영역을 조정할 수 있다. Referring to FIG. 14A, the smart projector 100 displays the first projection area 20c corresponding to the position of the first user 1 in response to a voice command of the first user User 1. Can project the back. Referring to FIG. 14B, the smart projector 100 may respond to the voice command of the second user 2 in the second projection area 20c ′ corresponding to the position of the second user 2. The projection area can be adjusted to output the display-back.
도 14의 (a) 및 (b)를 참조하면, 스마트 프로젝터(100)는 제1 투영 영역(20c)에 디스플레이-백을 출력하고 있는 상태에서, 제2 사용자(User 2)의 보이스 커맨드를 획득하고, 제2 투영 영역(20c')으로 투영 영역을 변경할 수 있다.Referring to FIGS. 14A and 14B, the smart projector 100 obtains a voice command of a second user User 2 while outputting a display-back to the first projection area 20c. The projection area can be changed to the second projection area 20c '.
다른 예를 들어, 타겟 사용자는 제1 사용자 및 제2 사용자를 포함하고, 스마트 프로젝터는 제1 사용자 및 제2 사용자가 함께 디스플레이-백을 관찰할 수 있도록 결정된 투영 영역에 디스플레이-백을 출력할 수 있다. 또한, 스마트 프로젝터는 제1 사용자 및/또는 제2 사용자의 위치가 변경되면, 디스플레이-백이 투영되는 투영 영역을 변경할 수 있다.In another example, the target user includes a first user and a second user, and the smart projector can output the display-back to the determined projection area so that the first user and the second user can observe the display-back together. have. In addition, the smart projector may change the projection area where the display-back is projected when the position of the first user and / or the second user is changed.
도 15는 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 도 15의 (a) 및 (b)를 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1) 및 제2 사용자(User 2)가 모두 관찰 가능한 벽면 상에서 결정된 투영 영역에 디스플레이-백을 출력할 수 있다. FIG. 15 illustrates a display-back of the smart projector 100 according to an embodiment of the present invention. Referring to FIGS. 15A and 15B, the smart projector 100 outputs a display-back to a projection area determined on a wall where both a first user 1 and a second user 2 can observe. can do.
도 15의 (a)를 참조하면, 제1 사용자(User 1) 및 제2 사용자(User 2)가 스마트 프로젝터에 대하여 위치하는 방향이 인접한 경우, 스마트 프로젝터(100)는 제1 사용자(User 1) 및 제2 사용자(User 2)와 마주보는 벽면 상에서 결정된 투영 영역에 디스플레이-백을 출력할 수 있다 Referring to FIG. 15A, when the directions in which the first user User 1 and the second user User 2 are located with respect to the smart projector are adjacent to each other, the smart projector 100 may be the first user User 1. And display-back to a projection area determined on a wall facing the second user (User 2).
도 15의 (b)를 참조하면, 제1 사용자(User 1) 및 제2 사용자(User 2)가 스마트 프로젝터(100)에 대하여 위치하는 방향이 소정 간격 이상 이격된 경우, 스마트 프로젝터(100)는 제1 사용자(User 1)가 등지는 벽면 및 제2 사용자(User 2)가 등지는 벽면을 제외한 벽면 상에서 결정된 투영 영역에 디스플레이-백을 출력할 수 있다.Referring to FIG. 15B, when the directions in which the first user User 1 and the second user User 2 are located with respect to the smart projector 100 are separated by a predetermined interval or more, the smart projector 100 may be The display-back may be output to the projection area determined on the wall surface except the wall where the first user User 1 is back and the wall where the second user 2 is back.
도 15의 (a) 및 (b)를 참조하면, 제1 사용자(User 1)의 위치가 변경된 경우, 스마트 프로젝터(100)는 디스플레이-백이 출력되는 투영 영역을 조정할 수 있다. 스마트 프로젝터(100)는 제1 벽면 상에서 결정된 제1 투영 영역(20d)에 디스플레이-백을 출력하고 있는 상태에서, 제2 사용자(User 2)의 보이스 커맨드를 획득하고, 제2 벽면 상에서 결정된 제2 투영 영역(20d')으로 투영 영역을 변경할 수 있다.Referring to FIGS. 15A and 15B, when the position of the first user User 1 is changed, the smart projector 100 may adjust the projection area where the display-back is output. The smart projector 100 obtains a voice command of the second user User 2 while outputting the display-back to the first projection area 20d determined on the first wall, and then determines the second determined on the second wall. The projection area can be changed to the projection area 20d '.
도 16은 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 도 16의 (a) 및 (b)를 참조하면, 스마트 프로젝터(100)는 바닥면(즉, 테이블 면)에 있어서 제1 사용자(User 1) 및 제2 사용자(User 2)가 위치하는 방향을 고려하여 결정된 투영 영역(20e)에 디스플레이-백을 출력할 수 있다. 16 is a diagram illustrating a display-back of the smart projector 100 according to an embodiment of the present invention. Referring to FIGS. 16A and 16B, the smart projector 100 may determine a direction in which a first user User 1 and a second user User 2 are located on a floor surface (ie, a table surface). The display-back may be output to the projection area 20e determined in consideration.
도 16의 (a)를 참조하면, 스마트 프로젝터(100)에 대하여 제1 사용자(User 1)가 위치하는 방향 및 스마트 프로젝터(100)에 대하여 제2 사용자(User 2)가 위치하는 방향이 인접하는 경우, 스마트 프로젝터(100)는 제1 사용자(User 1) 및 제2 사용자(User 2)가 위치하는 방향으로 디스플레이-백을 투사할 수 있다.Referring to FIG. 16A, the direction in which the first user User 1 is positioned with respect to the smart projector 100 and the direction in which the second user User 2 is positioned with respect to the smart projector 100 are adjacent to each other. In this case, the smart projector 100 may project the display-back in the direction in which the first user User 1 and the second user User 2 are located.
도 16의 (b)를 참조하면, 스마트 프로젝터(100)에 대하여 제1 사용자(User 1)가 위치하는 방향 및 스마트 프로젝터(100)에 대하여 제2 사용자(User 2)가 위치하는 방향이 소정 간격 이상 이격된 경우, 스마트 프로젝터(100)는 제1 사용자(User 1) 및 제2 사용자(User 2)가 위치하는 방향의 중간 방향으로 디스플레이-백을 투사할 수 있다. Referring to FIG. 16B, the direction in which the first user User 1 is located with respect to the smart projector 100 and the direction in which the second user 2 is located with respect to the smart projector 100 are predetermined intervals. In the case of spaced apart, the smart projector 100 may project the display-back in the middle of the direction in which the first user User 1 and the second user User 2 are located.
도 16의 (a) 및 (b)를 참조하면, 스마트 프로젝터(100)는 디스플레이-백이 출력되는 투영 영역(20e)을 제2 사용자(User 2)의 이동에 대응하여 변경할 수 있다. 스마트 프로젝터(100)는, 제2 사용자(User 2)가 이동함에 따라, 디스플레이-백이 출력되는 투영 영역을 제1 영역(20e)에서 제2 영역(20e')으로 조정할 수 있다.Referring to FIGS. 16A and 16B, the smart projector 100 may change the projection area 20e through which the display-back is output in response to the movement of the second user 2. As the second user User 2 moves, the smart projector 100 may adjust the projection area where the display-back is output from the first area 20e to the second area 20e '.
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 복수의 타겟 사용자의 위치 정보를 고려하여 결정된 투영 영역에 디스플레이-백을 출력할 수 있다.According to an embodiment of the present invention, the smart projector may output the display-back to the projection area determined in consideration of the location information of the plurality of target users.
도 17은 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 도 17을 참조하면, 타겟 사용자는 제1 사용자(User 1) 및 제2 사용자(User 2)를 포함하고, 디스플레이-백의 투사 방향 또는 투영 영역(20f)은 제1 사용자(User 1)의 스마트 프로젝터(100)에 대한 방향 및 제2 사용자(User 2)의 스마트 프로젝터(100)에 대한 방향의 중간 영역에서 선택될 수 있다. 17 is a view for explaining a display-back of the smart projector 100 according to an embodiment of the present invention. Referring to FIG. 17, the target user includes a first user User 1 and a second user User 2, and the projection direction or the projection area 20f of the display-back is the smart projector of the first user User 1. It may be selected in the middle area of the direction for the 100 and the direction for the smart projector 100 of the second user (User 2).
도 17을 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)가 위치하는 방향 및 제2 사용자(User 2)가 위치하는 방향의 중간 방향을 향하여 광을 출사하여, 디스플레이-백을 출력할 수 있다. 광의 출사 방향은, 출사 방향과 제1 사용자(User 1)가 위치하는 방향이 이루는 각도 d1 및 출사 방향과 제2 사용자(User 2)가 위치하는 방향이 이루는 각도 d2가 같도록 결정될 수 있다.Referring to FIG. 17, the smart projector 100 emits light toward a middle direction of a direction in which a first user 1 is located and a direction in which a second user 2 is located, and outputs a display-back. can do. The emission direction of the light may be determined such that the angle d1 formed by the emission direction and the direction in which the first user User 1 is located and the angle d2 formed by the emission direction and the direction in which the second user User 2 are located are the same.
도 18은 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 도 18을 참조하면, 타겟 사용자는 제1 사용자(User 1) 및 제2 사용자(User 2)를 포함하고, 투영 영역(20g) 또는 투사 방향은 제1 사용자(User 1)의 스마트 프로젝터로(100)부터의 거리 및 제2 사용자(User 2)의 스마트 프로젝터(100)로부터의 거리를 고려하여 결정될 수 있다. 18 is a view for explaining a display-back of the smart projector 100 according to an embodiment of the present invention. Referring to FIG. 18, the target user includes a first user User 1 and a second user User 2, and the projection area 20g or the projection direction is the smart projector 100 of the first user 1. ) And a distance from the smart projector 100 of the second user (User 2).
도 18을 참조하면, 제2 사용자(User 2)의 스마트 프로젝터로(100)부터의 거리 r2가 제1 사용자의 스마트 프로젝터(100)로부터의 거리 r1 보다 긴 경우, 투영 영역(20g) 또는 투사 방향은 제2 사용자(User 2)가 위치하는 방향으로 치우치도록 결정될 수 있다. 또는, 반대로, 투영 영역(20g) 또는 투사 방향은 제1 사용자(User 1)가 위치하는 방향으로 치우치도록 결정될 수 있다. Referring to FIG. 18, when the distance r2 from the smart projector 100 of the second user 2 is longer than the distance r1 from the smart projector 100 of the first user, the projection area 20g or the projection direction May be determined to be biased in the direction in which the second user 2 is located. Alternatively, on the contrary, the projection area 20g or the projection direction may be determined to be biased in the direction in which the first user User 1 is located.
도 19는 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 도 19를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100)는 복수의 사용자에 의해 요청된 복수의 컨텐츠를 하나의 디스플레이-백을 통하여 출력할 수 있다. 19 is a view for explaining a display-back of the smart projector 100 according to an embodiment of the present invention. Referring to FIG. 19, the smart projector 100 according to an exemplary embodiment may output a plurality of contents requested by a plurality of users through one display-back.
도 19를 참조하면, 스마트 프로젝터(100)는 투영 영역(20h)를 제1 서브 영역(20h-1) 및 제2 서브 영역(20h-2)으로 분할하여 출력할 수 있다. 스마트 프로젝터(100)는 제1 서브 영역(20h-1)에 제1 사용자에 의해 요청된 제1 컨텐츠를 출력하고, 제2 서브 영역(20h-2)에 제2 사용자에 의해 요청된 제2 컨텐츠를 출력할 수 있다.Referring to FIG. 19, the smart projector 100 may divide the projection area 20h into a first sub area 20h-1 and a second sub area 20h-2 and output the divided area. The smart projector 100 outputs the first content requested by the first user in the first sub area 20h-1, and the second content requested by the second user in the second sub area 20h-2. You can output
스마트 프로젝터(100)는 제1 사용자(User 1)로부터 제1 컨텐츠를 요청하는 제1 보이스 커맨드를 획득하고, 제2 사용자(User 2)로부터 제2 컨텐츠를 요청하는 제2 보이스 커맨드를 획득하고, 제1 컨텐츠 및 제2 컨텐츠를 하나의 디스플레이-백을 통하여 출력할 수 있다. 출력되는 영상의 레이아웃, 즉, 제1 컨텐츠 및 제2 컨텐츠의 배치는 사용자들의 위치, 거리 등을 고려하여 결정될 수 있다.The smart projector 100 obtains a first voice command requesting the first content from the first user User 1, obtains a second voice command requesting the second content from the second user User 2, The first content and the second content may be output through one display-back. The layout of the output image, that is, the arrangement of the first content and the second content may be determined in consideration of the location and distance of the users.
3.1.2 지시자에 따른 동작3.1.2 Actions according to the indicator
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 복수의 타겟 사용자에게 디스플레이-백을 제공할 것을 요청하는 보이스 커맨드를 획득하고, 복수의 타겟 사용자가 관찰할 수 있는 영역에 디스플레이-백을 출력할 수 있다. According to an embodiment of the present invention, the smart projector may obtain a voice command requesting the plurality of target users to provide the display-back, and output the display-back to an area that can be observed by the plurality of target users. have.
예를 들어, 스마트 프로젝터는 제1 사용자에 의해 발화되고 제1 보이스 커맨드를 포함하는 보이스를 획득하고, 제1 보이스 커맨드에 응답하여, 제1 사용자 및 제1 사용자가 아닌 제2 사용자를 향하여 디스플레이-백을 출력할 수 있다.For example, the smart projector acquires a voice that is uttered by the first user and includes the first voice command and, in response to the first voice command, displays toward the first user and a second user who is not the first user. You can output the bag.
스마트 프로젝터는 공유 지시자를 포함하는 보이스 커맨드를 포함하는 보이스를 획득하고, 공유 지시자에 대응되는 복수의 타겟 사용자가 관찰할 수 있는 위치로 결정된 투영 영역에 디스플레이-백을 출력할 수 있다.The smart projector may acquire a voice including a voice command including a sharing indicator, and output the display-back to the projection area determined as a position that can be observed by a plurality of target users corresponding to the sharing indicator.
보이스 커맨드는 복수의 타겟 사용자에게 디스플레이-백을 제공할 것을 요청하는 공유 지시자를 포함할 수 있다. 공유 지시자는 보이스 커맨드를 구성하는 문장에 포함되는 특정 의미를 가지는 어절 내지 형태소 등으로 미리 정해질 수 있다. 공유 지시자는 보이스 커맨드를 구성하는 문장에 포함되는 지시형 어절로서 미리 정해질 수 있다. The voice command may include a sharing indicator that requests a plurality of target users to provide display-back. The sharing indicator may be predetermined in terms of a word, a morpheme, or the like having a specific meaning included in a sentence constituting the voice command. The sharing indicator may be predetermined as a directive word included in a sentence constituting the voice command.
공유 지시자는 복수의 타겟 사용자를 인식하고, 복수의 타겟 사용자에게 디스플레이-백을 제공할 것을 요청하는 지시자일 수 있다. 공유 지시자는 디스플레이-백을 제공받을 타겟 사용자 그룹 또는 각각의 타겟 사용자를 지시 또는 암시하는 식별 정보를 포함할 수 있다. The sharing indicator may be an indicator that recognizes a plurality of target users and requests to provide display-back to the plurality of target users. The sharing indicator may include identification information indicating or implying the target user group or each target user to be provided with the display-back.
3.2 특정 사용자 타겟 3.2 Specific User Targets
본 발명의 일 실시예에 따르면, 발화하는 사용자와 디스플레이-백을 획득하는 사용자가 일치하지 않는 경우가 있을 수 있다. 예컨대, 복수의 사용자가 존재하고, 디스플레이-백을 통하여 정보를 획득한 사용자가 다른 사용자와 정보를 공유하기를 원하는 경우가 있을 수 있다. 이러한 경우에, 스마트 디바이스는 정보를 요청한 발화자가 아닌 다른 사용자에게 디스플레이-백을 제공할 수 있을 것이다. According to an embodiment of the present invention, there may be a case where the user who utters and the user who obtains the display-back do not match. For example, there may be a case where a plurality of users exist and a user who has obtained information through display-back wants to share information with other users. In this case, the smart device may provide display-back to a user other than the talker who requested the information.
이하에서는, 발화자와 피드백 획득자(또는 타겟 사용자)가 불일치하는 경우, 즉, 발화자의 보이스 커맨드에 의한 디스플레이-백을 비발화자에게 제공하는 방법 등에 대하여 몇몇 실시예를 들어 설명한다.Hereinafter, some embodiments will be described with respect to a method in which a talker and a feedback acquirer (or target user) are inconsistent, that is, a method of providing display-back by a talker's voice command to a non-talker.
3.2.1 동작 3.2.1 Action
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 발화자에 의해 발화된 보이스 커맨드를 획득하고, 비발화자를 향하여 영상을 출력할 수 있다. 스마트 프로젝터는 발화자에 의해 발화되고 보이스 커맨드를 포함하는 보이스를 획득하고, 보이스 커맨드에 기초하여 비발화자를 향하여 지향성 디스플레이-백을 출력할 수 있다.According to an embodiment of the present invention, the smart projector may acquire a voice command spoken by the talker and output an image toward the non-talker. The smart projector may obtain a voice that is uttered by the talker and includes the voice command, and output a directional display-back toward the non-talker based on the voice command.
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 보이스 커맨드를 획득하고, 특정 타겟 사용자가 정보를 획득할 수 있도록 결정된 위치로 디스플레이-백을 투영할 수 있다. 타겟 사용자는 정보를 요청하는 보이스 커맨드를 발화한 사용자와 다른 사용자일 수 있다.According to one embodiment of the invention, the smart projector can obtain a voice command and project the display-back to a determined location so that a specific target user can obtain the information. The target user may be a different user than the user who uttered the voice command requesting the information.
예컨대, 스마트 프로젝터는 제1 사용자(또는 발화자)에 의해 요청된 영상 피드백을 제1 사용자가 아닌 제2 사용자(또는 비발화자)를 향하여 투사할 수 있다. 제2 사용자는 여러 명일 수 있다.For example, the smart projector may project the image feedback requested by the first user (or talker) toward a second user (or non-talker) rather than the first user. There may be several second users.
도 20은 본 발명의 일 실시예에 따른 스마트 프로젝터(100)에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다. 도 20을 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)의 보이스 커맨드에 응답하여, 제2 사용자(User 2)를 향하여 디스플레이-백을 투영할 수 있다.20 is a diagram illustrating a display-back performed by the smart projector 100 according to an embodiment of the present invention. Referring to FIG. 20, the smart projector 100 may project the display-back toward the second user User 2 in response to a voice command of the first user User 1.
도 20을 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)를 향하여 광을 출사하여 제1 투영 영역(20i)에 디스플레이-백을 출력하고, 제1 사용자(User 1)의 보이스 커맨드를 획득하면, 투영 영역이 제2 투영 영역(20i')으로 조정 내지 변경되도록 광의 출사 방향을 변경할 수 있다.Referring to FIG. 20, the smart projector 100 emits light toward a first user User 1 to output a display-back to the first projection area 20i and to generate a voice command of the first user User 1. When obtaining, the emission direction of light may be changed so that the projection area is adjusted or changed to the second projection area 20i ′.
스마트 프로젝터(100)는 제1 사용자(User 1)에 의해 발화되고 보이스 커맨드를 포함하는 보이스를 획득하고, 보이스 커맨드에 응답하여, 제1 사용자(User 1)가 아닌 제2 사용자(User 2)를 향하여 디스플레이-백을 출력할 수 있다. The smart projector 100 obtains a voice that is uttered by the first user User 1 and includes a voice command, and, in response to the voice command, selects a second user User 2 that is not the first user User 1. Output display back.
스마트 프로젝터(100)는 제1 사용자(User 1)에 의해 발화된 보이스 커맨드를 획득하고, 보이스 커맨드에 포함된 사용자 식별 정보(예컨대, "Tom")에 기초하여 결정된 제2 사용자(User 2)를 향하여 광의 출사 방향을 회전시킬 수 있다.The smart projector 100 obtains a voice command uttered by the first user User 1, and acquires a second user User 2 determined based on user identification information (eg, “Tom”) included in the voice command. The light exit direction can be rotated.
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 디스플레이-백의 투영 영역이 변경되도록 광의 출사 방향을 일 방향으로 회전할 수 있다. 스마트 프로젝터는 출사 방향을 회전하는 동안 광의 출사를 중단할 수 있다. 또는, 스마트 프로젝터는 광을 출사하면서 출사 방향을 회전할 수 있다.According to an embodiment of the present invention, the smart projector may rotate the light emission direction in one direction so that the projection area of the display-back is changed. The smart projector may stop emitting light while rotating the emitting direction. Alternatively, the smart projector may rotate the emission direction while emitting light.
도 21은 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 도 21을 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)의 보이스 커맨드를 획득하고, 제2 사용자(User 2)를 향하여 디스플레이-백이 투영되도록 광의 출사 방향을 회전할 수 있다.21 is a diagram illustrating a display-back of the smart projector 100 according to an embodiment of the present invention. Referring to FIG. 21, the smart projector 100 may obtain a voice command of the first user User 1 and rotate the light emitting direction so that the display-back is projected toward the second user User 2.
도 21을 참조하면, 스마트 프로젝터(100)는 출사 방향의 회전 방향은 투영 영역 조정이 최단 시간 내에 수행되도록 결정될 수 있다. 예컨대, 도 21에서 도시하는 실시예에 경우, 제2 사용자(User 2)가 제1 사용자(User 1)의 우측에 위치하므로, 스마트 프로젝터(100)는 광의 출사 방향을 반시계 방향으로 회전시킬 수 있다.Referring to FIG. 21, the smart projector 100 may determine the rotation direction of the emission direction so that the projection area adjustment is performed within the shortest time. For example, in the embodiment illustrated in FIG. 21, since the second user 2 is located to the right of the first user 1, the smart projector 100 may rotate the light emission direction counterclockwise. have.
구체적인 예로, 본 발명의 일 실시예에 따른 스마트 프로젝터(100)는 제1 사용자(User 1)의 보이스 커맨드를 획득하고, 제1 사용자(User 1)에게 디스플레이-백이 제공되는 제1 투영 영역(20j)으로부터 제2 사용자(User 2)에게 디스플레이-백이 제공되는 제2 투영 영역(20j')으로 투영 영역이 변경되도록 광의 출사 방향을 회전하되, 투영 영역의 이동 변위가 최소화되는 방향(예컨대, 반시계 방향)으로 광의 출사 방향을 회전시킬 수 있다. As a specific example, the smart projector 100 according to an embodiment of the present invention acquires a voice command of the first user User 1 and the first projection area 20j in which the display-back is provided to the first user User 1. Rotate the light exit direction so that the projection area is changed from the projection area to the second projection area 20j 'where the display-back is provided to the second user (User 2), but the movement displacement of the projection area is minimized (e.g., counterclockwise). Direction), the light exit direction can be rotated.
도 22는 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 도 22를 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)의 보이스 커맨드를 획득하고, 제1 사용자(User 1), 즉, 발화자) 아닌 복수의 사용자(즉, 복수의 비발화자)에게 디스플레이-백을 제공할 수 있다.22 is a diagram illustrating a display-back of the smart projector 100 according to an embodiment of the present invention. Referring to FIG. 22, the smart projector 100 obtains a voice command of a first user User 1, and is a plurality of users (ie, a plurality of non-talkers) who are not the first user (ie, the talker). Can provide a display-back.
도 22를 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)의 보이스 커맨드를 획득하고, 제2 사용자(User 2) 및 제3 사용자(User 3)에게 디스플레이-백이 제공되도록, 광의 투사 방향을 변경할 수 있다. 도 22를 참조하면, 스마트 프로젝터(100)는, 제1 사용자(User 1)에게 디스플레이-백이 제공되는 제1 투영 영역(20k)에 디스플레이-백을 출력하고, 제1 사용자(User 1)의 보이스 커맨드를 획득하고, 제2 사용자(User 2) 및 제3 사용자(User 3)가 함께 시청할 수 있는 범위 내에서 결정된 제2 투영 영역(20k')에 디스플레이-백을 출력할 수 있다.Referring to FIG. 22, the smart projector 100 obtains a voice command of a first user User 1 and projects light to provide a display-back to a second user 3 and a user 3. You can change the direction. Referring to FIG. 22, the smart projector 100 outputs the display-back to the first projection area 20k where the display-back is provided to the first user User 1, and the voice of the first user User 1 is output. The command may be obtained, and the display-back may be output to the second projection area 20k 'determined within the range that the second user 3 and the user 3 may view together.
3.2.2 지시자에 따른 동작 3.2.2 Actions according to the indicator
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 타겟 사용자를 지정하는 타겟 지시자를 포함하는 보이스 커맨드를 포함하는 보이스를 획득하고, 타겟 지시자에 기초하여 디스플레이-백을 수행할 수 있다. 스마트 프로젝터는 타겟 지시자를 포함하는 보이스 커맨드를 획득하고, 타겟 지시자에 대응되는 타겟 사용자를 향하여 디스플레이-백이 투사되도록 광의 출사 방향을 변경할 수 있다. According to an embodiment of the present invention, the smart projector may acquire a voice including a voice command including a target indicator specifying a target user, and perform display-back based on the target indicator. The smart projector may acquire a voice command including the target indicator, and change the emission direction of the light so that the display-back is projected toward the target user corresponding to the target indicator.
타겟 지시자는 디스플레이-백을 제공받을 적어도 하나의 타겟 사용자를 지시 또는 암시할 수 있다. 스마트 프로젝터는 타겟 지시자를 고려하여 결정된 적어도 하나의 타겟 사용자에게 디스플레이-백을 제공할 수 있다. 타겟 지시자는 발화자에 대한 타겟 사용자의 상대 위치 정보를 더 포함할 수 있다.The target indicator may indicate or imply at least one target user to be provided with the display-back. The smart projector may provide a display-back to at least one target user determined in consideration of the target indicator. The target indicator may further include relative location information of the target user with respect to the talker.
타겟 지시자는 타겟 사용자를 지시하는 이름 또는 인칭대명사 등일 수 있다. 예컨대, 도 20 에서 도시하는 실시예의 경우, 타겟 지시자는 제2 사용자의 이름인 "Tom" 일 수 있다. 도 21 에서 도시하는 실시예의 경우, 타겟 지시자는 제2 사용자를 지시하는 "him" 일 수 있다. 도 22 에서 도시하는 실시예의 경우, 타겟 지시자는 제2 사용자 및 제3 사용자를 지시하는 "them" 일 수 있다. The target indicator may be a name or a personal pronoun indicating the target user. For example, in the embodiment shown in FIG. 20, the target indicator may be "Tom" which is the name of the second user. In the embodiment shown in FIG. 21, the target indicator may be "him" indicating the second user. In the embodiment shown in FIG. 22, the target indicator may be "them" indicating the second user and the third user.
도 23은 본 발명의 일 실시예에 따른 스마트 프로젝터(100)의 디스플레이-백을 설명하기 위한 도면이다. 스마트 프로젝터는, 프로젝터 모듈을 비발화자를 향하여 회전하여, 비발화자를 대상으로 하는 지향성 디스플레이-백을 출력할 수 있다.FIG. 23 is a diagram illustrating a display-back of the smart projector 100 according to an embodiment of the present invention. The smart projector may rotate the projector module toward the non-speaker, and output a directional display-back targeted at the non-speaker.
도 23을 참조하면, 스마트 프로젝터(100)는 발화자로서 제1 사용자(User 1)의 보이스 커맨드를 획득하고, 보이스 커맨드에 포함되는 타겟 지시자에 기초하여 복수의 비발화자 중 타겟 사용자에 대하여 지향성 디스플레이-백을 제공할 수 있다.Referring to FIG. 23, the smart projector 100 acquires a voice command of a first user (User 1) as a talker, and displays a directional display for a target user among a plurality of non-talkers based on a target indicator included in the voice command. Bag can be provided.
도 23을 참조하면, 스마트 프로젝터(100)는 제1 사용자(User 1)의 보이스 커맨드를 획득하고, 보이스 커맨드에 포함되는 타겟 지시자를 획득할 수 있다. 예컨대, 타겟 지시자는 사용자 식별 정보로서, "Tom"과 같은 사용자 이름일 수 있다.Referring to FIG. 23, the smart projector 100 may obtain a voice command of the first user User 1 and obtain a target indicator included in the voice command. For example, the target indicator may be a user name such as "Tom" as user identification information.
스마트 프로젝터(100)는 타겟 지시자에 기초하여, 지향성 디스플레이-백을 제공할 타겟 사용자를 결정할 수 있다. 예컨대, 스마트 프로젝터(100)는 제2 사용자(User 2) 및 제3 사용자(User 3)를 포함하는 복수의 비발화자 중, "Tom"을 이름으로 가지는 것으로 저장된 제2 사용자(User 2)를 타겟 사용자로 결정할 수 있다.The smart projector 100 may determine the target user to provide the directional display-back based on the target indicator. For example, the smart projector 100 targets a second user (User 2) stored as having a name of "Tom" among a plurality of non-talkers including a second user (User 2) and a third user (User 3). Can be determined by the user.
스마트 프로젝터(100)는 제1 사용자(User 1)의 위치에 대응되는 제1 투영 영역(20l)으로부터 타겟 사용자로서 제2 사용자(User 2)의 위치에 대응되는 제2 투영 영역(20l')으로 투영 영역이 변경되도록 광의 투사 방향을 변경할 수 있다. The smart projector 100 moves from the first projection area 20l corresponding to the position of the first user User 1 to the second projection area 20l 'corresponding to the position of the second user User 2 as a target user. The projection direction of the light can be changed so that the projection area is changed.
도 24는 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다. 도 24를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법은 사용자의 스마트 프로젝터에 대한 위치 정보를 획득하는 단계(S110), 제1 투영 영역을 투영 영역으로 하여 영상 피드백을 출력하는 단계(S130) 및 제2 투영 영역에 영상 피드백이 출력되도록 투영 영역을 조정하는 단계(S150)를 포함할 수 있다. 24 is a flowchart illustrating a control method of a smart projector according to an embodiment of the present invention. Referring to FIG. 24, in the method of controlling a smart projector according to an embodiment of the present disclosure, the method may include obtaining position information of a smart projector of a user (S110) and outputting image feedback using the first projection area as a projection area. Step S130 and adjusting the projection area to output image feedback to the second projection area (S150).
상기 스마트 프로젝터는 상기 광이 출사되는 방향이 회전 가능하도록 마련될 수 있다.The smart projector may be provided so that the direction in which the light is emitted is rotatable.
사용자의 스마트 프로젝터에 대한 위치 정보를 획득하는 단계(S110)에 대하여는 전술한 위치 정보 획득에 관한 내용이 적용될 수 있다.The above-described information on obtaining location information may be applied to the step (S110) of obtaining location information of the smart projector of the user.
제1 투영 영역을 투영 영역으로 하여 영상 피드백을 출력하는 단계(S130)는 상기 사용자 중 발화자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 상기 발화자의 위치 정보에 대응되는 제1 투영 영역을 상기 투영 영역으로 하여 상기 제1 보이스 커맨드에 대응되는 영상 피드백을 출력하는 것을 포함할 수 있다.The step S130 of outputting image feedback using the first projection area as the projection area may include obtaining a first voice uttered by a talker among the users and including a first voice command, and corresponding to the location information of the talker. And outputting image feedback corresponding to the first voice command using the first projection area as the projection area.
제1 투영 영역을 투영 영역으로 하여 영상 피드백을 출력하는 단계(S130)는 상기 발화자가 상기 스마트 프로젝터에 대하여 위치하는 방향으로 상기 광을 출사하여 상기 제1 투영 영역에 상기 영상 피드백을 출력하는 것을 포함할 수 있다.The step S130 of outputting image feedback using the first projection area as the projection area includes outputting the light in a direction in which the talker is positioned with respect to the smart projector to output the image feedback to the first projection area. can do.
제2 투영 영역에 영상 피드백이 출력되도록 투영 영역을 조정하는 단계(S150)는 상기 발화자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하고, 상기 사용자 중 비발화자의 위치 정보를 고려하여 결정되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 것을 포함할 수 있다. Adjusting the projection area to output the image feedback to the second projection area (S150) obtains a second voice that is uttered by the talker and includes a second voice command, and considers the location information of the non-talker among the users. And adjusting the projection area to output the image feedback to the second projection area determined by the control.
제2 보이스 커맨드는 타겟 지시자를 포함하고, 상기 제2 투영 영역은 상기 타겟 지시자 및 상기 발화자의 위치 정보를 고려하여 결정될 수 있다.The second voice command may include a target indicator, and the second projection area may be determined in consideration of position information of the target indicator and the talker.
제2 투영 영역에 영상 피드백이 출력되도록 투영 영역을 조정하는 단계(S150)는 상기 비발화자가 상기 스마트 프로젝터에 대하여 위치하는 방향으로 상기 광을 출사하여 상기 제2 투영 영역에 상기 영상 피드백을 출력하는 것을 포함할 수 있다.Adjusting the projection area so that the image feedback is output to the second projection area (S150) outputs the image feedback to the second projection area by emitting the light in a direction in which the non-talker is located with respect to the smart projector. It may include.
투영 영역을 조정하는 단계(S150)는 상기 투영 영역이 상기 제1 투영 영역에서 상기 제2 투영 영역으로 변경되도록, 상기 광이 출사되는 방향을 회동하여 상기 투영 영역을 조정하는 것을 더 포함할 수 있다.Adjusting the projection area (S150) may further include adjusting the projection area by rotating the direction in which the light is emitted such that the projection area is changed from the first projection area to the second projection area. .
비발화자는 제1 비발화자 및 제2 비발화자를 포함할 수 있다.A non-talker can include a first non-talker and a second non-talker.
이때, 투영 영역을 조정하는 단계(S150)는 제1 비발화자의 위치 정보 및 상기 제2 비발화자의 위치 정보를 고려하여 결정된 상기 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 것을 더 포함할 수 있다.In this case, the adjusting of the projection area (S150) may include adjusting the projection area to output the image feedback to the second projection area determined in consideration of the position information of the first non-talker and the position information of the second non-talker. It may further include.
투영 영역을 조정하는 단계(S150)는 발화자의 위치 정보 및 비발화자의 위치 정보를 함께 고려하여 결정되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 것을 더 포함할 수 있다.The adjusting of the projection area (S150) may further include adjusting the projection area such that the image feedback is output to the second projection area that is determined in consideration of both the location information of the talker and the location information of the non-talker.
타겟 지시자는 상기 발화자의 위치를 기준 위치로 하는 상기 비발화자의 상대 위치 정보를 포함할 수 있다. 이때, 투영 영역을 조정하는 단계(S150)는 발화자의 위치 정보 및 비발화자의 상대 위치 정보에 기초하여 결정된 상기 비발화자의 위치 정보에 대응되는 상기 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 것을 포함할 수 있다.The target indicator may include relative position information of the non-speaker whose reference position is the position of the talker. In this case, in the adjusting of the projection area (S150), the projection may be performed such that the image feedback is output to the second projection area corresponding to the location information of the non-talker determined based on the location information of the talker and the relative location information of the non-talker. Adjusting the area.
도 25는 본 발명의 일 실시예에 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다. 도 25를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법은 제1 위치 정보 및 제2 위치 정보를 획득하는 단계(S210), 제1 영상 피드백을 제1 투영 영역에 출력하는 단계(S230), 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하는 단계(S250), 타겟 사용자를 결정하는 단계(S270) 및 제2 영상 피드백을 제2 투영 영역에 출력하는 단계(S290)를 포함할 수 있다.25 is a flowchart illustrating a control method of a smart projector according to an embodiment of the present invention. Referring to FIG. 25, in the method of controlling a smart projector according to an embodiment of the present disclosure, the method may include obtaining first location information and second location information (S210) and outputting first image feedback to a first projection area. (S230), obtaining a second voice including a second voice command (S250), determining a target user (S270), and outputting a second image feedback to the second projection area (S290). can do.
제1 위치 정보 및 제2 위치 정보를 획득하는 단계(S210)는 제1 사용자의 상기 스마트 프로젝터에 대한 위치 정보로서 제1 위치 정보 및 적어도 하나의 제2 사용자의 상기 스마트 프로젝터에 대한 위치 정보로서 제2 위치 정보를 획득하는 것을 포함할 수 있다.Acquiring first location information and second location information (S210) may include first location information as location information on the smart projector of the first user and location information about the smart projector of the at least one second user. 2 may include obtaining location information.
제1 영상 피드백을 제1 투영 영역에 출력하는 단계(S230)는 상기 제1 사용자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 상기 제1 보이스 커맨드에 대응되는 제1 영상 피드백을 상기 제1 위치 정보에 대응되는 제1 투영 영역에 출력하는 것을 포함할 수 있다.In operation S230, outputting a first image feedback to a first projection area may include obtaining a first voice that is uttered by the first user and includes a first voice command, and may include a first image corresponding to the first voice command. And outputting feedback to a first projection area corresponding to the first location information.
제2 보이스 커맨드를 포함하는 제2 보이스를 획득하는 단계(S250)는 제1 사용자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하는 것이고, 제2 보이스 커맨드는 타겟 지시자를 포함할 수 있다. Acquiring a second voice including the second voice command (S250) is to obtain a second voice uttered by the first user and including the second voice command, and the second voice command may include a target indicator. Can be.
타겟 지시자는 상기 제2 사용자의 식별 정보를 포함할 수 있다. 타겟 지시자는 제1 사용자의 위치를 기준으로 하는 상기 제1 사용자의 위치에 대한 상기 제2 사용자의 상대 위치 정보를 포함할 수 있다. 타겟 지시자는 상기 스마트 프로젝터를 기준으로 하는 상기 제1 사용자의 위치에 대한 상기 제2 사용자의 위치 정보를 포함할 수 있다.The target indicator may include identification information of the second user. The target indicator may include relative location information of the second user with respect to the location of the first user based on the location of the first user. The target indicator may include location information of the second user with respect to the location of the first user based on the smart projector.
타겟 사용자를 결정하는 단계(S270)는 타겟 지시자 및 상기 제1 위치 정보에 기초하여 상기 적어도 하나의 제2 사용자 중 타겟 사용자를 결정하는 것을 포함할 수 있다.Determining a target user (S270) may include determining a target user among the at least one second user based on a target indicator and the first location information.
제2 영상 피드백을 제2 투영 영역에 출력하는 단계(S290)는 제2 보이스 커맨드에 의해 요청되는 제2 영상 피드백을 상기 타겟 사용자의 상기 제2 위치 정보에 대응되는 제2 투영 영역에 출력하는 것을 포함할 수 있다. The step S290 of outputting the second image feedback to the second projection area may include outputting the second image feedback requested by the second voice command to the second projection area corresponding to the second position information of the target user. It may include.
제2 영상 피드백을 제2 투영 영역에 출력하는 단계(S290)는 상기 광이 출사되는 방향을 상기 제2 투영 영역까지의 회전 변위가 최소로 되는 방향으로 회전하여 상기 제2 영상 피드백을 상기 제2 투영 영역에 투영하는 것을 더 포함할 수 있다.In operation S290, outputting the second image feedback to the second projection area may be performed by rotating the light output direction in a direction in which rotational displacement to the second projection area is minimized. It may further comprise projecting onto the projection area.
도 26은 본 발명의 일 실시예에 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다. 도 26을 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법은 제1 사용자에 의해 발화된 보이스를 획득하는 단계(S310), 제2 사용자의 위치 정보를 획득하는 단계(S330) 및 제2 사용자의 위치 정보를 고려하여 결정된 투영 영역에 영상 피드백을 투영하는 단계(S350)를 포함할 수 있다.26 is a flowchart illustrating a control method of a smart projector according to an embodiment of the present invention. Referring to FIG. 26, in the method of controlling a smart projector according to an embodiment of the present disclosure, the method may include obtaining a voice spoken by a first user (S310), obtaining location information of a second user (S330), and In operation S350, the image feedback may be projected on the projection area determined in consideration of the location information of the second user.
제1 사용자에 의해 발화된 보이스를 획득하는 단계(S310)는 제1 사용자에 의해 발화되고 제2 사용자에게 영상 피드백을 제공할 것을 요청하는 보이스 커맨드를 포함하는 제1 보이스를 획득하는 것을 포함할 수 있다.Acquiring a voice uttered by the first user (S310) may include acquiring a first voice that is uttered by the first user and includes a voice command requesting the second user to provide image feedback. have.
제2 사용자의 위치 정보를 획득 또는 수집하는 단계(S330)는 제2 보이스가 발화된 방향 및 상기 보이스의 음량을 검출하고, 상기 보이스가 발화된 방향 및 상기 음량에 기초하여 상기 제2 사용자의 위치 정보를 산출하는 것을 더 포함할 수 있다. 제2 사용자의 위치 정보를 획득 또는 수집하는 단계(S330)에 대하여는 도 27과 관련하여 보다 상세히 설명한다. Acquiring or collecting location information of a second user (S330) may include detecting a direction in which a second voice is uttered and a volume of the voice, and based on the direction in which the voice is uttered and the volume of the second user. It may further include calculating the information. Acquiring or collecting location information of the second user (S330) will be described in more detail with reference to FIG. 27.
제2 사용자의 위치 정보를 고려하여 결정된 투영 영역에 영상 피드백을 투영하는 단계(S350)는 투영 영역을 상기 제1 사용자의 위치 정보에 대응되는 제1 투영 영역으로부터 상기 제2 사용자의 위치 정보에 대응되는 제2 투영 영역으로 변경하고, 상기 투영 영역에 상기 영상 피드백을 투영하는 것을 더 포함할 수 있다.Projecting the image feedback to the projection area determined in consideration of the location information of the second user (S350) corresponds to the location information of the second user from the first projection area corresponding to the location information of the first user. The method may further include changing to a second projection area, and projecting the image feedback on the projection area.
도 27은 본 발명의 일 실시예에 스마트 프로젝터의 제어 방법에 있어서, 제2 사용자의 위치 정보를 획득하는 단계(S330)를 보다 상세히 설명하기 위한 순서도이다. FIG. 27 is a flowchart illustrating a method (S330) of obtaining location information of a second user in a method of controlling a smart projector according to an embodiment of the present disclosure.
도 27을 참조하면, 제2 사용자의 위치 정보를 획득하는 단계(S330)는 제2 사용자의 위치 정보가 미리 저장되어 있는지 판단하는 단계(S331), 제2 사용자의 발화를 유도하는 가이드 보이스를 출력하는 단계(S333) 및 제2 사용자에 의해 발화된 제2 보이스에 기초하여 제2 사용자의 위치 정보를 획득하는 단계(S335)를 포함할 수 있다.Referring to FIG. 27, in the obtaining of location information of the second user (S330), determining whether the location information of the second user is stored in advance (S331), and outputting a guide voice for inducing utterance of the second user. The method may include a step S333 and a step S335 of obtaining location information of the second user based on the second voice spoken by the second user.
제2 사용자의 발화를 유도하는 가이드 보이스를 출력하는 단계(S333)는 제2 사용자의 위치 정보가 미리 저장되어 있지 않으면, 상기 제2 사용자의 발화를 유도하는 가이드 보이스를 출력하는 것을 포함할 수 있다. 가이드 보이스는 상기 제2 사용자의 위치 정보를 요청하는 의문문으로 미리 마련될 수 있다.The step S333 of outputting the guide voice for inducing the utterance of the second user may include outputting the guide voice for inducing the utterance of the second user if the location information of the second user is not stored in advance. . The guide voice may be prepared in advance as a question requesting the location information of the second user.
제2 사용자에 의해 발화된 제2 보이스에 기초하여 제2 사용자의 위치 정보를 획득하는 단계(S335)는 가이드 보이스에 응답하여 상기 제2 사용자에 의해 발화된 제2 보이스를 획득하고, 상기 획득된 제2 보이스에 기초하여 상기 제2 사용자의 위치 정보를 획득하는 것을 포함할 수 있다.Acquiring the location information of the second user based on the second voice uttered by the second user (S335) may acquire a second voice uttered by the second user in response to a guide voice, And obtaining location information of the second user based on a second voice.
3.3 지향성의 변경3.3 Change of Directivity
본 발명의 일 실시예에 따르면, 스마트 프로젝터의 사용자 지향성의 형태는 변경될 수 있다. 스마트 프로젝터는 본 명세서에서 개시하는 다양한 형태의 사용자 지향성을 지원하고, 사용자의 보이스 커맨드에 의하여 지향성의 형태가 변경 가능하도록 마련될 수 있다.According to one embodiment of the present invention, the form of user orientation of the smart projector may be changed. The smart projector supports various types of user directivity disclosed herein, and may be provided to change the type of directivity by a voice command of the user.
예를 들어, 스마트 프로젝터는 발화자 지향성 디스플레이-백을 출력하고, 타겟 사용자 지향성 디스플레이-백을 요청하는 타겟 지시자를 포함하는 보이스 커맨드가 획득되면 타겟 사용자 지향성(또는 비발화자 지향성) 디스플레이-백을 출력할 수 있다.For example, the smart projector may output a talker directional display-back, and output a target user-oriented (or non-talker-oriented) display-back when a voice command including a target indicator requesting the target user-oriented display-back is obtained. Can be.
도 28은 본 발명의 일 실시예에 따른 스마트 프로젝터(100)에 의해 수행되는 디스플레이-백을 설명하기 위한 도면이다. FIG. 28 is a diagram illustrating a display-back performed by the smart projector 100 according to an embodiment of the present invention.
도 28의 (a)를 참조하면, 스마트 프로젝터(100)는 제1 사용자에 대한 지향성 디스플레이-백을 출력할 수 있다. 도 28의 (b)를 참조하면, 스마트 프로젝터(100)는 제2 사용자에 대한 지향성 디스플레이-백 또는 제1 사용자(User 1) 및 제2 사용자(User 2)를 타겟 사용자로 하는 지향성 디스플레이-백을 출력하도록, 지향성이 변경될 수 있다. 스마트 프로젝터(100)는 제1 사용자(User 1) 또는 제2 사용자(User 2)로부터 발화된 보이스 커맨드를 획득하고, 디스플레이-백의 지향성이 변경될 수 있다.Referring to FIG. 28A, the smart projector 100 may output a directional display-back for a first user. Referring to FIG. 28B, the smart projector 100 may display a directional display-back for a second user or a directional display-back for a first user (User 1) and a second user (User 2). The directivity can be changed to output. The smart projector 100 may obtain a voice command spoken from the first user 1 or the second user 2, and change the directivity of the display-back.
3.4 장치3.4 Device
상술한 지향성 디스플레이-백은 본 명세서에서 개시하는 스마트 프로젝터(2000)에 의하여 수행될 수 있다. 이하에서는, 지향성 디스플레이-백을 수행하는 스마트 프로젝터(2000)에 대하여, 전술한 도 13을 참조하여 설명한다. 스마트 프로젝터(2000) 및 각 모듈들에 대하여는, 도 13과 관련하여 전술한 내용이 적용될 수 있다.The aforementioned directional display-back may be performed by the smart projector 2000 disclosed herein. Hereinafter, a smart projector 2000 that performs directional display-back will be described with reference to FIG. 13. For the smart projector 2000 and the respective modules, the above description with respect to FIG. 13 may be applied.
스마트 프로젝터(2000)는 마이크 모듈, 프로젝터 모듈 및 제어부를 포함할 수 있다. 프로젝터 모듈은 상기 광의 출사 방향이 회전 가능하도록 마련될 수 있다.The smart projector 2000 may include a microphone module, a projector module, and a controller. The projector module may be provided so that the emission direction of the light is rotatable.
제어부는 상기 마이크 모듈을 통하여 사용자의 상기 스마트 프로젝터에 대한 위치 정보를 획득하고, 상기 사용자 중 발화자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득할 수 있다.The controller may acquire location information of the smart projector of the user through the microphone module, and obtain a first voice that is uttered by a talker among the users and includes a first voice command.
제어부는 상기 프로젝터 모듈을 통하여 상기 발화자의 위치 정보에 대응되는 제1 투영 영역을 상기 투영 영역으로 하여 상기 제1 보이스 커맨드에 대응되는 영상 피드백을 출력할 수 있다. The controller may output the image feedback corresponding to the first voice command by using the projector module as the projection area as the first projection area corresponding to the position information of the talker.
제어부는 상기 발화자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하고, 상기 사용자 중 비발화자의 위치 정보에 대응되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 프로젝터 모듈의 상기 광 출사 방향을 조정할 수 있다. The control unit obtains a second voice uttered by the talker and includes a second voice command, and outputs the image feedback to a second projection area corresponding to the position information of the non-talker among the users. The exit direction can be adjusted.
제어부는 상기 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 프로젝터 모듈의 상기 광 출사 방향을 회동하여 상기 광 출사 방향을 조정할 수 있다.The controller may adjust the light output direction by rotating the light output direction of the projector module so that the image feedback is output to the second projection area.
위치 정보는 방향 정보 및 거리 정보를 포함할 수 있다. 제어부는 상기 사용자에 의해 발화된 상기 보이스의 발화 방향에 기초하여 상기 방향 정보를 획득하고, 상기 보이스의 음량에 기초하여 상기 거리 정보를 획득할 수 있다.The location information may include direction information and distance information. The controller may acquire the direction information based on the utterance direction of the voice spoken by the user, and obtain the distance information based on the volume of the voice.
비발화자는 제1 비발화자 및 제2 비발화자를 포함할 수 있다. 제어부는 상기 제1 비발화자가 상기 스마트 프로젝터에 대하여 위치하는 방향 및 상기 제2 비발화자가 상기 스마트 프로젝터에 대하여 위치하는 방향의 사이에서 상기 광의 출사 방향을 결정할 수 있다.A non-talker can include a first non-talker and a second non-talker. The controller may determine a direction in which the light is emitted between a direction in which the first non-talker is located with respect to the smart projector and a direction in which the second non-ignitor is located with respect to the smart projector.
이외에도, 제어부는 스마트 프로젝터(2000)에 포함된 각 모듈들을 통하여, 본 명세서에서 개시하는 지향성 피드백을 수행할 수 있다.In addition, the controller may perform the directional feedback disclosed herein through respective modules included in the smart projector 2000.
4. 장애물의 취급 4. Handling of obstacles
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 평평한 영역에 영상이 투영되도록 투영 영역 내지 투영 방향을 결정할 수 있다. 스마트 프로젝터는 카메라 모듈을 이용하여 소정 영역의 편평도를 판단하고, 편평도에 기초하여 투영 영역을 결정할 수 있다.According to an embodiment of the present invention, the smart projector may determine the projection area or the projection direction so that the image is projected on the flat area. The smart projector may determine the flatness of the predetermined area by using the camera module, and determine the projection area based on the flatness.
예를 들어, 스마트 프로젝터는 예비 투영 영역을 결정하고, 예비 투영 영역의 편평도를 고려하여 결정된 투영 영역으로 디스플레이-백을 출력할 수 있다. 예비 투영 영역의 편평도가 임계값에 못미치는 경우, 예비 투영 영역은 변경될 수 있다. 스마트 프로젝터는 투영 영역으로부터 돌출된 오브젝트를 검출하고, 돌출된 오브젝트의 위치를 고려하여 결정된 투영 영역으로 디스플레이-백을 출력할 수 있다.For example, the smart projector may determine the preliminary projection area and output the display-back to the projection area determined in consideration of the flatness of the preliminary projection area. If the flatness of the preliminary projection area falls short of the threshold, the preliminary projection area may be changed. The smart projector may detect an object protruding from the projection area and output the display-back to the projection area determined in consideration of the position of the protruding object.
다른 예를 들어, 스마트 프로젝터는 투영 영역이 선택되는 투영 범위를 결정하고, 투영 범위의 편평도를 고려하여 결정된 투영 영역으로 디스플레이-백을 출력할 수 있다. 스마트 프로젝터는 투영 범위 내의 돌출된 오브젝트를 검출하고, 돌출된 오브젝트의 위치를 고려하여 결정된 투영 영역으로 디스플레이-백을 출력할 수 있다.As another example, the smart projector may determine the projection range in which the projection area is selected and output the display-back to the projection area determined in consideration of the flatness of the projection range. The smart projector may detect the protruding object within the projection range and output the display-back to the projection area determined in consideration of the position of the protruding object.
또 다른 예를 들어, 스마트 프로젝터는 투영 범위 또는 예비 투영 영역 내에 위치하는 돌출된 오브젝트의 형태를 고려하여 그 레이아웃이 변경된 디스플레이-백을 출력할 수 있다.As another example, the smart projector may output a display-back whose layout is changed in consideration of the shape of the protruding object located in the projection range or the preliminary projection area.
예비 투영 영역 또는 투영 범위를 결정함에 있어서 전술한 사용자 위치 정보 또는 지향성 지시자가 고려될 수 있다.In determining the preliminary projection area or the projection range, the above-described user position information or directivity indicator may be considered.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described by the limited embodiments and the drawings as described above, various modifications and variations are possible to those skilled in the art from the above description. For example, the described techniques may be performed in a different order than the described method, and / or components of the described systems, structures, devices, circuits, etc. may be combined or combined in a different form than the described method, or other components. Or, even if replaced or substituted by equivalents, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are within the scope of the claims that follow.

Claims (21)

  1. 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 프로젝터 - 상기 스마트 프로젝터는 광을 출사하여 투영 영역에 영상을 출력함 - 의 제어 방법에 있어서,A smart projector for acquiring a voice command and outputting various feedback corresponding to the voice command, wherein the smart projector emits light and outputs an image to a projection area.
    사용자의 상기 스마트 프로젝터에 대한 위치 정보를 획득하는 단계;Obtaining location information of the smart projector of a user;
    상기 사용자 중 발화자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 상기 발화자의 위치 정보에 대응되는 제1 투영 영역을 상기 투영 영역으로 하여 상기 제1 보이스 커맨드에 대응되는 영상 피드백을 출력하는 단계; 및Image feedback corresponding to the first voice command by acquiring a first voice uttered by a talker among the users and including a first voice command, and using the first projection area corresponding to position information of the talker as the projection area; Outputting; And
    상기 발화자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하고, 상기 사용자 중 비발화자의 위치 정보를 고려하여 결정되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 단계; 를 포함하는Acquiring a second voice uttered by the talker and including a second voice command, and adjusting the projection area to output the image feedback to a second projection area determined in consideration of position information of a non-talker among the users; step; Containing
    스마트 디바이스의 제어 방법.Smart device control method.
  2. 제1항에 있어서,The method of claim 1,
    상기 제1 투영 영역을 상기 투영 영역으로 하여 상기 영상 피드백을 출력하는 단계는 상기 발화자가 상기 스마트 디바이스에 대하여 위치하는 방향으로 상기 광을 출사하여 상기 제1 투영 영역에 상기 영상 피드백을 출력하는 것을 포함하고,The outputting of the image feedback using the first projection area as the projection area may include outputting the light in the direction in which the talker is located with respect to the smart device to output the image feedback to the first projection area. and,
    상기 제2 투영 영역을 상기 투영 영역으로 하여 상기 영상 피드백을 출력하는 단계는 상기 비발화자가 상기 스마트 디바이스에 대하여 위치하는 방향으로 상기 광을 출사하여 상기 제2 투영 영역에 상기 영상 피드백을 출력하는 것을 포함하는The outputting of the image feedback using the second projection area as the projection area may include outputting the light to the second projection area by emitting the light in a direction in which the non-talker is located with respect to the smart device. Containing
    스마트 디바이스의 제어 방법.Smart device control method.
  3. 제1항에 있어서,The method of claim 1,
    상기 스마트 디바이스는 상기 광이 출사되는 방향이 회전 가능하도록 마련되고,The smart device is provided so that the direction in which the light is emitted is rotatable,
    상기 투영 영역을 조정하는 단계는Adjusting the projection area
    상기 투영 영역이 상기 제1 투영 영역에서 상기 제2 투영 영역으로 변경되도록, 상기 광이 출사되는 방향을 회동하여 상기 투영 영역을 조정하는 것을 더 포함하는And adjusting the projection area by rotating the direction in which the light is emitted such that the projection area is changed from the first projection area to the second projection area.
    스마트 디바이스의 제어 방법.Smart device control method.
  4. 제1항에 있어서,The method of claim 1,
    상기 비발화자는 제1 비발화자 및 제2 비발화자를 포함하고, The non-talker includes a first non-talker and a second non-talker,
    상기 투영 영역을 조정하는 단계는Adjusting the projection area
    상기 제1 비발화자의 위치 정보 및 상기 제2 비발화자의 위치 정보를 고려하여 결정된 상기 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 것을 더 포함하는And adjusting the projection area to output the image feedback to the second projection area determined in consideration of the positional information of the first non-talker and the positional information of the second non-talker.
    스마트 디바이스의 제어 방법.Smart device control method.
  5. 제1항에 있어서,The method of claim 1,
    상기 투영 영역을 조정하는 단계는Adjusting the projection area
    상기 발화자의 위치 정보 및 상기 비발화자의 위치 정보를 함께 고려하여 결정되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 것을 더 포함하는,And adjusting the projection area such that the image feedback is output to a second projection area that is determined in consideration of both the location information of the talker and the location information of the non-talker.
    스마트 디바이스의 제어 방법.Smart device control method.
  6. 제1항에 있어서,The method of claim 1,
    상기 제2 보이스 커맨드는 타겟 지시자를 포함하고, 상기 제2 투영 영역은 상기 타겟 지시자 및 상기 발화자의 위치 정보를 고려하여 결정되는The second voice command includes a target indicator, and the second projection area is determined in consideration of position information of the target indicator and the talker.
    스마트 디바이스의 제어 방법.Smart device control method.
  7. 제6항에 있어서,The method of claim 6,
    상기 타겟 지시자는 상기 발화자의 위치를 기준 위치로 하는 상기 비발화자의 상대 위치 정보를 포함하고,The target indicator includes the relative position information of the non-talker, the position of the talker as a reference position,
    상기 투영 영역을 조정하는 단계는 상기 발화자의 위치 정보 및 상기 비발화자의 상대 위치 정보에 기초하여 결정된 상기 비발화자의 위치 정보에 대응되는 상기 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 투영 영역을 조정하는 것을 포함하는The adjusting of the projection area may include adjusting the projection area so that the image feedback is output to the second projection area corresponding to the location information of the non-talker determined based on the location information of the talker and the relative location information of the non-talker. Involving adjusting
    스마트 디바이스의 제어 방법.Smart device control method.
  8. 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 디바이스 - 상기 스마트 디바이스는 광을 출사하여 투영 영역에 영상을 출력하되, 상기 광이 출사되는 방향이 회전 가능하도록 마련됨 - 의 제어 방법에 있어서,A smart device for acquiring a voice command and outputting various feedbacks corresponding to the voice command, wherein the smart device emits light to output an image in a projection area, and the direction in which the light is emitted is rotatable. In the method,
    제1 사용자의 상기 스마트 디바이스에 대한 위치 정보로서 제1 위치 정보 및 적어도 하나의 제2 사용자의 상기 스마트 디바이스에 대한 위치 정보로서 제2 위치 정보를 획득하는 단계;Obtaining first location information as location information on the smart device of a first user and second location information as location information on the smart device of at least one second user;
    상기 제1 사용자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, 상기 제1 보이스 커맨드에 대응되는 제1 영상 피드백을 상기 제1 위치 정보에 대응되는 제1 투영 영역에 출력하는 단계;Obtaining a first voice uttered by the first user and including a first voice command, and outputting a first image feedback corresponding to the first voice command to a first projection area corresponding to the first position information; step;
    상기 제1 사용자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하는 단계- 제2 보이스 커맨드는 타겟 지시자를 포함함 -;Obtaining a second voice uttered by the first user and comprising a second voice command, the second voice command comprising a target indicator;
    상기 타겟 지시자 및 상기 제1 위치 정보에 기초하여 상기 적어도 하나의 제2 사용자 중 타겟 사용자를 결정하는 단계; 및Determining a target user among the at least one second user based on the target indicator and the first location information; And
    상기 제2 보이스 커맨드에 의해 요청되는 제2 영상 피드백을 상기 타겟 사용자의 상기 제2 위치 정보에 대응되는 제2 투영 영역에 출력하는 단계;를 포함하는Outputting a second image feedback requested by the second voice command to a second projection area corresponding to the second location information of the target user;
    스마트 디바이스의 제어 방법.Smart device control method.
  9. 제8항에 있어서,The method of claim 8,
    상기 타겟 지시자는 상기 제2 사용자의 식별 정보를 포함하는The target indicator includes identification information of the second user.
    스마트 디바이스의 제어 방법.Smart device control method.
  10. 제8항에 있어서,The method of claim 8,
    상기 타겟 지시자는 상기 제1 사용자의 위치를 기준으로 하는 상기 제1 사용자의 위치에 대한 상기 제2 사용자의 상대 위치 정보를 포함하는,Wherein the target indicator includes relative location information of the second user with respect to the location of the first user based on the location of the first user,
    스마트 디바이스의 제어 방법.Smart device control method.
  11. 제8항에 있어서,The method of claim 8,
    상기 타겟 지시자는 상기 스마트 디바이스를 기준으로 하는 상기 제1 사용자의 위치에 대한 상기 제2 사용자의 위치 정보를 포함하는The target indicator includes location information of the second user with respect to the location of the first user with respect to the smart device.
    스마트 디바이스의 제어 방법.Smart device control method.
  12. 제8항에 있어서,The method of claim 8,
    상기 제2 영상 피드백을 상기 제2 투영 영역에 출력하는 단계는The outputting of the second image feedback to the second projection area may include
    상기 광이 출사되는 방향을 상기 제2 투영 영역까지의 회전 변위가 최소로 되는 방향으로 회전하여 상기 제2 영상 피드백을 상기 제2 투영 영역에 투영하는 것을 더 포함하는And rotating the direction in which the light is emitted in a direction in which the rotational displacement to the second projection area is minimized to project the second image feedback to the second projection area.
    스마트 디바이스의 제어 방법.Smart device control method.
  13. 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 디바이스 - 상기 스마트 디바이스는 광을 출사하여 영상을 출력하되, 상기 광이 출사되는 방향이 회전 가능하도록 마련됨 - 의 제어 방법에 있어서,A smart device for acquiring a voice command and outputting various feedbacks corresponding to the voice command, wherein the smart device emits light to output an image, and the direction in which the light is emitted is rotatable. ,
    제1 사용자에 의해 발화되고 제2 사용자에게 영상 피드백을 제공할 것을 요청하는 보이스 커맨드를 포함하는 제1 보이스를 획득하는 단계;Obtaining a first voice that is uttered by the first user and includes a voice command requesting the second user to provide image feedback;
    상기 제2 사용자의 위치 정보를 획득하는 단계; 및Obtaining location information of the second user; And
    상기 영상 피드백을 상기 제2 사용자의 위치 정보를 고려하여 결정된 투영 영역에 투영하는 단계; 를 포함하되,Projecting the image feedback onto a projection area determined in consideration of the location information of the second user; Including but not limited to:
    상기 제2 사용자의 위치 정보를 수집하는 단계는Collecting location information of the second user
    상기 제2 사용자의 위치 정보가 미리 저장되어 있는지 판단하는 단계;Determining whether location information of the second user is stored in advance;
    상기 제2 사용자의 위치 정보가 미리 저장되어 있지 않으면, 상기 제2 사용자의 발화를 유도하는 가이드 보이스를 출력하는 단계; 및Outputting a guide voice for inducing utterance of the second user if the location information of the second user is not stored in advance; And
    상기 가이드 보이스에 응답하여 상기 제2 사용자에 의해 발화된 제2 보이스를 획득하고, 상기 획득된 제2 보이스에 기초하여 상기 제2 사용자의 위치 정보를 획득하는 단계;를 포함하는And acquiring a second voice uttered by the second user in response to the guide voice, and obtaining location information of the second user based on the obtained second voice.
    스마트 디바이스의 제어 방법.Smart device control method.
  14. 제13항에 있어서,The method of claim 13,
    상기 제2 보이스에 기초하여 상기 제2 사용자의 위치 정보를 획득하는 단계는 상기 제2 보이스가 발화된 방향 및 상기 보이스의 음량을 검출하고, 상기 보이스가 발화된 방향 및 상기 음량에 기초하여 상기 제2 사용자의 위치 정보를 산출하는 것을 더 포함하는Acquiring location information of the second user based on the second voice may include detecting a direction in which the second voice is uttered and a volume of the voice, and generating the second voice based on the direction in which the voice is uttered and the volume. 2 further comprising calculating location information of the user
    스마트 디바이스의 제어 방법.Smart device control method.
  15. 제13항에 있어서,The method of claim 13,
    상기 영상 피드백을 상기 제2 사용자의 위치 정보를 고려하여 결정된 투영 영역에 투영하는 단계는Projecting the image feedback to a projection area determined in consideration of the position information of the second user;
    상기 투영 영역을 상기 제1 사용자의 위치 정보에 대응되는 제1 투영 영역으로부터 상기 제2 사용자의 위치 정보에 대응되는 제2 투영 영역으로 변경하고, 상기 투영 영역에 상기 영상 피드백을 투영하는 것을 더 포함하는Changing the projection area from a first projection area corresponding to the location information of the first user to a second projection area corresponding to the location information of the second user, and projecting the image feedback on the projection area. doing
    스마트 디바이스의 제어 방법.Smart device control method.
  16. 제13항에 있어서,The method of claim 13,
    상기 가이드 보이스는 상기 제2 사용자의 위치 정보를 요청하는 의문문으로 미리 마련되는The guide voice is prepared in advance as a question requesting the location information of the second user.
    스마트 디바이스의 제어 방법.Smart device control method.
  17. 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하되, 광을 출사하여 투영 영역에 영상을 출력하는 스마트 디바이스에 있어서,A smart device that obtains a voice command and outputs various feedbacks corresponding to the voice command, and emits light to output an image in the projection area.
    상기 보이스 커맨드를 포함하는 보이스를 획득하는 마이크 모듈;A microphone module for acquiring a voice including the voice command;
    광을 출사하여 상기 영상을 출력하는 디바이스 모듈; 및A device module for emitting light to output the image; And
    상기 마이크 모듈을 통하여 사용자의 상기 스마트 디바이스에 대한 위치 정보를 획득하고, 상기 사용자 중 발화자에 의해 발화되고 제1 보이스 커맨드를 포함하는 제1 보이스를 획득하고, Obtaining location information of the smart device of the user through the microphone module, obtaining a first voice uttered by a talker among the users and including a first voice command,
    상기 디바이스 모듈을 통하여 상기 발화자의 위치 정보에 대응되는 제1 투영 영역을 상기 투영 영역으로 하여 상기 제1 보이스 커맨드에 대응되는 영상 피드백을 출력하고, Outputting image feedback corresponding to the first voice command using the first projection area corresponding to the position information of the talker as the projection area through the device module,
    상기 발화자에 의해 발화되고 제2 보이스 커맨드를 포함하는 제2 보이스를 획득하고, 상기 사용자 중 비발화자의 위치 정보에 대응되는 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 디바이스 모듈의 상기 광 출사 방향을 조정하는 제어부; 를 포함하는The light output direction of the device module so as to obtain a second voice uttered by the talker and including a second voice command, and to output the image feedback to a second projection area corresponding to the position information of the non-talker among the users; Control unit for adjusting the; Containing
    스마트 디바이스.Smart devices.
  18. 제17항에 있어서,The method of claim 17,
    상기 디바이스 모듈은 상기 광의 출사 방향이 회전 가능하도록 마련되는The device module is provided so that the emission direction of the light is rotatable
    스마트 디바이스.Smart devices.
  19. 제17항에 있어서,The method of claim 17,
    상기 제어부는 상기 제2 투영 영역에 상기 영상 피드백이 출력되도록 상기 디바이스 모듈의 상기 광 출사 방향을 회동하여 상기 광 출사 방향을 조정하는,The control unit rotates the light output direction of the device module to adjust the light output direction so that the image feedback is output to the second projection area.
    스마트 디바이스.Smart devices.
  20. 제17항에 있어서,The method of claim 17,
    상기 위치 정보는 방향 정보 및 거리 정보를 포함하고,The location information includes direction information and distance information,
    상기 제어부는 상기 사용자에 의해 발화된 상기 보이스의 발화 방향에 기초하여 상기 방향 정보를 획득하고, 상기 보이스의 음량에 기초하여 상기 거리 정보를 획득하는,The control unit obtains the direction information based on the utterance direction of the voice spoken by the user, and obtains the distance information based on the volume of the voice.
    스마트 디바이스.Smart devices.
  21. 제17항에 있어서,The method of claim 17,
    상기 비발화자는 제1 비발화자 및 제2 비발화자를 포함하고, The non-talker includes a first non-talker and a second non-talker,
    상기 제어부는 상기 제1 비발화자가 상기 스마트 디바이스에 대하여 위치하는 방향 및 상기 제2 비발화자가 상기 스마트 디바이스에 대하여 위치하는 방향의 사이에서 상기 광의 출사 방향을 결정하는,The control unit determines the emission direction of the light between the direction in which the first non-talker is located with respect to the smart device and the direction in which the second non-ignitor is located with respect to the smart device,
    스마트 디바이스.Smart devices.
PCT/KR2018/014224 2018-07-27 2018-11-19 Smart device and method for controlling same WO2020022570A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180087680A KR20200012410A (en) 2018-07-27 2018-07-27 Smart projector and method for controlling thereof
KR10-2018-0087680 2018-07-27

Publications (1)

Publication Number Publication Date
WO2020022570A1 true WO2020022570A1 (en) 2020-01-30

Family

ID=69180978

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/014224 WO2020022570A1 (en) 2018-07-27 2018-11-19 Smart device and method for controlling same

Country Status (2)

Country Link
KR (1) KR20200012410A (en)
WO (1) WO2020022570A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949475A (en) * 1993-04-07 1999-09-07 Fujitsu Limited Multi-location control apparatus, television conference terminal unit, and multi-location television conference system
EP1315071A1 (en) * 2001-11-27 2003-05-28 BRITISH TELECOMMUNICATIONS public limited company User interface
KR20160114873A (en) * 2015-03-25 2016-10-06 엘지전자 주식회사 Rotational multimedia device
KR20170097519A (en) * 2016-02-18 2017-08-28 삼성전자주식회사 Voice processing method and device
KR20180079824A (en) * 2017-01-02 2018-07-11 엘지전자 주식회사 Home robot and method for operating the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949475A (en) * 1993-04-07 1999-09-07 Fujitsu Limited Multi-location control apparatus, television conference terminal unit, and multi-location television conference system
EP1315071A1 (en) * 2001-11-27 2003-05-28 BRITISH TELECOMMUNICATIONS public limited company User interface
KR20160114873A (en) * 2015-03-25 2016-10-06 엘지전자 주식회사 Rotational multimedia device
KR20170097519A (en) * 2016-02-18 2017-08-28 삼성전자주식회사 Voice processing method and device
KR20180079824A (en) * 2017-01-02 2018-07-11 엘지전자 주식회사 Home robot and method for operating the same

Also Published As

Publication number Publication date
KR20200012410A (en) 2020-02-05

Similar Documents

Publication Publication Date Title
WO2019182325A1 (en) Electronic device and voice recognition control method of electronic device
WO2020045950A1 (en) Method, device, and system of selectively using multiple voice data receiving devices for intelligent service
WO2014042445A1 (en) Display apparatus and method for controlling display apparatus thereof
WO2019107945A1 (en) Method of providing service based on location of sound source and speech recognition device therefor
WO2014062032A1 (en) Display device, remote control device to control display device, method of controlling display device, method of controlling server and method of controlling remote control device
WO2019168383A1 (en) Electronic device
WO2013168970A1 (en) Method and system for operating communication service
WO2016200146A1 (en) Portable device, content reproducing device, and the method thereof
WO2014014238A1 (en) System and method for providing image
WO2019168380A1 (en) Electronic device
WO2019225978A1 (en) Camera and terminal including the same
WO2016129778A1 (en) Mobile terminal and control method therefor
WO2013129799A1 (en) Electronic device and method for controlling electronic device
WO2018048098A1 (en) Portable camera and controlling method therefor
WO2019112295A1 (en) Electronic device for setting up network of external device and method for operating same
WO2015194773A1 (en) Display device and driving method therefor
WO2020085873A1 (en) Camera and terminal having same
WO2019066133A1 (en) System for implementing virtual mobile terminal in mixed reality, and control method therefor
WO2019225979A1 (en) Camera and terminal including the same
EP3830821A1 (en) Method, device, and system of selectively using multiple voice data receiving devices for intelligent service
WO2018092975A1 (en) Display device and operational method thereof
WO2021137629A1 (en) Display device, mobile device, video calling method performed by the display device, and video calling method performed by the mobile device
WO2020022571A1 (en) Smart device and method for controlling same
WO2020022570A1 (en) Smart device and method for controlling same
WO2016125966A1 (en) Image projection apparatus and operation method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18927869

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18927869

Country of ref document: EP

Kind code of ref document: A1