WO2020022569A1 - 스마트 프로젝터 및 그 제어 방법 - Google Patents

스마트 프로젝터 및 그 제어 방법 Download PDF

Info

Publication number
WO2020022569A1
WO2020022569A1 PCT/KR2018/014222 KR2018014222W WO2020022569A1 WO 2020022569 A1 WO2020022569 A1 WO 2020022569A1 KR 2018014222 W KR2018014222 W KR 2018014222W WO 2020022569 A1 WO2020022569 A1 WO 2020022569A1
Authority
WO
WIPO (PCT)
Prior art keywords
feedback
mode
smart
smart projector
projector
Prior art date
Application number
PCT/KR2018/014222
Other languages
English (en)
French (fr)
Inventor
박성흠
김영훈
강승원
Original Assignee
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴맥스 filed Critical (주)휴맥스
Publication of WO2020022569A1 publication Critical patent/WO2020022569A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Definitions

  • the present invention relates to a smart projector and a control method thereof. Specifically, the present invention relates to a smart projector for acquiring a voice command and outputting various feedback corresponding to the voice command, and a control method thereof.
  • the smart speaker equipped with such an 'intelligent assistant' function generally refers to a smart device capable of receiving a voice command and outputting feedback according to the command in audio form.
  • voice control is possible compared to buttons or touch interfaces of traditional smart devices
  • criticism that the limitation of providing feedback in the form of audio is limited in the information that can be provided and the user's information acquisition is inefficient. This has been raised.
  • smart speakers are increasingly being transformed into smart displays that can be equipped with a display and provide feedback in the form of video as well as audio.
  • smart displays that can be equipped with a display and provide feedback in the form of video as well as audio.
  • One object of the present invention is to provide a smart device for acquiring voice commands and performing feedback.
  • One object of the present invention is to provide a control method of a smart device for acquiring a voice command and performing feedback.
  • One object of the present invention is to provide a smart device in which the form of feedback is changed according to the operation mode.
  • One object of the present invention is to provide a method for controlling a smart device such that the form of feedback changes according to an operation mode.
  • a control method of a smart projector may be provided.
  • the smart projector may acquire a voice command and output various feedbacks corresponding to the voice command.
  • the smart projector includes a first side and a second side, and may operate according to a selected mode among a plurality of modes.
  • the plurality of modes may include a first mode having a first surface on a lower surface and projecting an image on a wall surface, or a second mode projecting an image on a floor with a second surface on a lower surface.
  • the control method of the smart projector includes: obtaining a voice ignited by a user and including a voice command, determining an output form of feedback corresponding to the voice command based on an operation mode of the smart projector, and feedback in the determined output form It may include the step of outputting.
  • Determining an output form of the feedback includes detecting an operation mode of the smart projector, and when the operation mode of the smart projector is the second mode, determining a form of feedback by considering a distance away from the smart projector by the user. can do.
  • a smart projector that operates according to a selected mode among a plurality of modes including a first mode of projecting an image on a wall surface and a second mode of projecting an image on a floor may be provided.
  • the smart projector includes a housing including a first surface positioned at a lower surface in a first mode and a second surface positioned at a lower surface in a second mode, a sensor module positioned inside the housing, and detecting a posture of the smart projector, and an exterior of the housing.
  • a microphone module that is exposed and is ignited by a user and obtains a voice including a voice command
  • a speaker module that is exposed to the outside of the housing to output voice feedback corresponding to the voice command
  • the projector may include a projector module and a controller to emit light in an oblique direction to a third surface to output image feedback corresponding to a voice command.
  • the control unit outputs feedback including information requested by a voice command using at least one of a speaker module and a microphone module, and the feedback includes at least one of voice feedback or image feedback, and the form of the feedback is a sensed smart projector. It may be determined in consideration of the operation mode of the smart projector determined based on the posture of.
  • a smart projector for acquiring a voice command and outputting various feedbacks corresponding to the voice command-the smart projector includes a first side and a second side, and includes a selected mode among a plurality of modes.
  • the plurality of modes include a first mode having a first face on a lower surface and a second mode of projecting an image on a floor with a first face on a second surface or a bottom face on a second surface.
  • the plurality of modes include a first mode having a first face on a lower surface and a second mode of projecting an image on a floor with a first face on a second surface or a bottom face on a second surface.
  • the control method of the smart projector includes: obtaining a voice uttered by a user and including a voice command, determining an output form of feedback corresponding to the voice command based on the obtained voice command, and feedback in the determined output form And outputting the feedback, but determining the output form of the feedback comprises: determining whether the voice command includes a feedback indicator indicating a form of the feedback; when the voice command includes a feedback indicator, the voice command is requested by the voice command. Determining an output form of the feedback in a form corresponding to the feedback indicator in the form of feedback, and if the voice command does not include the feedback indicator, determining an output form of the feedback in consideration of an operation mode; It may include.
  • the feedback indicator may include a talk-back indicator indicating feedback including voice feedback and a display-back indicator indicating feedback including image feedback.
  • the determining of the output form of the feedback in consideration of the operation mode may include: receiving the feedback including the information requested by the voice command when the operation mode is the first mode; Determining an output form of the feedback in a form comprising; And when the distance is longer than a reference distance in consideration of the distance from the smart projector of the user when the operation mode is the second mode, outputting the feedback in the form of including the voice feedback. Determining a; may further include.
  • the light outputs an image and operates according to a selected mode among a plurality of modes, the plurality of modes comprising a first mode for projecting an image onto a wall and a bottom for projecting the image to a floor.
  • a smart projector including two modes may be provided.
  • the smart projector includes a housing having an upper surface and a lower surface, a microphone module that is exposed to the outside of the housing to be ignited by a user and obtains a voice including a voice command, and outputs voice feedback corresponding to the voice command exposed to the outside of the housing.
  • the speaker module may include a projector module and a controller to emit light to the outside of the housing to output image feedback corresponding to a voice command.
  • the control unit outputs feedback including information requested by a voice command using at least one of a speaker module and a microphone module, and the feedback includes at least one of voice feedback or image feedback, and the form of feedback is a form of a smart projector. It may be determined in consideration of the operation mode.
  • the control unit may output the feedback determined to include the video feedback and the audio feedback when the operation mode is the first mode and to include the audio feedback when the operation mode is the second mode.
  • a form of feedback for acquiring a voice command and outputting various feedbacks corresponding to the voice command, and outputting the voice command including a voice command depending on whether the user who utters the voice is located within a reference distance.
  • Smart projector wherein the smart projector operates according to a selected mode among a plurality of modes, the plurality of modes including a first mode for projecting an image to a wall and a second mode for projecting an image to a floor.
  • Detecting whether the current mode corresponds to one of the first mode and the second mode changing the reference distance according to the detected mode, determining whether the user is located within the reference distance from the smart projector, Feedback is voice feedback when within range of smart projector And determining a form of the feedback to include the image feedback, and determining the form of the feedback so that the feedback includes voice feedback if the user is located outside the reference distance from the smart projector. Can be.
  • the reference distance may be a first distance when the smart projector is in the first mode, and the reference distance may be a second distance shorter than the first distance when the smart projector is in the second mode.
  • a housing having at least three sides; A projector module exposed to the outside of the housing and installed on a first surface of any one of the three surfaces, and emitting light in an oblique direction to the first surface to output image feedback corresponding to the voice command; A first mounting surface which is a second surface of any of the three surfaces, and supports the housing in a first posture in which the projector module irradiates the image feedback upward when in contact with a bottom surface; And a second mounting surface which is a third surface of any one of the three surfaces, and supports the housing in a second posture in which the projector module irradiates the image feedback downward when the third surface is in contact with the bottom surface.
  • a first mounting surface which is a second surface of any of the three surfaces, and supports the housing in a first posture in which the projector module irradiates the image feedback upward when in contact with a bottom surface
  • a second mounting surface which is a third surface of any one of the three surfaces, and supports the housing in a second posture in which the projector module
  • the first surface and the second surface may be opposite to each other, the third surface may be located between the first surface and the second surface.
  • the second surface and the third surface may be opposite to each other, and the first surface may be located between the second surface and the third surface.
  • the first surface is a surface adjacent to the second surface and the third surface
  • the second surface is a surface adjacent to the first surface and the third surface
  • the third surface is the first surface and It may be a surface adjacent to the second surface.
  • the projector module may emit the light inclined toward the third surface with respect to the first surface.
  • the housing may be provided in a hexahedral shape in which the first surface, the second surface, and the third surface are sequentially connected. According to another aspect, the housing may be provided in a hexahedral shape in which the second surface, the first surface and the third surface are connected in sequence. According to another aspect, the housing may be provided in a hexahedral shape in which the first surface, the second surface and the third surface are adjacent to each other.
  • a smart projector in which the feedback form is adaptively changed may be provided.
  • a smart projector in which a form of feedback is changed according to a mode may be provided.
  • a smart projector whose mode is changed according to a posture may be provided.
  • FIG. 1 is a block diagram illustrating a smart device according to an embodiment of the present invention.
  • FIG. 2 illustrates a state change of a smart device according to an embodiment of the present invention.
  • FIG 3 illustrates a smart display according to an embodiment of the present invention.
  • FIG. 4 illustrates a smart projector according to an embodiment of the present invention.
  • FIG. 5 illustrates a smart projector according to an embodiment of the present invention.
  • FIG. 6 illustrates a smart projector according to an embodiment of the present invention.
  • FIG. 7 illustrates a smart projector according to an embodiment of the present invention.
  • FIG. 8 is a view for explaining the operation of the smart projector according to an embodiment of the present invention.
  • FIG. 9 is a view for explaining the operation of the smart projector according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a control method of a smart projector according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a step of determining an output form of a feedback in the method of controlling a smart projector according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a step of determining an output form of a feedback in the method of controlling a smart projector according to an embodiment of the present invention.
  • FIG. 13 is a block diagram illustrating a smart projector according to an embodiment of the present invention.
  • the smart device may provide various information to the user by receiving various types of commands from the user and outputting feedback in the form of voice or video in response thereto.
  • the smart device may respond to the voice command of the user by acquiring a voice command according to receiving the user's speech through the microphone module and outputting feedback such as talk-back or display-back.
  • An example of the above-described smart device may be a smart projector.
  • the smart projector may be a device provided in a form in which a projector is mounted on an existing smart speaker.
  • examples of the smart device may include a smart speaker, a smart projector, a smart TV, and the like.
  • the smart device is not limited to the above-described example, and various devices capable of outputting voice and / or video may be used as the smart device described herein.
  • the smart device may include at least one module that performs various functions.
  • the smart device may obtain a voice including a voice command using at least one module, or output a feedback corresponding to the voice command.
  • the types and functions of the modules will be described.
  • the smart device may include a microphone module for receiving a voice signal.
  • the microphone module may include a plurality of microphones.
  • the smart device may include a speaker module that outputs talk-back.
  • the speaker module may include a plurality of speakers.
  • the smart device may include a display module including a display for outputting an image or an image.
  • the display module may include a touch sensor.
  • the display module may be a projector module that emits light.
  • a smart device including a projector module is defined as a smart projector.
  • the smart device may include an optical sensor module for collecting the light.
  • the smart device may acquire 3D spatial information using the optical sensor module.
  • the smart device may obtain user behavior information (eg, gaze information) using the optical sensor module.
  • the optical sensor module may be a camera module for acquiring an image or an image.
  • the camera module may be an infrared camera module.
  • the optical sensor module may be a depth sensor module.
  • the depth sensor module may provide depth information of an object using a time of flight (TOF).
  • TOF time of flight
  • the smart device may include a communication unit.
  • the smart device may communicate with a server using a communication unit.
  • the smart device may communicate with an external device using a communication unit.
  • the communication unit may perform wireless communication with an external device.
  • the communication unit may perform wireless communication such as Wi-Fi, Bluetooth, or the like.
  • the communication unit may perform wired communication.
  • the communication unit may perform wired communication such as USB, Ethernet, or the like.
  • the smart device may include a controller.
  • the controller may control modules included in the smart device.
  • FIG. 1 is a block diagram illustrating a smart device 1000 according to an embodiment of the present invention.
  • the smart device 1000 may include a microphone module 1010, a camera module 1030, a speaker module 1050, a display module 1070, a controller 1090, and a communication unit. 1110.
  • the smart device 1000 may obtain a voice Input 1 using the microphone module 1010.
  • the smart device 1000 may acquire an image, an image, or depth information by using the camera module 1030 (Input 2).
  • the audio may be output (Output 1) using the smart device 1000 speaker module 1050.
  • the smart device may output an image or an image using the display module 1070.
  • the smart device may control each module by using the controller 1090.
  • the smart device may process information obtained from each module by using the controller 1090.
  • the smart device may communicate with the external device 2000 using the communication unit 1110.
  • the smart device may transmit the information acquired using the communication unit 1110 to the external device 2000.
  • the external device 2000 may be a server device provided separately.
  • the smart device includes a display module.
  • the smart device may be implemented as a smart projector including a projector module.
  • the smart device may receive a command from a user using the above-described modules.
  • the smart device may acquire a signal including the user command.
  • the smart device may output a signal according to a user command (hereinafter, referred to as feedback).
  • the smart device may acquire a command or a signal including the command.
  • the smart device may acquire a voice command or a voice (or voice signal) including the voice command.
  • the command may include a voice command, a touch command, a gesture command, and the like.
  • the command may be defined as a user action that requests a specific or arbitrary response from the device.
  • the smart device may provide an interface for obtaining a command from the user.
  • the interface may include a voice interface for obtaining a voice command, a touch interface for obtaining a touch command, and a gesture interface for obtaining a gesture command.
  • the smart device may obtain a voice.
  • the smart device may acquire a voice using the microphone module.
  • the smart device may obtain the spoken voice from the user.
  • the smart device may acquire a voice including a voice command using the microphone module.
  • the smart device may transmit a signal including the obtained voice command and / or voice command to an external device.
  • the smart device may deliver the voice command and / or the voice including the voice command to an external device that provides the information requested by the voice command.
  • the smart device may transmit voice command data to an external device.
  • the external device may be a server device that communicates with at least one device.
  • the smart device may obtain a touch event including a touch command.
  • the smart device may acquire a touch event occurring in the display using the touch sensor.
  • the smart device may obtain a gesture event that includes a gesture command.
  • the smart device may obtain a gesture event using the optical sensor module and / or the camera module.
  • the above-described command will be described on the basis of the case of the voice command.
  • the content of the voice command described herein may be similarly applied to a touch command or a gesture command.
  • the smart device may obtain feedback data including the information corresponding to the above-described voice command, and output the feedback by voice or video.
  • Feedback may be understood as a signal containing information corresponding to a command that is output in response to the device obtaining a command.
  • the information corresponding to the command may include the multimedia content.
  • the smart device may obtain feedback data corresponding to the command.
  • the smart device may acquire a voice including a voice command and / or a voice command, and obtain feedback data corresponding to the command.
  • the smart device may obtain feedback data corresponding to the voice command from the external device.
  • the smart device may obtain feedback data in response to sending the voice command data to the external device.
  • the smart device may output the feedback.
  • the feedback may include voice feedback (hereinafter, voice-back or talk-back) provided by voice or sound, or display feedback (hereinafter, display-back) provided by an image or an image.
  • the smart device can output the talk-back.
  • the smart device may obtain a voice including the voice command and / or voice command and output a talk-back.
  • the smart device may output a talk-back that includes the information requested by the voice command.
  • the smart device may output the talk-back using the speaker module.
  • the talk-back may include audio content such as music, radio, or the like.
  • the smart device can output a display-back.
  • the smart device may obtain a voice including the voice command and / or voice command and output a display-back.
  • the smart device may output a display-back that includes the information requested by the voice command.
  • the smart device may output the display-back using the display module or the projector module.
  • the display-back may include video content such as a TV program, Youtube, a movie, or the like.
  • the smart device may have several driving states.
  • the data processing aspect of the smart device may change depending on the state of the smart device.
  • the smart device may be in an off state. In the off state, the smart device can minimize power consumption. In the off state, the smart device may not consume power. In the off state, the smart device may not collect or output a signal. In the off state, the smart device may be in a hibernation state.
  • the smart device may have a standby state. In the standby state, the smart device may acquire or output a signal.
  • the smart device may acquire a signal that includes a preliminary command foretelling the command generation.
  • the preliminary command or a signal including the preliminary command may be predetermined and stored in advance in the smart device.
  • the smart device may obtain a voice including the preliminary command.
  • the preliminary command included in the voice may be implemented in the form of a hot-word or a wake-up word.
  • the reserved command may be predetermined as a command including a specific word.
  • the smart device may obtain a touch event or gesture event including the preliminary command.
  • the preliminary command included in the touch event may be any touch event or a touch event for a specific region.
  • the preliminary command included in the gesture event may be a wake up gesture according to a specific sequence.
  • the smart device may have a listening state. In the listening state, the smart device may acquire a signal including a voice command.
  • the smart device may acquire a signal including the preliminary command (eg, hot-word) described above and change to a listening state.
  • the listening state may be triggered by a signal including a preliminary command.
  • the smart device may open a listening window.
  • the smart device may acquire a hot-word and open a listening window.
  • the smart device may open a listening window and collect voices including voice commands.
  • the smart device may open the listening window for a predetermined time interval.
  • the predetermined time interval can be changed.
  • the smart device may close the listening window.
  • the smart device can close the listening window and stop collecting voice.
  • the smart device may close the listening window and transmit the collected voice to an external device.
  • the smart device may transmit the collected voice to the external device while the listening window is open.
  • the smart device may obtain a preliminary command.
  • the smart device may acquire the preliminary command and re-enter the listening state.
  • the smart device may acquire a preliminary command in the listening state and reopen or initialize the listening window.
  • the smart device may have a feedback state. In the feedback state, the smart device may output feedback corresponding to the voice command. The smart device may obtain a voice command and change to a feedback state.
  • the smart device may obtain feedback data corresponding to the voice command.
  • the smart device may obtain feedback data corresponding to the voice command in response to sending the voice and / or voice command to the external device.
  • the feedback data may be talk-back data or display-back data.
  • the smart device may output the feedback based on the feedback data.
  • the smart device may output a talk-back or display-back corresponding to the voice command.
  • the smart device may output a talk-back or display-back that includes the information requested by the voice command.
  • the smart device may output the talk-back and the display-back together or sequentially.
  • the smart device may obtain a hot-word.
  • the smart device may acquire a hot-word in the feedback state and change to a listening state.
  • the smart device may perform various operations.
  • the smart device may perform various operations involving the change of state described above. In the following, some basic embodiments of the smart device and additional operations will be described.
  • the smart device may obtain a voice command and output a feedback.
  • FIG. 2 illustrates a state change of a smart device according to an embodiment of the present invention.
  • an operation of a smart device according to an embodiment of the present invention will be described with reference to FIG. 2.
  • the smart device may change from the off state to the standby state.
  • the smart device may be changed from the off state to the standby state according to a user operation.
  • the smart device may change from a standby state to a listening state.
  • the smart device may open a listening window in a standby state, obtain a voice including a hot-word, and change to a listening state.
  • the smart device may change from the listening state to the feedback state.
  • the smart device may be voiced from the user in a listening state, obtain a voice including a voice command, and change to a feedback state.
  • the smart device When the output of the feedback is completed, the smart device may be changed to the standby state. In some cases, the smart device may be changed to a command state when the output of the feedback is completed. According to the type of feedback, the smart device may change to a command state after outputting the feedback. For example, when the output feedback requests a user command, the smart device may change to a command state after outputting the feedback.
  • the smart device may change from the feedback state to the listening state.
  • the smart device may obtain a preliminary command, such as a hot-word, during the output of the feedback.
  • the smart device may acquire a preliminary command during the feedback output and change to a listening state.
  • the smart device may change from the standby state or the listening state to the off state.
  • the smart device may change from a standby state or a listening state to an off state if a hot-word is not acquired within a predetermined time.
  • the smart device may obtain and store user location information.
  • the smart device may obtain basic information related to the user location and transmit the basic information to the external device.
  • the smart device may obtain user location information.
  • the smart device may acquire user location information when a user voice is obtained.
  • the smart device may collect user location information using the above-described optical sensor module.
  • the smart device may obtain user location information based on the spatial information obtained using the optical sensor module.
  • the smart device may collect user location information using the microphone module described above.
  • the smart device may acquire a voice spoken by the user using a plurality of microphones and collect user location information in consideration of the direction in which the voice is spoken.
  • the smart device may acquire the user location information in the standby state, the listening state or the feedback state.
  • the smart device may periodically acquire user location information.
  • the smart device may output feedback in consideration of user location information.
  • the smart device may determine the output direction of the talk-back in consideration of the user location information.
  • the smart device may determine the output location and / or orientation of the display-back in consideration of the user location information.
  • the above-described smart device may be implemented in various forms. Hereinafter, some embodiments of the smart device will be described.
  • the smart device may be provided in the form of a smart display equipped with a display providing a touch interface.
  • the smart display can obtain voice commands and output talk-back or display-back.
  • the smart display 100a may include a microphone 102a, a speaker 106a, and a display 108a.
  • the smart display 100a may optionally include a camera 104a.
  • the smart display 100a may obtain a voice command using the microphone 102a, output a talk-back using the speaker 106a, or output the display-back through the display 108a.
  • the smart device may be provided in the form of a smart projector that emits light upward as an example of a smart projector equipped with a projector module.
  • the smart projector 100b may include a microphone 102b and a speaker 106b.
  • the smart projector 100b may include a camera.
  • the smart projector may emit light upward.
  • the smart projector can project an image or an image on any wall.
  • the projection area 10a in which the smart projector projects the image or the image may be changed.
  • the size or position of the projection area 10a can be changed.
  • the direction in which the image is projected may be determined to facilitate viewing.
  • the direction in which the image is projected may be determined to facilitate viewing in a direction opposite to the direction in which the smart projector projects the image.
  • the smart speaker may project such that the lower side of the image is located below the wall surface. In other words, the smart speaker may project an image to be projected on the wall in the upright direction.
  • the smart projector 100b may further include a sensor unit and may detect a gesture event or a touch event occurring in the projection area.
  • the smart device may be provided in the form of a smart projector that emits light downward as an example of the above-described smart projector.
  • the smart projector 100c may include a microphone 102c and a speaker 106c.
  • the smart projector 100c may further include a camera or a sensor unit.
  • the smart projector 100c may emit light downward.
  • the smart projector 100c may project an image or an image on a floor or a table on which the smart projector 100c is located.
  • the size or position of the projection area 10b can be changed.
  • the direction in which the image is projected may be determined to facilitate viewing in the direction in which the smart projector projects the image.
  • the smart speaker may project so that the lower side of the image is projected to the outside of the table (ie, a position far from the device).
  • the above-described smart projector may have a plurality of postures.
  • the smart projector may operate in the first posture or the second posture.
  • the smart projector may emit light upward or downward depending on the posture change.
  • the smart projector 100d may include a first posture (a) of FIG. 6 as a top surface and a second surface different from the first surface. It can operate in two postures (b of FIG. 6).
  • a first posture
  • b second surface different from the first surface. It can operate in two postures (b of FIG. 6).
  • an operation according to the posture of the smart projector 100d will be described with reference to FIG. 6.
  • the smart projector 100d may include a microphone 102d and a speaker 106d.
  • the smart projector 100d may optionally include a sensor unit or a camera.
  • the smart projector 100d when the smart projector 100d is in a first posture (eg, a wall projection posture), the smart projector 100d may emit light upward toward the wall.
  • a first posture eg, a wall projection posture
  • the smart projector 100d may operate similar to the second type smart projector 100b described above.
  • the smart projector 100d when the smart projector 100d is in a second posture (eg, a table projection posture), the smart projector 100d may emit light downward toward the floor or the table.
  • the smart projector 100d when the smart projector 100d is in the second posture, the smart projector 100d may operate similarly to the third type projector 100c described above.
  • the attitude of the smart projector 100d may be changed.
  • the attitude of the smart projector 100d may be changed manually.
  • the attitude of the smart projector 100d may be automatically changed by the driver.
  • the operation of at least one of the modules included in the smart projector 100d may be changed.
  • the operation of any one of a speaker module, a microphone module, and a sensor module included in the smart projector 100d may be changed.
  • the speaker 106d for outputting audio may be changed.
  • the direction in which the smart projector 100d projects light may be changed.
  • the projection direction of the image 10c projected from the smart projector 100d may be changed.
  • the smart projector 100d projects an image such that the bottom of the image is close to the smart projector 100d in the first posture, and projects the image so that the bottom of the image is far from the smart projector 100d in the second posture. can do.
  • the smart projector 100d has a first posture and a second posture, and has been described based on a case in which the posture is selectively changed between the first posture and the second posture. It is not.
  • the smart projector 100d may have three or more postures and may be implemented to selectively change the posture as necessary.
  • the smart device may be provided in the form of a smart projector in which the projection direction of light is rotatable as an example of the above-described smart projector.
  • the smart projector 100e may be provided to project an image on a wall and / or a table, and to rotate the projection direction of the image.
  • FIG. 7 illustrates a smart projector 100e according to an embodiment of the present invention.
  • the smart projector may be implemented such that the projection direction of the image is rotatable.
  • the direction in which the image is projected may rotate about the rotation axis of the smart projector.
  • the smart projector 100e may include a microphone 102e and a speaker 106e.
  • the smart projector 100e may optionally include a sensor unit or a camera.
  • the smart projector 100e may be provided to emit light downward and to rotate the projection direction of the light.
  • the smart projector 100e may be positioned on a table and project an image on the table upper surface.
  • the smart projector 100e may rotate the direction in which the image is projected on the table.
  • the smart projector 100e may rotate the projection direction of the image so that the projection area is changed from the first position 10d to the second position 10d '.
  • the smart projector 100e may emit light upward and rotate the projection direction of the light.
  • the smart projector 100e may project an image onto a wall.
  • the smart projector 100e may rotate the direction in which the image is projected.
  • the smart projector 100e may rotate the direction in which the image is projected so that the wall surface on which the image is projected is changed.
  • the smart projector 100e may rotate the projection direction of the image so that the projection area is changed from the third position 10e to the fourth position 10e '.
  • the smart device disclosed herein may acquire a signal including a voice command and perform various types of feedback.
  • the type of feedback output may be determined in consideration of various factors.
  • a method for determining the output form of the feedback and the like will be described.
  • the type of feedback to be output may be determined in consideration of the contents of the voice command.
  • the smart device may obtain a voice command including a feedback indicator and output feedback in a form corresponding to the feedback indicator.
  • the feedback may include information requested by the voice command.
  • the smart device may obtain a voice command including the feedback indicator.
  • the feedback indicator may indicate or request the output of a specific type of feedback or feedback that meets certain conditions.
  • the feedback indicator may be predetermined in terms of a word, a morpheme, or the like having a specific meaning included in a sentence constituting the voice command.
  • the feedback indicator may be predetermined as an directive word included in a sentence constituting the voice command.
  • the feedback indicator may be a talk-back indicator indicating the output of the talk-back.
  • the feedback indicator may be a display-back indicator indicating the output of the display-back.
  • the smart device may output feedback including information requested by the voice command in a feedback form corresponding to the feedback indicator.
  • the voice command may include a talk-back indicator requesting a talk-back from the smart device.
  • the smart device may obtain a voice command that includes the talk-back indicator and output a talk-back that includes the information requested by the voice command.
  • the smart device may obtain a voice command including the talk-back indicator and selectively output the display-back together while outputting the talk-back.
  • the voice command may include a display-back indicator requesting a display-back from the smart device.
  • the smart device may obtain a voice command including the display-back indicator and output a display-back including information requested by the voice command.
  • the smart device may obtain a voice command that includes a display-back indicator, and optionally output the talk-back together while outputting the display-back.
  • the type of feedback output may be determined in consideration of information or content requested by a voice command.
  • the type of feedback may be determined in consideration of the structure of the information.
  • the form of feedback may be determined such that when the information requested by the voice command includes visual information, the information is output through the display-back.
  • the feedback may include a simplified talk-back or no talk-back.
  • the requested information includes auditory information, it may be determined that the information is output via talk-back.
  • the feedback may include a simplified display-back or no display-back.
  • the form of feedback may be provided predetermined to the content.
  • the content requested by the voice command may be provided with a predetermined feedback form.
  • the content may be provided with a predetermined output aspect of the talk-back and / or display-back according to the configuration thereof.
  • the smart device may adaptively output various types of feedback for the convenience of the user. For example, when the sentence constituting the voice command is questionable, the form of feedback may be determined in consideration of the environment of the smart device and the user. However, if necessary, even when the voice command includes a feedback indicator, the feedback method disclosed herein may be applied.
  • the smart device obtains environmental information, and the type of feedback output from the smart device may be determined in consideration of the environmental information.
  • the smart device may obtain environment information.
  • the output form of the feedback may be determined in consideration of environmental information.
  • the environment information may include eye gaze information of the user, location information of the user, distance information of the user, activity information of the user, and the like.
  • Environmental information may be obtained using a camera module, a microphone module, and / or a sensor module.
  • the environmental information may be determined in consideration of three-dimensional spatial information.
  • the environmental information may be determined in consideration of aspects of voice spoken by the user. For example, the environmental information may be determined by comparing the size of the voice with a threshold. Alternatively, the environmental information may be determined in consideration of the change in the size of the voice.
  • the output form of the feedback may be determined in the form of outputting the information requested by the voice command through the talk-back in consideration of the environmental information. For example, if it is determined that the user is difficult to obtain visual information based on the environmental information (eg, when the user's gaze is not detected or the user is far away), the output form of the feedback is transmitted to the voice command through the talk-back. It may be determined in the form of outputting the requested information. In this case, the feedback may not include the display-back or may include the display-back in a simplified form.
  • the output form of the feedback may be determined in the form of outputting the information requested by the voice command through the display-back in consideration of the environmental information. For example, if it is determined that the user is difficult to obtain auditory information based on the environmental information (eg, when there is ambient noise or the user is far away), the output form of the feedback is displayed by the voice command through the display-back. It may be determined in the form of outputting the requested information. In this case, the feedback may not include the talk-back or may include the simplified talk-back.
  • the form of feedback in adaptively determining the form of the above-described feedback, it may be determined in consideration of characteristics or types of smart devices.
  • the form of feedback may be determined in consideration of the current posture or mode of the smart device.
  • a method of determining the form of feedback according to the type, attitude, etc. of the device may be implemented differently, and the method of determining the above-described instruction, content, or environment may be used together in determining the form of feedback.
  • the smart projector may operate according to any mode selected from the plurality of modes.
  • the plurality of modes may include a first mode in which the image is projected on the wall and a second mode in which the image is projected on the floor.
  • the mode of the smart projector can be changed.
  • the smart projector may change its mode by moving, elevating, or tilting the projector module.
  • the smart projector further includes a reflector, and the mode may be changed by the movement of the reflector.
  • the smart projector may differently determine the output form of the feedback in the first mode or the second mode.
  • the smart projector may output feedback having different forms in the first mode and the second mode.
  • the control method of the smart projector having a) may include obtaining a voice spoken by a user and outputting feedback determined in consideration of the mode of the smart projector.
  • the outputting of the feedback may include outputting feedback whose shape is determined to include voice feedback (or talk-back) and image feedback (or display-back) corresponding to the voice command when the operation mode of the smart projector is the first mode. And when the operation mode of the smart projector is the second mode, the user may include the step of outputting the feedback is determined in consideration of the distance away from the smart projector.
  • the smart projector may output feedback including voice feedback and image feedback regardless of the position of the user.
  • the smart projector may output feedback including voice feedback and image feedback when the user is located within a reference distance from the smart projector.
  • the smart projector may output feedback including voice feedback and not including image feedback.
  • the determination of the feedback type may be performed in a processor mounted in the smart projector or a server provided separately.
  • the smart projector may acquire a voice, transmit voice data to a server, obtain feedback data and feedback form information from the server, and output feedback according to the acquired feedback form.
  • a control method of a smart projector that operates according to a selected mode among a plurality of modes including a first mode of projecting an image onto a wall surface and a second mode of projecting an image onto a floor.
  • the smart projector acquires a voice command and outputs various feedbacks corresponding to the voice command, but the form of the feedback may be changed depending on whether the user who utters the voice including the voice command is located within a reference distance. .
  • the control method of the smart projector may include detecting an operation mode of the smart projector, changing a reference distance according to the detected mode, determining whether the user is within a reference distance from the smart projector, and the user is within a reference distance from the smart projector. Determining the shape of the feedback so that the feedback includes voice feedback and image feedback when positioned and determining the form of feedback so that the feedback includes voice feedback when the user is located outside the reference distance from the smart projector. have.
  • the detecting of the operation mode of the smart projector may include detecting which of the first mode and the second mode corresponds to the current mode.
  • the reference distance When the smart projector is in the first mode, the reference distance may be the first distance. In this case, when the smart projector is in the second mode, the reference distance may be a second distance shorter than the first distance.
  • the reference distance may have an infinite length.
  • the smart projector may output voice feedback and image feedback regardless of the position of the user.
  • the location of the user can be obtained using the microphone module.
  • the location of the user may be obtained in consideration of the size of the voice spoken by the user.
  • the location of the user can be obtained using the sensor module.
  • the location of the user can be obtained using a depth sensor.
  • Mode detection of the smart projector may be performed by detecting a direction in which the smart projector emits light.
  • detecting the mode of the smart projector may include detecting a posture of the projector module.
  • a smart projector operating in any one of a plurality of modes including a first mode for projecting an image on a wall surface and a second mode for projecting an image on a floor may be provided.
  • the smart projector includes a housing including a first surface positioned at a lower surface in a first mode and a second surface positioned at a lower surface in a second mode, a sensor module positioned inside the housing, and detecting a posture of the smart projector, and an exterior of the housing.
  • a microphone module that is exposed and is ignited by a user and obtains a voice including a voice command
  • a speaker module that is exposed to the outside of the housing to output voice feedback corresponding to the voice command
  • the projector may include a projector module and a controller to emit light in an oblique direction to a third surface to output image feedback corresponding to a voice command.
  • the control unit outputs feedback including information requested by a voice command using at least one of a speaker module and a microphone module, and the feedback includes at least one of voice feedback or image feedback, and the form of the feedback is a sensed smart projector. It may be determined in consideration of the operation mode of the smart projector determined based on the posture of.
  • the output form and / or the method of determining the output form of the feedback may be implemented differently according to the attitude of the smart projector that outputs the feedback.
  • the method of determining the output form and / or output form of the feedback is that the output form and / or output form of the feedback in each pose or mode when the user physically changes the attitude of the projector and thus the projection mode is changed.
  • the determination method of may be implemented differently.
  • the above-described fourth type smart projector 100d may have a first posture and a second posture.
  • the method of determining the form of feedback and / or the form of feedback output when the fourth type smart projector 100d is in the first posture or the second posture may be differently determined.
  • the smart projector may be implemented to change the form of feedback according to the mode.
  • the mode in which the image is projected on the wall surface, the characteristic of the talk-back is changed according to the distance of the user, and the second mode in which the image is projected on the floor (FIG. 9) describes a smart projector implemented to output feedback in which the characteristics of the talk-back and display-back are changed according to the distance of the user.
  • the smart projector may operate in a first posture in a first mode.
  • the characteristics of the feedback e.g., the talk-back
  • the talk-back may be changed according to the position of the user.
  • a smart projector may acquire a voice uttered by a user and output feedback corresponding to a voice command included in the voice in a form determined in consideration of the distance of the user. have.
  • the smart projector acquires the voice uttered from the user when the user is separated by the first distance d1 from the smart projector, and provides feedback including talk-back and display-back. You can print In this case, the talk-back may be output at a first volume.
  • the smart projector acquires the voice uttered from the user when the user is separated by a second distance d2 shorter than the first distance d1, and displays the display-back and the talk-back. It may output a feedback including a.
  • the talk-back may be output at a second volume smaller than the first volume.
  • FIG. 9 is a view for explaining the operation of the smart projector according to an embodiment of the present invention.
  • the smart projector may operate in the second posture in the second mode.
  • the form of the feedback output by the smart projector may be changed according to the position of the user.
  • a smart projector acquires a voice that is uttered from a user and includes a voice command when the user is separated by a third distance d3 from the smart projector.
  • the feedback corresponding to the voice command can be provided in the form of talk-back.
  • the smart projector according to an embodiment of the present invention is ignited by the user when the user is separated from the smart projector by a fourth distance d4 shorter than the third distance d3.
  • a voice including a voice command may be obtained, and feedback corresponding to the voice command may be provided in a form including talk-back and display-back.
  • the smart projector When the user is away from the smart projector by a fourth distance d4 shorter than the third distance d3, the smart projector outputs a talk-back at a lower volume than when the user is away from the projector by a third distance d3. can do.
  • the smart projector may detect that the user has approached the reference distance or less, and output a guide notifying that the output form of the feedback is changed.
  • the smart projector may detect that the user is farther than the reference distance, and may output a guide notifying that the output form of the feedback is changed.
  • the smart projector may output an audio guide or an image guide indicating that the output form of the feedback is changed.
  • the smart projector can change the output form of the feedback.
  • the smart projector may change the brightness of the display-back and / or the volume of the talk-back.
  • FIG. 10 is a flowchart illustrating a control method of a smart projector according to an embodiment of the present invention.
  • the method may include obtaining a voice (S100), determining an output form of feedback (S200), and outputting a feedback (S300). It may include.
  • the smart projector may include a first side and a second side.
  • the first side and the second side may be adjacent to each other.
  • the smart projector may be provided in a hexahedral shape including a first side and a second side.
  • the smart projector operates according to a selected mode among a plurality of modes, wherein the plurality of modes are the first mode for the bottom surface and the second mode for projecting the image on the floor with the first mode or the second surface for the image on the wall surface. May contain modes.
  • the smart projector may be used in the first posture or the second posture.
  • the smart projector can operate in a first mode that projects an image onto a wall in a first posture.
  • the smart projector may operate in a second mode in which an image is projected on the floor in a second posture.
  • the smart projector may further include a third surface that faces the first surface, and may emit light from the third surface in an oblique direction with respect to the third surface to project an image.
  • the smart projector may further include a fourth side facing the second side. Speakers, microphones and / or cameras may be formed on the fourth and / or third sides.
  • the control method of the smart projector may include acquiring (S100) a voice uttered by a user and including a voice command.
  • the smart projector may acquire a voice using the microphone module.
  • the foregoing may be applied with respect to the smart device.
  • the control method of the smart projector may include a step S200 of determining an output form of feedback corresponding to a voice command.
  • the output form of the feedback may be determined based on the operation mode of the smart projector.
  • the output form of the feedback may be determined in consideration of the attitude of the smart projector.
  • the output form of the feedback may be determined in consideration of the distance between the user who uttered the voice and the smart projector.
  • control method of the smart projector may include detecting the attitude or mode of the smart projector, and the output form of the feedback may be determined in consideration of the detected attitude or mode.
  • the smart projector When the smart projector is in the first posture or the first mode, it may be determined to include voice feedback and the image feedback, and when the smart projector is in the second posture or the second mode, it may be determined to include talk-back.
  • FIG. 11 is a flowchart illustrating a step of determining an output form of a feedback in the method of controlling a smart projector according to an embodiment of the present invention.
  • the determining of the output form of the feedback may include determining which of the first mode and the second mode corresponds to an operation mode of the smart projector ( S210) and when the operation mode of the smart projector is the second mode, the user may include determining a form of feedback in consideration of a distance away from the smart projector (S233).
  • the operation mode of the smart projector may be detected by detecting the operation mode of the smart projector. Determining whether the operation mode of the smart projector is one of the first mode and the second mode (S210) detects the surface positioned as the lower surface, and when the first surface is positioned as the lower surface, the smart projector is in the first mode. The method may further include determining that the smart projector is in the second mode when the second surface is positioned as the lower surface.
  • the feedback when the operation mode of the smart projector is the first posture or the first mode, the feedback may include the feedback and the image feedback corresponding to the voice command. Determining the shape of the (S231) may further include.
  • the voice feedback and the image feedback may each include information requested by a voice command.
  • the image feedback may include information requested by the voice command
  • the voice feedback may include auxiliary information that complements the image feedback.
  • the auxiliary information may include information for facilitating a user obtaining information through image feedback.
  • FIG. 12 is a flowchart illustrating a step of determining an output form of a feedback in the method of controlling a smart projector according to an embodiment of the present invention.
  • the determining of the output form of the feedback may further include determining whether the user is located within a reference distance from the smart projector (S251 and S253).
  • the step of determining the output form of the feedback may include the feedback including the image feedback when the smart projector is in the second mode and the user is located within the reference distance.
  • the method may further include determining a form of the feedback (S271).
  • the form of feedback may be determined such that the feedback includes video feedback and audio feedback.
  • the voice feedback may include information requested by the voice command or auxiliary information for assisting the image feedback.
  • determining the output form of the feedback may include determining the form of the feedback so that the feedback includes voice feedback when the user is located outside the reference distance. It may further include (S273). In this case, the form of feedback may be determined so that the feedback does not include the image feedback.
  • determining an output form of the feedback may include determining that the smart projector is in the first mode and the user feedback is within a reference distance from the smart projector.
  • the method may further include determining a form of the feedback to be output in size (S275).
  • determining an output form of the feedback may be performed when the smart projector is in the first mode and the user is located farther than the reference distance from the smart projector.
  • the method may further include determining a form of feedback to be output at a second size (S277).
  • the smart projector may output the feedback (S300).
  • the smart projector may output the feedback in the determined output form.
  • the smart projector may output feedback using the speaker module and / or the projector module.
  • the method includes: obtaining a voice (S100), determining an output form of the feedback (S200), and outputting a feedback (S300). ) May be included.
  • the determining of the output form of the feedback (S200) may include determining the output form of the feedback corresponding to the voice command based on the obtained voice command.
  • the determining of the output form of the feedback may include determining whether the voice command includes a feedback indicator indicating the form of the feedback.
  • the feedback indicator may include a talk-back indicator indicating feedback including voice feedback and a display-back indicator indicating feedback including image feedback.
  • the content of the feedback indicator may be applied similarly to the above-described embodiment.
  • Determining the output form of the feedback (S200), if the voice command includes a feedback indicator, the step of determining the output form of the feedback in the form corresponding to the feedback indicator to the feedback including the information requested by the voice command; It may include. For example, if the voice command includes a talk-back indicator, the shape of the feedback can be determined such that the feedback includes voice feedback. For another example, if the voice command includes a display-back indicator, the form of feedback may be determined such that the feedback includes image feedback.
  • the determining of the output form of the feedback may include determining the output form of the feedback in consideration of an operation mode when the voice command does not include a feedback indicator.
  • the feedback including the information requested by the voice command in the form of the feedback including voice feedback and image feedback Determining the output form.
  • the step of determining the output form of the feedback in consideration of the operation mode is to consider the distance from the user's smart projector when the operation mode of the smart projector is the second mode, and if the distance is longer than the reference distance, the feedback is provided for the voice feedback. Determining the output form of the feedback in a form that includes.
  • the smart projector may further have an additional mode that is distinguished from the first mode and the second mode.
  • the smart projector may output feedback determined differently from the first mode and / or the second mode.
  • a plurality of modes including a first mode having a first surface on a lower surface and projecting an image to a wall surface and a second mode projecting an image to a floor with a second surface on a lower surface
  • a control method of a smart projector that operates according to any mode selected may be provided.
  • the smart projector acquires a voice command and outputs various feedbacks corresponding to the voice command, but the form of the feedback may be changed depending on whether the user who utters the voice including the voice command is located within a reference distance.
  • the above descriptions in the first embodiment may be similarly applied.
  • the control method of the smart projector may include detecting whether the current mode corresponds to a first mode or a second mode, changing a reference distance according to the detected mode, and determining whether the user is within a reference distance from the smart projector. Determining the shape of the feedback so that the feedback includes voice feedback and image feedback if the user is within a reference distance from the smart projector and feedback so that the feedback includes voice feedback if the user is outside the reference distance from the smart projector. Determining the form of may include.
  • Mode detection of the smart projector may be performed by detecting a posture of the smart projector.
  • the detecting of the above-described mode of the smart projector may include: when the bottom surface of the smart projector is the first side and the smart projector has the first mode and the bottom side of the smart projector is the second side different from the first side. Sensing as having a second mode.
  • a smart projector operating in any one mode selected from among a plurality of modes including a first mode of projecting an image on a wall surface and a second mode of projecting an image on a floor may be provided. .
  • the smart projector 3000 includes a microphone module 3010, a camera module 3030, a speaker module 3050, a projector module 3070, a sensor module 3090, and the like.
  • the controller 3110 may be included.
  • the microphone module 3010 may acquire an audio signal Input 1.
  • the camera module 3030 may acquire an image or an image (Input 2).
  • the camera module 3030 may not be included in the smart projector 3000 in some cases.
  • the speaker module 3050 may output an audio signal Output 1.
  • the projector module 3070 may emit light to output an image or image data Output 2.
  • the sensor module 3090 may detect the posture of the smart projector.
  • the controller 3110 may perform data processing.
  • the controller 3110 may control the modules included in the smart projector 3000.
  • the smart projector emits light and outputs an image, but has a first mode for projecting the image onto a wall and a second mode for projecting the image to a floor, and includes a housing, a sensor module, It may include a microphone module, a speaker module, a projector module, and a controller.
  • the housing may include a first face positioned to the bottom surface in the first mode and a second face positioned to the bottom surface in the second mode.
  • the sensor module may be located inside the housing to detect the attitude of the smart projector.
  • the sensor module may be attached to either the first side or the second side.
  • the sensor module may be attached to the first surface or the second surface to detect a position of the first surface or the second surface.
  • the sensor module may detect whether the first surface or the second surface is positioned at the lower surface.
  • the microphone module may be exposed to the outside of the housing to obtain a voice that is ignited by the user and includes voice commands.
  • the microphone module may be located on the first side or the second side.
  • the speaker module may be exposed to the outside of the housing to output voice feedback corresponding to the voice command.
  • the speaker module may be located on the first side or the second side.
  • the projector module may output an image feedback corresponding to a voice command by emitting light in an oblique direction to a third surface exposed to the outside of the housing and opposite to the first surface.
  • the control unit outputs feedback including information requested by a voice command using at least one of a speaker module and a microphone module, and the feedback includes at least one of voice feedback or image feedback, and the form of the feedback is a sensed smart projector. It may be determined in consideration of the operation mode of the smart projector determined based on the posture of.
  • the form of feedback may be determined by further considering the distance from the user from the smart projector.
  • the controller may output feedback including voice feedback and image feedback.
  • the controller may output feedback including voice feedback.
  • the controller may output feedback including voice feedback and image feedback.
  • the controller may determine a surface positioned as a lower surface of the first and second surfaces by using a sensor module and detect a posture of the smart projector.
  • the sensor module may include at least one of a gyro sensor, an infrared sensor, an illumination sensor, a proximity sensor, an acceleration sensor, an earth magnetic field sensor, an air pressure sensor, and a vibration sensor.
  • the type of feedback output from the smart projector that acquires the voice and outputs feedback corresponding to the voice command may be determined in consideration of the operation mode or attitude of the smart projector.
  • the smart projector may be provided so that the emission direction is rotatable.
  • the smart projector may be the above-described fifth type projector 100e.
  • the smart projector may have an upward emission mode and a downward emission mode, and the emission direction may be rotatable in each of the upward emission mode and the downward emission mode.
  • the smart projector can operate in the third mode and the fourth mode.
  • the smart projector In the third mode, the smart projector emits upward to project an image on the wall, but the light emitting direction may be rotatable.
  • the smart projector In the fourth mode, the smart projector emits downward to project an image on the floor, but the light emitting direction may be rotatable.
  • the smart projector may change a form of feedback output according to a mode and / or a posture.
  • the third mode and the fourth mode may correspond to the first mode and the second mode in the above-described embodiments, respectively.
  • a user operating in a selected mode among a plurality of modes including the third mode and the fourth mode described above, and feedbacking according to whether a user who speaks a voice is located within a reference distance There may be provided a control method of a smart projector in which the shape of.
  • the control method of the smart projector may include detecting whether the current mode corresponds to a third mode or a fourth mode, changing a reference distance according to the detected mode, and determining whether the user is located within the reference distance from the smart projector. Determining the shape of the feedback such that the feedback includes voice feedback and image feedback if the user is within a reference distance from the smart projector; and if the user is outside the reference distance from the smart projector, the feedback includes voice feedback. Determining the type of feedback.
  • the method of controlling the smart projector may further include obtaining location information of the user.
  • Determining the form of the feedback so that the feedback includes voice feedback and image feedback when the user is located within a reference distance from the smart projector further includes determining an output position or output direction of the voice feedback based on the user's location information. can do.
  • the smart projector may output the feedback in a form determined in consideration of a plurality of factors.
  • priority may be applied among a plurality of factors considered to determine the form of feedback.
  • the smart projector may output the feedback according to the feedback form corresponding to the feedback indicator included in the voice command.
  • the feedback may be output according to a form determined in consideration of the attitude or mode of the smart projector.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)

Abstract

본 발명은 보이스 커맨드를 획득하고, 보이스 커맨드에 대응하는 피드백을 출력하는 스마트 프로젝터에 대한 것으로서, 벽면에 영상을 투영하는 제1 모드 및 바닥에 영상을 투영하는 제2 모드 중 어느 하나의 모드로 작동하고, 제1 면 및 제2 면을 포함하는 하우징, 자세를 감지하는 센서 모듈, 보이스를 획득하는 마이크 모듈, 음성 피드백을 출력하는 스피커 모듈, 영상 피드백을 출력하는 프로젝터 모듈 및 음성 피드백 또는 상기 영상 피드백 중 적어도 하나를 포함하는 피드백을 출력하되, 피드백의 형태는 스마트 프로젝터의 자세에 기초하여 결정된 상기 스마트 프로젝터의 작동 모드를 고려하여 결정되는 스마트 프로젝터에 대한 것이다.

Description

스마트 프로젝터 및 그 제어 방법
본 발명은 스마트 프로젝터 및 그 제어 방법에 관한 것이다. 구체적으로, 보이스 커맨드를 획득하고, 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 프로젝터 및 그 제어 방법에 관한 것이다.
음성 인식 기술의 발전은 사물인터넷(IoT)의 확산에 힘입어, 스마트 홈 분야에서 그 활용성이 크게 증가하고 있다. 그 핵심 기기 중 하나로서, 음성을 매개로 명령을 내리고 대화를 나눌 수도 있는, 인공지능(AI)을 이용하는 스마트 스피커의 이용이 점차 보편화되고 있는 추세이다. 글로벌 시장을 살펴보면, 2014년 아마존이 최초의 음성인식 스피커 에코를 출시한 이후, 구글, 애플 등의 IT 공룡들이 앞다투어 자사 소프트웨어를 탑재한 스피커를 출시하였거나 출시를 결정하였으며, 국내 시장도 치열한 경쟁 양상을 보이고 있다.
이러한 '인공지능 비서' 기능이 탑재된 스마트 스피커는, 일반적으로, 보이스 커맨드를 입력받고, 커맨드에 따른 피드백을 오디오 형태로 출력할 수 있는 스마트 디바이스를 지칭한다. 전통적인 스마트 디바이스의 버튼 내지 터치 인터페이스에 비하여 음성으로 컨트롤이 가능하다는 점에서 사용자 편의성이 증진되었지만, 오디오 형태로 피드백을 제공한다는 한계에 따라, 제공 가능한 정보에 제약이 있고 사용자의 정보 획득이 비효율적이라는 비판이 제기되기도 하였다.
이러한 약점을 극복하기 위하여, 스마트 스피커는 점차 디스플레이가 탑재되고 오디오 형태뿐 아니라 비디오 형태의 피드백을 함께 제공할 수 있는 스마트 디스플레이 형태로 변모하고 있는 추세이다. 이러한 추세에 발맞추어, 증강 현실의 구축에 적극적으로 기여하고, 보다 나은 사용자 경험을 제공하는 개선된 형태의 스마트 디바이스의 개발이 요청되고 있다.
본 발명의 일 과제는 보이스 커맨드를 획득하고 피드백을 수행하는 스마트 디바이스를 제공하는 것이다.
본 발명의 일 과제는 보이스 커맨드를 획득하고 피드백을 수행하는 스마트 디바이스의 제어 방법을 제공하는 것이다.
본 발명의 일 과제는 작동 모드에 따라 피드백의 형태가 변경되는 스마트 디바이스를 제공하는 것이다.
본 발명의 일 과제는 작동 모드에 따라 피드백의 형태가 변경되도록 스마트 디바이스를 제어하는 방법을 제공하는 것이다.
본 발명의 일 양상에 따르면, 스마트 프로젝터의 제어 방법이 제공될 수 있다. 스마트 프로젝터는 보이스 커맨드를 획득하고, 보이스 커맨드에 대응되는 다양한 피드백을 출력할 수 있다. 스마트 프로젝터는 제1 면 및 제2 면을 포함하고, 복수의 모드 중 선택된 모드에 따라 동작할 수 있다. 복수의 모드는 제1 면을 하면으로 하고 벽면에 영상을 투영하는 제1 모드 또는 제2 면을 하면으로 하고 바닥에 영상을 투영하는 제2 모드를 포함할 수 있다.
스마트 프로젝터의 제어 방법은, 사용자에 의해 발화되고 보이스 커맨드를 포함하는 보이스를 획득하는 단계, 스마트 프로젝터의 작동 모드에 기초하여 보이스 커맨드에 대응하는 피드백의 출력 형태를 결정하는 단계 및 결정된 출력 형태로 피드백을 출력하는 단계를 포함할 수 있다.
피드백의 출력 형태를 결정하는 단계는 스마트 프로젝터의 작동 모드를 검출하는 단계, 스마트 프로젝터의 작동 모드가 제2 모드인 경우, 사용자가 스마트 프로젝터로부터 떨어진 거리를 고려하여 피드백의 형태를 결정하는 단계를 포함할 수 있다.
본 발명의 다른 일 양상에 따르면, 벽면에 영상을 투영하는 제1 모드 및 바닥에 영상을 투영하는 제2 모드 를 포함하는 복수의 모드 중 선택된 모드에 따라 작동하는 스마트 프로젝터가 제공될 수 있다.
스마트 프로젝터는, 제1 모드에서 하면으로 위치되는 제1 면 및 제2 모드에서 하면으로 위치되는 제2 면을 포함하는 하우징, 하우징 내부에 위치되어 스마트 프로젝터의 자세를 감지하는 센서 모듈, 하우징의 외부로 노출되어 사용자에 의하여 발화되고 보이스 커맨드를 포함하는 보이스를 획득하는 마이크 모듈, 하우징의 외부로 노출되어 보이스 커맨드에 대응되는 음성 피드백을 출력하는 스피커 모듈, 하우징의 외부로 노출되고 제1 면에 대향하는 제3 면에 비스듬한 방향으로 광을 출사하여 보이스 커맨드에 대응되는 영상 피드백을 출력하는 프로젝터 모듈 및 제어부를 포함할 수 있다.
제어부는 스피커 모듈 또는 마이크 모듈 중 적어도 하나를 이용하여 보이스 커맨드에 의해 요청되는 정보를 포함하는 피드백을 출력하고, 피드백은 음성 피드백 또는 영상 피드백 중 적어도 하나를 포함하되, 피드백의 형태는 감지된 스마트 프로젝터의 자세에 기초하여 결정된 스마트 프로젝터의 작동 모드를 고려하여 결정될 수 있다.
본 발명의 또 다른 일 양상에 따르면, 보이스 커맨드를 획득하고, 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 프로젝터- 스마트 프로젝터는 제1 면 및 제2 면을 포함하고, 복수의 모드 중 선택된 모드에 따라 동작하되, 복수의 모드는 제1 면을 하면으로 하고 벽면에 영상을 투영하는 제1 모드 또는 제2 면을 하면으로 하고 바닥에 영상을 투영하는 제2 모드를 포함함 -의 제어 방법이 제공될 수 있다.
스마트 프로젝터의 제어 방법은, 사용자에 의해 발화되고 보이스 커맨드를 포함하는 보이스를 획득하는 단계, 획득한 보이스 커맨드에 기초하여 보이스 커맨드에 대응하는 피드백의 출력 형태를 결정하는 단계, 및 결정된 출력 형태로 피드백을 출력하는 단계를 포함하되 피드백의 출력 형태를 결정하는 단계는 보이스 커맨드가 피드백의 형태를 지시하는 피드백 지시자를 포함하는지 판단하는 단계, 보이스 커맨드가 피드백 지시자를 포함하는 경우, 보이스 커맨드에 의해 요청되는 정보를 포함하는 피드백을 피드백 지시자에 대응하는 형태로 피드백의 출력 형태를 결정하는 단계 및 보이스 커맨드가 피드백 지시자를 포함하지 않는 경우, 작동 모드를 고려하여 피드백의 출력 형태를 결정하는 단계; 를 포함할 수 있다.
상기 피드백 지시자는 음성 피드백을 포함하는 피드백을 지시하는 토크-백 지시자 및 영상 피드백을 포함하는 피드백을 지시하는 디스플레이-백 지시자를 포함할 수 있다.
또한, 상기 작동 모드를 고려하여 상기 피드백의 출력 형태를 결정하는 단계는, 상기 작동 모드가 상기 제1 모드인 경우, 상기 보이스 커맨드에 의해 요청되는 정보를 포함하는 상기 피드백을 음성 피드백 및 영상 피드백을 포함하는 형태로 상기 피드백의 출력 형태를 결정하는 단계; 및 상기 작동 모드가 상기 제2 모드인 경우, 상기 사용자의 상기 스마트 프로젝터로부터의 거리를 고려하여, 상기 거리가 기준 거리보다 긴 경우, 상기 피드백을 상기 음성 피드백을 포함하는 형태로 상기 피드백의 출력 형태를 결정하는 단계;를 더 포함할 수 있다.
본 발명의 또 다른 일 양상에 따르면, 광을 출사하여 영상을 출력하고 복수의 모드 중 선택된 모드에 따라 동작하되, 복수의 모드는영상을 벽면으로 투영하는 제1 모드 및 영상을 바닥으로 투영하는 제2 모드를 포함하는 스마트 프로젝터가 제공될 수 있다.
스마트 프로젝터는, 상면 및 하면을 가지는 하우징, 하우징의 외부로 노출되어 사용자에 의하여 발화되고 보이스 커맨드를 포함하는 보이스를 획득하는 마이크 모듈, 하우징의 외부로 노출되어 보이스 커맨드에 대응되는 음성 피드백을 출력하는 스피커 모듈, 하우징의 외부로 광을 출사하여 보이스 커맨드에 대응되는 영상 피드백을 출력하는 프로젝터 모듈 및 제어부를 포함할 수 있다.
상기 제어부는 스피커 모듈 또는 마이크 모듈 중 적어도 하나를 이용하여 보이스 커맨드에 의해 요청되는 정보를 포함하는 피드백을 출력하고, 피드백은 음성 피드백 또는 영상 피드백 중 적어도 하나를 포함하되, 피드백의 형태는 스마트 프로젝터의 작동 모드를 고려하여 결정될 수 있다.
또한, 상기 제어부는 상기 작동 모드가 제1 모드인 경우 상기 영상 피드백 및 음성 피드백을 포함하고 상기 작동 모드가 상기 제2 모드인 경우 상기 음성 피드백을 포함하도록 결정된 상기 피드백을 출력할 수 있다.
본 발명의 또 다른 일 양상에 따르면, 보이스 커맨드를 획득하고 보이스 커맨드에 대응되는 다양한 피드백을 출력하되, 보이스 커맨드를 포함하는 보이스를 발화하는 사용자가 기준 거리 이내에 위치하는지 여부에 따라 출력하는 피드백의 형태가 변경되는 스마트 프로젝터- 스마트 프로젝터는 복수의 모드 중 선택된 모드에 따라 동작하되, 복수의 모드는 영상을 벽면으로 투영하는 제1 모드 및 영상을 바닥으로 투영하는 제2 모드를 포함함 -의 제어 방법으로서, 현재 모드가 제1 모드 및 제2 모드 중 어느 모드에 해당하는지 감지하는 단계, 감지된 모드에 따라 기준 거리를 변경하는 단계, 사용자가 스마트 프로젝터로부터 기준 거리 이내에 위치하는지 판단하는 단계, 사용자가 스마트 프로젝터로부터 기준 거리 이내에 위치하면 피드백이 음성 피드백 및 영상 피드백을 포함하도록 피드백의 형태를 결정하는 단계 및 사용자가 스마트 프로젝터로부터 기준 거리보다 바깥에 위치하면 피드백이 음성 피드백을 포함하도록 피드백의 형태를 결정하는 단계를 포함하는 스마트 프로젝터의 제어 방법이 제공될 수 있다.
또한, 상기 스마트 프로젝터가 상기 제1 모드일 때, 상기 기준 거리는 제1 거리이고, 상기 스마트 프로젝터가 상기 제2 모드일 때, 상기 기준 거리는 상기 제1 거리보다 짧은 제2 거리일 수 있다.
본 발명의 다시 또 다른 일 양상에 따르면, 적어도 세 개의 면을 갖는 하우징; 상기 하우징의 외부로 노출되고 상기 세 개의 면 중 어느 한 면인 제1 면에 설치되고, 상기 제1 면에 경사 방향으로 광을 출사하여 상기 보이스 커맨드에 대응되는 영상 피드백을 출력하는 프로젝터 모듈; 상기 세 개의 면 중 어느 면인 제2 면이고, 바닥면과 접촉하면 상기 프로젝터 모듈이 상기 영상 피드백을 상방 조사하는 제1 자세로 상기 하우징을 지지하는 제1 거치면; 및 상기 세 개의 면 중 어느 면인 제3 면이고, 상기 바닥면과 접촉하면 상기 프로젝터 모듈이 상기 영상 피드백을 하방 조사하는 제2 자세로 상기 하우징을 지지하는 제2 거치면;을 포함하는 스마트 프로젝터가 제공될 수 있다.
일 양상에 따르면, 상기 제1 면과 상기 제2 면은 서로 반대면이고, 상기 제3 면은 상기 제1 면과 상기 제2 면의 사이에 위치할 수 있다. 다른 양상에 따르면, 상기 제2 면과 상기 제3 면은 서로 반대면이고, 상기 제1 면은 상기 제2 면과 상기 제3 면의 사이에 위치할 수 있다. 이때, 상기 제1 면은 상기 제2 면 및 상기 제3 면에 인접한 면이고, 상기 제2 면은 상기 제1 면 및 상기 제3 면에 인접한 면이고, 상기 제3 면은 상기 제1 면 및 상기 제2 면에 인접한 면일 수 있다.
상기 프로젝터 모듈은 상기 제1 면에 대하여 상기 제3 면을 향해 상기 광을 경사지게 출사할 수 있다.
일 양상에 따르면, 상기 하우징은 상기 제1 면, 상기 제2 면 및 상기 제3 면이 차례대로 연결되는 육면체 형상으로 제공될 수 있다. 다른 양상에 다르면, 상기 하우징은 상기 제2 면, 상기 제1 면 및 상기 제3 면이 차례대로 연결되는 육면체 형상으로 제공될 수 있다. 또 다른 양상에 따르면, 상기 하우징은 상기 제1 면, 상기 제2 면 및 상기 제3 면이 서로 인접하게 위치하는 육면체 형상으로 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 의하면 피드백 형태가 적응적으로 변경되는 스마트 프로젝터가 제공될 수 있다.
본 발명에 의하면 모드에 따라 피드백의 형태가 변경되는 스마트 프로젝터가 제공될 수 있다.
본 발명에 의하면 자세에 따라 모드가 변경되는 스마트 프로젝터가 제공될 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 스마트 디바이스를 설명하기 위한 블록도를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 스마트 디바이스의 상태 변화를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 스마트 디스플레이를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 스마트 프로젝터를 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 스마트 프로젝터의 동작을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 스마트 프로젝터의 동작을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다.
도 11은 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법에 있어서, 피드백의 출력 형태를 결정하는 단계에 대하여 설명하기 위한 순서도를 도시한 것이다.
도 12는 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법에 있어서, 피드백의 출력 형태를 결정하는 단계에 대하여 설명하기 위한 순서도를 도시한 것이다.
도 13은 본 발명의 일 실시예에 따른 스마트 프로젝터를 설명하기 위한 블록도를 도시한 것이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장된 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
1. 스마트 디바이스
1.1 개요
이하에서는 본 발명의 일 실시예에 따른 스마트 디바이스에 관하여 설명한다.
본 발명의 일 실시예에 따른 스마트 디바이스는 사용자로부터 다양한 형태의 커맨드를 입력받고, 이에 대응하여 음성이나 영상 형태의 피드백을 출력함으로써 사용자에게 다양한 정보를 제공할 수 있다. 일 예로, 스마트 디바이스는 마이크 모듈을 통해 사용자의 발화를 수신하는 등에 따라 보이스 커맨드를 획득하고, 토크-백 또는 디스플레이-백과 같은 피드백을 출력함으로써 사용자의 보이스 커맨드에 대하여 응답할 수 있다.
상술한 스마트 디바이스의 일 예로는 스마트 프로젝터를 들 수 있다. 여기서, 스마트 프로젝터는 기존의 스마트 스피커에 프로젝터가 탑재된 형태로 제공되는 디바이스일 수 있다. 이외에도, 스마트 디바이스의 예로는 스마트 스피커, 스마트 프로젝터, 스마트 TV 등이 있을 수 있다. 다만, 본 명세서에서 스마트 디바이스가 상술한 예로 한정되는 것은 아니며, 음성 및/또는 영상의 출력이 가능한 다양한 디바이스가 본 명세서에서 설명하는 스마트 디바이스로서 이용될 수 있음은 물론이다.
1.2 구성
스마트 디바이스는 다양한 기능을 수행하는 모듈을 적어도 하나 포함할 수 있다. 스마트 디바이스는 적어도 하나의 모듈을 이용하여 보이스 커맨드를 포함하는 보이스를 획득하거나, 보이스 커맨드에 대응하는 피드백을 출력할 수 있다. 이하에서는 모듈들의 종류 및 기능에 대하여 설명한다.
스마트 디바이스는 음성 신호를 수신하는 마이크 모듈을 포함할 수 있다. 마이크 모듈은 복수 개의 마이크를 포함할 수 있다.
스마트 디바이스는 토크-백을 출력하는 스피커 모듈을 포함할 수 있다. 스피커 모듈은 복수 개의 스피커를 포함할 수 있다.
스마트 디바이스는 영상 또는 이미지를 출력하는 디스플레이를 포함하는 디스플레이 모듈을 포함할 수 있다. 디스플레이 모듈은 터치 센서를 포함할 수 있다.
디스플레이 모듈은 광을 출사하는 프로젝터 모듈일 수 있다. 이하에서, 프로젝터 모듈을 포함하는 스마트 디바이스를 스마트 프로젝터로 정의한다.
스마트 디바이스는 스마트 디바이스는 광을 수집하는 광학 센서 모듈을 포함할 수 있다. 스마트 디바이스는 광학 센서 모듈을 이용하여 3차원 공간 정보를 획득할 수 있다. 스마트 디바이스는 광학 센서 모듈을 이용하여 사용자 행동 정보(예컨대, 시선 정보)를 획득할 수 있다.
광학 센서 모듈은 영상 또는 이미지를 획득하는 카메라 모듈일 수 있다. 카메라 모듈은 적외선 카메라 모듈일 수 있다.
광학 센서 모듈은 깊이 센서(depth sensor) 모듈일 수 있다. 깊이 센서 모듈은 TOF(time of flight)를 이용하여 물체의 깊이 정보를 제공할 수 있다.
스마트 디바이스는 통신부를 포함할 수 있다. 스마트 디바이스는 통신부를 이용하여 서버와 통신할 수 있다. 스마트 디바이스는 통신부를 이용하여 외부 장치와 통신할 수 있다.
통신부는 외부 장치와 무선 통신을 수행할 수 있다. 예를 들어, 통신부는 와이파이(WiFi), 블루투스(Bluetooth)등의 무선 통신을 수행할 수 있다.
통신부는 유선 통신을 수행할 수 있다. 예를 들어, 통신부는 USB, 이더넷(ethernet) 등의 유선 통신을 수행할 수 있다.
스마트 디바이스는 제어부를 포함할 수 있다. 제어부는 스마트 디바이스에 포함되는 모듈들을 제어할 수 있다.
도 1은 본 발명의 일 실시예에 따른 스마트 디바이스(1000)를 설명하기 위한 블록도를 도시한 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 마이크 모듈(1010), 카메라 모듈(1030), 스피커 모듈(1050), 디스플레이 모듈(1070), 제어부(1090) 및 통신부(1110)를 포함할 수 있다.
스마트 디바이스(1000)는 마이크 모듈(1010)을 이용하여 보이스(Input 1)을 획득할 수 있다. 스마트 디바이스(1000)는 카메라 모듈(1030)을 이용하여 이미지, 영상 또는 깊이 정보를 획득(Input 2)할 수 있다. 스마트 디바이스(1000) 스피커 모듈(1050)을 이용하여 오디오를 출력(Output 1)할 수 있다. 스마트 디바이스는 디스플레이 모듈(1070)을 이용하여 이미지 또는 영상을 출력(Output 2)할 수 있다.
스마트 디바이스는 제어부(1090)를 이용하여 각 모듈들을 제어할 수 있다. 스마트 디바이스는 제어부(1090)를 이용하여 각 모듈들로부터 획득한 정보를 처리할 수 있다.
스마트 디바이스는 통신부(1110)를 이용하여 외부 장치(2000)와 통신할 수 있다. 스마트 디바이스는 통신부(1110)를 이용하여 획득한 정보를 외부 장치(2000)로 전송할 수 있다. 외부 장치(2000)는 별도로 마련된 서버 장치일 수 있다.
한편, 도 1에서는 스마트 디바이스가 디스플레이 모듈을 포함하는 경우를 기준으로 설명하였으나, 스마트 디바이스는 프로젝터 모듈을 구비하는 스마트 프로젝터로 구현될 수 있다.
1.3 커맨드 & 피드백
스마트 디바이스는 상술한 모듈들을 이용하여 사용자로부터 커맨드를 입력받을 수 있다. 스마트 디바이스는 사용자 커맨드를 포함하는 신호를 획득할 수 있다. 또한 스마트 디바이스는 사용자 커맨드에 따른 신호(이하, 피드백)를 출력할 수 있다.
이하에서는, 스마트 디바이스가 획득하는 커맨드 및 스마트 디바이스가 출력하는 피드백에 대하여 설명한다.
1.3.1 커맨드
스마트 디바이스는 커맨드 또는 커맨드를 포함하는 신호를 획득할 수 있다. 대표적으로, 스마트 디바이스는 보이스 커맨드 또는 보이스 커맨드를 포함하는 보이스(또는 음성 신호)를 획득할 수 있다. 이외에도, 커맨드는 보이스 커맨드, 터치 커맨드 및 제스처 커맨드 등을 포함할 수 있다. 커맨드는 디바이스에 특정 또는 임의의 응답을 요청하는 사용자 행위로 정의될 수 있다.
스마트 디바이스는 사용자로부터 커맨드를 획득하기 위한 인터페이스를 제공할 수 있다. 인터페이스는 보이스 커맨드를 획득하기 위한 보이스 인터페이스, 터치 커맨드를 획득하기 위한 터치 인터페이스, 제스처 커맨드를 획득하기 위한 제스처 인터페이스를 포함할 수 있다.
스마트 디바이스는 보이스를 획득할 수 있다. 스마트 디바이스는 마이크 모듈을 이용하여 보이스를 획득할 수 있다. 스마트 디바이스는 사용자로부터 발화된 보이스를 획득할 수 있다. 스마트 디바이스는 마이크 모듈을 이용하여 보이스 커맨드를 포함하는 보이스를 획득할 수 있다.
스마트 디바이스는 획득한 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 신호를 외부 장치로 전달할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를, 보이스 커맨드에 의해 요청되는 정보를 제공하는 외부 장치로 전달할 수 있다. 스마트 디바이스는 보이스 커맨드 데이터를 외부 장치로 전송할 수 있다. 외부 장치는 적어도 하나의 디바이스와 통신하는 서버 장치일 수 있다.
스마트 디바이스는 터치 커맨드를 포함하는 터치 이벤트를 획득할 수 있다. 스마트 디바이스는 터치 센서를 이용하여 디스플레이에 발생하는 터치 이벤트를 획득할 수 있다.
스마트 디바이스는 제스처 커맨드를 포함하는 제스처 이벤트를 획득할 수 있다. 스마트 디바이스는 광학 센서 모듈 및/또는 카메라 모듈을 이용하여 제스처 이벤트를 획득할 수 있다.
이하에서는, 상술한 커맨드는 보이스 커맨드인 경우를 기준으로 설명한다. 다만, 본 명세서에서 설명하는 보이스 커맨드에 대한 내용은 터치 커맨드 또는 제스처 커맨드에 유사하게 적용될 수 있다.
1.3.2 피드백
스마트 디바이스는 상술한 보이스 커맨드에 대응하는 정보를 포함하는 피드백 데이터를 획득하고, 음성 또는 영상으로 피드백을 출력할 수 있다.
피드백은 디바이스가 커맨드를 획득하는 것에 응답하여 출력되는 커맨드에 대응하는 정보를 포함하는 신호로 이해될 수 있다. 커맨드에 대응하는 정보는 요청되는 정보는 멀티미디어 컨텐츠를 포함할 수 있다.
스마트 디바이스는 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를 획득하고, 커맨드에 대응하는 피드백 데이터를 획득할 수 있다.
스마트 디바이스는 외부 장치로부터 보이스 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 스마트 디바이스는 외부 장치로 보이스 커맨드 데이터를 전송하는 것에 응답하여 피드백 데이터를 획득할 수 있다.
스마트 디바이스는 피드백을 출력할 수 있다. 피드백은 음성 또는 음향으로 제공되는 보이스 피드백(이하, 보이스-백 또는 토크-백) 또는 영상 또는 이미지로 제공되는 디스플레이 피드백(이하, 디스플레이-백)을 포함할 수 있다.
스마트 디바이스는 토크-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를 획득하고, 토크-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드에 의해 요청되는 정보를 포함하는 토크-백을 출력할 수 있다. 스마트 디바이스는 스피커 모듈을 이용하여 토크-백을 출력할 수 있다. 토크-백은 음악, 라디오 등의 오디오 컨텐츠를 포함할 수 있다.
스마트 디바이스는 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드 및/또는 보이스 커맨드를 포함하는 보이스를 획득하고, 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드에 의해 요청되는 정보를 포함하는 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 디스플레이 모듈 또는 프로젝터 모듈을 이용하여 디스플레이-백을 출력할 수 있다. 디스플레이-백은 TV 프로그램, Youtube, 영화 등의 비디오 컨텐츠를 포함할 수 있다.
1.4 디바이스의 상태
스마트 디바이스는 여러 구동 상태를 가질 수 있다. 스마트 디바이스의 데이터 처리 양태는 스마트 디바이스의 상태에 따라 변경될 수 있다.
1.4.1 오프 상태
스마트 디바이스는 오프 상태일 수 있다. 오프 상태에서, 스마트 디바이스는 전력 소모를 최소화할 수 있다. 오프 상태에서, 스마트 디바이스는 전력을 소모하지 않을 수 있다. 오프 상태에서, 스마트 디바이스는 신호를 수집 또는 출력하지 않을 수 있다. 오프 상태에서, 스마트 디바이스는 휴면(hibernation) 상태일 수 있다.
1.4.2 스탠바이 상태
스마트 디바이스는 스탠바이 상태를 가질 수 있다. 스탠바이 상태에서, 스마트 디바이스는 신호를 획득 또는 출력할 수 있다.
스탠바이 상태에서, 스마트 디바이스는 커맨드 발생을 예고하는 예비 커맨드를 포함하는 신호를 획득할 수 있다. 예비 커맨드 또는 예비 커맨드를 포함하는 신호는 미리 정해지고, 스마트 디바이스에 미리 저장될 수 있다.
스마트 디바이스는 예비 커맨드를 포함하는 보이스를 획득할 수 있다. 보이스에 포함된 예비 커맨드는 핫-워드 또는 웨이크업-워드의 형태로 구현될 수 있다. 다시 말해, 예비 커맨드는 특정 단어를 포함하는 커맨드로 미리 결정될 수 있다.
스마트 디바이스는 예비 커맨드를 포함하는 터치 이벤트 또는 제스처 이벤트를 획득할 수 있다. 터치 이벤트에 포함된 예비 커맨드는 임의의 터치 이벤트 또는 특정 영역에 대한 터치 이벤트일 수 있다. 제스처 이벤트에 포함된 예비 커맨드는 특정 시퀀스에 따른 웨이크업 제스처일 수 있다.
1.4.3 리스닝 상태
스마트 디바이스는 리스닝 상태를 가질 수 있다. 리스닝 상태에서, 스마트 디바이스는 보이스 커맨드를 포함하는 신호를 획득할 수 있다. 스마트 디바이스는 전술한 예비 커맨드(예를 들어, 핫-워드)를 포함하는 신호를 획득하고, 리스닝 상태로 변경될 수 있다. 리스닝 상태는 예비 커맨드를 포함하는 신호에 의하여 트리거될 수 있다.
리스닝 상태에서, 스마트 디바이스는 리스닝 윈도우를 오픈할 수 있다. 스마트 디바이스는핫-워드를 획득하고, 리스닝 윈도우를 오픈할 수 있다.
스마트 디바이스는 리스닝 윈도우를 오픈하고, 보이스 커맨드를 포함하는 보이스를 수집할 수 있다. 스마트 디바이스는 리스닝 윈도우를 미리 정해진 시간 간격 동안 오픈할 수 있다. 미리 정해진 시간 간격은 변경될 수 있다.
스마트 디바이스는 리스닝 윈도우를 폐쇄할 수 있다. 스마트 디바이스는 리스닝 윈도우를 폐쇄하고 보이스의 수집을 중단할 수 있다. 스마트 디바이스는 리스닝 윈도우를 폐쇄하고, 수집된 보이스를 외부 장치로 전송할 수 있다. 스마트 디바이스는 리스닝 윈도우가 오픈된 상태에서 수집된 보이스를 외부 장치로 전송할 수도 있다.
리스닝 상태에서, 스마트 디바이스는 예비 커맨드를 획득할 수 있다. 스마트 디바이스는 예비 커맨드를 획득하고, 리스닝 상태로 재진입할 수 있다. 스마트 디바이스는 리스닝 상태에서 예비 커맨드를 획득하고, 리스닝 윈도우를 재오픈 또는 초기화할 수 있다.
1.4.4 피드백 상태
스마트 디바이스는 피드백 상태를 가질 수 있다. 피드백 상태에서, 스마트 디바이스는 보이스 커맨드에 대응하는 피드백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드를 획득하고, 피드백 상태로 변경될 수 있다.
피드백 상태에서, 스마트 디바이스는 보이스 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 스마트 디바이스는 보이스 및/또는 보이스 커맨드를 외부 장치로 전송하는 것에 응답하여 보이스 커맨드에 대응하는 피드백 데이터를 획득할 수 있다. 피드백 데이터는 토크-백 데이터 또는 디스플레이-백 데이터일 수 있다.
피드백 상태에서, 스마트 디바이스는 피드백 데이터에 기초하여 피드백을 출력할 수 있다. 피드백 상태에서, 스마트 디바이스는 보이스 커맨드에 대응하는 토크-백 또는 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 보이스 커맨드에 의해 요청되는 정보를 포함하는 토크-백 또는 디스플레이-백을 출력할 수 있다. 피드백 상태에서, 스마트 디바이스는 토크-백과 디스플레이-백을 함께 또는 순차로 출력할 수도 있다.
피드백 상태에서, 스마트 디바이스는 핫-워드를 획득할 수 있다. 스마트 디바이스는 피드백 상태에서 핫-워드를 획득하고, 리스닝 상태로 변경될 수 있다.
1.5 동작
스마트 디바이스는 다양한 동작을 수행할 수 있다. 스마트 디바이스는 상술한 상태의 변화를 수반하는 다양한 동작을 수행할 수 있다. 이하에서는, 스마트 디바이스의 기본 동작 프로세스 및 부가적인 동작들에 대하여 몇몇 실시예를 들어 설명한다.
1.5.1 기본 프로세스 : 피드백 동작
본 발명의 일 실시예에 따르면, 스마트 디바이스는 핫-워드를 획득한 후, 보이스 커맨드를 획득하고, 피드백을 출력할 수 있다.
도 2는 본 발명의 일 실시예에 따른 스마트 디바이스의 상태 변화를 도시한 것이다. 이하에서는 도 2를 참조하여, 본 발명의 일 실시예에 따른 스마트 디바이스의 동작을 설명한다.
스마트 디바이스는 오프 상태에서 스탠바이 상태로 변경될 수 있다. 스마트 디바이스는 사용자 조작에 따라 오프 상태에서 스탠바이 상태로 변경될 수 있다.
스마트 디바이스는 스탠바이 상태에서 리스닝 상태로 변경될 수 있다. 스마트 디바이스는 스탠바이 상태에서 리스닝 윈도우를 오픈하고, 핫-워드를 포함하는 보이스를 획득하고, 리스닝 상태로 변경될 수 있다.
스마트 디바이스는 리스닝 상태에서 피드백 상태로 변경될 수 있다. 스마트 디바이스는 리스닝 상태에서 사용자로부터 발화되고 보이스 커맨드를 포함하는 보이스를 획득하고, 피드백 상태로 변경될 수 있다.
스마트 디바이스는 피드백의 출력이 완료되면, 스탠바이 상태로 변경될 수 있다. 경우에 따라, 스마트 디바이스는 피드백의 출력이 완료되면 커맨드 상태로 변경될 수 있다. 피드백의 종류에 따라, 스마트 디바이스는 피드백 출력 후 커맨드 상태로 변경될 수 있다. 예컨대, 출력되는 피드백이 사용자 커맨드를 요청하는 경우, 스마트 디바이스는 피드백을 출력한 후, 커맨드 상태로 변경될 수 있다.
스마트 디바이스는 피드백 상태에서 리스닝 상태로 변경될 수 있다. 피드백 상태에서, 스마트 디바이스는 피드백의 출력 중에 예비 커맨드, 예컨대 핫-워드를 획득할 수 있다. 스마트 디바이스는 피드백 출력 중 예비 커맨드를 획득하고, 리스닝 상태로 변경될 수 있다.
스마트 디바이스는 스탠바이 상태 또는 리스닝 상태에서 오프 상태로 변경될 수도 있다. 스마트 디바이스는 미리 정해신 시간 내에 핫-워드가 획득되지 아니하면 스탠바이 상태 또는 리스닝 상태에서 오프 상태로 변경될 수 있다.
1.5.2 사용자 위치 수집 동작
스마트 디바이스는 사용자 위치 정보를 획득하고, 저장할 수 있다. 스마트 디바이스는 사용자 위치와 관련된 기초 정보를 획득하고, 외부 장치로 전달할 수 있다.
스마트 디바이스는 오프 상태에서 스탠바이 상태로 변경되면 사용자 위치 정보를 획득할 수 있다. 스마트 디바이스는 사용자 보이스가 획득되면 사용자 위치 정보를 획득할 수 있다.
스마트 디바이스는 전술한 광학 센서 모듈을 이용하여 사용자 위치 정보를 수집할 수 있다. 스마트 디바이스는 광학 센서 모듈을 이용하여 획득된 공간 정보에 기초하여 사용자 위치 정보를 획득할 수 있다.
스마트 디바이스는 전술한 마이크 모듈을 이용하여 사용자 위치 정보를 수집할 수 있다. 스마트 디바이스는 복수의 마이크를 이용하여 사용자로부터 발화된 보이스를 획득하고, 보이스가 발화되는 방향을 고려하여 사용자 위치 정보를 수집할 수 있다.
스마트 디바이스는 스탠바이 상태, 리스닝 상태 또는 피드백 상태에서 사용자 위치 정보를 획득할 수 있다. 스마트 디바이스는 사용자 위치 정보를 주기적으로 획득할 수 있다.
스마트 디바이스는 사용자 위치 정보를 고려하여 피드백을 출력할 수 있다. 스마트 디바이스는 사용자 위치 정보를 고려하여 토크-백의 출력 방향을 결정할 수 있다. 스마트 디바이스는 사용자 위치 정보를 고려하여 디스플레이-백의 출력 위치 및/또는 방향을 결정할 수 있다.
1.6 디바이스 형태
상술한 스마트 디바이스는 다양한 형태로 구현될 수 있다. 이하에서는, 스마트 디바이스의 형태에 대하여 몇몇 실시예를 들어 설명한다.
1.6.1 제1 타입 : display type
본 발명의 일 실시예에 따르면, 스마트 디바이스는 터치 인터페이스를 제공하는 디스플레이가 탑재된 스마트 디스플레이의 형태로 제공될 수 있다. 스마트 디스플레이는 보이스 커맨드를 획득하고 토크-백 또는 디스플레이-백을 출력할 수 있다.
도 3은 본 발명의 일 실시예에 따른 스마트 디스플레이(100a)를 도시한 것이다. 도 3을 참조하면, 스마트 디스플레이(100a)는 마이크(102a), 스피커(106a) 및 디스플레이(108a)를 포함할 수 있다. 또한, 스마트 디스플레이(100a)는 카메라(104a)를 선택적으로 포함할 수 있다.
스마트 디스플레이(100a)는 마이크(102a)를 이용하여 보이스 커맨드를 획득하고, 스피커(106a)를 이용하여 토크-백을 출력하거나 디스플레이(108a)를 통하여 디스플레이-백을 출력할 수 있다.
1.6.2 제2 타입 : wall type
본 발명의 일 실시예에 따르면, 스마트 디바이스는 프로젝터 모듈이 탑재된 스마트 프로젝터의 일 예로서, 상방으로 광을 출사하는 스마트 프로젝터의 형태로 제공될 수 있다.
도 4는 본 발명의 일 실시예에 따른 스마트 프로젝터(100b)를 도시한 것이다. 도 4를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100b)는 마이크(102b) 및 스피커(106b)를 포함할 수 있다. 도시하지는 아니하였으나, 스마트 프로젝터(100b)는 카메라를 포함할 수도 있다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터는 상방으로 광을 출사할 수 있다. 스마트 프로젝터는 임의의 벽면에 영상 또는 이미지를 투사할 수 있다. 스마트 프로젝터가 영상 또는 이미지를 투영하는 투영 영역(10a)은 변경될 수 있다. 투영 영역(10a)의 크기 또는 위치는 변경될 수 있다.
영상이 투영되는 방향은 그 시청이 용이하도록 결정될 수 있다. 영상이 투영되는 방향은 스마트 프로젝터가 영상을 투영하는 방향의 반대 방향에서 시청이 용이하도록 결정될 수 있다. 본 실시예에서, 스마트 스피커는 영상의 하측이 벽면의 하측에 위치하도록 투사할 수 있다. 다시 말해, 스마트 스피커는 영상이 벽면에 정립 방향으로 투영되도록 투사할 수 있다.
또한, 도시하지는 아니하였으나 스마트 프로젝터(100b)는 센서부를 더 포함하고, 투영 영역에 발생하는 제스처 이벤트 또는 터치 이벤트를 감지할 수 있다.
1.6.3 제3 타입 : table type
본 발명의 일 실시예에 따르면, 스마트 디바이스는 전술한 스마트 프로젝터의 일 예로서, 하방으로 광을 출사하는 스마트 프로젝터의 형태로 제공될 수 있다.
도 5는 본 발명의 일 실시예에 따른 스마트 프로젝터(100c)를 도시한 것이다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100c)는 마이크(102c) 및 스피커(106c)를 포함할 수 있다. 스마트 프로젝터(100c)는 카메라 또는 센서부를 더 포함할 수 있다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100c)는 하방으로 광을 출사할 수 있다. 스마트 프로젝터(100c)는 스마트 프로젝터(100c)가 위치된 바닥 또는 테이블 상에 영상 또는 이미지를 투사할 수 있다.
투영 영역(10b)의 크기 또는 위치는 변경될 수 있다. 영상이 투영되는 방향은 스마트 프로젝터가 영상을 투영하는 방향에서 시청이 용이하도록 결정될 수 있다. 본 실시예에서, 스마트 스피커는 영상의 하측이 테이블의 외측(즉, 장치로부터 먼 위치)에 투영되도록 투사할 수 있다.
1.6.4 제4 타입 : manually rotatable(rolling) type
본 발명의 일 실시예에 따르면, 전술한 스마트 프로젝터는 복수의 자세를 가질 수 있다. 스마트 프로젝터는 제1 자세 또는 제2 자세로 동작할 수 있다. 스마트 프로젝터는 자세 변경에 따라 상방 또는 하방으로 광을 출사할 수 있다.
도 6은 본 발명의 일 실시예에 따른 스마트 프로젝터(100d)를 도시한 것이다. 도 6을 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(100d)는 제1 면을 상면으로 하는 제1 자세(도 6의 a) 및 제1 면과 다른 제2 면을 상면으로 하는 제2 자세(도 6의 b)로 동작할 수 있다. 이하에서는, 도 6을 참조하여 스마트 프로젝터(100d)의 자세에 따른 동작에 대하여 설명한다.
도 6을 참조하면, 스마트 프로젝터(100d)는 마이크(102d) 및 스피커(106d)를 포함할 수 있다. 스마트 프로젝터(100d)는 센서부 또는 카메라를 선택적으로 포함할 수 있다
도 6의 (a)를 참조하면, 스마트 프로젝터(100d)가 제1 자세(예를 들어, 벽 투영 자세)일 때, 스마트 프로젝터(100d)는 벽을 향하여 광을 상방 출사할 수 있다. 스마트 프로젝터(100d)가 제1 자세일 때, 스마트 프로젝터(100d)는 전술한 제2 타입 스마트 프로젝터(100b)와 유사하게 동작할 수 있다.
도 6의 (b)를 참조하면, 스마트 프로젝터(100d)가 제2 자세(예를 들어, 테이블 투영 자세)일 때, 스마트 프로젝터(100d)는 바닥 또는 테이블을 향하여 광을 하방 출사할 수 있다. 스마트 프로젝터(100d)가 제2 자세일 때, 스마트 프로젝터(100d)는 전술한 제3 타입 프로젝터(100c)와 유사하게 동작할 수 있다.
스마트 프로젝터(100d)의 자세는 변경될 수 있다. 스마트 프로젝터(100d)의 자세는 수동으로 변경될 수 있다. 스마트 프로젝터(100d)의 자세는 구동부에 의하여 자동으로 변경될 수 있다.
스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)에 포함된 모듈들 중 적어도 하나의 모듈의 동작이 변경될 수 있다. 스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)에 포함된 스피커 모듈, 마이크 모듈, 센서 모듈 중 어느 하나의 동작이 변경될 수 있다. 일 예로, 스마트 프로젝터(100d)가 제1 자세에서 제2 자세로 변경되면, 오디오를 출력하는 스피커(106d)가 변경될 수 있다.
다른 예로, 스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)가 광을 투사하는 방향이 변경될 수 있다. 스마트 프로젝터(100d)의 자세가 변경되면, 스마트 프로젝터(100d)로부터 투사되는 영상(10c)의 투영 방향이 변경될 수 있다. 구체적으로, 스마트 프로젝터(100d)는 제1 자세에서 영상의 하단이 스마트 프로젝터(100d)와 가깝도록 영상을 투사하고, 제2 자세에서 영상의 하단이 스마트 프로젝터(100d)와 멀리 위치하도록 영상을 투사할 수 있다.
이상에서는 스마트 프로젝터(100d)가 제1 자세 및 제2 자세를 가지고, 제1 자세 및 제2 자세 사이에서 선택적으로 자세가 변경되는 경우를 기준으로 설명하였으나, 본 명세서에서 개시하는 발명이 이에 한정되는 것은 아니다. 스마트 프로젝터(100d)는 셋 이상의 자세를 가지고 필요에 따라 자세가 선택적으로 변경되도록 구현될 수 있다.
1.6.5 제5 타입 : rotatable
본 발명의 일 실시예에 따르면, 스마트 디바이스는 전술한 스마트 프로젝터의 일 예로서, 광의 투사 방향이 회전 가능한 스마트 프로젝터의 형태로 제공될 수 있다. 스마트 프로젝터(100e)는 벽면 및/또는 테이블 상에 영상을 투사하고, 영상의 투사 방향이 회전 가능하도록 마련될 수 있다.
도 7은 본 발명의 일 실시예에 따른 스마트 프로젝터(100e)를 도시한 것이다. 도 7을 참조하면, 스마트 프로젝터는 영상의 투영 방향이 회전 가능하도록 구현될 수 있다. 영상이 투사되는 방향은 스마트 프로젝터의 회전축을 중심으로 회전할 수 있다.
도 7을 참조하면, 스마트 프로젝터(100e)는 마이크(102e) 및 스피커(106e)를 포함할 수 있다. 스마트 프로젝터(100e)는 센서부 또는 카메라를 선택적으로 포함할 수 있다.
도 7의 (a)를 참조하면, 스마트 프로젝터(100e)는 하방으로 광을 출사하고, 광의 투사 방향이 회전 가능하도록 마련될 수 있다. 스마트 프로젝터(100e)는 테이블 상에 위치하고, 테이블 상면에 영상을 투영할 수 있다. 스마트 프로젝터(100e)는 테이블 상에서 영상을 투사하는 방향을 회전시킬 수 있다. 예를 들어, 스마트 프로젝터(100e)는 투영 영역이 제1 위치(10d)에서 제2 위치(10d')로 변경되도록 영상의 투사 방향을 회전시킬 수 있다.
도 7의 (b)를 참조하면, 스마트 프로젝터(100e)는 상방으로 광을 출사하고, 광의 투사 방향을 회전시킬 수 있다. 스마트 프로젝터(100e)는 벽면으로 영상을 투영할 수 있다. 스마트 프로젝터(100e)는 영상을 투사하는 방향을 회전시킬 수 있다. 스마트 프로젝터(100e)는 영상이 투영되는 벽면이 변경되도록 영상을 투사하는 방향을 회전시킬 수 있다. 예를 들어, 스마트 프로젝터(100e)는 투영 영역이 제3 위치(10e)에서 제4 위치(10e')로 변경되도록 영상의 투사 방향을 회전시킬 수 있다.
2. 피드백의 적응적 출력
본 명세서에서 개시하는 스마트 디바이스는 보이스 커맨드를 포함하는 신호를 획득하고 다양한 형태의 피드백을 수행할 수 있다. 출력되는 피드백의 형태는 여러 요인을 고려하여 결정될 수 있다. 이하에서는, 피드백의 출력 형태를 결정하는 방법 등에 대하여 설명한다.
2.1 지시에 따른 결정
본 발명의 일 실시예에 따르면, 출력되는 피드백의 형태는 보이스 커맨드의 내용을 고려하여 결정될 수 있다.
본 발명의 일 실시예에 따르면, 스마트 디바이스는 피드백 지시자를 포함하는 보이스 커맨드를 획득하고, 피드백 지시자에 대응되는 형태의 피드백을 출력할 수 있다. 피드백은 보이스 커맨드에 의해 요청되는 정보를 포함할 수 있다.
스마트 디바이스는 디바이스는 피드백 지시자를 포함하는 보이스 커맨드를 획득할 수 있다. 피드백 지시자는 특정한 형태의 피드백 또는 특정 조건에 부합하는 피드백의 출력을 지시 또는 요청할 수 있다. 피드백 지시자는 보이스 커맨드를 구성하는 문장에 포함된 특정 의미를 가지는 어절 내지 형태소 등으로 미리 정해질 수 있다. 피드백 지시자는 보이스 커맨드를 구성하는 문장에 포함된 지시형 어절로서 미리 정해질 수 있다.
피드백 지시자는 토크-백의 출력을 지시하는 토크-백 지시자일 수 있다. 또는, 피드백 지시자는 디스플레이-백의 출력을 지시하는 디스플레이-백 지시자일 수 있다.
스마트 디바이스는 보이스 커맨드에 의해 요청되는 정보를 포함하는 피드백을 피드백 지시자에 대응되는 피드백 형태로 출력할 수 있다.
예를 들어, 보이스 커맨드는 스마트 디바이스에 토크-백을 요청하는 토크-백 지시자를 포함할 수 있다. 스마트 디바이스는 토크-백 지시자를 포함하는 보이스 커맨드를 획득하고, 보이스 커맨드에 의해 요청되는 정보를 포함하는 토크-백을 출력할 수 있다. 스마트 디바이스는 토크-백 지시자를 포함하는 보이스 커맨드를 획득하고, 토크-백을 출력하면서 디스플레이-백을 선택적으로 함께 출력할 수 있다.
다른 예를 들어, 보이스 커맨드는 스마트 디바이스에 디스플레이-백을 요청하는 디스플레이-백 지시자를 포함할 수 있다. 스마트 디바이스는 디스플레이-백 지시자를 포함하는 보이스 커맨드를 획득하고, 보이스 커맨드에 의하여 요청되는 정보를 포함하는 디스플레이-백을 출력할 수 있다. 스마트 디바이스는 디스플레이-백 지시자를 포함하는 보이스 커맨드를 획득하고, 디스플레이-백을 출력하면서 토크-백을 선택적으로 함께 출력할 수 있다.
2.2 컨텐츠에 따른 결정
본 발명의 일 실시예에 따르면, 출력되는 피드백의 형태는 보이스 커맨드에 의해 요청되는 정보 또는 컨텐츠를 고려하여 결정될 수 있다.
피드백의 형태는 정보의 구성을 고려하여 결정될 수 있다. 예를 들어, 피드백의 형태는 보이스 커맨드에 의해 요청된 정보가 시각 정보를 포함하는 경우, 정보가 디스플레이-백을 통하여 출력되도록 결정될 수 있다. 이때, 피드백은 간소화된 토크-백을 포함하거나 토크-백을 포함하지 않을 수 있다. 유사하게, 요청된 정보가 청각 정보를 포함하는 경우, 정보가 토크-백을 통하여 출력되도록 결정될 수 있다. 이때, 피드백은 간소화된 디스플레이-백을 포함하거나 디스플레이-백을 포함하지 않을 수 있다.
피드백의 형태는 컨텐츠에 미리 결정되어 제공될 수 있다. 보이스 커맨드에 의해 요청되는 컨텐츠는 피드백 형태가 미리 지정되어 제공될 수 있다. 컨텐츠는 그 구성에 따라 토크-백 및/또는 디스플레이-백의 출력 양상이 미리 지정되어 마련될 수 있다.
2.3 환경에 따른 결정
보이스 커맨드가 상술한 피드백 지시자를 포함하지 않는 경우, 스마트 디바이스는, 사용자 편의 제고를 위하여, 다양한 형태의 피드백을 적응적으로 출력할 수 있다. 예컨대, 보이스 커맨드를 구성하는 문장이 의문형인 경우, 피드백의 형태는 스마트 디바이스 및 사용자의 환경을 고려하여 결정될 수 있다. 다만, 필요에 따라, 보이스 커맨드가 피드백 지시자를 포함하는 경우라도 본 명세서에서 개시하는 피드백 방법이 적용될 수 있다.
본 발명의 일 실시예에 따르면, 스마트 디바이스는 환경 정보를 획득하고, 스마트 디바이스에서 출력되는 피드백의 형태는 환경 정보를 고려하여 결정될 수 있다.
스마트 디바이스는 환경 정보를 획득할 수 있다. 피드백의 출력 형태는 환경 정보를 고려하여 결정될 수 있다. 환경 정보는 사용자의 시선 정보, 사용자의 위치 정보, 사용자의 거리 정보, 사용자의 활동 정보 등을 포함할 수 있다. 환경 정보는 카메라 모듈, 마이크 모듈 및/또는 센서 모듈 등을 이용하여 획득될 수 있다. 환경 정보는 3차원 공간 정보를 고려하여 결정될 수 있다. 환경 정보는 사용자로부터 발화된 보이스의 양상을 고려하여 결정될 수 있다. 예컨대, 환경 정보는 보이스의 크기를 임계값과 비교하여 결정될 수 있다. 또는, 환경 정보는 보이스의 크기의 변화를 고려하여 결정될 수 있다.
피드백의 출력 형태는, 환경 정보를 고려하여, 토크-백을 통하여 보이스 커맨드에 의해 요청된 정보를 출력하는 형태로 결정될 수 있다. 예를 들어, 환경 정보에 기초하여 사용자가 시각 정보를 획득하기 곤란한 것으로 판단되는 경우(예컨대, 사용자 시선이 검출되지 않거나 사용자가 멀리 있는 경우), 피드백의 출력 형태는 토크-백을 통하여 보이스 커맨드에 의해 요청된 정보를 출력하는 형태로 결정될 수 있다. 이때, 피드백은 디스플레이-백을 포함하지 않거나 간소화된 형태의 디스플레이-백을 포함할 수 있다.
피드백의 출력 형태는, 환경 정보를 고려하여, 디스플레이-백을 통하여 보이스 커맨드에 의해 요청된 정보를 출력하는 형태로 결정될 수 있다. 예를 들어, 환경 정보에 기초하여 사용자가 청각 정보를 획득하기 곤란한 것으로 판단되는 경우(예컨대, 주변 소음이 존재하거나 사용자가 멀리 있는 경우), 피드백의 출력 형태는 디스플레이-백을 통하여 보이스 커맨드에 의해 요청된 정보를 출력하는 형태로 결정될 수 있다. 이때, 피드백은 토크-백을 포함하지 않거나 간소화된 토크-백을 포함할 수 있다.
2.4 장치의 특성에 따른 결정
본 발명의 일 실시예에 따르면, 전술한 피드백의 형태를 적응적으로 결정함에 있어서, 스마트 디바이스의 특성 내지 유형을 고려하여 결정할 수 있다. 구체적으로, 스마트 디바이스가 복수의 자세 또는 모드를 가질 수 있는 경우, 스마트 디바이스의 현재 자세 또는 모드를 고려하여 피드백의 형태를 결정할 수 있다. 또한, 디바이스의 유형, 자세 등에 따라 피드백의 형태를 결정하는 방법이 달리 구현될 수 있고, 피드백의 형태를 결정함에 있어서 전술한 지시, 컨텐츠 또는 환경에 따른 결정 방법이 함께 이용될 수 있다.
2.4.1 제1 실시예
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 복수의 모드 중 선택된 어느 모드에 따라 동작할 수 있다. 이때, 복수의 모드는 벽면에 영상을 투영하는 제1 모드 및 바닥에 영상을 투영하는 제2 모드를 포함할 수 있다. 본 실시예에서, 스마트 프로젝터는 그 모드가 변경될 수 있다. 스마트 프로젝터는 프로젝터 모듈의 이동, 승강(elevation), 각도 변경(tilting) 등에 의하여 그 모드가 변경될 수 있다. 또는, 스마트 프로젝터는 반사판을 더 포함하고, 반사판의 이동 등에 의하여 그 모드가 변경될 수도 있다.
스마트 프로젝터는 제1 모드 또는 제2 모드에서 피드백의 출력 형태 결정을 다르게 수행할 수 있다. 스마트 프로젝터는 제1 모드 및 제2 모드에서 각기 다른 형태를 가지는 피드백을 출력할 수 있다.
본 발명의 일 실시예에 따르면, 광을 출사하여 영상을 출력하되, 영상을 벽면으로 투영하는 제1 모드(또는, 상방 출사 모드) 및 영상을 바닥으로 투영하는 제2 모드(또는, 하방 출사 모드)를 가지는 스마트 프로젝터의 제어 방법은 사용자로부터 발화된 보이스를 획득하는 단계 및 스마트 프로젝터의 모드를 고려하여 결정된 피드백을 출력하는 단계를 포함할 수 있다.
피드백을 출력하는 단계는 스마트 프로젝터의 작동 모드가 제1 모드인 경우, 보이스 커맨드에 대응하는 음성 피드백(또는 토크-백) 및 영상 피드백(또는 디스플레이-백)을 포함하도록 그 형태가 결정된 피드백을 출력하는 단계 및 스마트 프로젝터의 작동 모드가 제2 모드인 경우, 사용자가 스마트 프로젝터로부터 떨어진 거리를 고려하여 그 형태가 결정된 피드백을 출력하는 단계를 포함할 수 있다.
작동 모드가 제1 모드인 경우, 스마트 프로젝터는 사용자의 위치에 무관하게 음성 피드백 및 영상 피드백을 포함하는 피드백을 출력할 수 있다.
작동 모드가 제2 모드인 경우, 스마트 프로젝터는 사용자가 스마트 프로젝터로부터 기준 거리 이내에 위치하면, 음성 피드백 및 영상 피드백을 포함하는 피드백을 출력할 수 있다.
작동 모드가 제2 모드인 경우, 스마트 프로젝터는 사용자가 스마트 프로젝터로부터 기준 거리 바깥에 위치하면, 음성 피드백을 포함하고, 영상 피드백을 포함하지 않는 피드백을 출력할 수 있다.
피드백 형태의 결정은 스마트 프로젝터에 탑재된 프로세서 또는 별도로 마련된 서버에서 수행될 수 있다. 스마트 프로젝터는 보이스를 획득하고, 보이스 데이터를 서버로 전송하고, 서버로부터 피드백 데이터 및 피드백 형태 정보를 획득하고, 획득한 피드백 형태에 따라 피드백을 출력할 수 있다.
본 발명의 다른 일 실시예에 따르면, 영상을 벽면으로 투영하는 제1 모드 및 영상을 바닥으로 투영하는 제2 모드를 포함하는 복수의 모드 중 선택된 모드에 따라 작동하는 스마트 프로젝터의 제어 방법이 제공될 수 있다. 이때, 스마트 프로젝터는 보이스 커맨드를 획득하고 보이스 커맨드에 대응되는 다양한 피드백을 출력하되, 보이스 커맨드를 포함하는 보이스를 발화하는 사용자가 기준 거리 이내에 위치하는지 여부에 따라 출력하는 피드백의 형태가 변경될 수 있다.
스마트 프로젝터의 제어 방법은 스마트 프로젝터의 작동 모드를 검출하는 단계, 감지된 모드에 따라 기준 거리를 변경하는 단계, 사용자가 스마트 프로젝터로부터 기준 거리 이내에 위치하는지 판단하는 단계, 사용자가 스마트 프로젝터로부터 기준 거리 이내에 위치하면 피드백이 음성 피드백 및 영상 피드백을 포함하도록 피드백의 형태를 결정하는 단계 및 사용자가 스마트 프로젝터로부터 기준 거리보다 바깥에 위치하면 피드백이 음성 피드백을 포함하도록 피드백의 형태를 결정하는 단계를 포함할 수 있다.
스마트 프로젝터의 작동 모드를 검출하는 단계는 현재 모드가 제1 모드 및 제2 모드 중 어느 모드에 해당하는지 감지하는 것을 포함할 수 있다.
스마트 프로젝터가 제1 모드일 때, 기준 거리는 제1 거리일 수 있다. 이때, 스마트 프로젝터가 제2 모드일 때, 기준 거리는 제1 거리보다 짧은 제2 거리일 수 있다.
스마트 프로젝터가 제1 모드일 때, 기준 거리는 무한대의 길이를 가질 수 있다. 다시 말해, 스마트 프로젝터는 제1 모드일 때에는 사용자의 위치와 무관하게 음성 피드백 및 영상 피드백을 출력할 수 있다.
사용자의 위치는 마이크 모듈을 이용하여 획득될 수 있다. 예를 들어, 사용자의 위치는 사용자로부터 발화된 보이스의 크기를 고려하여 획득될 수 있다. 사용자의 위치는 센서 모듈을 이용하여 획득될 수 있다. 예를 들어, 사용자의 위치는 깊이 센서를 이용하여 획득될 수 있다.
스마트 프로젝터의 모드 감지는 스마트 프로젝터가 출광하는 방향을 감지하여 수행될 수 있다. 또는, 스마트 프로젝터의 모드를 감지하는 것은 프로젝터 모듈의 자세를 감지하는 것을 포함할 수 있다.
본 발명의 다른 일 양상에 따르면, 벽면에 영상을 투영하는 제1 모드 및 바닥에 영상을 투영하는 제2 모드를 포함하는 복수의 모드 중 어느 하나의 모드로 작동하는 스마트 프로젝터가 제공될 수 있다.
스마트 프로젝터는, 제1 모드에서 하면으로 위치되는 제1 면 및 제2 모드에서 하면으로 위치되는 제2 면을 포함하는 하우징, 하우징 내부에 위치되어 스마트 프로젝터의 자세를 감지하는 센서 모듈, 하우징의 외부로 노출되어 사용자에 의하여 발화되고 보이스 커맨드를 포함하는 보이스를 획득하는 마이크 모듈, 하우징의 외부로 노출되어 보이스 커맨드에 대응되는 음성 피드백을 출력하는 스피커 모듈, 하우징의 외부로 노출되고 제1 면에 대향하는 제3 면에 비스듬한 방향으로 광을 출사하여 보이스 커맨드에 대응되는 영상 피드백을 출력하는 프로젝터 모듈 및 제어부를 포함할 수 있다.
제어부는 스피커 모듈 또는 마이크 모듈 중 적어도 하나를 이용하여 보이스 커맨드에 의해 요청되는 정보를 포함하는 피드백을 출력하고, 피드백은 음성 피드백 또는 영상 피드백 중 적어도 하나를 포함하되, 피드백의 형태는 감지된 스마트 프로젝터의 자세에 기초하여 결정된 스마트 프로젝터의 작동 모드를 고려하여 결정될 수 있다.
2.4.2 제2 실시예
본 발명의 일 실시예에 따르면, 피드백의 출력 형태 및/또는 출력 형태를 결정하는 방법은, 피드백을 출력하는 스마트 프로젝터의 자세에 따라 달리 구현될 수 있다. 피드백의 출력 형태 및/또는 출력 형태를 결정하는 방법은, 사용자가 물리적으로 프로젝터의 자세를 변경하고, 이에 따라 프로젝션 모드가 변경되는 경우에, 각 자세 또는 모드에서 피드백의 출력 형태 및/또는 출력 형태의 결정 방법이 달리 구현될 수 있다.
구체적인 예로, 전술한 제4타입 스마트 프로젝터(100d)는 전술한 제4 타입 스마트 프로젝터(100d)는 제1 자세 및 제2 자세를 가질 수 있다. 제4 타입 스마트 프로젝터(100d)가 제1 자세 또는 제2 자세일 때 출력되는 피드백의 형태 및/또는 피드백의 형태를 결정하는 방법이 각각 달리 결정될 수 있다.
여기에서는, 스마트 프로젝터가 제1 자세 또는 제2 자세일 때 출력되는 피드백의 형태 및 피드백의 형태를 결정하는 방법의 실시 예들에 대하여 설명한다. 이하에서, 별다른 언급이 없는 한, 스마트 프로젝터에 대한 내용은 도 6과 관련하여 전술한 제4 타입 스마트 프로젝터(100d)에 대한 내용이 적용될 수 있다.
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 모드에 따라 피드백의 형태가 변경되도록 구현될 수 있다. 이하에서는, 도 8 및 도 9를 참조하여, 벽면에 영상을 투영하는 제1 모드(도 8)에서는 사용자의 거리에 따라 토크-백의 특성이 변경되고, 바닥에 영상을 투영하는 제2 모드(도 9)에서는 사용자의 거리에 따라 토크-백 및 디스플레이-백의 특성이 변경된 피드백을 출력하도록 구현된 스마트 프로젝터에 대하여 설명한다.
도 8은 본 발명의 일 실시예에 따른 스마트 프로젝터의 동작을 설명하기 위한 도면이다. 도 8을 참조하면, 스마트 프로젝터는 제1 모드에서 제1 자세로 동작할 수 있다. 본 발명의 일 실시예에 따르면, 스마트 프로젝터에 의해 출력되는 피드백, 특히 토크-백의 형태는 사용자의 위치에 따라 그 특성(예컨대, 음량)이 변경될 수 있다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터는 사용자에 의해 발화된 보이스를 획득하고, 보이스에 포함된 보이스 커맨드에 대응하는 피드백을 사용자의 거리를 고려하여 결정된 형태로 출력할 수 있다.
도 8의 (a)를 참조하면, 스마트 프로젝터는 사용자가 스마트 프로젝터로부터 제1 거리(d1)만큼 떨어져 있을 때, 사용자로부터 발화된 보이스를 획득하고, 토크-백 및 디스플레이-백을 포함하는 피드백을 출력할 수 있다. 이때, 토크-백은 제1 음량으로 출력될 수 있다.
도 8의 (b)를 참조하면, 스마트 프로젝터는 사용자가 제1 거리(d1)보다 짧은 제2 거리(d2)만큼 떨어져 있을 때, 사용자로부터 발화된 보이스를 획득하고, 디스플레이-백 및 토크-백을 포함하는 피드백을 출력할 수 있다. 이때, 토크-백은 제1 음량보다 작은 제2 음량으로 출력될 수 있다.
도 9는 본 발명의 일 실시예에 따른 스마트 프로젝터의 동작을 설명하기 위한 도면이다. 도 9를 참조하면, 스마트 프로젝터는 제2 모드에서 제2 자세로 동작할 수 있다. 본 발명의 일 실시예에 따르면, 스마트 프로젝터에 의해 출력되는 피드백은 사용자의 위치에 따라 그 형태가 변경될 수 있다.
도 9의 (a)를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터는, 사용자가 스마트 프로젝터로부터 제3 거리(d3)만큼 떨어져 있을 때, 사용자로부터 발화되고 보이스 커맨드를 포함하는 보이스를 획득하고, 보이스 커맨드에 대응하는 피드백을 토크-백의 형태로 제공할 수 있다.
도 9의 (b)를 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터는, 사용자가 스마트 프로젝터로부터 제3 거리(d3)보다 짧은 제4 거리(d4)만큼 떨어져 있을 때, 사용자로부터 발화되고 보이스 커맨드를 포함하는 보이스를 획득하고, 보이스 커맨드에 대응하는 피드백을 토크-백 및 디스플레이-백을 포함하는 형태로 제공할 수 있다.
사용자가 스마트 프로젝터로부터 제3 거리(d3)보다 짧은 제4 거리(d4)만큼 떨어져 있을 때, 스마트 프로젝터는 토크-백을 사용자가 프로젝터로부터 제3 거리(d3)만큼 떨어져 있을 때보다 작은 음량으로 출력할 수 있다.
사용자가 스마트 프로젝터를 향하여 접근할 때, 스마트 프로젝터는, 사용자가 기준 거리 이하로 접근하였음을 감지하고, 피드백의 출력 형태가 변경됨을 고지하는 안내를 출력할 수 있다. 사용자가 스마트 프로젝터로부터 멀어질 때, 스마트 프로젝터는 사용자가 기준 거리보다 멀어졌음을 감지하고, 피드백의 출력 형태가 변경됨을 고지하는 안내를 출력할 수 있다. 스마트 프로젝터는 피드백의 출력 형태가 변경됨을 알리는 음성 안내 또는 영상 안내를 출력할 수 있다.
사용자가 스마트 프로젝터를 향하여 접근할 때, 스마트 프로젝터는 피드백의 출력 형태를 변경할 수 있다. 사용자가 접근하는 것에 대응하여, 스마트 프로젝터는 디스플레이-백의 밝기 및/또는 토크-백의 음량을 변경할 수 있다.
도 10은 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법을 설명하기 위한 순서도이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법은 보이스를 획득하는 단계(S100), 피드백의 출력 형태를 결정하는 단계(S200) 및 피드백을 출력하는 단계(S300)를 포함할 수 있다.
스마트 프로젝터는 제1 면 및 제2 면을 포함할 수 있다. 제1 면 및 제2 면은 서로 인접한 면일 수 있다. 스마트 프로젝터는 제1 면 및 제2 면을 포함하는 6면체 형상으로 마련될 수 있다.
스마트 프로젝터는 복수의 모드 중 선택된 모드에 따라 동작하되, 복수의 모드는 제1 면을 하면으로 하고 벽면에 영상을 투영하는 제1 모드 또는 제2 면을 하면으로 하고 바닥에 영상을 투영하는 제2 모드를 포함할수 있다.
스마트 프로젝터는 제1 자세 또는 제2 자세로 이용될 수 있다. 스마트 프로젝터는 제1 자세로 벽에 영상을 투영하는 제1 모드로 동작할 수 있다. 스마트 프로젝터는 제2 자세로 바닥에 영상을 투영하는 제2 모드로 동작할 수 있다.
스마트 프로젝터는 제1 면과 대향하는 제3 면을 더 포함하고, 제3 면으로부터 제3 면에 대하여 비스듬한 방향으로 광을 출사하여 영상을 투영할 수 있다. 스마트 프로젝터는 제2 면과 대향하는 제4 면을 더 포함할 수 있다. 제4 면 및/또는 제3 면 상에는 스피커, 마이크 및/또는 카메라가 형성될 수 있다.
스마트 프로젝터의 제어 방법은 사용자에 의해 발화되고 보이스 커맨드를 포함하는 보이스를 획득(S100)하는 단계를 포함할 수 있다. 스마트 프로젝터는 마이크 모듈을 이용하여 보이스를 획득할 수 있다. 이와 관련하여서는 스마트 디바이스와 관련하여 전술한 내용이 적용될 수 있다.
스마트 프로젝터의 제어 방법은 보이스 커맨드에 대응하는 피드백의 출력 형태를 결정하는 단계(S200)를 포함할 수 있다. 피드백의 출력 형태는 스마트 프로젝터의 작동 모드에 기초하여 결정될 수 있다. 피드백의 출력 형태는 스마트 프로젝터의 자세를 고려하여 결정될 수 있다. 피드백의 출력 형태는 보이스를 발화한 사용자와 스마트 프로젝터 사이의 거리를 고려하여 결정될 수 있다.
예를 들어, 스마트 프로젝터의 제어 방법은 스마트 프로젝터의 자세 또는 모드를 검출하고, 피드백의 출력 형태는 검출된 자세 또는 모드를 고려하여 결정하는 것을 포함할 수 있다. 스마트 프로젝터가 제1 자세 또는 제1 모드인 경우 음성 피드백 및 영상 피드백을 포함하도록 결정되고, 스마트 프로젝터가 제2 자세 또는 제2 모드인 경우, 토크-백을 포함하도록 결정될 수 있다.
도 11은 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법에 있어서, 피드백의 출력 형태를 결정하는 단계에 대하여 설명하기 위한 순서도를 도시한 것이다.
도 11을 참조하면, 본 발명의 일 실시예에 따르면, 피드백의 출력 형태를 결정하는 단계(S200)는 스마트 프로젝터의 작동 모드가 제1 모드 및 제2 모드 중 어느 모드에 해당하는지 판단하는 단계(S210) 및 스마트 프로젝터의 작동 모드가 제2 모드인 경우, 사용자가 스마트 프로젝터로부터 떨어진 거리를 고려하여 피드백의 형태를 결정하는 단계(S233)를 포함할 수 있다.
스마트 프로젝터의 작동 모드가 제1 모드 및 제2 모드 중 어느 것인지 판단하는 단계(S210)는 스마트 프로젝터의 작동 모드를 검출하는 것일 수 있다. 스마트 프로젝터의 작동 모드가 제1 모드 및 제2 모드 중 어느 것인지 판단하는 단계는(S210), 하면으로 위치되는 면을 감지하여, 제1 면이 하면으로 위치되는 경우 스마트 프로젝터가 제1 모드인 것으로 판단하고, 제2 면이 하면으로 위치되는 경우 스마트 프로젝터가 제2 모드인 것으로 판단하는 것을 더 포함할 수 있다.
도 11을 참조하면, 피드백의 출력 형태를 결정하는 단계(S200)는 스마트 프로젝터의 작동 모드가 제1 자세 또는 제1 모드인 경우, 피드백이 보이스 커맨드에 대응하는 음성 피드백 및 영상 피드백을 포함하도록 피드백의 형태를 결정하는 단계(S231)를 더 포함할 수 있다.
이때, 음성 피드백 및 영상 피드백은 각각 보이스 커맨드에 의해 요청되는 정보를 포함할 수 있다. 또는, 영상 피드백은 보이스 커맨드에 의해 요청되는 정보를 포함하고, 음성 피드백은 영상 피드백을 보완하는 보조 정보를 포함할 수 있다. 보조 정보는 사용자가 영상 피드백을 통하여 정보를 획득하는 것을 용이하게 하기 위한 정보를 포함할 수 있다.
도 12는 본 발명의 일 실시예에 따른 스마트 프로젝터의 제어 방법에 있어서, 피드백의 출력 형태를 결정하는 단계에 대하여 설명하기 위한 순서도를 도시한 것이다.
도 12를 참조하면, 피드백의 출력 형태를 결정하는 단계(S200)는 사용자가 스마트 프로젝터로부터 기준 거리 이내에 위치하는지 판단하는 단계(S251, S253)을 더 포함할 수 있다.
스마트 프로젝터가 제2 자세 또는 제2 모드인 경우, 피드백의 출력 형태를 결정하는 단계(S200)는, 스마트 프로젝터가 제2 모드이고, 사용자가 기준 거리 이내에 위치하는 경우, 피드백이 영상 피드백을 포함하도록 피드백의 형태를 결정하는 단계(S271)를 더 포함할 수 있다.
스마트 프로젝터가 제2 모드이고, 사용자가 기준 거리 이내에 위치하는 경우, 피드백의 형태는 피드백이 영상 피드백 및 음성 피드백을 포함하도록 결정될 수도 있다. 이때, 음성 피드백은 보이스 커맨드에 의해 요청된 정보 또는 영상 피드백을 보조하기 위한 보조 정보를 포함할 수 있다.
스마트 프로젝터가 제2 자세 또는 제2 모드인 경우, 피드백의 출력 형태를 결정하는 단계(S200)는, 사용자가 기준 거리 바깥에 위치하는 경우, 피드백이 음성 피드백을 포함하도록 피드백의 형태를 결정하는 단계(S273)를 더 포함할 수 있다. 이때, 피드백의 형태는 피드백이 영상 피드백을 포함하지 않도록 결정될 수 있다.
스마트 프로젝터가 제1 자세 또는 제1 모드인 경우, 피드백의 출력 형태를 결정하는 단계(S200)는 스마트 프로젝터가 제1 모드이고, 사용자가 스마트 프로젝터로부터 기준 거리 이내에 위치하는 경우, 음성 피드백이 제1 크기로 출력되도록 피드백의 형태를 결정하는 단계(S275)를 더 포함할 수 있다.
스마트 프로젝터가 제1 모드인 경우, 피드백의 출력 형태를 결정하는 단계(S200)는 스마트 프로젝터가 제1 모드이고, 사용자가 스마트 프로젝터로부터 기준 거리 보다 멀리 위치하는 경우, 음성 피드백이 제1 크기보다 큰 제2 크기로 출력되도록 피드백의 형태를 결정하는 단계(S277)를 더 포함할 수 있다.
스마트 프로젝터는 피드백을 출력(S300)할 수 있다. 스마트 프로젝터는 결정된 출력 형태로 피드백을 출력할 수 있다. 스마트 프로젝터는 스피커 모듈 및/또는 프로젝터 모듈을 이용하여 피드백을 출력할 수 있다.
본 발명의 다른 일 실시예에 따른 스마트 프로젝터의 제어 방법은, 도 10에서 도시하는 것처럼 보이스를 획득하는 단계(S100), 피드백의 출력 형태를 결정하는 단계(S200) 및 피드백을 출력하는 단계(S300)를 포함할 수 있다. 피드백의 출력 형태를 결정하는 단계(S200)는 획득한 보이스 커맨드에 기초하여 보이스 커맨드에 대응하는 피드백의 출력 형태를 결정하는 것을 포함할 수 있다.
피드백의 출력 형태를 결정하는 단계(S200)는 보이스 커맨드가 피드백의 형태를 지시하는 피드백 지시자를 포함하는지 판단하는 단계를 포함할 수 있다. 피드백 지시자는 음성 피드백을 포함하는 피드백을 지시하는 토크-백 지시자 및 영상 피드백을 포함하는 피드백을 지시하는 디스플레이-백 지시자를 포함할 수 있다. 피드백 지시자에 관한 내용은 전술한 실시 예에서와 유사하게 적용될 수 있다.
피드백의 출력 형태를 결정하는 단계(S200)는 보이스 커맨드가 피드백 지시자를 포함하는 경우, 보이스 커맨드에 의해 요청되는 정보를 포함하는 피드백을 피드백 지시자에 대응하는 형태로 피드백의 출력 형태를 결정하는 단계를 포함할 수 있다. 예를 들어, 보이스 커맨드가 토크-백 지시자를 포함하는 경우, 피드백이 음성 피드백을 포함하도록 피드백의 형태를 결정할 수 있다. 다른 예를 들어, 보이스 커맨드가 디스플레이-백 지시자를 포함하는 경우, 피드백이 영상 피드백을 포함하도록 피드백의 형태를 결정할 수 있다.
피드백의 출력 형태를 결정하는 단계(S200)는 보이스 커맨드가 피드백 지시자를 포함하지 않는 경우, 작동 모드를 고려하여 피드백의 출력 형태를 결정하는 단계를 포함할 수 있다.
작동 모드를 고려하여 피드백의 출력 형태를 결정하는 단계는 스마트 프로젝터의 작동 모드가 제1 모드인 경우, 보이스 커맨드에 의해 요청되는 정보를 포함하는 피드백을 음성 피드백 및 영상 피드백을 포함하는 형태로 피드백의 출력 형태를 결정하는 단계를 포함할 수 있다.
작동 모드를 고려하여 피드백의 출력 형태를 결정하는 단계는 스마트 프로젝터의 작동 모드가 제2 모드인 경우, 사용자의 스마트 프로젝터로부터의 거리를 고려하여, 거리가 기준 거리보다 긴 경우, 피드백을 음성 피드백을 포함하는 형태로 피드백의 출력 형태를 결정하는 단계를 포함할 수 있다.
한편, 위 실시 예들에서는 스마트 프로젝터의 작동 모드에 대하여 제1 모드 및 제2 모드에 대하여만 설명하였으나, 이는 예시에 불과하고, 스마트 프로젝터는 제1 모드 및 제2 모드와 구분되는 추가 모드를 더 가질 수 있고, 추가 모드에서 스마트 프로젝터는 제1 모드 및/또는 제2 모드와 그 형태가 달리 결정된 피드백을 출력할 수 있다.
본 발명의 다른 일 실시예에 따르면, 제1 면을 하면으로 하고 영상을 벽면으로 투영하는 제1 모드 및 제2 면을 하면으로 하고 영상을 바닥으로 투영하는 제2 모드를 포함하는 복수의 모드 중 선택된 어느 모드에 따라 작동하는 스마트 프로젝터의 제어 방법이 제공될 수 있다. 스마트 프로젝터는 보이스 커맨드를 획득하고 보이스 커맨드에 대응되는 다양한 피드백을 출력하되, 보이스 커맨드를 포함하는 보이스를 발화하는 사용자가 기준 거리 이내에 위치하는지 여부에 따라 출력하는 피드백의 형태가 변경될 수 있다. 본 실시예에 대하여, 별다른 언급이 없는 한 제1 실시예에서 전술한 내용이 유사하게 적용될 수 있다.
스마트 프로젝터의 제어 방법은 현재 모드가 제1 모드 및 제2 모드 중 어느 모드에 해당하는지 감지하는 단계, 감지된 모드에 따라 기준 거리를 변경하는 단계, 사용자가 스마트 프로젝터로부터 기준 거리 이내에 위치하는지 판단하는 단계, 사용자가 스마트 프로젝터로부터 기준 거리 이내에 위치하면 피드백이 음성 피드백 및 영상 피드백을 포함하도록 피드백의 형태를 결정하는 단계 및 사용자가 스마트 프로젝터로부터 기준 거리보다 바깥에 위치하면 피드백이 음성 피드백을 포함하도록 피드백의 형태를 결정하는 단계를 포함할 수 있다.
스마트 프로젝터의 모드 감지는 스마트 프로젝터의 자세를 감지하여 수행될 수 있다. 예를 들어, 상술한 스마트 프로젝터의 모드를 감지하는 단계는, 스마트 프로젝터의 하면이 제1 면인 경우 스마트 프로젝터는 제1 모드를 가지고 스마트 프로젝터의 하면이 제1 면과 다른 제2 면인 경우 스마트 프로젝터는 제2 모드를 가지는 것으로 감지하는 것을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 벽면에 영상을 투영하는 제1 모드 및 바닥에 영상을 투영하는 제2 모드를 포함하는 복수의 모드 중 선택된 어느 하나의 모드로 작동하는 스마트 프로젝터가 제공될 수 있다.
도 13은 본 발명의 일 실시예에 따른 스마트 프로젝터(3000)를 설명하기 위한 블록도를 도시한 것이다. 도 13을 참조하면, 본 발명의 일 실시예에 따른 스마트 프로젝터(3000)는 마이크 모듈(3010), 카메라 모듈(3030), 스피커 모듈(3050), 프로젝터 모듈(3070), 센서 모듈(3090) 및 제어부(3110)를 포함할 수 있다.
마이크 모듈(3010)은 오디오 신호(Input 1)를 획득할 수 있다. 카메라 모듈(3030)은 영상 또는 이미지(Input 2)를 획득할 수 있다. 카메라 모듈(3030)은 경우에 따라 스마트 프로젝터(3000)에 포함되지 않을 수 있다. 스피커 모듈(3050)은 오디오 신호(Output 1)를 출력할 수 있다. 프로젝터 모듈(3070)은 광을 출사하여 영상 또는 이미지 데이터(Output 2)를 출력할 수 있다. 센서 모듈(3090)은 스마트 프로젝터의 자세를 감지할 수 있다.
제어부(3110)는 데이터의 처리를 수행할 수 있다. 제어부(3110)는 스마트 프로젝터(3000)에 포함된 모듈들을 제어할 수 있다.
이하에서는, 상술한 스마트 프로젝터로서, 출력되는 피드백의 형태가 변경되는 스마트 프로젝터의 몇몇 실시 예들에 대하여 설명한다.
이하의 실시 예들에서, 별다른 언급이 없는 한 전술한 스마트 프로젝터에 관한 내용이 적용될 수 있다.
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 광을 출사하여 영상을 출력하되, 상기 영상을 벽면으로 투영하는 제1 모드 및 상기 영상을 바닥으로 투영하는 제2 모드를 가지고, 하우징, 센서 모듈, 마이크 모듈, 스피커 모듈, 프로젝터 모듈 및 제어부를 포함할 수 있다.
하우징은 제1 모드에서 하면으로 위치되는 제1 면 및 제2 모드에서 하면으로 위치되는 제2 면을 포함할 수 있다.
센서 모듈은 하우징 내부에 위치되어 스마트 프로젝터의 자세를 감지할 수 있다. 센서 모듈은 제1 면 또는 제2 면 중 어느 하나에 부착될 수 있다. 센서 모듈은 제1 면 또는 제2 면에 부착되어, 제1 면 또는 제2 면의 위치를 감지할 수 있다. 센서 모듈은 제1 면 또는 제2 면이 하면으로 위치되는지 여부를 감지할 수 있다.
마이크 모듈은 하우징의 외부로 노출되어 사용자에 의하여 발화되고 보이스 커맨드를 포함하는 보이스를 획득할 수 있다. 마이크 모듈은 제1 면 또는 제2 면에 위치될 수 있다.
스피커 모듈은 하우징의 외부로 노출되어 보이스 커맨드에 대응되는 음성 피드백을 출력할 수 있다. 스피커 모듈은 제1 면 또는 제2 면에 위치될 수 있다.
프로젝터 모듈은 하우징의 외부로 노출되고 제1 면에 대향하는 제3 면에 비스듬한 방향으로 광을 출사하여 보이스 커맨드에 대응되는 영상 피드백을 출력할 수 있다.
제어부는 스피커 모듈 또는 마이크 모듈 중 적어도 하나를 이용하여 보이스 커맨드에 의해 요청되는 정보를 포함하는 피드백을 출력하고, 피드백은 음성 피드백 또는 영상 피드백 중 적어도 하나를 포함하되, 피드백의 형태는 감지된 스마트 프로젝터의 자세에 기초하여 결정된 스마트 프로젝터의 작동 모드를 고려하여 결정될 수 있다.
피드백의 형태는 사용자가 스마트 프로젝터로부터 떨어진 거리를 더 고려하여 결정될 수 있다.
스마트 프로젝터가 제2 모드이고, 사용자가 스마트 프로젝터로부터 기준 거리 이내에 위치하는 경우, 제어부는 음성 피드백 및 영상 피드백을 포함하는 피드백을 출력할 수 있다. 스마트 프로젝터가 제2 모드이고, 사용자가 스마트 프로젝터로부터 기준 거리보다 멀리 위치하는 경우, 제어부는 음성 피드백을 포함하는 피드백을 출력할 수 있다.
스마트 프로젝터가 제1 모드인 경우, 제어부는 음성 피드백 및 영상 피드백을 포함하는 피드백을 출력할 수 있다.
제어부는 센서 모듈을 이용하여 제1 면 및 제2 면 중 하면으로 위치되는 면을 판단하고, 스마트 프로젝터의 자세를 감지할 수 있다.
센서 모듈은 자이로 센서, 적외선 센서, 조도 센서, 근접 센서, 가속도 센서, 지자계 센서, 기압 센서 및 진동 센서 중 적어도 하나를 포함할 수 있다.
2.4.3 제3 실시예
본 발명의 일 실시예에 따르면, 보이스를 획득하고 보이스 커맨드에 대응되는 피드백을 출력하는 스마트 프로젝터에서 출력되는 피드백의 형태는 스마트 프로젝터의 작동 모드 또는 자세를 고려하여 결정될 수 있다. 이때, 스마트 프로젝터는 그 출사 방향이 회전 가능하도록 마련될 수 있다.
구체적으로, 스마트 프로젝터는 전술한 제5 타입 프로젝터(100e)일 수있다. 스마트 프로젝터는, 상방 출사 모드 및 하방 출사 모드를 가지되, 상방 출사 모드 및 하방 출사 모드 각각에서 그 출사 방향이 회전 가능하도록 마련될 수 있다.
스마트 프로젝터는 제3 모드 및 제4 모드로 작동할 수 있다. 제3 모드에서, 스마트 프로젝터는 상방 출사하여 벽면에 영상을 투영하되, 광의 출사 방향이 회전 가능할 수 있다. 제4 모드에서, 스마트 프로젝터는 하방 출사하여 바닥에 영상을 투영하되, 광의 출사 방향이 회전 가능할 수 있다.
스마트 프로젝터는 제1 및 제2 실시예에서 전술한 것과 같이 모드 및/또는 자세에 따라 출력하는 피드백의 형태가 변경될 수 있다. 이때, 제3 모드 및 제4 모드는 각각 전술한 실시 예들에서의 제1 모드 및 제2 모드에 대응될 수 있다.
예를 들어, 본 발명의 일 실시예에 따르면, 상술한 제3 모드 및 제4 모드를 포함하는 복수의 모드 중 선택된 모드로 작동하고, 보이스를 발화하는 사용자가 기준 거리 이내에 위치하는지 여부에 따라 피드백의 형태가 변경되는 스마트 프로젝터의 제어 방법이 제공될 수 있다.
스마트 프로젝터의 제어 방법은, 현재 모드가 제3 모드 및 제4 모드 중 어느 모드에 해당하는지 감지하는 단계, 감지된 모드에 따라 기준 거리를 변경하는 단계, 사용자가 스마트 프로젝터로부터 기준 거리 이내에 위치하는지 판단하는 단계, 사용자가 스마트 프로젝터로부터 기준 거리 이내에 위치하면 피드백이 음성 피드백 및 영상 피드백을 포함하도록 피드백의 형태를 결정하는 단계 및 사용자가 스마트 프로젝터로부터 기준 거리보다 바깥에 위치하면 피드백이 음성 피드백을 포함하도록 피드백의 형태를 결정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상술한 스마트 프로젝터의 제어 방법은 사용자의 위치 정보를 획득하는 단계를 더 포함할 수 있다.
사용자가 스마트 프로젝터로부터 기준 거리 이내에 위치하면 피드백이 음성 피드백 및 영상 피드백을 포함하도록 피드백의 형태를 결정하는 단계는, 사용자의 위치 정보에 기초하여 음성 피드백의 출력 위치 또는 출력 방향을 결정하는 것을 더 포함할 수 있다.
2.5 우선 순위 결정
본 발명의 일 실시예에 따르면, 스마트 프로젝터는 복수의 요인을 고려하여 결정된 형태로 피드백을 출력할 수 있다. 이때, 피드백의 형태를 결정하기 위하여 고려되는 복수의 요인 사이에는 우선 순위가 적용될 수 있다.
일 예로, 컨텐츠에 미리 정해진 피드백의 형태가 있는 경우에도, 스마트 프로젝터는 보이스 커맨드에 포함된 피드백 지시자에 대응하는 피드백 형태에 따라 피드백을 출력할 수 있다. 다른 예로, 보이스 커맨드가 피드백 지시자를 포함하는 경우에도, 스마트 프로젝터의 자세 또는 모드를 고려하여 결정된 형태에 따라 피드백을 출력할 수도 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 보이스 커맨드를 획득하고, 상기 보이스 커맨드에 대응되는 다양한 피드백을 출력하는 스마트 프로젝터- 상기 스마트 프로젝터는 제1 면 및 제2 면을 포함하고, 복수의 모드 중 선택된 모드에 따라 동작하되, 상기 복수의 모드는 상기 제1 면을 하면으로 하고 벽면에 영상을 투영하는 제1 모드 및 상기 제2 면을 하면으로 하고 바닥에 상기 영상을 투영하는 제2 모드를 포함함-의 제어 방법에 있어서,
    사용자에 의해 발화되고 상기 보이스 커맨드를 포함하는 보이스를 획득하는 단계;
    상기 스마트 프로젝터의 작동 모드에 기초하여 상기 보이스 커맨드에 대응하는 상기 피드백의 출력 형태를 결정하는 단계; 및
    상기 결정된 출력 형태로 상기 피드백을 출력하는 단계; 를 포함하되
    상기 피드백의 출력 형태를 결정하는 단계는,
    상기 스마트 프로젝터의 상기 작동 모드를 검출하는 단계; 및
    상기 작동 모드가 상기 제2 모드인 경우, 상기 사용자가 스마트 프로젝터로부터 떨어진 거리를 고려하여 상기 피드백의 형태를 결정하는 단계;를 더 포함하는,
    스마트 프로젝터의 제어 방법.
  2. 제1항에 있어서,
    상기 피드백의 출력 형태를 결정하는 단계는
    상기 사용자가 상기 스마트 프로젝터로부터 기준 거리 이내에 위치하는지 판단하는 단계; 를 더 포함하는
    스마트 프로젝터의 제어 방법.
  3. 제2항에 있어서,
    상기 작동 모드가 상기 제2 모드인 경우, 상기 피드백의 형태를 결정하는 단계는
    상기 작동 모드가 상기 제2 모드이고, 상기 사용자가 기준 거리 이내에 위치하는 경우, 상기 피드백이 영상 피드백을 포함하도록 상기 피드백의 형태를 결정하는 단계;를 더 포함하는,
    스마트 프로젝터의 제어 방법.
  4. 제3항에 있어서,
    상기 작동 모드가 상기 제2 모드인 경우, 상기 피드백의 형태를 결정하는 단계는
    상기 작동 모드가 상기 제2 모드이고, 상기 사용자가 기준 거리 바깥에 위치하는 경우, 상기 피드백이 음성 피드백을 포함하도록 상기 피드백의 형태를 결정하는 단계;를 더 포함하는
    스마트 프로젝터의 제어 방법
  5. 제1항에 있어서,
    상기 피드백의 출력 형태를 결정하는 단계는
    상기 작동 모드가 상기 제1 모드인 경우, 상기 피드백이 상기 보이스 커맨드에 대응하는 음성 피드백 및 영상 피드백을 포함하도록 상기 피드백의 형태를 결정하는 단계;를 더 포함하는
    스마트 프로젝터의 제어 방법.
  6. 제2항에 있어서,
    상기 피드백의 출력 형태를 결정하는 단계는
    상기 작동 모드가 상기 제1 모드이고, 상기 사용자가 상기 스마트 프로젝터로부터 상기 기준 거리 이내에 위치하는 경우, 상기 음성 피드백이 제1 크기로 출력되도록 상기 피드백의 형태를 결정하는 단계; 및
    상기 작동 모드가 상기 제1 모드이고, 상기 사용자가 상기 스마트 프로젝터로부터 상기 기준 거리 보다 멀리 위치하는 경우, 상기 음성 피드백이 상기 제1 크기보다 큰 제2 크기로 출력되도록 상기 피드백의 형태를 결정하는 단계; 를 더 포함하는
    스마트 프로젝터의 제어 방법.
  7. 제1항에 있어서,
    상기 스마트 프로젝터의 상기 작동 모드를 검출하는 단계는
    상기 하면으로 위치되는 면을 감지하여, 상기 제1 면이 상기 하면으로 위치되는 경우 상기 스마트 프로젝터가 상기 제1 모드인 것으로 판단하고, 상기 제2 면이 상기 하면으로 위치되는 경우 상기 스마트 프로젝터가 상기 제2 모드인 것으로 판단하는 것을 더 포함하는
    스마트 프로젝터의 제어 방법.
  8. 제2항에 있어서,
    상기 스마트 프로젝터는 상기 1면과 대향하는 제3 면을 더 포함하고, 상기 제3 면으로부터상기 제3 면에 대하여 비스듬한 방향으로 광을 출사하여 상기 영상을 투영하는
    스마트 프로젝터의 제어 방법.
  9. 벽면에 영상을 투영하는 제1 모드 및 바닥에 영상을 투영하는 제2 모드 를 포함하는 복수의 모드 중 선택된 모드에 따라 동작하는 스마트 프로젝터로서,
    상기 제1 모드에서 하면으로 위치되는 제1 면 및 상기 제2 모드에서 하면으로 위치되는 제2 면을 포함하는 하우징;
    상기 하우징 내부에 위치되어 상기 스마트 프로젝터의 자세를 감지하는 센서 모듈;
    상기 하우징의 외부로 노출되어 사용자에 의하여 발화되고 보이스 커맨드를 포함하는 보이스를 획득하는 마이크 모듈;
    상기 하우징의 외부로 노출되어 상기 보이스 커맨드에 대응되는 음성 피드백을 출력하는 스피커 모듈;
    상기 하우징의 외부로 노출되고 상기 제1 면에 대향하는 제3 면에 비스듬한 방향으로 광을 출사하여 상기 보이스 커맨드에 대응되는 영상 피드백을 출력하는 프로젝터 모듈; 및
    제어부;를 포함하고,
    상기 제어부는 상기 스피커 모듈 또는 상기 마이크 모듈 중 적어도 하나를 이용하여 상기 보이스 커맨드에 의해 요청되는 정보를 포함하는 피드백을 출력하고, 상기 피드백은 상기 음성 피드백 또는 상기 영상 피드백 중 적어도 하나를 포함하되,
    상기 피드백의 형태는 상기 감지된 상기 스마트 프로젝터의 자세에 기초하여 결정된 상기 스마트 프로젝터의 작동 모드를 고려하여 결정되는,
    스마트 프로젝터.
  10. 제9항에 있어서,
    상기 피드백의 형태는 상기 사용자가 상기 스마트 프로젝터로부터 떨어진 거리를 더 고려하여 결정되는
    스마트 프로젝터.
  11. 제9항에 있어서,
    상기 작동 모드가 상기 제2 모드이고, 상기 사용자가 상기 스마트 프로젝터로부터 기준 거리 이내에 위치하는 경우, 상기 제어부는 상기 음성 피드백 및 상기 영상 피드백을 포함하는 상기 피드백을 출력하고,
    상기 작동 모드가 상기 제2 모드이고, 상기 사용자가 상기 스마트 프로젝터로부터 기준 거리보다 멀리 위치하는 경우, 상기 제어부는 상기 음성 피드백을 포함하는 상기 피드백을 출력하는
    스마트 프로젝터.
  12. 제9항에 있어서,
    상기 작동 모드가 상기 제1 모드인 경우, 상기 제어부는 상기 음성 피드백 및 상기 영상 피드백을 포함하는 상기 피드백을 출력하는
    스마트 프로젝터.
  13. 제9항에 있어서,
    상기 센서 모듈은 상기 제1 면 또는 상기 제2 면 중 어느 하나에 부착되는,
    스마트 프로젝터.
  14. 제9항에 있어서,
    상기 마이크 모듈 및 상기 스피커 모듈은 상기 제1 면 또는 상기 제2 면에 위치되는
    스마트 프로젝터.
  15. 제9항에 있어서,
    상기 제어부는 상기 센서 모듈을 이용하여 상기 제1 면 및 상기 제2 면 중 상기 하면으로 위치되는 면을 판단하고, 상기 스마트 프로젝터의 자세를 감지하는
    스마트 프로젝터.
  16. 제9항에 있어서,
    상기 센서 모듈은 자이로 센서, 적외선 센서, 조도 센서, 근접 센서, 가속도 센서, 지자계 센서, 기압 센서 및 진동 센서 중 적어도 하나를 포함하는
    스마트 프로젝터.
PCT/KR2018/014222 2018-07-27 2018-11-19 스마트 프로젝터 및 그 제어 방법 WO2020022569A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180087678A KR20200012408A (ko) 2018-07-27 2018-07-27 스마트 프로젝터 및 그 제어 방법
KR10-2018-0087678 2018-07-27

Publications (1)

Publication Number Publication Date
WO2020022569A1 true WO2020022569A1 (ko) 2020-01-30

Family

ID=69181811

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/014222 WO2020022569A1 (ko) 2018-07-27 2018-11-19 스마트 프로젝터 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20200012408A (ko)
WO (1) WO2020022569A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230026126A (ko) * 2021-08-17 2023-02-24 삼성전자주식회사 전자 장치 및 이의 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090052794A (ko) * 2007-11-21 2009-05-26 삼성전자주식회사 인터랙티브 프리젠테이션 시스템 및 프리젠테이션 프로세스를 제어하는 음성 명령의 인증 방법
KR20120008396A (ko) * 2010-07-16 2012-01-30 엘지전자 주식회사 이동 단말기 및 그의 화면 회전 제어방법
KR20130076131A (ko) * 2011-12-28 2013-07-08 유니웹스 주식회사 인터랙티브 컨텐츠 표시 장치
JP2015087692A (ja) * 2013-11-01 2015-05-07 Ｎｅｃディスプレイソリューションズ株式会社 姿勢検出装置とその制御方法、および、プロジェクタ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090052794A (ko) * 2007-11-21 2009-05-26 삼성전자주식회사 인터랙티브 프리젠테이션 시스템 및 프리젠테이션 프로세스를 제어하는 음성 명령의 인증 방법
KR20120008396A (ko) * 2010-07-16 2012-01-30 엘지전자 주식회사 이동 단말기 및 그의 화면 회전 제어방법
KR20130076131A (ko) * 2011-12-28 2013-07-08 유니웹스 주식회사 인터랙티브 컨텐츠 표시 장치
JP2015087692A (ja) * 2013-11-01 2015-05-07 Ｎｅｃディスプレイソリューションズ株式会社 姿勢検出装置とその制御方法、および、プロジェクタ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
29 May 2018 (2018-05-29), Retrieved from the Internet <URL:http://www.betanews.net/article/859601> *

Also Published As

Publication number Publication date
KR20200012408A (ko) 2020-02-05

Similar Documents

Publication Publication Date Title
WO2019107945A1 (en) Method of providing service based on location of sound source and speech recognition device therefor
WO2013129799A1 (en) Electronic device and method for controlling electronic device
WO2017105021A1 (en) Display apparatus and method for controlling display apparatus
WO2014051389A1 (en) Method and apparatus for controlling screen brightness corresponding to variation of illumination
WO2012157792A1 (en) Electronic device
WO2019225978A1 (en) Camera and terminal including the same
WO2019168238A1 (ko) 이동단말기 및 그 제어 방법
WO2021029457A1 (ko) 사용자에게 정보를 제공하는 인공 지능 서버 및 그 방법
WO2016114437A1 (ko) 이동 단말기 및 그것의 제어방법
WO2019017715A1 (en) ELECTRONIC DEVICE AND SYSTEM FOR DETERMINING SPEECH INPUT RECEIVING TIME BASED ON CONTEXTUAL INFORMATION
WO2018169102A1 (ko) 이동 단말기
WO2019221440A1 (ko) 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
WO2017090920A1 (en) Mobile terminal and method for controlling the same
WO2022025450A1 (ko) 슬라이딩 가능한 전자 장치 및 이의 제어 방법
WO2021225278A1 (ko) 전자 장치 및 전자 장치에서 배터리 공유 방법
WO2017159931A1 (en) Electronic device including touch panel and method of controlling the electronic device
WO2021075774A1 (en) Method for controlling iot device and electronic device therefor
WO2020022569A1 (ko) 스마트 프로젝터 및 그 제어 방법
WO2020251101A1 (ko) 사용자의 동선을 결정하는 인공 지능 장치 및 그 방법
WO2020022571A1 (ko) 스마트 디바이스 및 그 제어 방법
WO2020096218A1 (en) Electronic device and operation method thereof
WO2019093706A1 (ko) 전자 장치, 그 제어 방법, 원격 제어 장치 및 그 제어 방법
WO2016125966A1 (ko) 영상 투사 장치 및 그의 동작 방법
WO2019168208A1 (ko) 이동 단말기 및 그 제어 방법
WO2019160173A1 (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18927338

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18927338

Country of ref document: EP

Kind code of ref document: A1