WO2015012500A1 - 멀티미디어 장치 및 그의 사용자 명령 예측 방법 - Google Patents

멀티미디어 장치 및 그의 사용자 명령 예측 방법 Download PDF

Info

Publication number
WO2015012500A1
WO2015012500A1 PCT/KR2014/005799 KR2014005799W WO2015012500A1 WO 2015012500 A1 WO2015012500 A1 WO 2015012500A1 KR 2014005799 W KR2014005799 W KR 2014005799W WO 2015012500 A1 WO2015012500 A1 WO 2015012500A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
command
voice
unit
Prior art date
Application number
PCT/KR2014/005799
Other languages
English (en)
French (fr)
Inventor
강희천
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2015012500A1 publication Critical patent/WO2015012500A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces

Definitions

  • the present invention relates to a multimedia device, and more particularly, to a multimedia device capable of automatically predicting a user's desired command based on a user's voice and movement, and a method of predicting the user's command.
  • a multimedia apparatus is a device having a function of receiving and processing a broadcast image that a user can watch.
  • the multimedia apparatus may display a broadcast selected by a user on a display among broadcast signals transmitted from a broadcasting station.
  • digital broadcasting refers to broadcasting that transmits digital video and audio signals. Compared with analog broadcasting, digital broadcasting is more resistant to external noise, which has less data loss, is advantageous for error correction, and has a higher resolution. can do.
  • digital broadcasting is capable of bidirectional services.
  • multimedia devices have been improved in performance and multi-function compared to existing multimedia devices in order to use digital broadcasting, and various services available in multimedia devices such as Internet service, VOD (Video On Demand), and electronic album service are also diversified. It became.
  • the user has been able to use a multimedia device that provides various functions and services.
  • the user has to go through various steps of operation through the remote control device.
  • obtaining the user's motion information predicting the user's command from the obtained user's motion information, and confirming whether the user's voice input
  • obtaining voice information of the user checking whether the acquired voice information is related to the predicted user's command, and predicting the user's voice information. If associated with a user's command, it may include executing the predicted user's command.
  • the acquiring of the movement information of the user may include acquiring the image information of the user, confirming whether there are a plurality of users from the image information of the user, and continuously acquiring the movement information of the user if the number of users is not large. It may include the step.
  • the method may include predicting a user command to be performed by the user according to the movement information of the body part which the user has moved.
  • the method may include obtaining motion information of the user.
  • determining whether the acquired user's voice information is related to the predicted user's command includes extracting voice information associated with the predicted user's command, and from the extracted voice information, the acquired user.
  • the method may include checking whether the voice information of the user is present, and extracting command information associated with the voice information of the user if the acquired voice information of the user exists.
  • the execution of the predicted user's command may include checking whether the user exists in the shooting area when the voice information of the user is related to the predicted user's command, and if the user exists in the shooting area, the predicted user. It may include the step of executing a command.
  • a motion information acquisition unit for obtaining the user's motion information
  • a voice information acquisition unit for obtaining the user's voice information
  • voice information associated with the user's motion information voice information associated with the user's motion information
  • voice information A storage unit for storing command information associated with the user, and predicting the user's command from the acquired user's motion information, confirming whether the acquired user's voice information is associated with the predicted user's command, If the information is related to the predicted user's command, the control unit may be configured to control to execute the predicted user's command.
  • the sensor unit may further include a sensor for detecting whether the user exists in the photographing area and a timer for measuring a time for which the user does not have a voice input.
  • the user's desired command can be predicted and automatically performed in advance without the user's control command, thereby providing convenience to the user. There is an advantage to this.
  • the user's motion information and voice information are used together, the user's desired command is predicted in advance, thereby preventing malfunction of command execution, thereby improving reliability.
  • FIG. 1 is a view schematically showing a broadcast system including a multimedia apparatus according to the present invention.
  • FIG. 2 is a block diagram illustrating a multimedia device of FIG. 1.
  • FIG. 3 is a block diagram illustrating a user command predictor of FIG. 2.
  • FIG. 4 is a block diagram illustrating a motion information acquisition unit of FIG. 3.
  • FIG. 5 is a block diagram illustrating a voice information acquisition unit of FIG. 3.
  • 6 to 8 are diagrams for illustrating a user priority determining method of the priority determining unit of FIG. 4.
  • FIG. 9 is a block diagram illustrating the controller of FIG. 3.
  • 10 to 15 are flowcharts illustrating a user command prediction method of a multimedia apparatus according to the present invention.
  • 16 to 21 are diagrams showing an example of a method for predicting a user command of a multimedia apparatus according to the present invention.
  • FIG. 22 is a view showing another example of a method for predicting a user command of a multimedia apparatus according to the present invention.
  • FIG. 23 is a diagram illustrating still another example of a method for predicting a user command of a multimedia apparatus according to the present invention.
  • FIG. 24 is a view showing another example of a method of predicting a user command in a multimedia apparatus according to the present invention.
  • the multimedia apparatus described in the present specification is, for example, an intelligent multimedia apparatus in which a computer support function is added to a broadcast reception function.
  • the multimedia device is faithful to the broadcast reception function and has an Internet function added thereto. It can have a more convenient interface than a remote control device.
  • the multimedia apparatus may be, for example, a network TV, an HBBTV, a smart TV, or the like, and may be applied to a smartphone in some cases.
  • FIG. 1 is a view schematically showing a broadcast system including a multimedia apparatus according to the present invention.
  • a broadcasting system including a multimedia apparatus includes a content provider (CP) 10, a service provider (SP) 20, a network provider (NP) ( 30) and HNED 40.
  • CP content provider
  • SP service provider
  • NP network provider
  • HNED 40 HNED 40
  • the HNED 40 may correspond to the client 100, which is a multimedia device.
  • the client 100 may correspond to a multimedia device, and the multimedia device may be, for example, a network TV, a smart TV, or an IPTV.
  • the content provider 10 may produce and provide various contents.
  • the content provider 10 may be a terrestrial broadcaster, a cable broadcaster (System Operator) or MSO (Multiple System Operator), a satellite broadcaster, or an Internet broadcaster ( Internet broadcaster).
  • a terrestrial broadcaster a cable broadcaster (System Operator) or MSO (Multiple System Operator)
  • MSO Multiple System Operator
  • satellite broadcaster or an Internet broadcaster ( Internet broadcaster).
  • the content provider 10 may provide various applications.
  • the service provider 20 may package and provide contents provided by the content provider 10 as a service package.
  • the service provider 20 may package and provide a first terrestrial broadcast, a second terrestrial broadcast, a cable MSO, satellite broadcast, various internet broadcasts, applications, and the like to a user.
  • the service provider 20 may provide a service to the client 100 using a unicast or multicast scheme.
  • the unicast method is a method of transmitting data 1: 1 between one sender and one receiver.
  • the server may transmit data to the receiver according to the request.
  • the multicast method is a method of transmitting data to a plurality of recipients of a specific group.
  • the server may transmit data to multiple pre-registered receivers at once, and the Internet Group Management Protocol (IGMP) protocol may be used for such multicast registration.
  • IGMP Internet Group Management Protocol
  • the network provider 30 may provide a network for providing a service to the client 100.
  • the client 100 may establish a home network end user (HNED) to receive a service.
  • HNED home network end user
  • conditional access or content protection may be used.
  • a scheme such as a cable card or a downloadable conditional access system (DCAS) may be used.
  • DCAS downloadable conditional access system
  • the client 100 may also provide content through a network.
  • the client 100 may be a content provider, and the content provider 10 may be a client. Content may also be received from 100.
  • FIG. 2 is a block diagram illustrating a multimedia device of FIG. 1.
  • the multimedia apparatus 100 may include a broadcast receiver 105, an external device interface 135, a storage 140, a user interface 150, a controller 170, and a display ( 180, an audio output unit 185, a power supply unit 190, and a user command predictor 300.
  • the broadcast receiver 105 may include a tuner 110, a demodulator 120, and a network interface unit 130.
  • the tuner 110 and the demodulator 120 may be provided so as not to include the network interface unit 130.
  • the tuner 110 and the network interface unit 130 may be provided.
  • the demodulator 120 may be designed so as not to be included.
  • the tuner 110 may select an RF broadcast signal corresponding to a channel selected by a user or all pre-stored channels from among RF (Radio Frequency) broadcast signals received through an antenna, and also intermediate the selected RF broadcast signal. It may be converted into a frequency signal or a baseband video or audio signal.
  • RF Radio Frequency
  • the tuner 110 may receive an RF broadcast signal of a single carrier according to an Advanced Television System Committee (ATSC) scheme or an RF broadcast signal of multiple carriers according to a digital video broadcasting (DVB) scheme.
  • ATSC Advanced Television System Committee
  • DVD digital video broadcasting
  • the demodulator 120 may output a stream signal TS after performing demodulation and channel decoding.
  • the stream signal output from the demodulator 120 may be input to the controller 170.
  • the controller 170 performs demultiplexing, image / audio signal processing, and the like, and then displays the image on the display unit 180.
  • the voice may be output to the audio output unit 185.
  • the external device interface unit 135 may connect the external device to the multimedia device 100.
  • the external device interface unit 135 may be connected to an external device such as a digital versatile disk (DVD), a Blu-ray, a game device, a camera, a camcorder, a computer (laptop), or the like by wire / wireless.
  • DVD digital versatile disk
  • Blu-ray Blu-ray
  • game device e.g., a digital camcorder
  • camcorder e.g., a camcorder
  • computer laptop
  • the external device interface unit 135 may transmit an externally input image, audio or data signal to the controller 170 of the multimedia apparatus 100 through the connected external device, and may be processed by the controller 170. Video, audio or data signals may be output to a connected external device.
  • the external device interface unit 135 may include an A / V input / output unit (not shown) or a wireless communication unit (not shown).
  • the A / V input / output unit may include a USB terminal, a Composite Video Banking Sync (CVBS) terminal, a component terminal, an S-video terminal (analog), so that video and audio signals of an external device can be input to the multimedia apparatus 100. It may include a DVI (Digital Visual Interface) terminal, an HDMI (High Definition Multimedia Interface) terminal, an RGB terminal, a D-SUB terminal, and the like.
  • the wireless communication unit can perform near field communication with other electronic devices.
  • the multimedia apparatus 100 may include, for example, Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and DLNA (Digital Living Network).
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • DLNA Digital Living Network
  • the external device interface unit 135 may be connected through various set-top boxes and at least one of the various terminals described above to perform input / output operations with the set-top box.
  • the network interface unit 130 may provide an interface for connecting the multimedia apparatus 100 to a wired / wireless network including an internet network.
  • the network interface unit 130 may be connected to a wired network.
  • an Ethernet terminal may be provided, and for connection with a wireless network, for example, Wireless LAN (WLAN) (Wi-Fi), Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access (HSDPA), High Speed Downlink Packet Access (HSDPA) communication standards, and the like may be used.
  • WLAN Wireless LAN
  • Wibro Wireless broadband
  • Wimax Worldwide Interoperability for Microwave Access
  • HSDPA High Speed Downlink Packet Access
  • the network interface unit 130 may transmit or receive data with another user or another electronic device through the connected network or another network linked to the connected network.
  • the storage unit 140 may store a program for processing and controlling each signal in the controller 170, or may store a signal-processed video, audio, or data signal.
  • the storage unit 140 may execute a function for temporarily storing an image, audio, or data signal input from the external device interface unit 135 or the network interface unit 130, and also, the storage unit 140. May store information about a predetermined broadcast channel through a channel storage function.
  • the storage unit 140 may be, for example, a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (for example, SD). Or a storage medium of at least one type of XD memory, etc.), RAM, ROM (EEPROM, etc.).
  • the multimedia apparatus 100 may reproduce and provide a content file (video file, still image file, music file, document file, application file, etc.) stored in the storage 140 to a user.
  • a content file video file, still image file, music file, document file, application file, etc.
  • FIG 2 illustrates an embodiment in which the storage unit 140 is provided separately from the control unit 170, the scope of the present invention is not limited thereto, and the storage unit 140 may be included in the control unit 170.
  • the user interface unit 150 may transmit a signal input by the user to the controller 170 or may transmit a signal from the controller 170 to the user.
  • the user interface unit 150 may be configured to power on / off, select a channel, and set a screen from the remote controller 200 according to various communication methods such as a radio frequency (RF) communication method and an infrared (IR) communication method.
  • RF radio frequency
  • IR infrared
  • the control signal and the information about the gesture and voice input through the remote control device 200 may be received and processed, or the control signal from the controller 170 may be transmitted to the remote control device 200.
  • the user interface unit 150 may transmit a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a set value to the controller 170.
  • a local key such as a power key, a channel key, a volume key, and a set value
  • the controller 170 demultiplexes the input stream or processes the demultiplexed signals through the tuner 110, the demodulator 120, or the external device interface unit 135, and outputs a video or audio output. Can generate and output
  • the image signal processed by the controller 170 may be input to the display unit 180 to be displayed as an image corresponding to the image signal.
  • the image signal processed by the controller 170 may be input to the external output device through the external device interface unit 135.
  • the voice signal processed by the controller 170 may be audio output to the audio output unit 185, and the voice signal processed by the controller 170 may be input to the external output device through the external device interface unit 135. Can be.
  • the controller 170 may control some functions of the multimedia apparatus to perform a corresponding prediction command.
  • controller 170 may control some functions of the multimedia apparatus to provide the user command predictor 300 with various types of information requested from the user command predictor 300.
  • the user command predicting unit 300 may include a motion information obtaining unit, a voice information obtaining unit, a storage unit for predicting a user command, and a controller for predicting a user command.
  • the apparatus may further include a sensor unit, a timer, a user interface manager, a service manager, and the like.
  • the motion information acquisition unit obtains motion information of the user, and may include a light source for generating infrared light, a depth camera, a camera unit including a color camera, an image information processor, a face recognition unit, a motion recognition unit, and the like. have.
  • the voice information acquisition unit obtains voice information of the user and may include a microphone unit and a voice information processing unit.
  • the storage unit of the user command predicting unit 300 may include command information predictable movement information of the user and predictable voice information of the user, and may store command information associated with them.
  • the controller of the user command predicting unit 300 predicts the user's command from the obtained user's motion information, checks whether the acquired user's voice information is related to the predicted user's command, If the voice information is associated with the predicted user's command, it may be controlled to execute the predicted user's command.
  • controller of the user command predicting unit 300 may directly control the function of the multimedia apparatus to execute the predicted user command.
  • controller of the user command predicting unit 300 may control the user interface manager and the service manager to provide a predicted user command related graphic user interface (GUI) to the user.
  • GUI graphic user interface
  • the user interface manager may provide a graphical user interface (GUI) for the user using an OSD (On Screen Display).
  • GUI graphical user interface
  • the service manager may perform a predicted user command related service by controlling a manager associated with a service such as a service delivery manager, a service discovery manager, a service control manager, and a metadata manager.
  • a manager associated with a service such as a service delivery manager, a service discovery manager, a service control manager, and a metadata manager.
  • the sensor unit of the user command predicting unit 300 may serve to detect whether the user exists in the photographing area, and the timer of the user command predicting unit 300 may measure a time without a voice input of the user. Can play a role.
  • the display unit 180 converts the image signal, the data signal, the OSD signal, or the image signal, data signal, etc. received from the external device interface unit 135 processed by the controller 170 into R, G, and B signals, respectively. Convert to generate a drive signal.
  • the audio output unit 185 receives a signal processed by the controller 170, for example, a stereo signal, a 3.1 channel signal, or a 5.1 channel signal, and outputs the voice.
  • the voice output unit 185 may be implemented by various types of speakers.
  • the power supply unit 190 may supply the corresponding power throughout the multimedia apparatus 100.
  • the remote control apparatus 200 is for transmitting a user input to the user interface unit 150, and the remote control apparatus 200 includes Bluetooth, RF (Radio Frequency) communication, and IR (IR) communication.
  • RF Radio Frequency
  • IR IR
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the remote control apparatus 200 may receive an image, an audio or a data signal output from the user interface unit 150, display it on the remote control apparatus 200 or output an audio or vibration.
  • the multimedia apparatus 100 configured as described above is a fixed type of ATSC (8-VSB) digital broadcasting, DVB-T (COFDM) digital broadcasting, and ISDB-T (BST-OFDM) digital. It may be a digital broadcast receiver capable of receiving at least one of the broadcast.
  • the multimedia apparatus 100 does not include the tuner 110 and the demodulator 120 illustrated in FIG. 2, but the image content is provided through the network interface 130 or the external device interface 135. Can be received and played back.
  • the multimedia apparatus 100 is an image signal processing apparatus that executes signal processing of an image stored in an apparatus or an input image, and includes a set top in which the display unit 180 and the audio output unit 185 shown in FIG. 2 are excluded. It may be a box, a DVD player, a Blu-ray player, a game machine, a computer, or the like.
  • FIG. 3 is a block diagram illustrating a user command predictor of FIG. 2.
  • the user command predictor may include a motion information acquirer 310, a voice information acquirer 320, a storage 330, and a controller 340.
  • the senor 350 may further include a sensor 350, a timer 360, a user interface manager 370, a service manager 380, and the like.
  • the motion information acquisition unit 310 acquires user's motion information, and includes a light source for generating infrared light, a depth camera, a camera unit including a color camera, an image information processor, a face recognition unit, a motion recognition unit, and the like. It may include.
  • the voice information acquisition unit 320 obtains voice information of the user, and may include a microphone unit, a voice information processor, and the like.
  • the storage unit 330 of the user command predicting unit may store command information that includes the user's predictable motion information and the user's predictable voice information and is simultaneously associated with them.
  • control unit 340 of the user command predicting unit predicts the user's command from the obtained user's motion information, checks whether the acquired user's voice information is related to the predicted user's command, and determines the user's voice. If the information is associated with the predicted user's command, control may be executed to execute the predicted user's command.
  • controller 340 of the user command predicting unit may directly control the function of the multimedia apparatus to execute the predicted user command.
  • controller 340 of the user command predicting unit may control the user interface manager 370 and the service manager 380 to provide a predicted user command related graphical user interface (GUI) to the user.
  • GUI graphical user interface
  • the user interface manager 370 may provide a graphical user interface (GUI) for the user by using an on screen display (OSD) or the like.
  • GUI graphical user interface
  • OSD on screen display
  • the service manager 380 may perform a predicted user command related service by controlling a manager associated with a service such as a service delivery manager, a service discovery manager, a service control manager, and a metadata manager.
  • a manager associated with a service such as a service delivery manager, a service discovery manager, a service control manager, and a metadata manager.
  • the sensor 350 of the user command predicting unit may serve to detect whether the user exists in the photographing area, and the timer 360 of the user command predicting unit measures the time without a user's voice input. Can be done.
  • FIG. 4 is a block diagram illustrating a motion information acquisition unit of FIG. 3.
  • the motion information acquisition unit 310 obtains user's motion information, and includes a camera unit 311, an image information processing unit 312, a face recognition unit 314, and a motion recognition unit ( 315, and a priority determiner 313.
  • the camera unit 311 may include a light source for generating infrared light, a depth camera, and a color camera.
  • the camera unit 311 may three-dimensionally photograph a user existing in the photographing area, and may use a time of flight (TOF) method and a structured light method.
  • TOF time of flight
  • the TOF method calculates distance information by using a time difference returned by emitting infrared light, and the structured light method calculates distance by radiating infrared light in a specific pattern and analyzing a deformed pattern. That's the way.
  • the image information processor 312 may process image information of the user photographed by the camera unit 311.
  • the face recognizing unit 314 may recognize and recognize the face of the user based on the image information of the user, which has been processed.
  • the motion recognition unit 315 recognizes and recognizes the recognized body information of the user through the face recognition unit 314, and compares the body information extracted from the current frame with the body information extracted from the previous frame. You can see the degree of movement of the user.
  • the priority determiner 313 may determine a user's movement information acquisition order based on the image information of the user who has processed the image information.
  • the order of acquiring the motion information of the users may be determined according to the arrangement order of the users located in the right-to-left direction of the photographing area or in the left-to-right direction.
  • the movement information acquisition order of the users may be determined according to the distance between the multimedia apparatus and the user.
  • the face recognition unit 314 may sequentially recognize and recognize the user's face at predetermined time intervals based on the image information of the user, which has been processed by the image information, according to the motion information acquisition order of the priority determiner 313. Can be.
  • the motion recognition unit 315 may extract the motion information of the corresponding user by recognizing and recognizing the user's body information sequentially recognized by the face recognition unit 314.
  • the priority determiner 313 determines that there is only one user based on the image information of the image processed user, the priority determiner 313 does not need to determine the movement information acquisition order of the users.
  • the face recognizing unit 314 may continuously recognize and recognize the face of the user based on the image information of the user, which has been processed by the image information, regardless of the order of obtaining the motion information of the priority determining unit 313.
  • the motion recognition unit 315 may continuously extract the motion information of the corresponding user by recognizing and recognizing the user's body information recognized by the face recognition unit 314.
  • the motion information extracting unit 310 may continuously extract face recognition and motion information of the corresponding user for each frame when there is one user in the photographing area.
  • the motion information extracting unit 310 may sequentially extract face recognition and motion information of the user in the order determined by the priority determiner 313.
  • the motion information of each user may be extracted at predetermined time intervals for each frame.
  • the user's motion information extracted by the motion information extractor 310 may be at least one of a moving direction, a moving distance, and a moving speed of the body part as the moving information of the body part that the user moves.
  • FIG. 5 is a block diagram illustrating a voice information acquisition unit of FIG. 3.
  • the voice information acquisition unit 320 may include a microphone unit 321 and a voice information processing unit 322.
  • the microphone unit 321 may receive a user's voice, and the voice information processor 322 may process the input voice of the user.
  • the voice information processor 322 may transmit the processed voice information to the controller.
  • the controller may predict a command desired by the user in advance without a user command based on the voice information of the user and the motion information of the user.
  • FIG. 6 to 8 are diagrams illustrating a method of determining a user priority of the priority determiner of FIG. 4.
  • FIG. 6 is a method of determining a user priority when there is only one user, and FIG. In this case, a first embodiment of a method for determining user priority is shown.
  • FIG. 8 is a second embodiment of a method for determining user priority when there are a plurality of users.
  • the multimedia apparatus when the multimedia apparatus is a TV, the multimedia apparatus includes a sensor 350 disposed at an edge region of the display 180 and a camera unit at an upper end of the display 180. 311 and the microphone unit 321 may be disposed.
  • the sensor 350 of the multimedia apparatus may detect whether a user exists in the photographing area.
  • the sensor 350 detects that the user exists in the shooting area.
  • the controller may control the camera 311 and the microphone 321 to obtain motion information and voice information of the user.
  • the camera unit 311 photographs a user in the photographing area according to a control signal of the controller, and the priority determiner determines that there is only one user based on the photographed user's image information. There is no need to determine the acquisition order.
  • the face recognition unit continuously recognizes and recognizes the user's face based on the image information of the user, regardless of the order of obtaining the motion information of the priority determiner, and the motion recognition unit recognizes the user's body information recognized by the face recognition unit.
  • the motion information of the corresponding user can be continuously extracted.
  • the sensor 350 may detect that the plurality of users exist in the photographing area.
  • the controller may control the camera 311 and the microphone 321 to obtain motion information and voice information of the users.
  • the camera unit 311 photographs the users in the photographing area by the control signal of the controller, and the priority determiner acquires the motion information of the users when it is determined that there are a plurality of users based on the image information of the photographed users. You can decide the order.
  • the priority determiner may determine the user's motion information processing order according to the arrangement order of the users located from the right side to the left side of the photographing area.
  • the priority determiner may determine the user's motion information processing order according to the arrangement order of the users located in the left to right direction of the photographing area.
  • the face recognition unit sequentially recognizes and recognizes the user's face at predetermined time intervals based on the image information of the user in the order of obtaining the motion information of the priority determiner, and the motion recognition unit sequentially recognizes the face recognition unit.
  • the user's body information By recognizing and recognizing the user's body information, the user's motion information can be extracted.
  • the priority determiner may determine the motion information processing order of the user according to the distance between the multimedia apparatus and the user.
  • the distance between the first user and the multimedia device is d1
  • the distance between the second user and the multimedia device is d2
  • the distance between the third user and the multimedia device is d3
  • the distance between the fifth user and the multimedia device is d5
  • the priority determiner may move the first user.
  • the information may be obtained first, the motion information of the second user, the motion information of the third user, and the motion information of the fourth user may be sequentially obtained, and the motion information of the fifth user may be obtained last.
  • the face recognition unit sequentially recognizes and recognizes the user's face at predetermined time intervals based on the image information of the user according to the order of obtaining the motion information of the priority determiner, and the motion recognition unit sequentially recognizes the face recognition unit.
  • the user's motion information can be extracted.
  • the priority determiner may change the motion information acquisition order every frame.
  • the priority determiner may change the movement information acquisition order every frame.
  • FIG. 9 is a block diagram illustrating the controller of FIG. 3.
  • the controller 340 of the user command predicting unit includes a body part identification unit 341, a body part related command information extracting unit 342, a body part related moving information extracting unit 343,
  • the voice information related command information extractor 345 and the user command predictor 344 may be included.
  • the moved body part identification unit 341 may identify a body part that the user has moved from the motion information acquisition unit of the user.
  • the moved body part identification unit 341 identifies whether at least one of a head, an arm, a hand, a leg, a foot, and a body has moved, based on the user's movement information. can do.
  • the body part related command information extractor 342 may extract, from the storage unit, command information related to the body part that the identified user moves from the moved body part identification unit 341.
  • the body part the user moves is the arm and the hand
  • all the command information associated with the arm and the hand can be extracted from the storage.
  • the body part-related movement information extracting unit 343 may extract, from the moving body part identification unit 341, movement information related to the body part to which the identified user has moved, from the storage unit.
  • the body part the user moves is the arm and the hand
  • all the movement information associated with the arm and the hand can be extracted from the storage.
  • the movement information of the body part moved by the user may be at least one of a moving position, a moving direction, a moving distance, and a moving speed of the body part.
  • the user command predicting unit 344 may, based on the command information extracted from the body part related command information extracting unit 342 and the movement information of the body part extracted from the body part related moving information extracting unit 343, Predict user commands.
  • the user command predicting unit 344 may predict the command desired by the user in advance by re-extracting only the command information related to the movement information of the body part from the extracted command information.
  • the user command predicting unit 344 may predict the user command that the user intends to perform according to the extracted movement of the body part the user moves from the command information.
  • the voice information related command information extractor 345 may extract voice information associated with the command information predicted from the user command predictor 344 from the storage.
  • the voice information-related command information extracting unit 345 checks whether the voice information obtained from the voice information obtaining unit exists in the voice information extracted from the storage unit, and obtains the voice information obtaining unit from the voice information extracted from the storage unit. If there is the voice information obtained from the command information associated with the corresponding voice information can be extracted.
  • the voice information related command information extractor 345 extracts first voice information associated with the command information predicted from the user command predictor 344 from the storage, extracts the first voice information, and Comparing the second voice information obtained from the voice information obtaining unit, and if the first voice information and the second voice information are similar or identical, the storage unit stores the command information associated with the first voice information similar or identical to the second voice information. Can be extracted from.
  • the voice information-related command information extracting unit 345 may select command information including voice information most similar to the voice information of the user when the command information associated with the voice information of the user is plural.
  • the voice information most similar to the voice information of the user may be determined according to the same number of voice words.
  • the voice information related command information extractor 345 may request execution of the finally predicted user command.
  • the voice information-related command information extracting unit 345 checks whether the user exists in the shooting area through the sensor and determines that the user exists in the shooting area before requesting execution of the finally predicted user command. If so, the user can request execution of the finally predicted user's command.
  • the user existing in the photographing area should be a user who is the subject of the motion information.
  • the voice information related command information extractor 345 extracts the final command information. Can not.
  • the voice information related command information extracting unit 345 measures a preset time through a timer if there is no voice input of the user from the voice information obtaining unit, and if there is no voice input even within the preset time, Command information cannot be extracted.
  • the voice information-related command information extracting unit 345 does not have a voice input even within a preset time, controls the sensor to check whether the user exists in the shooting area, and if the user determines that the user exists in the shooting area, The information acquisition unit may be controlled to acquire the motion information of the user again.
  • the voice information-related command information extracting unit 345 continuously checks whether there is a voice input of the user through the voice information obtaining unit even after requesting for execution of the predicted user's command. It is possible to continuously execute a request for executing a user command.
  • the voice information related command information extracting unit 345 determines that there is no user's voice input, the voice information related command information extractor 345 checks whether a predetermined time has elapsed through a timer, and if the predetermined time has elapsed, predicts a user command execution request. Stop and perform a return request that returns to before the expected user command execution.
  • the voice information-related command information extracting unit 345 may continuously perform the request for executing the predicted user command only when the voice of the input user is the same as the voice of the user initially input.
  • the voice information related command information extracting unit 345 determines that the voice of the input user is different from the voice of the user initially input, the voice information related command information extractor 345 stops the execution request of the predicted user command and before executing the predicted user command. The return request may be performed.
  • a method of predicting a user command of a configured multimedia device is as follows.
  • 10 to 15 are flowcharts illustrating a user command prediction method of a multimedia apparatus according to the present invention.
  • the controller 340 may acquire motion information of a user through the motion information acquirer 310 (S10).
  • the controller 340 may check whether the user exists in the photographing area through the sensor 350 before acquiring the motion information of the user (S5).
  • the controller 340 controls the motion information obtaining unit 310, and the motion information obtaining unit 310 is controlled within the shooting area under the control of the controller 340.
  • a user can be photographed (S7).
  • the controller 340 may repeatedly check whether the user exists in the photographing area through the sensor 350 (S5).
  • the motion information acquisition unit 310 may capture a user in the photographing area and obtain image information of the user under the control of the controller 340.
  • the priority determiner 313 of the motion information acquirer 310 may identify whether a plurality of users are from the image information of the user (S13).
  • the motion information acquisition unit 310 may continuously acquire the motion information of the user (S14).
  • the priority determiner 313 of the motion information acquisition unit 310 may determine the motion information acquisition order of the users (S15).
  • the order of acquiring the motion information of the users may be determined according to the arrangement order of the users located in the right-to-left direction of the photographing area or in the left-to-right direction.
  • the movement information acquisition order of the users may be determined according to the distance between the multimedia apparatus and the user.
  • the motion information acquisition unit 310 may sequentially acquire motion information of the users at predetermined time intervals according to the determined order.
  • the controller 340 may predict the user's command from the obtained user's motion information (S30).
  • the moved body part identification unit 341 of the controller 340 may identify the body part that the user has moved from the obtained user's motion information.
  • the body part-related command information extracting unit 342 of the controller 340 may first extract command information related to the body part that the user moves from the storage unit 330 (S33).
  • the body part-related movement information extractor 343 of the controller 340 may extract movement information related to the body part that the user moves from the storage unit 330.
  • the movement information of the body part moved by the user may be at least one of a moving position, a moving direction, a moving distance, and a moving speed of the body part.
  • the user command predicting unit 344 of the controller 340 may extract the command information extracted from the body part related command information extracting unit 342 and the body part extracted from the body part related moving information extracting unit 343. Based on the movement information, the user command can be predicted (S34).
  • the user command predicting unit 344 may secondly extract only command information related to movement information of a body part from the extracted command information, thereby predicting a user's desired command in advance.
  • the user command predicting unit 344 may predict the user command that the user intends to perform according to the extracted movement of the body part the user moves from the command information.
  • the controller 340 may determine whether a user inputs a voice through the voice information acquirer 320 (S50).
  • the controller 340 may acquire the voice information of the user through the voice information acquisition unit 320 (S70).
  • the controller 340 may check whether the preset time has elapsed through the timer 360 (S120).
  • the controller 340 may check whether the user exists in the photographing area through the sensor 350 (S130).
  • the motion information acquisition unit 310 may obtain motion information of the user under the control of the controller 340.
  • the controller 340 may end the user command prediction process.
  • the controller 340 may check whether the acquired voice information of the user is related to the predicted user command.
  • the voice information related command information extractor 345 of the controller 340 may extract voice information related to the command information predicted from the user command predictor 344 from the storage 330.
  • the voice information related command information extractor 345 of the controller 340 determines whether there is voice information of the user acquired from the voice information acquirer 320 from the voice information extracted from the storage 330.
  • the voice information related command information extractor 345 of the controller 340 may extract command information related to the voice information of the user from the storage unit 330 in a third order.
  • the step of acquiring user motion information may be repeatedly performed through the motion information acquisition unit 310.
  • the voice information related command information extractor 345 of the controller 340 may select command information including voice information most similar to the voice information of the user.
  • the voice information most similar to the voice information of the user may be determined according to the same number of voice words.
  • the controller 340 requests execution of the predicted user's command, and the controller 170 of the multimedia apparatus controls the function of the corresponding component.
  • the user may predict and execute a desired command in advance.
  • the controller 340 first checks whether the user exists in the photographing area before requesting execution of the predicted user's command. (S112)
  • the controller 340 may request to execute the predicted user's command (S113).
  • the user existing in the photographing area should be a user who is the subject of the motion information.
  • the controller 340 does not request execution of the predicted user's command and performs the user command prediction process. You can exit.
  • the controller 340 checks whether the user has a voice input through the voice information acquisition unit 320 (S114).
  • the voice of the user may be the same as the voice of the user initially input.
  • the controller 340 may check whether the predetermined time has elapsed through the timer 360 (S115). )
  • the controller 340 may stop the predicted user command execution request and execute the return request before executing the predicted user command (S116).
  • controller 340 may continuously perform the execution request of the predicted user command only when the input voice of the user is the same as the input voice of the user.
  • the controller 340 stops the execution request for the predicted user command and returns a return request for returning to the execution before the predicted user command. Can be done.
  • the present invention primarily extracts command information from a body part moved by the user, secondly extracts command information from movement information of the body part moved by the user, and extracts command information from the voice information of the user. By extracting thirdly, it is possible to accurately predict the command desired by the user.
  • the present invention can provide a user with convenience since the user's motion information and the user's voice information can be acquired and automatically executed in advance by a user's desired command without a user's control command.
  • the user's motion information and voice information are used together, the user's desired command is predicted in advance, thereby preventing malfunction of command execution, thereby improving reliability.
  • 16 to 21 are diagrams showing an example of a method for predicting a user command of a multimedia apparatus according to the present invention.
  • the sensor 350 is disposed in an edge region of the display 180, and the camera unit 311 is disposed at an upper end of the display 180.
  • the microphone unit 321 may be disposed.
  • the senor 350 of the multimedia apparatus may be at least one, and may detect whether a user exists in a predetermined sensing area.
  • the sensing area of the sensor 350 may be the same area as the photographing area of the camera unit 311.
  • the sensor 350 may detect that the user exists in the shooting area.
  • the controller may control the camera 311 and the microphone 321 to obtain motion information and voice information of the user.
  • controller may control the user interface manager and the service manager to display the message “shooting” on the display 180 of the multimedia apparatus.
  • the camera unit 311 photographs a user in the photographing area according to a control signal of the controller, and the priority determiner determines that there is only one user based on the photographed user's image information. There is no need to determine the acquisition order.
  • the face recognition unit continuously recognizes and recognizes the user's face based on the user's image information, regardless of the order of obtaining the motion information of the priority determiner, and the motion recognition unit recognizes the user's body information recognized by the face recognition unit.
  • the motion information of the corresponding user can be continuously extracted.
  • the sensor 350 may detect that the plurality of users exist in the shooting area.
  • the camera unit 311 photographs the users in the photographing area by the control signal of the controller, and the priority determiner acquires the motion information of the users when it is determined that there are a plurality of users based on the image information of the photographed users. You can decide the order.
  • the priority determiner may determine the user's motion information processing order according to the arrangement order of the users located from the right side to the left side of the photographing area.
  • the priority determiner may determine the user's motion information processing order according to the arrangement order of the users located in the left to right direction of the photographing area.
  • the face recognition unit sequentially recognizes and recognizes the user's face at predetermined time intervals based on the image information of the user in the order of obtaining the motion information of the priority determiner, and the motion recognition unit sequentially recognizes the face recognition unit.
  • the user's body information By recognizing and recognizing the user's body information, the user's motion information can be extracted.
  • the priority determiner may determine the motion information processing order of the user according to the distance between the multimedia apparatus and the user.
  • the priority determiner may change the motion information acquisition order every frame.
  • the priority determiner may change the movement information acquisition order every frame.
  • the controller may identify a body part that the user moves from the camera unit 311 based on the acquired user's motion information.
  • the controller may identify whether the body part that the user has moved has moved his or her arm based on the user's motion information.
  • the controller may first extract command information associated with the arm and the hand from the storage.
  • the controller may extract movement information related to the arm and hand that the user moves from the storage based on the movement information of the user.
  • the movement information of the arm and hand moved by the user may be a movement position, a movement direction, a movement distance, a movement speed, and the like.
  • the controller may secondarily extract only the command information related to the movement information of the arm and the hand from the related command information associated with the arm and the hand.
  • the arm and hand movement information because the user receives a call, the angle of the arm is bent 90 degrees or less, the hand moves in the direction of the user's ear, the distance between the user's hand and the ear May be within 1 m.
  • control unit recognizes that the user is receiving a call according to the extracted arm and hand movement information of the user, and predicts in advance the user commands that can be performed when the user receives the call. Can be.
  • the controller may extract voice information associated with the extracted command information from the storage.
  • the voice "hello” may be input through the microphone unit 321.
  • the controller checks whether the voice information "hello” exists in the voice information extracted from the storage, and if the voice information "hello” exists in the voice information extracted from the storage, "hello" Command information associated with voice information may be extracted in a third order.
  • the controller When the controller extracts the prediction command information associated with the voice information “hello”, the controller controls the user interface manager and the service manager to display a message “execution command execution” on the display 180 of the multimedia apparatus. Can be.
  • the controller may request execution of volume reduction.
  • controller may control the user interface manager and the service manager to display a “volume reduction execution” message on the display 180 of the multimedia apparatus.
  • the controller checks whether the user exists in the shooting area and determines that the user exists in the shooting area through the sensor. Request to execute the command of the predicted user.
  • the user existing in the photographing area should be the same user who is the subject of the motion information.
  • the controller continuously checks the user's voice input through the voice information acquisition unit, even after requesting execution of the predicted user's command of "volume reduction". You can continue to execute requests.
  • the controller stops the predicted user command execution request called "volume reduction" and returns to before the predicted user command execution. You can fulfill the request.
  • controller may control the user interface manager and the service manager to display a message of “volume return execution” on the display 180 of the multimedia apparatus.
  • the controller checks whether the predetermined time has elapsed through the timer, and if the predetermined time has elapsed, it is predicted that the volume decreases.
  • the user command execution request may be stopped and a return request may be performed to return to before the predicted user command execution.
  • the controller may continuously perform the execution request for the predicted user command only when the voice of the user input is the same as the voice of the user input initially.
  • the controller may stop the request for executing the predicted user command and perform a return request for returning to the previous execution of the predicted user command. have.
  • the user when the user answers the call, the user automatically predicts, in advance, the volume reduction, which is the corresponding user command, on the TV itself, even if the user does not separately perform a user command for decreasing the volume of the TV. can do.
  • FIG. 22 is a view showing another example of a method for predicting a user command of a multimedia apparatus according to the present invention.
  • the controller may request to perform volume removal and subtitle providing if the finally predicted user command is “volume removal and subtitle provision”. .
  • controller may control the user interface manager and the service manager to display a "volume removal" message on the display 180 of the multimedia apparatus and to display a caption for an image.
  • the user when the user answers the call, the user can predict in advance the volume itself and provide subtitles, which are corresponding user commands, in advance in the TV itself, even if the user does not separately perform a user command to reduce the volume of the TV. It can be done automatically.
  • FIG. 23 is a diagram illustrating still another example of a method for predicting a user command of a multimedia apparatus according to the present invention.
  • the controller may identify a body part that the user moves from the camera unit 311 based on the acquired user's motion information.
  • the controller may be configured based on the user's motion information. 1
  • the body part that the user moved can identify whether the arm and the hand moved.
  • the controller may first extract command information associated with the arm and the hand from the storage.
  • the controller may extract movement information related to the arm and hand that the user moves from the storage based on the movement information of the user.
  • the movement information of the arm and hand moved by the user may be a movement position, a movement direction, a movement distance, a movement speed, and the like.
  • the controller may secondarily extract only the command information related to the movement information of the arm and the hand from the related command information associated with the arm and the hand.
  • the angle at which the arm is bent is 90 degrees or more, and the hand moves in the direction of the eye of the second user.
  • the distance between the hand of the first user and the eye of the second user may be within 1 m.
  • the controller recognizes from the extracted command information that the first user performs an operation of covering the eyes of the second user according to the movement information of the arm and hand that the first user has moved, and the first user has the second.
  • the controller recognizes from the extracted command information that the first user performs an operation of covering the eyes of the second user according to the movement information of the arm and hand that the first user has moved, and the first user has the second.
  • the controller may extract voice information associated with the extracted command information from the storage.
  • the voice "don't look” may be input through the microphone unit 321.
  • the controller checks whether the voice information "don't see” exists in the voice information extracted from the storage unit, and if the voice information "don't see” exists in the voice information extracted from the storage unit, the voice information "don't see".
  • Command information associated with may be extracted in a third way.
  • the controller may control the user interface manager and the service manager to display the message "executive command execution" on the display 180 of the multimedia apparatus. have.
  • control unit may request execution of channel switching if the finally predicted user command is "channel switching".
  • controller may control the user interface manager and the service manager to display the message "channel switching" on the display 180 of the multimedia apparatus.
  • the present invention does not require a user to switch a channel of the TV when the first user who is a parent covers the eyes of a second user who is a child. On its own, it is possible to predict in advance and automatically perform channel switching, corresponding user commands.
  • FIG. 24 is a view showing another example of a method of predicting a user command in a multimedia apparatus according to the present invention.
  • the controller may identify a body part that the user moves from the camera unit 311 based on the acquired user's motion information.
  • the controller may identify whether an arm, a hand, a leg, and a body of the body part that the user has moved move based on the user's motion information.
  • the controller may first extract command information associated with the arm, the hand, the leg, and the body from the storage.
  • the controller may extract movement information related to the arm, hand, leg, and body that the user moves from the storage, based on the movement information of the user.
  • the movement information of the arm, hand, leg, and body that the user moves may be a movement position, a movement direction, a movement distance, a movement speed, and the like.
  • the controller may secondarily extract only command information related to movement information of the arm, hand, leg, and body from related command information related to the arm, hand, leg, and body.
  • the movement information of the arm, hand, leg, and body is a user's lying and sleeping operation, so that the user's arm, hand, body, and leg may be horizontal.
  • control unit recognizes that the user is lying down according to the movement information of the arm, hand, leg, and body which the first user has moved from the extracted command information, and can perform the user command when the user is lying down. Can predict in advance.
  • the controller may extract voice information associated with the extracted command information from the storage.
  • the voice may be input through the microphone unit 321 as "cool cool".
  • the controller checks whether the voice information "cool cool” exists in the voice information extracted from the storage unit, and if the voice information "cool cool” exists in the voice information extracted from the storage unit, the voice information "cool cool” is present.
  • Command information associated with may be extracted in a third way.
  • the controller may control the user interface manager and the service manager to display a message “executive command execution” on the display 180 of the multimedia apparatus. have.
  • the controller may request execution of the TV off.
  • controller may control the user interface manager and the service manager to display the message “TV off execution” on the display 180 of the multimedia apparatus.
  • the present invention can automatically predict TV off, which is a corresponding user command, in advance in the TV itself, even if the user does not separately perform a user command to turn off the TV.
  • the controller may identify whether the body part the user moves is the eye part of the user based on the user's movement information.
  • the controller may primarily extract command information related to the eye from the storage.
  • the controller may extract movement information related to the eye moved by the user from the storage based on the movement information of the user.
  • the movement information of the eye moved by the user may be a movement position, a movement direction, a movement distance, a movement speed, and the like.
  • the controller may secondarily extract only command information related to eye movement information from related command information related to the eye.
  • the movement information of the eye may inform the extent to which the user's eyelid comes down to cover the eye because the user sleeps.
  • the controller may recognize from the extracted command information that the user is sleeping according to the movement information of the eye moved by the first user, and predict in advance the user commands that can be performed when the user sleeps.
  • the controller may extract voice information associated with the secondly extracted command information from the storage.
  • the voice may not be input through the microphone.
  • the controller extracts the prediction command information related to the voice information not being continuously input for the set time or more, and then the user interface manager and the service manager. By controlling, the message “executing command execution” may be displayed on the display of the multimedia apparatus.
  • the controller may request execution of the TV off.
  • controller may control the user interface manager and the service manager to display the message “TV off execution” on the display 180 of the multimedia apparatus.
  • the TV itself may automatically perform the corresponding user command, TV off, in advance, even if the user does not separately perform a user command to turn off the TV. have.
  • the controller may identify whether the user's movement is continuously longer than the set time.
  • the controller may first extract command information related to the user's movement not being continuously set for more than a predetermined time from the storage.
  • the controller may extract voice information associated with the first extracted command information from the storage unit.
  • the voice may not be input through the microphone unit.
  • the controller extracts the prediction command information related to the voice information not being continuously input for the set time or more, and then the user interface manager and the service manager. By controlling, the message “executing command execution” may be displayed on the display of the multimedia apparatus.
  • the controller may request execution of the TV off.
  • controller may control the user interface manager and the service manager to display the message “TV off execution” on the display 180 of the multimedia apparatus.
  • the TV itself may automatically perform the corresponding user command, TV off, in advance, even if the user does not separately perform a user command to turn off the TV. have.
  • the user by acquiring the user's motion information and the user's voice information, the user can predict the desired command in advance without the user's control command and perform the automatic operation. Can provide.
  • the user's motion information and voice information are used together, the user's desired command is predicted in advance, thereby preventing malfunction of command execution, thereby improving reliability.
  • the multimedia apparatus and its user command prediction method according to the present invention are not limited to the configuration and method of the embodiments described as described above, but the embodiments are all or all of the embodiments so that various modifications can be made. Some may be optionally combined.
  • the present invention relates to a multimedia apparatus capable of automatically predicting a user's desired command based on a user's voice and movement, and automatically performing the same. Therefore, the present invention has industrial applicability.

Abstract

사용자의 음성 및 움직임을 토대로, 사용자가 원하는 명령을 미리 예측하여, 자동으로 수행할 수 있는 멀티미디어 장치 및 그의 사용자 명령 예측 방법에 관한 것으로, 사용자의 움직임 정보를 획득하는 단계와, 획득한 사용자의 움직임 정보로부터, 사용자의 명령을 예측하는 단계와, 사용자의 음성 입력 여부를 확인하는 단계와, 사용자의 음성이 입력되면, 사용자의 음성 정보를 획득하는 단계와, 획득한 사용자의 음성 정보가, 예측된 사용자의 명령에 연관되는지를 확인하는 단계와, 사용자의 음성 정보가 예측된 사용자의 명령에 연관되면, 예측된 사용자의 명령을 실행하는 단계를 포함하여 이루어질 수 있다.

Description

멀티미디어 장치 및 그의 사용자 명령 예측 방법
본 발명은 멀티미디어 장치에 관한 것으로, 보다 상세하게는 사용자의 음성 및 움직임을 토대로, 사용자가 원하는 명령을 미리 예측하여, 자동으로 수행할 수 있는 멀티미디어 장치 및 그의 사용자 명령 예측 방법에 관한 것이다.
일반적으로, 멀티미디어 장치는, 사용자가 시청할 수 있는 방송영상을 수신하여 처리하는 기능을 갖춘 장치이다.
또한, 멀티미디어 장치는, 방송국에서 송출되는 방송신호 중 사용자가 선택한 방송을 디스플레이에 표시할 수 있다.
현재 방송은 전 세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다.
여기서, 디지털 방송은 디지털 영상 및 음성 신호를 송출하는 방송을 의미하는데, 디지털 방송은 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공할 수 있다.
또한, 디지털 방송은 아날로그 방송과 달리 양방향 서비스가 가능하다.
그리고, 최근 멀미디어 장치는, 디지털 방송을 이용하기 위하여, 기존의 멀티미디어 장치에 비하여 고성능화, 다기능되었고, 인터넷 서비스, VOD(Video On Demand), 및 전자앨범 서비스 등 멀티미디어 장치에서 이용가능한 서비스도 다양화 되었다.
따라서, 사용자는, 다양한 기능 및 서비스를 제공하는 멀티미디어 장치를 이용할 수 있게 되었지만, 자신이 원하는 기능을 이용하기 위해서는 원격 조정 장치를 통해, 여러 단계의 조작 과정을 거쳐야 하는 불편함이 있었다.
이를 개선하기 위하여, 사용자의 제스쳐 명령을 통하여, 멀티미디어 장치를 제어하는 방법이 시도되었으나, 멀티미디어 장치는, 사용자의 제스쳐를 정확하게 인지하지 못하거나, 인식된 제스쳐에 대응하는 명령을 정확하게 수행하지 못하는 문제점들이 있었다.
따라서, 사용자의 제어 명령 없이도, 사용자의 움직임(motion) 및 음성 등을 토대로, 사용자가 원하는 명령을 미리 예측하여 자동으로 수행할 수 있는 멀티미디어 장치의 개발이 절실하게 요구되고 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은, 사용자의 움직임 정보와 사용자의 음성 정보를 획득함으로써, 사용자의 제어 명령 없이도, 사용자가 원하는 명령을 미리 예측하여 자동으로 수행할 수 있는 멀티미디어 장치 및 그의 사용자 명령 예측 방법을 제공하는 것을 그 목적으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 사용자의 움직임 정보를 획득하는 단계와, 획득한 사용자의 움직임 정보로부터, 사용자의 명령을 예측하는 단계와, 사용자의 음성 입력 여부를 확인하는 단계와, 사용자의 음성이 입력되면, 사용자의 음성 정보를 획득하는 단계와, 획득한 사용자의 음성 정보가, 예측된 사용자의 명령에 연관되는지를 확인하는 단계와, 사용자의 음성 정보가 예측된 사용자의 명령에 연관되면, 예측된 사용자의 명령을 실행하는 단계를 포함하여 이루어질 수 있다.
여기서, 사용자의 움직임 정보를 획득하는 단계는, 사용자의 이미지 정보를 획득하는 단계와, 사용자의 이미지 정보로부터 사용자가 다수인지 확인하는 단계와, 사용자가 다수가 아니면, 사용자의 움직임 정보를 연속적으로 획득하는 단계를 포함할 수 있다.
그리고, 사용자의 명령을 예측하는 단계는, 획득한 사용자의 움직임 정보로부터, 사용자가 움직인 신체 부위를 식별하는 단계와, 사용자가 움직인 신체 부위에 연관되는 명령 정보들을 추출하는 단계와, 추출된 명령 정보들로부터, 사용자가 움직인 신체 부위의 이동 정보에 따라, 사용자가 수행하고자 하는 사용자 명령을 예측하는 단계를 포함할 수 있다.
이어, 사용자의 음성 입력 여부를 확인하는 단계에서, 사용자의 음성 입력이 없으면, 기설정 시간이 경과했는지를 확인하는 단계와, 설정 시간이 경과하면, 사용자가 촬영 영역 내에 존재하는지를 확인하는 단계와, 사용자가 촬영 영역 내에 존재하면, 사용자의 움직임 정보를 획득하는 단계를 포함할 수 있다.
다음, 획득한 사용자의 음성 정보가, 예측된 사용자의 명령에 연관되는지를 확인하는 단계는, 예측된 사용자의 명령에 연관되는 음성 정보들을 추출하는 단계와, 추출된 음성 정보들로부터, 획득한 사용자의 음성 정보가 존재하는지를 확인하는 단계와, 획득한 사용자의 음성 정보가 존재한다면, 사용자의 음성 정보에 연관되는 명령 정보를 추출하는 단계를 포함할 수 있다.
그리고, 예측된 사용자의 명령을 실행하는 단계는, 사용자의 음성 정보가 예측된 사용자의 명령에 연관되면, 사용자가 촬영 영역 내에 존재하는지를 확인하는 단계와, 사용자가 촬영 영역 내에 존재하면, 예측된 사용자의 명령을 실행하는 단계를 포함할 수 있다.
다음, 예측된 사용자의 명령을 실행하는 단계 이후, 사용자의 음성 입력이 있는지를 확인하는 단계와, 사용자의 음성 입력이 없다면, 기설정된 시간을 경과했는지 확인하는 단계와, 기설정된 시간을 경과했다면, 예측된 사용자 명령 실행을 중지하고, 예측된 사용자 명령 실행 전으로 복귀하는 단계를 포함할 수 있다.
한편, 본 발명의 다른 일측면에 따르면, 사용자의 움직임 정보를 획득하는 움직임 정보 획득부와, 사용자의 음성 정보를 획득하는 음성 정보 획득부와, 사용자의 움직임 정보에 연관되는 음성 정보와, 음성 정보에 연관되는 명령 정보를 저장하는 저장부와, 획득한 사용자의 움직임 정보로부터, 사용자의 명령을 예측하고, 획득한 사용자의 음성 정보가, 예측된 사용자의 명령에 연관되는지를 확인하며, 사용자의 음성 정보가 예측된 사용자의 명령에 연관되면, 예측된 사용자의 명령을 실행하도록 제어하는 제어부를 포함하여 구성될 수 있다.
여기서, 사용자가 촬영 영역 내에 존재하는지를 감지하는 센서부와, 사용자의 음성 입력이 없는 시간을 측정하는 타이머를 더 포함할 수 있다.
본 발명에 따른 멀티미디어 장치 및 그의 사용자 명령 예측 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 사용자의 움직임 정보와 사용자의 음성 정보를 획득함으로써, 사용자의 제어 명령 없이도, 사용자가 원하는 명령을 미리 예측하여 자동으로 수행할 수 있으므로, 사용자에게 편의를 제공할 수 있는 장점이 있다.
또한, 사용자의 움직임 정보와 음성 정보를 함께 이용하여, 사용자가 원하는 명령을 미리 예측하므로, 명령 수행에 대한 오동작을 방지할 수 있어 신뢰성이 향상될 수 있는 장점이 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명에 따른 멀티미디어 장치를 포함하는 방송 시스템을 개략적으로 보여주는 도면이다.
도 2는 도 1의 멀티미디어 장치를 보여주는 블럭 구성도이다.
도 3은 도 2의 사용자 명령 예측부를 보여주는 블럭 구성도이다.
도 4는 도 3의 움직임 정보 획득부를 보여주는 블럭 구성도이다.
도 5는 도 3의 음성 정보 획득부를 보여주는 블럭 구성도이다.
도 6 내지 도 8은 도 4의 우선 순위 결정부의 사용자 우선 순위 결정 방법을 보여주기 위한 도면이다.
도 9는 도 3의 제어부를 보여주는 블럭 구성도이다.
도 10 내지 도 15는 본 발명에 따른 멀티미디어 장치의 사용자 명령 예측 방법을 설명하기 위한 흐름도이다.
도 16 내지 도 21는 본 발명에 따른 멀티미디어 장치의 사용자 명령 예측 방법의 일 예를 보여주는 도면이다.
도 22는 본 발명에 따른 멀티미디어 장치의 사용자 명령 예측 방법의 다른 일 예를 보여주는 도면이다.
도 23은 본 발명에 따른 멀티미디어 장치의 사용자 명령 예측 방법의 또 다른 일 예를 보여주는 도면이다.
도 24는 본 발명에 따른 멀티미디어 장치의 사용자 명령 예측 방법의 또 다른 일 예를 보여주는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 명세서에서 기술되는 멀티미디어 장치는, 예컨대 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 멀티미디어 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 원격제어장치 등보다 사용에 편리한 인터페이스를 갖출 수 있다.
그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 실행가능하며, 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 발명에서 기술되는 멀티미디어 장치는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 실행될 수 있다.
그리고, 멀티미디어 장치는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.
도 1은 본 발명에 따른 멀티미디어 장치를 포함하는 방송 시스템을 개략적으로 보여주는 도면이다.
도 1에 도시된 바와 같이, 멀티미디어 장치를 포함하는 방송 시스템은, 컨텐츠 제공자(Content Provider; CP)(10), 서비스 제공자(Service Provider; SP)(20), 네트워크 제공자(Network Provider; NP)(30) 및 HNED(40)로 구분될 수 있다.
여기서, HNED(40)는, 멀티미디어 장치인 클라이언트(100)에 대응할 수 있는데, 클라이언트(100)는, 멀티미디어 장치에 해당하며, 멀티미디어 장치는 예를 들어, 네트워크 TV, 스마트 TV, IPTV 등일 수 있다.
그리고, 컨텐츠 제공자(10)는, 각종 컨텐츠를 제작하여 제공할 수 있다.
여기서, 컨텐츠 제공자(10)는, 지상파 방송 송출자(terrestrial broadcaster), 케이블 방송 사업자(cable SO(System Operator) 또는 MSO(Multiple System Operator), 위성 방송 송출자(satellite broadcaster), 인터넷 방송 송출자(Internet broadcaster) 등일 수 있다.
또한, 컨텐츠 제공자(10)는, 방송 컨텐츠 외에, 다양한 애플리케이션 등을 제공할 수도 있다.
이어, 서비스 제공자(20)는, 컨텐츠 제공자(10)가 제공하는 컨텐츠들을 서비스 패키지화하여 제공할 수 있다.
예를 들어, 서비스 제공자(20)는, 제 1 지상파 방송, 제 2 지상파 방송, 케이블 MSO, 위성 방송, 다양한 인터넷 방송, 애플리케이션 등을 패키지화하여 사용자에게 제공할 수 있다.
한편, 서비스 제공자(20)는, 유니캐스트(unicast) 또는 멀티캐스트(multicast) 방식을 이용하여 클라이언트(100) 측에 서비스를 제공할 수 있다.
여기서, 유니캐스트 방식은 하나의 송신자와 하나의 수신자 사이에 데이터를 1:1로 전송하는 방식이다.
예를 들어, 유니캐스트 방식의 경우 수신기에서 서버에 데이터를 요청하면, 서버는 요청에 따라 데이터를 수신기에 전송할 수 있다.
그리고, 멀티캐스트 방식은 특정한 그룹의 다수의 수신자에게 데이터를 전송하는 방식이다.
예를 들어, 서버는 데이터를 미리 등록된 다수의 수신기에 한꺼번에 전송할 수 있는데, 이러한 멀티캐스트 등록을 위해 IGMP(Internet Group Management Protocol) 프로토콜 등이 사용될 수 있다.
다음, 네트워크 제공자(30)는, 서비스를 클라이언트(100)에게 제공하기 위한 네트워크 망을 제공할 수 있다.
여기서, 클라이언트(100)는 홈 네트워크(Home Network End User; HNED)를 구축하여 서비스를 제공받을 수도 있다.
이어, 멀티미디어 장치를 포함하는 방송 시스템은, 전송되는 컨텐츠를 보호하기 위한 수단으로서, 제한 수신(Conditional Access) 또는 컨텐츠 보호(Content Protection) 등이 사용될 수도 있다.
이러한 제한 수신이나 컨텐츠 보호를 위한 하나의 예로서, 케이블카드(CableCARD), DCAS(Downloadable Conditional Access System)와 같은 방식이 사용될 수 있다.
한편, 클라이언트(100)도 네트워크를 통해, 컨텐츠를 제공하는 것이 가능할 수 있는데, 이러한 경우, 상술한 바와 달리, 역으로, 클라이언트(100)가 컨텐츠 제공자가 될 수 있으며, 컨텐츠 제공자(10)가 클라이언트(100)로부터 컨텐츠를 수신할 수도 있다.
이와 같이 설계된 경우, 양방향 컨텐츠 서비스 또는 데이터 서비스가 가능한 장점이 있다.
도 2는 도 1의 멀티미디어 장치를 보여주는 블럭 구성도이다.
도 2에 도시된 바와 같이, 멀티미디어 장치(100)는, 방송 수신부(105), 외부장치 인터페이스부(135), 저장부(140), 사용자 인터페이스부(150), 제어부(170), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190), 및 사용자 명령 예측부(300)를 포함할 수 있다.
여기서, 방송 수신부(105)는, 튜너(110), 복조부(120), 및 네트워크 인터페이스부(130)를 포함할 수 있다.
물론, 필요에 따라, 튜너(110)와 복조부(120)를 구비하면서 네트워크 인터페이스부(130)는 포함하지 않도록 설계하는 것도 가능하며, 반대로 네트워크 인터페이스부(130)를 구비하면서 튜너(110)와 복조부(120)는 포함하지 않도록 설계하는 것도 가능하다.
이때, 튜너(110)는, 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택할 수 있으며, 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환할 수도 있다.
이어, 튜너(110)는, ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수도 있다.
다음, 복조부(120)는, 복조 및 채널 복호화를 실행한 후, 스트림 신호(TS)를 출력할 수 있다.
그리고, 복조부(120)에서 출력한 스트림 신호는 제어부(170)로 입력될 수 있는데, 제어부(170)는 역다중화, 영상/음성 신호 처리 등을 실행한 후, 디스플레이부(180)에 영상을 출력하고, 오디오 출력부(185)로 음성을 출력할 수 있다.
이어, 외부장치 인터페이스부(135)는, 외부 장치와 멀티미디어 장치(100)를 접속할 수 있다.
여기서, 외부장치 인터페이스부(135)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 유/무선으로 접속될 수 있다.
그리고, 외부장치 인터페이스부(135)는 연결된 외부 장치를 통하여 외부에서 입력되는 영상, 음성 또는 데이터 신호를 멀티미디어 장치(100)의 제어부(170)로 전달할 수 있으며, 또한, 제어부(170)에서 처리된 영상, 음성 또는 데이터 신호를 연결된 외부 장치로 출력할 수도 있다.
이를 위해, 외부장치 인터페이스부(135)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수도 있다.
여기서, A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 멀티미디어 장치(100)로 입력할 수 있도록, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있다.
그리고, 무선 통신부는, 다른 전자기기와 근거리 무선 통신을 실행할 수 있다.
이어, 멀티미디어 장치(100)는 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA (Digital Living Network Alliance) 등의 통신 규격에 따라 다른 전자기기와 네트워크 연결될 수 있다.
또한, 외부장치 인터페이스부(135)는, 다양한 셋탑 박스와 상술한 각종 단자 중 적어도 하나를 통해 접속되어, 셋탑 박스와 입력/출력 동작을 실행할 수도 있다.
그리고, 네트워크 인터페이스부(130)는, 멀티미디어 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있는데, 네트워크 인터페이스부(130)는, 유선 네트워크와의 접속을 위해, 예를 들어 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해, 예를 들어 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.
이어, 네트워크 인터페이스부(130)는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
다음, 저장부(140)는, 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수도 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(130)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 실행할 수도 있으며, 또한, 저장부(140)는, 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수도 있다.
여기서, 저장부(140)는, 예를 들어 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
그리고, 멀티미디어 장치(100)는, 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
도 2는 저장부(140)가 제어부(170)와 별도로 구비된 실시 예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않고, 저장부(140)는 제어부(170) 내에 포함될 수도 있다.
또한, 사용자 인터페이스부(150)는, 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수도 있다.
예를 들어, 사용자 인터페이스부(150)는, RF(Radio Frequency) 통신 방식, 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호 및 원격제어장치(200)를 통하여 입력된 제스쳐 및 음성에 대한 정보를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 예를 들어, 사용자 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
다음, 제어부(170)는, 튜너(110) 또는 복조부(120) 또는 외부장치 인터페이스부(135)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
그리고, 제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다.
또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있으며, 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
이어, 제어부(170)는, 사용자 명령 예측부(300)로부터, 예측된 사용자 명령의 실행에 대한 요청 신호가 있으면, 이에 해당하는 예측 명령을 수행하도록, 멀티미디어 장치의 일부 기능을 제어할 수 있다.
또한, 제어부(170)는, 사용자 명령 예측부(300)로부터 요청되는 각종 정보를, 사용자 명령 예측부(300)로 제공되도록, 멀티미디어 장치의 일부 기능을 제어할 수 있다.
그리고, 사용자 명령 예측부(300)는, 움직임 정보 획득부, 음성 정보 획득부, 사용자 명령 예측을 위한 저장부, 그리고, 사용자 명령 예측을 위한 제어부를 포함할 수 있다.
또한, 추가적으로, 센서부, 타이머, 유저 인터페이스 매니저, 및 서비스 매니저 등을 더 포함할 수도 있다.
여기서, 움직임 정보 획득부는, 사용자의 움직임 정보를 획득하는 것으로, 적외광을 생성하는 광원, 깊이 카메라, 컬러 카메라를 포함하는 카메라부, 이미지 정보 처리부, 얼굴 인식부, 움직임 인식부 등을 포함할 수 있다.
그리고, 음성 정보 획득부는, 사용자의 음성 정보를 획득하는 것으로, 마이크부, 음성 정보 처리부 등을 포함할 수 있다.
이어, 사용자 명령 예측부(300)의 저장부는, 사용자의 예측 가능한 움직임 정보와, 사용자의 예측 가능한 음성 정보를 포함하고, 이들과 동시에 연관되는 명령 정보를 저장할 수 있다.
다음, 사용자 명령 예측부(300)의 제어부는, 획득한 사용자의 움직임 정보로부터, 사용자의 명령을 예측하고, 획득한 사용자의 음성 정보가, 예측된 사용자의 명령에 연관되는지를 확인하며, 사용자의 음성 정보가 예측된 사용자의 명령에 연관되면, 예측된 사용자의 명령을 실행하도록 제어할 수 있다.
여기서, 사용자 명령 예측부(300)의 제어부는, 직접 멀티미디어 장치의 기능을 제어하여, 예측된 사용자 명령을 실행할 수 있다.
또한, 사용자 명령 예측부(300)의 제어부는, 유저 인터페이스 매니저, 및 서비스 매니저를 제어하여, 예측된 사용자 명령 관련 GUI(Graphic User Interface)를 사용자에게 제공할 수도 있다.
여기서, 유저 인터페이스 매니저는, 사용자를 위한 GUI(Graphic User Interface)를 OSD(On Screen Display) 등을 이용하여 제공할 수 있다.
그리고, 서비스 매니저는 서비스 전달 매니저, 서비스 디스커버리 매니저, 서비스 제어 매니저 및 메타데이터 매니저 등 서비스와 연관된 매니저를 제어함으로써, 예측된 사용자 명령 관련 서비스를 수행할 수 있다.
이어, 사용자 명령 예측부(300)의 센서부는, 사용자가 촬영 영역 내에 존재하는지를 감지하는 역할을 수행할 수 있고, 사용자 명령 예측부(300)의 타이머는, 사용자의 음성 입력이 없는 시간을 측정하는 역할을 수행할 수 있다.
다음, 디스플레이부(180)는, 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성한다.
이어, 오디오 출력부(185)는, 제어부(170)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1채널 신호 또는 5.1채널 신호를 입력받아 음성으로 출력한다. 음성 출력부(185)는 다양한 형태의 스피커로 구현될 수 있다.
다음, 전원 공급부(190)는, 멀티미디어 장치(100) 전반에 걸쳐 해당 전원을 공급할 수 있다.
그리고, 원격제어장치(200)는, 사용자 입력을 사용자 인터페이스부(150)로 송신하기 위한 것으로, 원격제어장치(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다.
또한, 원격제어장치(200)는, 사용자 인터페이스부(150)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(200)에서 표시하거나 음성 또는 진동을 출력할 수도 있다.
이와 같이, 구성되는 멀티미디어 장치(100)는, 고정형으로서 ATSC 방식(8-VSB 방식)의 디지털 방송, DVB-T 방식(COFDM 방식)의 디지털 방송, ISDB-T 방식(BST-OFDM방식)의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있다.
경우에 따라, 멀티미디어 장치(100)는, 도 2에 도시된 튜너(110)와 복조부(120)를 구비하지 않고, 네트워크 인터페이스부(130) 또는 외부장치 인터페이스부(135)를 통해서, 영상 컨텐츠를 수신하고, 이를 재생할 수도 있다.
또한, 멀티미디어 장치(100)는, 장치 내에 저장된 영상 또는 입력되는 영상의 신호 처리를 실행하는 영상신호 처리장치로서, 도 2에서 도시된 디스플레이부(180)와 오디오 출력부(185)가 제외된 셋탑 박스, DVD 플레이어, 블루레이 플레이어, 게임기기, 컴퓨터 등일 수도 있다.
도 3은 도 2의 사용자 명령 예측부를 보여주는 블럭 구성도이다.
도 3에 도시된 바와 같이, 사용자 명령 예측부는, 움직임 정보 획득부(310), 음성 정보 획득부(320), 저장부(330), 그리고, 제어부(340)를 포함할 수 있다.
또한, 추가적으로, 센서(350), 타이머(360), 유저 인터페이스 매니저(370), 및 서비스 매니저(380) 등을 더 포함할 수도 있다.
여기서, 움직임 정보 획득부(310)는, 사용자의 움직임 정보를 획득하는 것으로, 적외광을 생성하는 광원, 깊이 카메라, 컬러 카메라를 포함하는 카메라부, 이미지 정보 처리부, 얼굴 인식부, 움직임 인식부 등을 포함할 수 있다.
그리고, 음성 정보 획득부(320)는, 사용자의 음성 정보를 획득하는 것으로, 마이크부, 음성 정보 처리부 등을 포함할 수 있다.
이어, 사용자 명령 예측부의 저장부(330)는, 사용자의 예측 가능한 움직임 정보와, 사용자의 예측 가능한 음성 정보를 포함하고, 이들과 동시에 연관되는 명령 정보를 저장할 수 있다.
다음, 사용자 명령 예측부의 제어부(340)는, 획득한 사용자의 움직임 정보로부터, 사용자의 명령을 예측하고, 획득한 사용자의 음성 정보가, 예측된 사용자의 명령에 연관되는지를 확인하며, 사용자의 음성 정보가 예측된 사용자의 명령에 연관되면, 예측된 사용자의 명령을 실행하도록 제어할 수 있다.
여기서, 사용자 명령 예측부의 제어부(340)는, 직접 멀티미디어 장치의 기능을 제어하여, 예측된 사용자 명령을 실행할 수 있다.
또한, 사용자 명령 예측부의 제어부(340)는, 유저 인터페이스 매니저(370), 및 서비스 매니저(380)를 제어하여, 예측된 사용자 명령 관련 GUI(Graphic User Interface)를 사용자에게 제공할 수도 있다.
여기서, 유저 인터페이스 매니저(370)는, 사용자를 위한 GUI(Graphic User Interface)를 OSD(On Screen Display) 등을 이용하여 제공할 수 있다.
그리고, 서비스 매니저(380)는 서비스 전달 매니저, 서비스 디스커버리 매니저, 서비스 제어 매니저 및 메타데이터 매니저 등 서비스와 연관된 매니저를 제어함으로써, 예측된 사용자 명령 관련 서비스를 수행할 수 있다.
이어, 사용자 명령 예측부의 센서(350)는, 사용자가 촬영 영역 내에 존재하는지를 감지하는 역할을 수행할 수 있고, 사용자 명령 예측부의 타이머(360)는, 사용자의 음성 입력이 없는 시간을 측정하는 역할을 수행할 수 있다.
도 4는 도 3의 움직임 정보 획득부를 보여주는 블럭 구성도이다.
도 4에 도시된 바와 같이, 움직임 정보 획득부(310)는, 사용자의 움직임 정보를 획득하는 것으로, 카메라부(311), 이미지 정보 처리부(312), 얼굴 인식부(314), 움직임 인식부(315), 우선 순위 결정부(313)를 포함할 수 있다.
여기서, 카메라부(311)는, 적외광을 생성하는 광원, 깊이 카메라 및 컬러 카메라를 포함할 수 있다.
이때, 카메라부(311)는, 촬영 영역 내에 존재하는 사용자를 입체적으로 촬영할 수 있는데, TOF(Time Of Flight) 방식과 구조광(structured light) 방식을 이용할 수 있다.
TOF 방식은, 적외광을 방출하여 돌아오는 시간차를 이용하여 거리 정보를 계산하는 방식이고, 구조광(structured light) 방식은, 특정 패턴으로 적외광을 방사하고 변형되는 패턴을 분석하여 거리를 계산하는 방식이다.
그리고, 이미지 정보 처리부(312)는, 카메라부(311)로부터 촬영된 사용자의 이미지 정보를 처리할 수 있다.
이어, 얼굴 인식부(314)는, 이미지 정보 처리된 사용자의 이미지 정보를 토대로, 사용자의 얼굴을 인지 및 인식할 수 있다.
다음, 움직임 인식부(315)는, 얼굴 인식부(314)를 통해, 인식된 사용자의 신체 정보를 인지 및 인식하고, 현재 프레임에서 추출된 신체 정보와 이전 프레임에서 추출된 신체 정보를 비교하여, 사용자의 움직임 정도를 알 수 있다.
그리고, 우선 순위 결정부(313)는, 이미지 정보 처리된 사용자의 이미지 정보를 토대로, 사용자가 다수라고 판단하면, 사용자들의 움직임 정보 획득 순서를 결정할 수 있다.
여기서, 사용자들의 움직임 정보 획득 순서는, 촬영 영역의 우측에서 좌측 방향으로 위치하거나, 또는 좌측에서 우측 방향으로 위치하는 사용자들의 배열 순서에 따라 결정될 수 있다.
경우에 따라, 사용자들의 움직임 정보 획득 순서는, 멀티미디어 장치와 사용자 사이의 거리에 따라 결정될 수도 있다.
따라서, 얼굴 인식부(314)는, 우선 순위 결정부(313)의 움직임 정보 획득 순서에 따라, 이미지 정보 처리된 사용자의 이미지 정보를 토대로, 사용자의 얼굴을 일정 시간 간격으로 순차적으로 인지 및 인식할 수 있다.
또한, 움직임 인식부(315)는, 얼굴 인식부(314)가 순차적으로 인식한 사용자의 신체 정보를 인지 및 인식함으로써, 해당하는 사용자의 움직임 정보를 추출할 수 있다.
하지만, 우선 순위 결정부(313)는, 이미지 정보 처리된 사용자의 이미지 정보를 토대로, 사용자가 한 명이라고 판단하면, 사용자들의 움직임 정보 획득 순서를 결정할 필요가 없다.
따라서, 얼굴 인식부(314)는, 우선 순위 결정부(313)의 움직임 정보 획득 순서에 관계없이, 이미지 정보 처리된 사용자의 이미지 정보를 토대로, 사용자의 얼굴을 연속적으로 인지 및 인식할 수 있다.
또한, 움직임 인식부(315)는, 얼굴 인식부(314)가 인식한 사용자의 신체 정보를 인지 및 인식함으로써, 해당하는 사용자의 움직임 정보를 연속적으로 추출할 수 있다.
즉, 움직임 정보 추출부(310)는, 촬영 영역 내에 사용자가 한 명이 존재하면, 해당하는 사용자의 얼굴 인식 및 움직임 정보를, 각 프레임마다, 연속적으로 추출할 수 있다.
그러나, 움직임 정보 추출부(310)는, 촬영 영역 내에 사용자가 여러 명이 존재하면, 우선 순위 결정부(313)가 결정한 순서에 따라, 사용자의 얼굴 인식 및 움직임 정보를 순차적으로 추출할 수 있다.
따라서, 각 사용자의 움직임 정보는, 각 프레임마다, 일정 시간 간격으로 추출될 수 있다.
또한, 움직임 정보 추출부(310)가 추출하는 사용자의 움직임 정보는, 사용자가 움직인 신체 부위의 이동 정보로서, 신체 부위의 이동 방향, 이동 거리, 이동 속도 중 적어도 어느 하나일 수 있다.
도 5는 도 3의 음성 정보 획득부를 보여주는 블럭 구성도이다.
도 5에 도시된 바와 같이, 음성 정보 획득부(320)는, 마이크부(321)와 음성 정보 처리부(322)를 포함할 수 있다.
여기서, 마이크부(321)는, 사용자의 음성을 입력받을 수 있고, 음성 정보 처리부(322)는, 입력된 사용자의 음성을 정보 처리할 수 있다.
그리고, 음성 정보 처리부(322)는 처리된 음성 정보를 제어부로 전송할 수 있다.
이어, 제어부는, 사용자의 음성 정보와 사용자의 움직임 정보를 토대로, 사용자 명령 없이도, 사용자가 원하는 명령을 미리 예측할 수 있다.
도 6 내지 도 8은 도 4의 우선 순위 결정부의 사용자 우선 순위 결정 방법을 보여주기 위한 도면으로서, 도 6은 사용자가 한 명인 경우, 사용자 우선 순위를 결정하는 방법이고, 도 7은 사용자가 다수인 경우, 사용자 우선 순위를 결정하는 방법의 제 1 실시예이고, 도 8은 사용자가 다수인 경우, 사용자 우선 순위를 결정하는 방법의 제 2 실시예이다.
도 6 내지 도 8에 도시된 바와 같이, 멀티 미디어 장치가 TV인 경우, 멀티 미디어 장치는, 디스플레이(180)의 가장자리 영역에 센서(350)가 배치되고, 디스플레이(180)의 상단부에 카메라부(311)와 마이크부(321)가 배치될 수 있다.
여기서, 멀티 미디어 장치의 센서(350)는, 촬영 영역 내에 사용자가 존재하는지를 감지할 수 있다.
만일, 도 6과 같이, 한 명의 사용자가 촬영 영역 내에 이동하면, 센서(350)는, 사용자가 촬영 영역 내에 존재함을 감지한다.
이어, 제어부는, 카메라부(311) 및 마이크부(321)를 제어하여, 사용자의 움직임 정보 및 음성 정보를 획득할 수 있다.
여기서, 카메라부(311)는, 제어부의 제어신호에 의해, 촬영 영역 내의 사용자를 촬영하고, 우선 순위 결정부는, 촬영된 사용자의 이미지 정보를 토대로, 사용자가 한 명이라고 판단하면, 사용자들의 움직임 정보 획득 순서를 결정할 필요가 없다.
따라서, 얼굴 인식부는, 우선 순위 결정부의 움직임 정보 획득 순서에 관계없이, 사용자의 이미지 정보를 토대로, 사용자의 얼굴을 연속적으로 인지 및 인식하고, 움직임 인식부는, 얼굴 인식부가 인식한 사용자의 신체 정보를 인지 및 인식함으로써, 해당하는 사용자의 움직임 정보를 연속적으로 추출할 수 있다.
그리고, 도 7과 같이, 다수의 사용자들이 촬영 영역 내에 이동하면, 센서(350)는, 다수의 사용자들이 촬영 영역 내에 존재함을 감지할 수 있다.
이어, 제어부는, 카메라부(311) 및 마이크부(321)를 제어하여, 사용자들의 움직임 정보 및 음성 정보를 획득할 수 있다.
여기서, 카메라부(311)는, 제어부의 제어신호에 의해, 촬영 영역 내의 사용자들을 촬영하고, 우선 순위 결정부는, 촬영된 사용자들의 이미지 정보를 토대로, 사용자가 다수라고 판단하면, 사용자들의 움직임 정보 획득 순서를 결정할 수 있다.
즉, 우선 순위 결정부는, 촬영 영역의 우측에서 좌측 방향으로 위치하는 사용자들의 배열 순서에 따라, 사용자의 움직임 정보 처리 순위를 결정할 수 있다.
경우에 따라, 우선 순위 결정부는, 촬영 영역의 좌측에서 우측 방향으로 위치하는 사용자들의 배열 순서에 따라, 사용자의 움직임 정보 처리 순위를 결정할 수도 있다.
따라서, 얼굴 인식부는, 우선 순위 결정부의 움직임 정보 획득 순서에 따라, 사용자의 이미지 정보를 토대로, 사용자의 얼굴을 일정 시간 간격으로 순차적으로 인지 및 인식하고, 움직임 인식부는, 얼굴 인식부가 순차적으로 인식한 사용자의 신체 정보를 인지 및 인식함으로써, 해당하는 사용자의 움직임 정보를 추출할 수 있다.
또한, 도 8과 같이, 우선 순위 결정부는, 멀티미디어 장치와 사용자 사이의 거리에 따라, 사용자의 움직임 정보 처리 순위를 결정할 수도 있다.
예를 들면, 제 1 사용자와 멀티 미디어 장치 사이의 거리가 d1이고, 제 2 사용자와 멀티 미디어 장치 사이의 거리가 d2이며, 제 3 사용자와 멀티 미디어 장치 사이의 거리가 d3이고, 제 4 사용자와 멀티 미디어 장치 사이의 거리가 d4이며, 제 5 사용자와 멀티 미디어 장치 사이의 거리가 d5이고, 거리 d1 > 거리 d2 > 거리 d3 > 거리 d4 > 거리 d5이라면, 우선 순위 결정부는, 제 1 사용자의 움직임 정보를 가장 먼저 획득하고, 제 2 사용자의 움직임 정보, 제 3 사용자의 움직임 정보, 제 4 사용자의 움직임 정보를 순차적으로 획득하며, 제 5 사용자의 움직임 정보를 가장 나중에 획득할 수 있다.
그리고, 얼굴 인식부는, 우선 순위 결정부의 움직임 정보 획득 순서에 따라, 사용자의 이미지 정보를 토대로, 사용자의 얼굴을 일정 시간 간격으로 순차적으로 인지 및 인식하고, 움직임 인식부는, 얼굴 인식부가 순차적으로 인식한 사용자의 신체 정보를 인지 및 인식함으로써, 해당하는 사용자의 움직임 정보를 추출할 수 있다.
이와 같이, 도 7과 도 8과 같이, 사용자가 다수일 때, 우선 순위 결정부는, 매 프레임마다, 움직임 정보 획득 순서를 바꿀 수 있다.
예를 들면, 현재 프레임에서의 사용자들의 배열 순서가, 다음 프레임에서, 사용자들의 이동에 따라, 사용자들의 배열 순서가 바뀔 경우, 우선 순위 결정부는, 매 프레임마다, 움직임 정보 획득 순서를 바꿀 수 있다.
도 9는 도 3의 제어부를 보여주는 블럭 구성도이다.
도 9에 도시된 바와 같이, 사용자 명령 예측부의 제어부(340)는, 움직인 신체 부위 식별부(341), 신체 부위 관련 명령 정보 추출부(342), 신체 부위 관련 이동 정보 추출부(343), 음성 정보 관련 명령 정보 추출부(345), 사용자 명령 예측부(344)를 포함할 수 있다.
여기서, 움직인 신체 부위 식별부(341)는, 움직임 정보 획득부로부터, 획득한 사용자의 움직임 정보로부터, 사용자가 움직인 신체 부위를 식별할 수 있다.
예를 들면, 움직인 신체 부위 식별부(341)는, 사용자의 움직임 정보를 토대로, 사용자가 움직인 신체 부위가 머리, 팔, 손, 다리, 발 및 몸체 중, 적어도 어느 하나가 움직였는지를 식별할 수 있다.
이어, 신체 부위 관련 명령 정보 추출부(342)는, 움직인 신체 부위 식별부(341)로부터, 식별된 사용자가 움직인 신체 부위에 연관되는 명령 정보들을 저장부로부터 추출할 수 있다.
예를 들면, 사용자가 움직인 신체 부위가 팔과 손이라면, 팔 및 손에 연관되는 모든 명령 정보들을 저장부로부터 추출할 수 있다.
다음, 신체 부위 관련 이동 정보 추출부(343)는, 움직인 신체 부위 식별부(341)로부터, 식별된 사용자가 움직인 신체 부위에 연관되는 이동 정보들을 저장부로부터 추출할 수 있다.
예를 들면, 사용자가 움직인 신체 부위가 팔과 손이라면, 팔 및 손에 연관되는 모든 이동 정보들을 저장부로부터 추출할 수 있다.
여기서, 사용자가 움직인 신체 부위의 이동 정보는, 신체 부위의 이동 위치, 이동 방향, 이동 거리, 이동 속도 중 적어도 어느 하나일 수 있다.
그리고, 사용자 명령 예측부(344)는, 신체 부위 관련 명령 정보 추출부(342)로부터 추출된 명령 정보들과, 신체 부위 관련 이동 정보 추출부(343)로부터 추출된 신체 부위의 이동 정보들을 토대로, 사용자 명령을 예측할 수 있다.
여기서, 사용자 명령 예측부(344)는, 추출된 명령 정보들 중에서, 신체 부위의 이동 정보에 연관되는 명령 정보들만을 다시 추출함으로써, 사용자가 원하는 명령을 미리 예측할 수 있다.
즉, 사용자 명령 예측부(344)는, 추출된 명령 정보들로부터, 사용자가 움직인 신체 부위의 이동 정보에 따라, 사용자가 수행하고자 하는 사용자 명령을 예측할 수 있다.
다음, 음성 정보 관련 명령 정보 추출부(345)는, 사용자 명령 예측부(344)로부터 예측된 명령 정보들과 연관되는 음성 정보들을 저장부로부터 추출할 수 있다.
그리고, 음성 정보 관련 명령 정보 추출부(345)는, 음성 정보 획득부로부터 획득한 음성 정보가, 저장부로부터 추출된 음성 정보 내에 존재하는지를 확인하고, 저장부로부터 추출된 음성 정보 내에 음성 정보 획득부로부터 획득한 음성 정보가 존재한다면, 해당하는 음성 정보에 연관된 명령 정보를 추출할 수 있다.
즉, 음성 정보 관련 명령 정보 추출부(345)는, 사용자 명령 예측부(344)로부터 예측된 명령 정보들과 연관되는 제 1 음성 정보들을, 저장부로부터 추출하고, 추출된 제 1 음성 정보와, 음성 정보 획득부로부터 획득한 제 2 음성 정보를 비교하여, 제 1 음성 정보와 제 2 음성 정보가 유사 또는 일치한다면, 제 2 음성 정보와 유사 또는 일치하는 제 1 음성 정보에 연관된 명령 정보를 저장부로부터 추출할 수 있다.
여기서, 음성 정보 관련 명령 정보 추출부(345)는, 사용자의 음성 정보에 연관되는 명령 정보가 다수개이면, 사용자의 음성 정보와 가장 유사한 음성 정보를 포함하는 명령 정보를 선택할 수 있다.
예를 들면, 사용자의 음성 정보와 가장 유사한 음성 정보는, 동일한 음성 단어 개수에 따라, 결정될 수 있다.
따라서, 음성 정보 관련 명령 정보 추출부(345)는, 최종적으로 예측된 사용자 명령의 실행을 요청할 수 있다.
여기서, 음성 정보 관련 명령 정보 추출부(345)는, 최종적으로 예측된 사용자 명령의 실행을 요청하기 이전에, 센서를 통해, 사용자가 촬영 영역 내에 존재하는지를 확인하고, 사용자가 촬영 영역 내에 존재한다고 판단하면, 최종적으로 예측된 사용자의 명령을 실행 요청할 수 있다.
이때, 촬영 영역 내에 존재하는 사용자는, 움직임 정보의 주체인 사용자이어야 한다.
만일, 촬영 영역 내에 존재하는 사용자가, 움직임 정보의 주체인 사용자가 아니거나 또는 촬영 영역 내에 해당하는 사용자가 존재하지 않는 경우, 음성 정보 관련 명령 정보 추출부(345)는, 최종적인 명령 정보를 추출할 수 없다.
경우에 따라, 음성 정보 관련 명령 정보 추출부(345)는, 음성 정보 획득부로부터 사용자의 음성 입력이 없으면, 타이머를 통해, 기설정 시간을 측정하고, 기설정 시간 내에도 음성 입력이 없으면, 최종적인 명령 정보를 추출할 수 없다.
따라서, 음성 정보 관련 명령 정보 추출부(345)는, 기설정 시간 내에도 음성 입력이 없으며, 센서를 제어하여, 사용자가 촬영 영역 내에 존재하는지를 확인하고, 사용자가 촬영 영역 내에 존재한다고 판단하면, 움직임 정보 획득부를 제어하여 사용자의 움직임 정보를 다시 획득할 수 있다.
또한, 음성 정보 관련 명령 정보 추출부(345)는, 예측된 사용자의 명령을 실행 요청한 이후에도, 음성 정보 획득부를 통해, 사용자의 음성 입력이 있는지를 계속적으로 확인하고, 사용자의 음성 입력이 있으면, 예측된 사용자 명령의 실행 요청을 계속적으로 수행할 수 있다.
그러나, 음성 정보 관련 명령 정보 추출부(345)는, 사용자의 음성 입력이 없다고 판단하면, 타이머를 통해, 기설정된 시간을 경과했는지 확인하고, 기설정된 시간을 경과했다면, 예측된 사용자 명령 실행 요청을 중지하고, 예측된 사용자 명령 실행 전으로 복귀하는 복귀 요청을 수행할 수 있다.
여기서, 음성 정보 관련 명령 정보 추출부(345)는, 입력되는 사용자의 음성이, 최초에 입력되는 사용자의 음성과 동일한 경우에만, 예측된 사용자 명령의 실행 요청을 계속적으로 수행할 수 있다.
만일, 음성 정보 관련 명령 정보 추출부(345)는, 입력되는 사용자의 음성이, 최초에 입력되는 사용자의 음성과 다르다고 판단하면, 예측된 사용자 명령의 실행 요청을 중지하고, 예측된 사용자 명령 실행 전으로 복귀하는 복귀 요청을 수행할 수 있다.
이와 같이, 구성되는 멀티미디어 장치의 사용자 명령 예측 방법을 설명하면 다음과 같다.
도 10 내지 도 15는 본 발명에 따른 멀티미디어 장치의 사용자 명령 예측 방법을 설명하기 위한 흐름도이다.
도 10 내지 도 15에 도시된 바와 같이, 먼저, 제어부(340)는, 움직임 정보 획득부(310)를 통해, 사용자의 움직임 정보를 획득할 수 있다.(S10)
여기서, 제어부(340)는, 사용자의 움직임 정보를 획득하기 이전에, 센서(350)를 통해, 촬영 영역 내에 사용자의 존재 여부를 확인할 수 있다.(S5)
이어, 제어부(340)는, 촬영 영역 내에 사용자가 존재한다고 판단하면, 움직임 정보 획득부(310)를 제어하고, 움직임 정보 획득부(310)는, 제어부(340)의 제어에 따라, 촬영 영역 내의 사용자를 촬영할 수 있다.(S7)
하지만, 제어부(340)는, 촬영 영역 내에 사용자가 존재하지 않는다고 판단하면, 센서(350)를 통해, 촬영 영역 내에 사용자의 존재 여부를 반복적으로 확인할 수 있다.(S5)
그리고, 움직임 정보 획득부(310)는, 제어부(340)의 제어에 따라, 촬영 영역 내의 사용자를 촬영하여, 사용자의 이미지 정보를 획득할 수 있다.(S12)
다음, 움직임 정보 획득부(310)의 우선 순위 결정부(313)는, 사용자의 이미지 정보로부터 사용자가 다수인지 확인할 수 있다.(S13)
만일, 사용자가 다수가 아니면, 움직임 정보 획득부(310)는, 사용자의 움직임 정보를 연속적으로 획득할 수 있다.(S14)
그러나, 사용자가 다수라면, 움직임 정보 획득부(310)의 우선 순위 결정부(313)는, 사용자들의 움직임 정보 획득 순서를 결정할 수 있다.(S15)
여기서, 사용자들의 움직임 정보 획득 순서는, 촬영 영역의 우측에서 좌측 방향으로 위치하거나, 또는 좌측에서 우측 방향으로 위치하는 사용자들의 배열 순서에 따라 결정될 수 있다.
경우에 따라, 사용자들의 움직임 정보 획득 순서는, 멀티미디어 장치와 사용자 사이의 거리에 따라 결정될 수도 있다.
이어, 움직임 정보 획득부(310)는, 결정된 순서에 따라, 사용자들의 움직임 정보를 일정 시간 간격으로 순차적으로 획득할 수 있다.(S16)
다음, 제어부(340)는 획득한 사용자의 움직임 정보로부터, 사용자의 명령을 예측할 수 있다.(S30)
즉, 제어부(340)의 움직인 신체 부위 식별부(341)는, 획득한 사용자의 움직임 정보로부터, 사용자가 움직인 신체 부위를 식별할 수 있다.(S32)
그리고, 제어부(340)의 신체 부위 관련 명령 정보 추출부(342)는, 사용자가 움직인 신체 부위에 연관되는 명령 정보들을 저장부(330)로부터 1차로 추출할 수 있다.(S33)
이어, 제어부(340)의 신체 부위 관련 이동 정보 추출부(343)는, 사용자가 움직인 신체 부위에 연관되는 이동 정보들을 저장부(330)로부터 추출할 수 있다.
여기서, 사용자가 움직인 신체 부위의 이동 정보는, 신체 부위의 이동 위치, 이동 방향, 이동 거리, 이동 속도 중 적어도 어느 하나일 수 있다.
다음, 제어부(340)의 사용자 명령 예측부(344)는, 신체 부위 관련 명령 정보 추출부(342)로부터 추출된 명령 정보들과, 신체 부위 관련 이동 정보 추출부(343)로부터 추출된 신체 부위의 이동 정보들을 토대로, 사용자 명령을 예측할 수 있다.(S34)
여기서, 사용자 명령 예측부(344)는, 추출된 명령 정보들 중에서, 신체 부위의 이동 정보에 연관되는 명령 정보들만을 2차로 추출함으로써, 사용자가 원하는 명령을 미리 예측할 수 있다.
즉, 사용자 명령 예측부(344)는, 추출된 명령 정보들로부터, 사용자가 움직인 신체 부위의 이동 정보에 따라, 사용자가 수행하고자 하는 사용자 명령을 예측할 수 있다.
다음, 제어부(340)는, 음성 정보 획득부(320)를 통해, 사용자의 음성 입력 여부를 확인할 수 있다.(S50)
그리고, 사용자의 음성이 입력되면, 제어부(340)는, 음성 정보 획득부(320)를 통해, 사용자의 음성 정보를 획득할 수 있다.(S70)
그러나, 사용자의 음성 입력이 없으면, 제어부(340)는 타이머(360)를 통해, 기설정 시간이 경과했는지를 확인할 수 있다.(S120)
만일, 설정 시간이 경과하면, 제어부(340)는, 센서(350)를 통해, 사용자가 촬영 영역 내에 존재하는지를 확인할 수 있다.(S130)
여기서, 사용자가 촬영 영역 내에 존재하면, 움직임 정보 획득부(310)는, 제어부(340)의 제어에 따라, 사용자의 움직임 정보를 획득할 수 있다.
그러나, 사용자가 촬영 영역 내에 존재하지 않으면, 제어부(340)는, 사용자 명령 예측 과정을 종료할 수 있다.
이어, 제어부(340)는, 획득한 사용자의 음성 정보가, 예측된 사용자의 명령에 연관되는지를 확인할 수 있다.(S90)
여기서, 제어부(340)의 음성 정보 관련 명령 정보 추출부(345)는, 사용자 명령 예측부(344)로부터 예측된 명령 정보에 연관되는 음성 정보들을 저장부(330)으로부터 추출할 수 있다.(S92)
그리고, 제어부(340)의 음성 정보 관련 명령 정보 추출부(345)는, 저장부(330)로부터 추출된 음성 정보들로부터, 음성 정보 획득부(320)로부터 획득한 사용자의 음성 정보가 존재하는지를 확인할 수 있다.(S93)
만일, 획득한 사용자의 음성 정보가 존재한다면, 제어부(340)의 음성 정보 관련 명령 정보 추출부(345)는, 저장부(330)로부터 사용자의 음성 정보에 연관되는 명령 정보를 3차로 추출할 수 있다.(S94)
그러나, 획득한 사용자의 음성 정보가 존재하지 않는다면, 움직임 정보 획득부(310)를 통해, 사용자 움직임 정보를 획득하는 단계를 반복 수행할 수 있다.
여기서, 3차로 추출된 명령 정보가 다수개이면, 제어부(340)의 음성 정보 관련 명령 정보 추출부(345)는, 사용자의 음성 정보와 가장 유사한 음성 정보를 포함하는 명령 정보를 선택할 수 있다.
예를 들면, 사용자의 음성 정보와 가장 유사한 음성 정보는, 동일한 음성 단어 개수에 따라, 결정될 수 있다.
다음, 제어부(340)는, 사용자의 음성 정보가 예측된 사용자의 명령에 연관되면, 예측된 사용자의 명령을 실행 요청하고, 멀티미디어 장치의 제어부(170)는 해당하는 구성 요소의 기능을 제어하여, 사용자가 원하는 명령을 미리 예측하여, 수행할 수 있다.
여기서, 제어부(340)는, 예측된 사용자의 명령을 실행 요청하기 이전에, 사용자의 음성 정보가 예측된 사용자의 명령에 연관되면, 먼저 센서(350)를 통해, 사용자가 촬영 영역 내에 존재하는지를 확인할 수 있다.(S112)
이어, 사용자가 촬영 영역 내에 존재하면, 제어부(340)는, 예측된 사용자의 명령을 실행 요청할 수 있다.(S113)
여기서, 촬영 영역 내에 존재하는 사용자는, 움직임 정보의 주체인 사용자이어야 한다.
그러나, 사용자가 촬영 영역 내에 존재하지 않거나 또는 촬영 영역 내에 존재하는 사용자가, 움직임 정보의 주체인 사용자가 아니면, 제어부(340)는, 예측된 사용자의 명령을 실행 요청하지 않고, 사용자 명령 예측 과정을 종료할 수 있다.
다음, 제어부(340)는, 음성 정보 획득부(320)를 통해, 사용자의 음성 입력이 있는지를 확인한다.(S114)
여기서, 사용자의 음성은, 최초에 입력되는 사용자의 음성과 동일할 수 있다.
그리고, 사용자의 음성 입력이 없거나 또는 사용자의 음성이, 최초에 입력되는 사용자의 음성과 동일하지 않다면, 제어부(340)는 타이머(360)를 통해, 기설정된 시간을 경과했는지 확인할 수 있다.(S115)
이어, 기설정된 시간을 경과했다면, 제어부(340)는 예측된 사용자 명령 실행 요청을 중지하고, 예측된 사용자 명령 실행 전으로 복귀 요청을 실행할 수 있다.(S116)
즉, 제어부(340)는, 입력되는 사용자의 음성이, 최초에 입력되는 사용자의 음성과 동일한 경우에만, 예측된 사용자 명령의 실행 요청을 계속적으로 수행할 수 있다.
만일, 제어부(340)는, 입력되는 사용자의 음성이, 최초에 입력되는 사용자의 음성과 다르다고 판단하면, 예측된 사용자 명령의 실행 요청을 중지하고, 예측된 사용자 명령 실행 전으로 복귀하는 복귀 요청을 수행할 수 있다.
이와 같이, 본 발명은, 사용자가 움직인 신체 부위로부터 명령 정보를 1차적으로 추출하고, 사용자가 움직인 신체 부위의 이동 정보로부터 명령 정보를 2차적으로 추출하며, 사용자의 음성 정보로부터 명령 정보를 3차적으로 추출함으로써, 사용자가 원하는 명령을 정확하게 예측할 수 있다.
따라서, 본 발명은, 사용자의 움직임 정보와 사용자의 음성 정보를 획득함으로써, 사용자의 제어 명령 없이도, 사용자가 원하는 명령을 미리 예측하여 자동으로 수행할 수 있으므로, 사용자에게 편의를 제공할 수 있다.
또한, 사용자의 움직임 정보와 음성 정보를 함께 이용하여, 사용자가 원하는 명령을 미리 예측하므로, 명령 수행에 대한 오동작을 방지할 수 있어 신뢰성이 향상될 수 있다.
도 16 내지 도 21는 본 발명에 따른 멀티미디어 장치의 사용자 명령 예측 방법의 일 예를 보여주는 도면이다.
먼저, 도 16에 도시된 바와 같이, 멀티 미디어 장치가 TV인 경우, 멀티 미디어 장치는, 디스플레이(180)의 가장자리 영역에 센서(350)가 배치되고, 디스플레이(180)의 상단부에 카메라부(311)와 마이크부(321)가 배치될 수 있다.
여기서, 멀티 미디어 장치의 센서(350)는, 적어도 하나일 수 있으며, 일정한 감지 영역 내에 사용자가 존재하는지를 감지할 수 있다.
이때, 센서(350)의 감지 영역은, 카메라부(311)의 촬영 영역과 동일한 영역일 수 있다.
다음, 도 17에 도시된 바와 같이, 한 명의 사용자가 촬영 영역 내에 이동하면, 센서(350)는, 사용자가 촬영 영역 내에 존재함을 감지할 수 있다.
이어, 제어부는, 카메라부(311) 및 마이크부(321)를 제어하여, 사용자의 움직임 정보 및 음성 정보를 획득할 수 있다.
또한, 제어부는, 사용자 인터페이스 매니저 및 서비스 매니저를 제어하여, 멀티 미디어 장치의 디스플레이(180) 위에 "촬영중"이라는 메시지를 표시할 수 있다.
여기서, 카메라부(311)는, 제어부의 제어신호에 의해, 촬영 영역 내의 사용자를 촬영하고, 우선 순위 결정부는, 촬영된 사용자의 이미지 정보를 토대로, 사용자가 한 명이라고 판단하면, 사용자들의 움직임 정보 획득 순서를 결정할 필요가 없다.
따라서, 얼굴 인식부는, 우선 순위 결정부의 움직임 정보 획득 순서에 관계없이, 사용자의 이미지 정보를 토대로, 사용자의 얼굴을 연속적으로 인지 및 인식하고, 움직임 인식부는, 얼굴 인식부가 인식한 사용자의 신체 정보를 인지 및 인식함으로써, 해당하는 사용자의 움직임 정보를 연속적으로 추출할 수 있다.
경우에 따라, 다수의 사용자들이 촬영 영역 내에 이동하면, 센서(350)는, 다수의 사용자들이 촬영 영역 내에 존재함을 감지할 수 있다.
여기서, 카메라부(311)는, 제어부의 제어신호에 의해, 촬영 영역 내의 사용자들을 촬영하고, 우선 순위 결정부는, 촬영된 사용자들의 이미지 정보를 토대로, 사용자가 다수라고 판단하면, 사용자들의 움직임 정보 획득 순서를 결정할 수 있다.
즉, 우선 순위 결정부는, 촬영 영역의 우측에서 좌측 방향으로 위치하는 사용자들의 배열 순서에 따라, 사용자의 움직임 정보 처리 순위를 결정할 수 있다.
경우에 따라, 우선 순위 결정부는, 촬영 영역의 좌측에서 우측 방향으로 위치하는 사용자들의 배열 순서에 따라, 사용자의 움직임 정보 처리 순위를 결정할 수도 있다.
따라서, 얼굴 인식부는, 우선 순위 결정부의 움직임 정보 획득 순서에 따라, 사용자의 이미지 정보를 토대로, 사용자의 얼굴을 일정 시간 간격으로 순차적으로 인지 및 인식하고, 움직임 인식부는, 얼굴 인식부가 순차적으로 인식한 사용자의 신체 정보를 인지 및 인식함으로써, 해당하는 사용자의 움직임 정보를 추출할 수 있다.
또한, 우선 순위 결정부는, 멀티미디어 장치와 사용자 사이의 거리에 따라, 사용자의 움직임 정보 처리 순위를 결정할 수도 있다.
이와 같이, 사용자가 다수일 때, 우선 순위 결정부는, 매 프레임마다, 움직임 정보 획득 순서를 바꿀 수 있다.
예를 들면, 현재 프레임에서의 사용자들의 배열 순서가, 다음 프레임에서, 사용자들의 이동에 따라, 사용자들의 배열 순서가 바뀔 경우, 우선 순위 결정부는, 매 프레임마다, 움직임 정보 획득 순서를 바꿀 수 있다.
이어, 도 18에 도시된 바와 같이, 제어부는 카메라부(311)로부터, 획득한 사용자의 움직임 정보를 토대로, 사용자가 움직인 신체 부위를 식별할 수 있다.
예를 들면, 사용자가 촬영 영역 내에서, 전화를 받을 경우, 제어부는, 사용자의 움직임 정보를 토대로, 사용자가 움직인 신체 부위가 팔과 손이 움직였는지를 식별할 수 있다.
그리고, 제어부는, 팔과 손에 연관되는 명령 정보들을 저장부로부터 1차적으로 추출할 수 있다.
다음, 제어부는, 사용자의 움직임 정보를 토대로, 사용자가 움직인 팔과 손에 연관되는 이동 정보들을 저장부로부터 추출할 수 있다.
여기서, 사용자가 움직인 팔과 손의 이동 정보는, 이동 위치, 이동 방향, 이동 거리, 이동 속도 등일 수 있다.
이어, 제어부는, 팔과 손에 연관되는 관련 명령 정보들로부터, 팔과 손의 이동 정보에 연관되는 명령 정보들만을 2차적으로 추출할 수 있다.
여기서, 예를 들면, 팔과 손의 이동 정보는, 사용자가 전화를 받으므로, 팔이 굽어지는 각도가 90도 이하이고, 손이 사용자의 귀 방향으로 이동하며, 사용자의 손과 귀 사이의 거리가 1m 이내일 수 있다.
따라서, 제어부는, 추출된 명령 정보들로부터, 사용자가 움직인 팔과 손의 이동 정보에 따라, 사용자가 전화를 받고 있다고 인식하고, 사용자가 전화를 받을 때, 수행할 수 있는 사용자 명령들을 미리 예측할 수 있다.
그리고, 제어부는, 2차적으로 추출된 명령 정보들에 연관되는 음성 정보를 저장부로부터 추출할 수 있다.
다음, 도 19에 도시된 바와 같이, 사용자가 전화를 받은 후에, "여보세요"라고 말을 할 때, "여보세요"라는 음성은, 마이크부(321)를 통해, 입력될 수 있다.
이어, 제어부는, "여보세요"라는 음성 정보가, 저장부로부터 추출된 음성 정보 내에 존재하는지를 확인하고, 저장부로부터 추출된 음성 정보 내에 "여보세요"라는 음성 정보가 존재한다면, "여보세요"라는 음성 정보에 연관된 명령 정보를 3차적으로 추출할 수 있다.
그리고, 제어부는, "여보세요"라는 음성 정보에 연관된 예측 명령 정보를 추출하면, 사용자 인터페이스 매니저 및 서비스 매니저를 제어하여, 멀티 미디어 장치의 디스플레이(180) 위에 "예측 명령 실행"이라는 메시지를 표시할 수 있다.
다음, 도 20에 도시된 바와 같이, 제어부는, 최종적으로 예측된 사용자 명령이 "볼륨 감소"라면, 볼륨 감소의 실행을 요청할 수 있다.
또한, 제어부는, 사용자 인터페이스 매니저 및 서비스 매니저를 제어하여, 멀티 미디어 장치의 디스플레이(180) 위에 "볼륨 감소 실행"이라는 메시지를 표시할 수 있다.
이어, 제어부는, "볼륨 감소"라는 예측된 사용자의 명령 실행을 요청하기 이전에, 센서를 통해, 사용자가 촬영 영역 내에 존재하는지를 확인하고, 사용자가 촬영 영역 내에 존재한다고 판단하면, 최종적으로 "볼륨 감소"라는 예측된 사용자의 명령을 실행 요청할 수 있다.
이때, 촬영 영역 내에 존재하는 사용자는, 움직임 정보의 주체인 동일한 사용자이어야 한다.
그리고, 제어부는, "볼륨 감소"라는 예측된 사용자의 명령을 실행 요청한 이후에도, 음성 정보 획득부를 통해, 사용자의 음성 입력이 있는지를 계속적으로 확인하고, 사용자의 음성 입력이 있으면, 예측된 사용자 명령의 실행 요청을 계속적으로 수행할 수 있다.
그러나, 도 21에 도시된 바와 같이, 촬영 영역 내에 해당하는 사용자가 존재하지 않는 경우, 제어부는, "볼륨 감소"라는 예측된 사용자 명령 실행 요청을 중지하고, 예측된 사용자 명령 실행 전으로 복귀하는 복귀 요청을 수행할 수 있다.
또한, 제어부는, 사용자 인터페이스 매니저 및 서비스 매니저를 제어하여, 멀티 미디어 장치의 디스플레이(180) 위에 "볼륨 복귀 실행"이라는 메시지를 표시할 수 있다.
경우에 따라, 촬영 영역 내에 사용자가 존재하지만, 사용자의 음성 입력이 없는 경우, 제어부는, 타이머를 통해, 기설정된 시간을 경과했는지 확인하고, 기설정된 시간을 경과했다면, "볼륨 감소"라는 예측된 사용자 명령 실행 요청을 중지하고, 예측된 사용자 명령 실행 전으로 복귀하는 복귀 요청을 수행할 수 있다.
여기서, 제어부는, 입력되는 사용자의 음성이, 최초에 입력되는 사용자의 음성과 동일한 경우에만, 예측된 사용자 명령의 실행 요청을 계속적으로 수행할 수 있다.
만일, 제어부는, 입력되는 사용자의 음성이, 최초에 입력되는 사용자의 음성과 다르다고 판단하면, 예측된 사용자 명령의 실행 요청을 중지하고, 예측된 사용자 명령 실행 전으로 복귀하는 복귀 요청을 수행할 수 있다.
따라서, 본 발명은, 사용자가 전화를 받을 경우, 사용자가 TV의 볼륨을 감소시키기 위한 사용자 명령을 따로 수행하지 않아도, TV 자체에서, 미리 예측하여, 해당하는 사용자 명령인, 볼륨 감소를 자동으로 수행할 수 있다.
도 22는 본 발명에 따른 멀티미디어 장치의 사용자 명령 예측 방법의 다른 일 예를 보여주는 도면이다.
도 22에 도시된 바와 같이, 촬영 영역 이내에서, 사용자가 전화를 받는 경우, 제어부는, 최종적으로 예측된 사용자 명령이 "볼륨 제거 및 자막 제공"이라면, 볼륨 제거 및 자막 제공의 실행을 요청할 수 있다.
또한, 제어부는, 사용자 인터페이스 매니저 및 서비스 매니저를 제어하여, 멀티 미디어 장치의 디스플레이(180) 위에 "볼륨 제거"이라는 메시지를 표시할 수 있고, 영상에 대한 자막을 표시할 수 있다.
따라서, 본 발명은, 사용자가 전화를 받을 경우, 사용자가 TV의 볼륨을 감소시키기 위한 사용자 명령을 따로 수행하지 않아도, TV 자체에서, 미리 예측하여, 해당하는 사용자 명령인, 볼륨 제거 및 자막 제공을 자동으로 수행할 수 있다.
도 23은 본 발명에 따른 멀티미디어 장치의 사용자 명령 예측 방법의 또 다른 일 예를 보여주는 도면이다.
도 23에 도시된 바와 같이, 제어부는 카메라부(311)로부터, 획득한 사용자의 움직임 정보를 토대로, 사용자가 움직인 신체 부위를 식별할 수 있다.
예를 들면, 부모인 제 1 사용자와 아이인 제 2 사용자가 촬영 영역 내에 존재할 경우, 제 1 사용자인 부모가 제 2 사용자인 아이의 눈을 가리는 경우, 제어부는, 사용자의 움직임 정보를 토대로, 제 1 사용자가 움직인 신체 부위가 팔과 손이 움직였는지를 식별할 수 있다.
그리고, 제어부는, 팔과 손에 연관되는 명령 정보들을 저장부로부터 1차적으로 추출할 수 있다.
다음, 제어부는, 사용자의 움직임 정보를 토대로, 사용자가 움직인 팔과 손에 연관되는 이동 정보들을 저장부로부터 추출할 수 있다.
여기서, 사용자가 움직인 팔과 손의 이동 정보는, 이동 위치, 이동 방향, 이동 거리, 이동 속도 등일 수 있다.
이어, 제어부는, 팔과 손에 연관되는 관련 명령 정보들로부터, 팔과 손의 이동 정보에 연관되는 명령 정보들만을 2차적으로 추출할 수 있다.
여기서, 예를 들면, 팔과 손의 이동 정보는, 제 1 사용자가 제 2 사용자의 눈을 가리는 동작이므로, 팔이 굽어지는 각도가 90도 이상이고, 손이 제 2 사용자의 눈 방향으로 이동하며, 제 1 사용자의 손과 제 2 사용자의 눈 사이의 거리가 1m 이내일 수 있다.
따라서, 제어부는, 추출된 명령 정보들로부터, 제 1 사용자가 움직인 팔과 손의 이동 정보에 따라, 제 1 사용자가 제 2 사용자의 눈을 가리는 동작을 한다고 인식하고, 제 1 사용자가 제 2 사용자의 눈을 가릴 때, 수행할 수 있는 사용자 명령들을 미리 예측할 수 있다.
그리고, 제어부는, 2차적으로 추출된 명령 정보들에 연관되는 음성 정보를 저장부로부터 추출할 수 있다.
다음, 제 1 사용자가 제 2 사용자의 눈을 가린 후에, "보지마"라고 말을 할 때, "보지마"라는 음성은, 마이크부(321)를 통해, 입력될 수 있다.
이어, 제어부는, "보지마"라는 음성 정보가, 저장부로부터 추출된 음성 정보 내에 존재하는지를 확인하고, 저장부로부터 추출된 음성 정보 내에 "보지마"라는 음성 정보가 존재한다면, "보지마"라는 음성 정보에 연관된 명령 정보를 3차적으로 추출할 수 있다.
그리고, 제어부는, "보지마"라는 음성 정보에 연관된 예측 명령 정보를 추출하면, 사용자 인터페이스 매니저 및 서비스 매니저를 제어하여, 멀티 미디어 장치의 디스플레이(180) 위에 "예측 명령 실행"이라는 메시지를 표시할 수 있다.
다음, 제어부는, 최종적으로 예측된 사용자 명령이 "채널 전환"라면, 채널 전환의 실행을 요청할 수 있다.
또한, 제어부는, 사용자 인터페이스 매니저 및 서비스 매니저를 제어하여, 멀티 미디어 장치의 디스플레이(180) 위에 "채널 전환"이라는 메시지를 표시할 수 있다.
따라서, 본 발명은, TV에서 야한 장면이 보여질 경우, 부모인 제 1 사용자가 아이인 제 2 사용자의 눈을 가릴 때, 사용자가 TV의 채널을 전환시키기 위한 사용자 명령을 따로 수행하지 않아도, TV 자체에서, 미리 예측하여, 해당하는 사용자 명령인, 채널 전환을 자동으로 수행할 수 있다.
도 24는 본 발명에 따른 멀티미디어 장치의 사용자 명령 예측 방법의 또 다른 일 예를 보여주는 도면이다.
도 24에 도시된 바와 같이, 제어부는 카메라부(311)로부터, 획득한 사용자의 움직임 정보를 토대로, 사용자가 움직인 신체 부위를 식별할 수 있다.
예를 들면, 촬영 영역 내에서, 사용자가 누워서 자는 경우, 제어부는, 사용자의 움직임 정보를 토대로, 사용자가 움직인 신체 부위가 팔, 손, 다리 및 몸체가 움직였는지를 식별할 수 있다.
그리고, 제어부는, 팔, 손, 다리 및 몸체에 연관되는 명령 정보들을 저장부로부터 1차적으로 추출할 수 있다.
다음, 제어부는, 사용자의 움직임 정보를 토대로, 사용자가 움직인 팔, 손, 다리 및 몸체에 연관되는 이동 정보들을 저장부로부터 추출할 수 있다.
여기서, 사용자가 움직인 팔, 손, 다리 및 몸체의 이동 정보는, 이동 위치, 이동 방향, 이동 거리, 이동 속도 등일 수 있다.
이어, 제어부는, 팔, 손, 다리 및 몸체에 연관되는 관련 명령 정보들로부터, 팔, 손, 다리 및 몸체의 이동 정보에 연관되는 명령 정보들만을 2차적으로 추출할 수 있다.
여기서, 예를 들면, 팔, 손, 다리 및 몸체의 이동 정보는, 사용자가 누워 자는 동작이므로, 사용자의 팔, 손, 몸체 및 다리가 수평을 이룰 수 있다.
따라서, 제어부는, 추출된 명령 정보들로부터, 제 1 사용자가 움직인 팔, 손, 다리 및 몸체의 이동 정보에 따라, 사용자가 누워있다고 인식하고, 사용자가 누워 있을 때, 수행할 수 있는 사용자 명령들을 미리 예측할 수 있다.
그리고, 제어부는, 2차적으로 추출된 명령 정보들에 연관되는 음성 정보를 저장부로부터 추출할 수 있다.
다음, 사용자가 누운 후에, "쿨쿨"이라고 음성이 마이크부(321)를 통해, 입력될 수 있다.
이어, 제어부는, "쿨쿨"이라는 음성 정보가, 저장부로부터 추출된 음성 정보 내에 존재하는지를 확인하고, 저장부로부터 추출된 음성 정보 내에 "쿨쿨"이라는 음성 정보가 존재한다면, "쿨쿨"이라는 음성 정보에 연관된 명령 정보를 3차적으로 추출할 수 있다.
그리고, 제어부는, "쿨쿨"이라는 음성 정보에 연관된 예측 명령 정보를 추출하면, 사용자 인터페이스 매니저 및 서비스 매니저를 제어하여, 멀티 미디어 장치의 디스플레이(180) 위에 "예측 명령 실행"이라는 메시지를 표시할 수 있다.
다음, 제어부는, 최종적으로 예측된 사용자 명령이 "TV 꺼짐"이라면, TV 꺼짐의 실행을 요청할 수 있다.
또한, 제어부는, 사용자 인터페이스 매니저 및 서비스 매니저를 제어하여, 멀티 미디어 장치의 디스플레이(180) 위에 "TV 꺼짐 실행"이라는 메시지를 표시할 수 있다.
따라서, 본 발명은, 사용자가 누워서 자는 경우, 사용자가 TV를 끄기 위한 사용자 명령을 따로 수행하지 않아도, TV 자체에서, 미리 예측하여, 해당하는 사용자 명령인, TV 꺼짐을 자동으로 수행할 수 있다.
다른 경우로서, 예를 들면, 촬영 영역 내에서, 사용자가 자는 경우, 제어부는, 사용자의 움직임 정보를 토대로, 사용자가 움직인 신체 부위가 사용자의 눈 부위인지를 식별할 수 있다.
그리고, 제어부는, 눈에 연관되는 명령 정보들을 저장부로부터 1차적으로 추출할 수 있다.
다음, 제어부는, 사용자의 움직임 정보를 토대로, 사용자가 움직인 눈에 연관되는 이동 정보들을 저장부로부터 추출할 수 있다.
여기서, 사용자가 움직인 눈의 이동 정보는, 이동 위치, 이동 방향, 이동 거리, 이동 속도 등일 수 있다.
이어, 제어부는, 눈에 연관되는 관련 명령 정보들로부터, 눈의 이동 정보에 연관되는 명령 정보들만을 2차적으로 추출할 수 있다.
여기서, 예를 들면, 눈의 이동 정보는, 사용자가 자는 동작이므로, 사용자의 눈꺼풀(eyelid)이 내려와 눈동자를 가리는 정도를 알려줄 수 있다.
따라서, 제어부는, 추출된 명령 정보들로부터, 제 1 사용자가 움직인 눈의 이동 정보에 따라, 사용자가 자고 있다고 인식하고, 사용자가 잘 때, 수행할 수 있는 사용자 명령들을 미리 예측할 수 있다.
그리고, 제어부는, 2차적으로 추출된 명령 정보들에 연관되는 음성 정보를 저장부로부터 추출할 수 있는데, 사용자가 잘 때, 음성이 마이크부를 통해, 입력되지 않을 수 있다.
이어, 제어부는, 음성 정보가 입력되지 않는 시간이, 설정된 시간 이상 지속될 경우, 제어부는, 설정된 시간 이상 지속적으로 음성 정보가 입력되지 않는 것에 연관된 예측 명령 정보를 추출하면, 사용자 인터페이스 매니저 및 서비스 매니저를 제어하여, 멀티 미디어 장치의 디스플레이 위에 "예측 명령 실행"이라는 메시지를 표시할 수 있다.
다음, 제어부는, 최종적으로 예측된 사용자 명령이 "TV 꺼짐"이라면, TV 꺼짐의 실행을 요청할 수 있다.
또한, 제어부는, 사용자 인터페이스 매니저 및 서비스 매니저를 제어하여, 멀티 미디어 장치의 디스플레이(180) 위에 "TV 꺼짐 실행"이라는 메시지를 표시할 수 있다.
따라서, 본 발명은, 사용자가 눈을 감고 자는 경우, 사용자가 TV를 끄기 위한 사용자 명령을 따로 수행하지 않아도, TV 자체에서, 미리 예측하여, 해당하는 사용자 명령인, TV 꺼짐을 자동으로 수행할 수 있다.
또 다른 경우로서, 예를 들면, 촬영 영역 내에서, 사용자가 자는 경우, 제어부는, 사용자의 움직임이 설정시간 이상 지속적으로 없는지를 식별할 수 있다.
그리고, 제어부는, 사용자의 움직임이 설정시간 이상 지속적으로 없는 것에 연관되는 명령 정보들을 저장부로부터 1차적으로 추출할 수 있다.
다음, 제어부는, 1차적으로 추출된 명령 정보들에 연관되는 음성 정보를 저장부로부터 추출할 수 있는데, 사용자가 잘 때, 음성이 마이크부를 통해, 입력되지 않을 수 있다.
이어, 제어부는, 음성 정보가 입력되지 않는 시간이, 설정된 시간 이상 지속될 경우, 제어부는, 설정된 시간 이상 지속적으로 음성 정보가 입력되지 않는 것에 연관된 예측 명령 정보를 추출하면, 사용자 인터페이스 매니저 및 서비스 매니저를 제어하여, 멀티 미디어 장치의 디스플레이 위에 "예측 명령 실행"이라는 메시지를 표시할 수 있다.
다음, 제어부는, 최종적으로 예측된 사용자 명령이 "TV 꺼짐"이라면, TV 꺼짐의 실행을 요청할 수 있다.
또한, 제어부는, 사용자 인터페이스 매니저 및 서비스 매니저를 제어하여, 멀티 미디어 장치의 디스플레이(180) 위에 "TV 꺼짐 실행"이라는 메시지를 표시할 수 있다.
따라서, 본 발명은, 사용자가 눈을 감고 자는 경우, 사용자가 TV를 끄기 위한 사용자 명령을 따로 수행하지 않아도, TV 자체에서, 미리 예측하여, 해당하는 사용자 명령인, TV 꺼짐을 자동으로 수행할 수 있다.
이와 같이, 본 발명의 일실시예에 의하면, 사용자의 움직임 정보와 사용자의 음성 정보를 획득함으로써, 사용자의 제어 명령 없이도, 사용자가 원하는 명령을 미리 예측하여 자동으로 수행할 수 있으므로, 사용자에게 편의를 제공할 수 있다.
또한, 사용자의 움직임 정보와 음성 정보를 함께 이용하여, 사용자가 원하는 명령을 미리 예측하므로, 명령 수행에 대한 오동작을 방지할 수 있어 신뢰성이 향상될 수 있다.
본 발명에 따른 멀티미디어 장치 및 그의 사용자 명령 예측 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
본 발명은 사용자의 음성 및 움직임을 토대로, 사용자가 원하는 명령을 미리 예측하여, 자동으로 수행할 수 있는 멀티미디어 장치 및 그의 사용자 명령 예측 방법에 관한 것이다. 따라서, 본 발명은 산업상 이용가능성이 있다.

Claims (20)

  1. 사용자의 움직임 정보를 획득하는 단계;
    상기 획득한 사용자의 움직임 정보로부터, 상기 사용자의 명령을 예측하는 단계;
    상기 사용자의 음성 입력 여부를 확인하는 단계;
    상기 사용자의 음성이 입력되면, 상기 사용자의 음성 정보를 획득하는 단계;
    상기 획득한 사용자의 음성 정보가, 상기 예측된 사용자의 명령에 연관되는지를 확인하는 단계; 그리고,
    상기 사용자의 음성 정보가 상기 예측된 사용자의 명령에 연관되면, 상기 예측된 사용자의 명령을 실행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  2. 제 1 항에 있어서, 상기 사용자의 움직임 정보를 획득하는 단계 이전에,
    촬영 영역 내에 상기 사용자의 존재 여부를 확인하는 단계;
    상기 촬영 영역 내에 상기 사용자가 존재하면, 상기 촬영 영역 내의 사용자를 촬영하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  3. 제 1 항에 있어서, 상기 사용자의 움직임 정보를 획득하는 단계는,
    상기 사용자의 이미지 정보를 획득하는 단계;
    상기 사용자의 이미지 정보로부터 상기 사용자가 다수인지 확인하는 단계;
    상기 사용자가 다수가 아니면, 상기 사용자의 움직임 정보를 연속적으로 획득하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  4. 제 3 항에 있어서, 상기 사용자가 다수인지 확인하는 단계에서,
    상기 사용자가 다수라면, 상기 사용자들의 움직임 정보 획득 순서를 결정하는 단계;
    상기 결정된 순서에 따라, 상기 사용자들의 움직임 정보를 일정 시간 간격으로 순차적으로 획득하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  5. 제 4 항에 있어서, 상기 사용자들의 움직임 정보 획득 순서는, 촬영 영역의 우측에서 좌측 방향으로 위치하거나, 또는 좌측에서 우측 방향으로 위치하는 상기 사용자들의 배열 순서에 따라 결정되는 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  6. 제 4 항에 있어서, 상기 사용자들의 움직임 정보 획득 순서는, 상기 멀티미디어 장치와 상기 사용자 사이의 거리에 따라 결정되는 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  7. 제 1 항에 있어서, 상기 사용자의 명령을 예측하는 단계는,
    상기 획득한 사용자의 움직임 정보로부터, 상기 사용자가 움직인 신체 부위를 식별하는 단계;
    상기 사용자가 움직인 신체 부위에 연관되는 명령 정보들을 추출하는 단계;
    상기 추출된 명령 정보들로부터, 상기 사용자가 움직인 신체 부위의 이동 정보에 따라, 상기 사용자가 수행하고자 하는 사용자 명령을 예측하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  8. 제 7 항에 있어서, 상기 사용자가 움직인 신체 부위의 이동 정보는, 상기 신체 부위의 이동 위치, 이동 방향, 이동 거리, 이동 속도 중 적어도 어느 하나인 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  9. 제 1 항에 있어서, 상기 사용자의 음성 입력 여부를 확인하는 단계에서,
    상기 사용자의 음성 입력이 없으면, 기설정 시간이 경과했는지를 확인하는 단계;
    상기 설정 시간이 경과하면, 상기 사용자가 촬영 영역 내에 존재하는지를 확인하는 단계;
    상기 사용자가 상기 촬영 영역 내에 존재하면, 상기 사용자의 움직임 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  10. 제 1 항에 있어서, 상기 획득한 사용자의 음성 정보가, 상기 예측된 사용자의 명령에 연관되는지를 확인하는 단계는,
    상기 예측된 사용자의 명령에 연관되는 음성 정보들을 추출하는 단계;
    상기 추출된 음성 정보들로부터, 상기 획득한 사용자의 음성 정보가 존재하는지를 확인하는 단계;
    상기 획득한 사용자의 음성 정보가 존재한다면, 상기 사용자의 음성 정보에 연관되는 명령 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  11. 제 10 항에 있어서, 상기 사용자의 음성 정보에 연관되는 명령 정보를 추출하는 단계에서,
    상기 명령 정보가 다수개이면, 상기 사용자의 음성 정보와 가장 유사한 음성 정보를 포함하는 명령 정보를 선택하는 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  12. 제 11 항에 있어서, 상기 사용자의 음성 정보와 가장 유사한 음성 정보는, 동일한 음성 단어 개수에 따라, 결정되는 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  13. 제 1 항에 있어서, 상기 예측된 사용자의 명령을 실행하는 단계는,
    상기 사용자의 음성 정보가 상기 예측된 사용자의 명령에 연관되면, 상기 사용자가 촬영 영역 내에 존재하는지를 확인하는 단계;
    상기 사용자가 상기 촬영 영역 내에 존재하면, 상기 예측된 사용자의 명령을 실행하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  14. 제 13 항에 있어서, 상기 사용자가 촬영 영역 내에 존재하는지를 확인하는 단계에서,
    상기 사용자는, 상기 움직임 정보의 주체인 사용자인 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  15. 제 1 항에 있어서, 상기 예측된 사용자의 명령을 실행하는 단계 이후,
    상기 사용자의 음성 입력이 있는지를 확인하는 단계;
    상기 사용자의 음성 입력이 없다면, 기설정된 시간을 경과했는지 확인하는 단계;
    상기 기설정된 시간을 경과했다면, 상기 예측된 사용자 명령 실행을 중지하고, 상기 예측된 사용자 명령 실행 전으로 복귀하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  16. 제 15 항에 있어서, 상기 사용자의 음성 입력이 있는지를 확인하는 단계에서,
    상기 사용자의 음성은, 상기 최초에 입력되는 사용자의 음성과 동일한 것을 특징으로 하는 멀티미디어 장치의 사용자 명령 예측 방법.
  17. 사용자 명령을 예측하는 멀티미디어 장치에 있어서,
    상기 사용자의 움직임 정보를 획득하는 움직임 정보 획득부;
    상기 사용자의 음성 정보를 획득하는 음성 정보 획득부;
    상기 사용자의 움직임 정보에 연관되는 음성 정보와, 상기 음성 정보에 연관되는 명령 정보를 저장하는 저장부; 그리고,
    상기 획득한 사용자의 움직임 정보로부터, 상기 사용자의 명령을 예측하고, 상기 획득한 사용자의 음성 정보가, 상기 예측된 사용자의 명령에 연관되는지를 확인하며, 상기 사용자의 음성 정보가 상기 예측된 사용자의 명령에 연관되면, 상기 예측된 사용자의 명령을 실행하도록 제어하는 제어부를 포함하여 구성되는 것을 특징으로 하는 멀티미디어 장치.
  18. 제 17 항에 있어서,
    상기 사용자가 촬영 영역 내에 존재하는지를 감지하는 센서부;
    상기 사용자의 음성 입력이 없는 시간을 측정하는 타이머를 더 포함하는 것을 특징으로 하는 멀티미디어 장치.
  19. 제 17 항에 있어서, 상기 움직임 정보 획득부는,
    촬영 영역 내에 존재하는 사용자를 촬영하는 카메라부;
    상기 카메라부로부터 촬영된 사용자의 이미지 정보를 처리하는 이미지 정보 처리부;
    상기 이미지 정보 처리된 사용자의 이미지 정보를 토대로, 사용자의 얼굴을 인지 및 인식하는 얼굴 인식부;
    상기 얼굴 인식부를 통해, 인식된 사용자의 신체 정보를 인지 및 인식하고, 현재 프레임에서 추출된 신체 정보와 이전 프레임에서 추출된 신체 정보를 비교하여, 사용자의 움직임 정도를 인식하는 움직임 인식부; 그리고,
    상기 이미지 정보 처리된 사용자의 이미지 정보를 토대로, 사용자가 다수라고 판단하면, 사용자들의 움직임 정보 획득 순서를 결정하는 우선 순위 결정부를 포함하는 것을 특징으로 하는 멀티미디어 장치.
  20. 제 19 항에 있어서, 상기 우선 순위 결정부는,
    상기 사용자들의 움직임 정보 획득 순서를 결정할 때, 상기 촬영 영역의 우측에서 좌측 방향으로 위치하는 사용자들의 배열 순서에 따라 결정되거나, 또는 좌측에서 우측 방향으로 위치하는 사용자들의 배열 순서에 따라 결정되는 것을 특징으로 하는 멀티미디어 장치.
PCT/KR2014/005799 2013-07-26 2014-07-01 멀티미디어 장치 및 그의 사용자 명령 예측 방법 WO2015012500A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130088487A KR20150012677A (ko) 2013-07-26 2013-07-26 멀티미디어 장치 및 그의 사용자 명령 예측 방법
KR10-2013-0088487 2013-07-26

Publications (1)

Publication Number Publication Date
WO2015012500A1 true WO2015012500A1 (ko) 2015-01-29

Family

ID=52393491

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/005799 WO2015012500A1 (ko) 2013-07-26 2014-07-01 멀티미디어 장치 및 그의 사용자 명령 예측 방법

Country Status (2)

Country Link
KR (1) KR20150012677A (ko)
WO (1) WO2015012500A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220417600A1 (en) * 2021-06-29 2022-12-29 Rovi Guides, Inc. Gesture-based parental control system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11112875B1 (en) * 2020-03-20 2021-09-07 Huawei Technologies Co., Ltd. Methods and systems for controlling a device using hand gestures in multi-user environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009130521A (ja) * 2007-11-21 2009-06-11 Aiphone Co Ltd テレビインターホン装置
KR20100102354A (ko) * 2009-03-11 2010-09-24 삼성전기주식회사 인체 움직임 및 인간 음성을 이용한 원격 조정 장치
KR20110009614A (ko) * 2009-07-22 2011-01-28 삼성전자주식회사 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
KR20120008994A (ko) * 2010-07-21 2012-02-01 정락환 음성인식장치를 구비하는 텔레비전 및 이를 이용한 제어방법
KR20130047890A (ko) * 2011-11-01 2013-05-09 삼성전기주식회사 원격 조정 장치 및 원격 조정 장치의 제스처 인식 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009130521A (ja) * 2007-11-21 2009-06-11 Aiphone Co Ltd テレビインターホン装置
KR20100102354A (ko) * 2009-03-11 2010-09-24 삼성전기주식회사 인체 움직임 및 인간 음성을 이용한 원격 조정 장치
KR20110009614A (ko) * 2009-07-22 2011-01-28 삼성전자주식회사 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
KR20120008994A (ko) * 2010-07-21 2012-02-01 정락환 음성인식장치를 구비하는 텔레비전 및 이를 이용한 제어방법
KR20130047890A (ko) * 2011-11-01 2013-05-09 삼성전기주식회사 원격 조정 장치 및 원격 조정 장치의 제스처 인식 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220417600A1 (en) * 2021-06-29 2022-12-29 Rovi Guides, Inc. Gesture-based parental control system

Also Published As

Publication number Publication date
KR20150012677A (ko) 2015-02-04

Similar Documents

Publication Publication Date Title
WO2015142016A1 (ko) 컨텐츠의 재생 제어 방법 및 이를 수행하기 위한 컨텐츠 재생 장치
WO2017003007A1 (ko) 영상표시장치 및 이동 단말기
WO2016017945A1 (en) Mobile device and method of pairing the same with electronic device
WO2012067344A2 (ko) 웹브라우징 방법 및 그를 이용한 영상 표시 기기
WO2015046747A1 (ko) Tv 및 그 동작 방법
WO2012026651A1 (en) Method for synchronizing contents and display device enabling the method
WO2012074189A1 (ko) 화면 표시 제어 방법 및 그를 이용한 영상 표시 기기
WO2014014308A1 (en) Method and system for sharing content, device and computer-readable recording medium for performing the method
WO2016043404A1 (ko) 멀티미디어 장치 및 그의 오디오 신호 처리방법
WO2012015118A1 (en) Method for operating image display apparatus
WO2012081803A1 (ko) 영상표시기기의 애플리케이션 메뉴 제공 방법 및 그에 따른 영상표시기기
WO2014042445A1 (en) Display apparatus and method for controlling display apparatus thereof
WO2012030055A1 (en) Image display apparatus and image displaying method thereof
WO2017111321A1 (ko) 영상표시장치
WO2012070742A1 (ko) 애플리케이션 설치 방법 및 그를 이용한 영상 표시 기기
WO2021132757A1 (ko) 디스플레이 장치
WO2018088667A1 (en) Display device
WO2016126048A1 (ko) 디스플레이 장치
WO2021117953A1 (ko) 디스플레이 장치
WO2017119571A1 (ko) 디지털 디바이스 및 그를 이용한 컬러 제어 시스템 및 방법
WO2020149426A1 (ko) 영상표시기기 및 그 제어방법
WO2022030857A1 (ko) 오디오 신호 처리 장치 및 그 동작 방법
WO2016035983A1 (ko) 영상제공장치, 및 그 동작방법
WO2016182124A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2015012500A1 (ko) 멀티미디어 장치 및 그의 사용자 명령 예측 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14829069

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14829069

Country of ref document: EP

Kind code of ref document: A1