WO2015046649A1 - 영상표시장치 및 영상표시장치 동작방법 - Google Patents

영상표시장치 및 영상표시장치 동작방법 Download PDF

Info

Publication number
WO2015046649A1
WO2015046649A1 PCT/KR2013/008706 KR2013008706W WO2015046649A1 WO 2015046649 A1 WO2015046649 A1 WO 2015046649A1 KR 2013008706 W KR2013008706 W KR 2013008706W WO 2015046649 A1 WO2015046649 A1 WO 2015046649A1
Authority
WO
WIPO (PCT)
Prior art keywords
pointer
representative image
image
signal
attached
Prior art date
Application number
PCT/KR2013/008706
Other languages
English (en)
French (fr)
Inventor
장세훈
박시화
김정도
김현희
최지호
여준희
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2013/008706 priority Critical patent/WO2015046649A1/ko
Priority to US14/913,869 priority patent/US10310702B2/en
Publication of WO2015046649A1 publication Critical patent/WO2015046649A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the present invention relates to an image display apparatus and a method of operating the image display apparatus, and more particularly, to an image display apparatus and an operation method of the image display apparatus capable of recognizing a user's gesture input.
  • the video display device includes both a device for receiving and displaying a broadcast, recording and playing a video, and a device for recording and playing audio.
  • Such an image display apparatus may be, for example, a television, a computer monitor, a projector, a tablet, a navigation device, a digital television receiver, or the like.
  • the functions of the video display device are diversified, in addition to broadcasting, playing a music or video file, a multimedia player has a complex function such as taking a picture or video, playing a game or receiving a broadcast. Is implemented.
  • image display devices have been implemented as smart devices (eg, smart televisions). Accordingly, the image display device may operate in conjunction with a mobile terminal or a computer as well as executing the Internet.
  • the image display device receives a digital broadcast and takes charge of a server function in a home network environment or a ubiquitous environment.
  • an external input device separate from the image display device for example, a spatial remote controller
  • the user may move the cursor or the pointer displayed on the image display device by using the spatial remote controller.
  • the image display apparatus has been developed to recognize a voice input to a main body and execute a corresponding function.
  • embodiments of the present invention use a complex user interface, in particular, a combination of a user's voice signal and a pointer moving through an external input device, so that an operation or function desired by a user for a specific object displayed on the screen can be performed more quickly and effectively. It is an object of the present invention to provide an image display apparatus and an operation method of the image display apparatus that can be implemented.
  • the image display device the microphone; A display unit configured to output a pointer to a screen; And a controller configured to generate a representative image corresponding to the first audio signal and attach the pointer to the pointer when the first voice signal is input to the microphone while the pointer is output on the screen.
  • the representative image attached to the pointer is displayed along the movement path of the pointer, and when a specific object on the screen is selected using the pointer to which the representative image is attached, the The display corresponding to the selection is output so that the function related to the representative image corresponding to the first audio signal is applied to the selected specific object.
  • the controller detects an image related to the function from a memory or a predetermined web server to generate the representative image, and the representative The display of the representative image is maintained next to the pointer after the function associated with the image is applied to the selected specific object.
  • the display apparatus may further include an interface unit configured to receive a pointing signal for moving the pointer to which the representative image is attached from an external input device, wherein the controller is further configured to move the pointer based on the received pointing signal. And controlling the representative image to move together.
  • the controller may be configured to hide the representative image attached to the pointer when there is no movement of the pointer for a preset time while the representative image is attached to the pointer, and hide the representative image as the pointer moves. Is controlled to reappear.
  • the controller may be configured to output a predetermined animation effect or a predetermined notification sound when the representative image is attached to the pointer according to the input of the first audio signal.
  • the controller may be further configured to control the second audio signal based on the specific region when the second audio signal is input to the microphone while the pointer on which the representative image is attached is moved to a specific region of the screen. And control to select at least one corresponding object.
  • the controller when the first audio signal includes additional information related to the function, the controller generates a second image representing the additional information, attaches the second image to the representative image, and moves the pointer as the pointer moves.
  • the second image is controlled to move together.
  • the controller when a specific object on the screen is selected by using the pointer to which the second image and the representative image are attached, the controller is connected to the representative image based on additional information corresponding to the second image.
  • the function may be applied to the selected specific object.
  • the controller may generate a representative image corresponding to the first voice signal when it is detected that the controller enters the voice recognition mode based on the input signal.
  • the controller may change the shape of the pointer and attach the representative image in a manner that is overlaid on at least a portion of the changed shape when entering the voice recognition mode.
  • the controller when the voice recognition mode is released, the controller outputs a visual effect of detaching the representative image from the pointer, or controls the display unit so that the representative image disappears from the screen.
  • the controller when a specific object on the screen is selected using the disappeared pointer, only the display corresponding to the selection is output.
  • the controller may be configured to convert the first representative image into a second representative image corresponding to a third voice signal when a third voice signal is input to the microphone while the first representative image is attached to the pointer. And perform a function corresponding to the changed second representative image based on the selected specific object.
  • the controller may be further configured to attach a thumbnail image of the selected specific object to the representative image when a fourth voice signal is input to the microphone while the specific object is selected using the pointer to which the representative image is attached. And controlling the display unit.
  • control unit controls the thumbnail image not to move together as the pointer moves, and when at least one of the thumbnail images is selected using the pointer to which the representative image is attached, the control unit displays the selected thumbnail image. Control to deselect the corresponding specific object.
  • control unit controls the display unit to visually distinguish the thumbnail image of the object on which the function corresponding to the first voice signal has already been executed and the thumbnail image of the object on which the function is to be executed. It features.
  • the controller if it is recognized that the first audio signal includes a plurality of functions, the controller generates a first representative image corresponding to the first function and a second representative image corresponding to the second function, respectively. Attaching to the pointer, and controlling the first and second representative images to move together as the pointer moves.
  • control unit may attach a first representative image corresponding to the first function to be executed closer to the pointer, and detach or disappear the first representative image from the pointer when the first function is executed. And a second representative image corresponding to a second function to be executed next to be attached close to the pointer.
  • the controller when the first voice signal does not include a voice indicating a predetermined function, the controller generates the text image converted into a voice image by recognizing the first voice signal as the representative image, and the representative image.
  • the specific object on the screen is selected by using the pointer to which the image is attached, the text image is output on the specific object.
  • a method of operating an image display device including: outputting a pointer moving on a screen according to a pointing signal received from an external input device; Generating a representative image corresponding to the first voice signal when the first voice signal is input to the microphone while the pointer is output on the screen; In response to the pointer being moved on the screen, displaying the representative image attached to the pointer along a movement path of the pointer; When a specific object on the screen is selected using the pointer to which the representative image is attached, a function corresponding to the first voice signal may be applied to the selected specific object while outputting a display corresponding to the selection. Characterized in that it comprises a step.
  • attaching to the pointer may generate the representative image by detecting an image related to the function from a memory or a predetermined web server. And maintaining the display of the representative image next to the pointer after the function related to the representative image is applied to the selected specific object.
  • the icons move together, and when a specific object is selected by the pointer, the icon attached to the pointer can immediately execute a function.
  • the same function is to be executed on a plurality of objects. It provides convenience to the user if I need to repeat the same operation.
  • FIG. 1 is a block diagram illustrating an image display device and an external input device according to the present invention.
  • FIG. 2 is a detailed block diagram illustrating the external input device of FIG. 1.
  • FIG. 3 is a conceptual diagram illustrating an operation of an image display apparatus and an external input apparatus according to the present invention.
  • FIG. 4 is an exemplary flowchart illustrating a method of operating an image display device according to an exemplary embodiment of the present invention.
  • 5A through 5D are conceptual diagrams for describing the flowchart of FIG. 4.
  • 6A to 6C are conceptual views illustrating an example in which different representative images are attached to a pointer according to a function corresponding to an input voice signal according to an embodiment of the present invention.
  • FIG. 7A to 7C are conceptual views illustrating an example in which a pointer and a representative image attached to the pointer change according to movement of an external input device according to an embodiment of the present invention.
  • FIG. 8 is a conceptual diagram illustrating an example in which an object is selected by a pointer to which a representative image is attached, based on an input voice signal according to an embodiment of the present invention.
  • 9A to 9C are conceptual views illustrating an example in which an icon indicating additional information is further attached to a pointer to which a representative image is attached, based on an input voice signal according to an embodiment of the present invention.
  • 10A to 10D illustrate examples of visual effects that are output when a representative image is attached, detached, or changed on a pointer according to an embodiment of the present invention.
  • FIG. 11A to 11D illustrate thumbnail images of objects selected by a pointer to which a representative image is attached, according to an embodiment of the present invention.
  • 12A to 12D are diagrams illustrating a method of outputting a representative image when there are a plurality of functions corresponding to input voice signals according to an embodiment of the present invention.
  • an image display apparatus includes both an apparatus for receiving and displaying a broadcast, recording and reproducing a moving image, and an apparatus for recording and reproducing audio.
  • the video display device 100 includes a tuner 110, a demodulator 120, a signal input / output unit 130, an interface unit 140, a controller 150, a storage unit 160, a display unit 170, and an audio. It includes an output unit 180.
  • the external input device 200 may be a separate device from the image display device 100 or may be included as a component of the image display device 100.
  • the tuner 110 selects an RF broadcast signal corresponding to a channel selected by a user from a radio frequency (RF) broadcast signal received through an antenna, and converts the RF broadcast signal into an intermediate frequency signal or a baseband image. Convert to voice signal. For example, if the RF broadcast signal is a digital broadcast signal, the tuner 110 converts the RF broadcast signal into a digital IF signal (DIF). On the other hand, if the RF broadcast signal is an analog broadcast signal, the tuner 110 converts the RF broadcast signal into an analog baseband video / audio signal (CVBS / SIF). As such, the tuner 110 may be a hybrid tuner capable of processing digital broadcast signals and analog broadcast signals.
  • RF radio frequency
  • the digital IF signal DIF output from the tuner 110 is input to the demodulator 120, and the analog baseband video / audio signal CVBS / SIF output from the tuner 110 is input to the controller 160. Can be.
  • the tuner 110 may receive an RF broadcast signal of a single carrier according to an Advanced Television Systems Committee (ATSC) scheme or an RF broadcast signal of multiple carriers according to a digital video broadcasting (DVB) scheme.
  • ATSC Advanced Television Systems Committee
  • DVD digital video broadcasting
  • the present invention is not limited thereto, and the image display apparatus 100 may include a plurality of tuners, for example, first and second tuners.
  • the first tuner may receive a first RF broadcast signal corresponding to a broadcast channel selected by a user
  • the second tuner may sequentially or periodically receive a second RF broadcast signal corresponding to a previously stored broadcast channel.
  • the second tuner may convert the RF broadcast signal into a digital IF signal (DIF) or an analog baseband video / audio signal (CVBS / SIF) in the same manner as the first tuner.
  • DIF digital IF signal
  • CVBS / SIF analog baseband video / audio signal
  • the demodulator 120 receives the converted digital IF signal DIF from the tuner 110 and performs a demodulation operation.
  • the demodulator 120 performs 8-VSB (8-Vestigal Side Band) demodulation.
  • 8-VSB (8-Vestigal Side Band) demodulation is a demodulation by the residual sideband modulation of single carrier amplitude modulation using the National Television System Committee (NTSC) frequency band.
  • the demodulator 120 may perform channel decoding such as trellis decoding, de-interleaving, Reed Solomon decoding, and the like.
  • the demodulator 120 may include a trellis decoder, a de-interleaver, a reed solomon decoder, and the like.
  • the demodulator 120 performs coded orthogonal frequency division modulation (COFDMA) demodulation.
  • the demodulator 120 may perform channel decoding such as convolutional decoding, deinterleaving, and Reed Solomon decoding.
  • the demodulator 120 may include a convolution decoder, a deinterleaver and a Reed-Solomon decoder.
  • the demodulator 120 may output a stream signal TS after demodulation and channel decoding.
  • the stream signal may be a signal multiplexed with a video signal, an audio signal, or a data signal.
  • the stream signal TS may be an MPEG-2 TS (Transprt Stream) multiplexed with an MPEG-2 standard video signal, a Dolby AC-3 standard audio signal, and the like.
  • the MPEG-2 TS may include a header of 4 bytes and a payload of 184 bytes.
  • the signal output from the demodulator 120 may be input to the controller 170 to perform demultiplexing, image / audio signal processing, and the like.
  • the signal input / output unit 130 may be connected to an external device, for example, a DVD (Digital Veratile Disk), a Blu-ray (Blu ray), a game device, a camera, a camcorder, a computer (laptop), a set-top box, a mobile device, a smart phone, or the like. Wirelessly connected to perform signal input and output operations. To this end, it may include an A / V input / output unit for connecting to a wired network and a wireless communication unit for connecting to a wireless network.
  • a / V input / output part is Ethernet (Ethernet) terminal, USB terminal, CVBS (Composite Video Banking Sync) terminal, component terminal, S-video terminal (analog), DVI (Digital Visual Interface) terminal, HDMI (High Definition Multimedia Interface) terminal , MHL (Mobile High-definition Link) terminal, RGB terminal, D-SUB terminal, IEEE 1394 terminal, SPDIF terminal, a liquid (Liquid) HD terminal and the like.
  • the digital signal input through these terminals may be transmitted to the controller 150.
  • an analog signal input through the CVBS terminal and the S-video terminal may be converted into a digital signal through an analog-digital converter (not shown) and transmitted to the controller 150.
  • the wireless communication unit may perform a wireless internet connection.
  • the wireless communication unit performs wireless Internet access by using a wireless LAN (Wi-Fi), a wireless broadband (Wibro), a world interoperability for microwave access (Wimax), a high speed downlink packet access (HSDPA), or the like. can do.
  • the wireless communication unit may perform near field communication with other electronic devices.
  • the wireless communication unit may perform short range wireless communication using Bluetooth, Radio Frequency Identification (RFID), infrared data association (IrDA), Ultra Wideband (UWB), ZigBee, and the like. have.
  • RFID Radio Frequency Identification
  • IrDA infrared data association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the signal input / output unit 130 may transmit and receive data with a corresponding web page through a wired / wireless network and transmit and receive data with a corresponding server.
  • content or data provided by a content provider or a network operator such as a movie, may be used.
  • Content such as advertisements, games, VODs, broadcast signals, and related information.
  • the signal input / output unit 130 may receive firmware update information and update files provided by a network operator through a wired / wireless network, and may select and receive a desired application from among applications that are open to the public. have.
  • the signal input / output unit 130 may transmit the video signal, the audio signal, and the data signal provided from the external device to the controller 150.
  • the signal input / output unit 130 may transmit image signals, audio signals, and data signals of various media files stored in an external storage device such as a memory device or a hard disk to the controller 150.
  • the signal input / output unit 130 may transmit the image signal, the audio signal, and the data signal processed by the controller 150 to the external device or another external device.
  • the signal input / output unit 130 may be connected to a set-top box, for example, a set-top box for an IPTV (Internet Protocol TV) through at least one of the various terminals described above, to perform signal input and output operations. .
  • the signal input / output unit 130 may transmit the video signal, the audio signal, and the data signal processed by the set-top box for IPTV to the controller 150 to enable bidirectional communication, and transmit the signals processed by the controller 150. You can also pass it back to a set-top box for IPTV.
  • the IPTV may include ADSL-TV, VDSL-TV, FTTH-TV, etc. classified according to a transmission network, and may include TV over DSL, Video over DSL, TV over IP (TVIP), and Broadband TV (BTV). It may include, and may further include an Internet TV, a full browsing TV with Internet access.
  • the digital signal output from the signal input / output unit 130 may also include a stream signal TS.
  • the stream signal TS may be a signal multiplexed with a video signal, an audio signal, and a data signal.
  • the interface unit 140 may transmit a signal input by the user to the controller 150, or may transmit a signal transmitted from the controller 150 to the user.
  • the interface unit 140 may transmit a user input signal input to a power key, a channel key, a volume key, a setting key, or the like to the controller 150.
  • the interface unit 140 may be provided with a sensor unit (not shown) for sensing a user's gesture, a user's position, a touch, and the like.
  • the sensor unit may include a touch sensor, a voice sensor, a position sensor, a motion sensor, a gyro sensor, and the like. In such a case, the interface unit 140 may transmit an input signal input from the sensor unit to the controller 150 or transmit a signal from the controller 150 to the sensor unit.
  • the interface unit 140 receives an input signal input by a user for power control, channel selection, screen setting, etc. from an external input device 200, for example, a spatial remote controller, or a signal processed by the controller 160. May be transmitted to the external input device 200.
  • an external input device 200 for example, a spatial remote controller, or a signal processed by the controller 160. May be transmitted to the external input device 200.
  • the interface unit 140 and the external input device 200 may be connected by wire or wirelessly.
  • the interface unit 140 may receive personal information from the external input device 200 and / or receive web server information that is being accessed through such personal information.
  • the external input device 200 may receive personal information stored in the mobile terminal.
  • the personal information may be information necessary to log in to a predetermined account in order to access an electronic device or use a service.
  • the controller 150 controls the overall operation of the image display apparatus 100. Specifically, the controller 150 demultiplexes the stream signal TS received through the tuner 110, the demodulator 120, and / or the signal input / output unit 130, or processes the demultiplexed signals, A signal for video or audio output can be generated and output. For example, the controller 150 may control the tuner 110 to tune an RF broadcast signal corresponding to a channel selected by a user or a previously stored channel.
  • the image signal processed by the controller 150 may be transmitted to the display unit 170 to output an image corresponding to the sea image signal, and the audio signal processed by the controller 150 may be transmitted to the audio output unit 180. Can output sound.
  • the image signal and / or audio signal processed by the controller 150 may be input to the output device of the external device through the signal input / output unit 130.
  • the controller 150 may demultiplex the stream signal TS, or generate and output a signal for video or audio output by processing the demultiplexed signals, although not shown in the drawing.
  • the image processor may include an image processor, an on screen display (OSD) generator, an audio processor, a data processor, and a channel browsing processor.
  • OSD on screen display
  • the demultiplexer demultiplexes the input stream signal TS.
  • the demultiplexing may demultiplex the MPEG-2 stream signal TS, for example, into a video signal, an audio signal, and a data signal, respectively.
  • the stream signal TS may be output from the tuner 110, the demodulator 120, and / or the signal input output 130 as described above.
  • the image processor may perform image processing, for example, decoding of the demultiplexed image signal. More specifically, the image processing unit decodes an encoded video signal of MPEG-2 standard using an MPEG-2 decoder, and uses a digital multimedia broadcasting (DMB) method or a digital video broadcast- DVB using an H.264 decoder. The video signal of the H.264 standard can be decoded according to the handheld method.
  • the image processor may process the image such that brightness, tint, color, etc. of the image signal are adjusted.
  • the image processor may scale the demultiplexed image signal to be output from the display unit 170. As described above, the image signal processed by the image processor may be transmitted to the display unit 170 or may be transmitted to an external output device (not shown) through an external output terminal.
  • the OSD generator may generate an OSD signal according to a user input or itself. More specifically, the OSD generator may graphically display various information on the screen of the display unit 170 based on at least one of an image signal and a data signal or an input signal received from the external input device 200. You can create a signal for display in text or text.
  • the generated OSD signal may include various data such as a user interface screen of the image display apparatus 100, various menu screens, widgets, icons, a pointer corresponding to a pointing signal transmitted from the external input apparatus 200, and the like.
  • the generated OSD signal may include a 2D object or a 3D object.
  • the controller 150 may mix the OSD signal generated by the OSD generator and the decoded image signal processed by the image processor.
  • the mixed image signal may change the frame rate of the image through a frame rate converter (FRC).
  • the mixed video signal may be output by changing the format of the video signal through a formatter, separating the 2D video signal and the 3D video signal for 3D video display, or converting the 2D video signal into a 3D video signal. .
  • the speech processor may perform a speech signal, for example, decoding on the demultiplexed speech signal. More specifically, the voice processing unit may decode the encoded voice signal of the MPEG-2 standard using the MPEG-2 decoder, and the MPEG 4 bit sliced arithmetic coding (BSAC) standard according to the DMB method using the MPEG 4 decoder.
  • the encoded audio signal can be decoded, and the AAC decoder can decode the encoded audio signal of the AAC (Advanced Audio Codec) standard of MPEG 2 according to the satellite DMB method or the Digital Video Broadcast-Handheld (DVB-H) method. Can be.
  • the voice processing unit may process a base, treble, volume control, and the like.
  • the voice signal processed by the voice processor may be transmitted to the audio output unit 180, for example, a speaker, or may be transmitted to an external output device.
  • the data processor may perform data processing, for example, decoding on the demultiplexed data signal.
  • the data signal may include EPG (Electronic Program Guide) information including broadcast information such as a start time and an end time of a broadcast program broadcast in each channel.
  • the EPG information may include, for example, ATSC-PSIP (ATSC-Program and System Information Protocol) information in the ATSC scheme and DVB-Service Information (DVB-SI) in the DVB scheme.
  • ATSC-PSIP ATSC-Program and System Information Protocol
  • DVB-SI DVB-Service Information
  • the ATSC-PSIP information or the DVB-SI information may be included in the header (4 bytes) of the MPEG-2 stream signal TS.
  • the channel browsing processor receives the stream signal TS output from the demodulator 120 or the stream signal TS output from the signal input / output unit 130, extracts an image therefrom, and generates a thumbnail image.
  • the generated thumbnail image may be input as it is or encoded to the controller 150.
  • the controller 150 may display the thumbnail list including the plurality of thumbnail images on the display unit 170 using the input thumbnail image.
  • the thumbnail image in the thumbnail list may be displayed in the entire area of the display unit 170 or may be displayed in a partial view of the display unit 170 in a simple view.
  • the thumbnail images in the thumbnail list may be updated sequentially.
  • the controller 150 may also perform signal processing on the analog baseband video / audio signal CVBS / SIF.
  • the analog baseband video / audio signal CVBS / SIF input to the controller 150 may be an analog baseband video / audio signal output from the tuner 110 or the signal input / output unit 130.
  • the controller 150 processes the input analog baseband video / audio signal (CVBS / SIF), displays the processed video signal on the display unit 170, and processes the processed audio signal through the audio output unit ( 180) to control the output.
  • the controller 150 may control the operation of the image display apparatus 100 by a user command or an internal program input through the signal input / output unit 130 or the interface unit 140. More specifically, the controller 150 is received from the signal input and output unit 130 or the interface unit 140, the device information of the adjacent external device around the image display device 100, the channel information capable of remote control of other external devices, Based on the frequency information or the code information, it is determined whether or not each external device is connected according to the personal information from the external input device 200, and controls to display an object indicating that the external device is connected on the display 170. can do.
  • the controller 150 may display at least one object displayed on the display unit 170 as a 3D object.
  • the object may be, for example, at least one of a connected web screen (newspaper, magazine, etc.), an electronic program guide (EPG), and various menus, widgets, icons, still images, videos, and text.
  • EPG electronic program guide
  • the controller 150 may gesture a user by combining or combining an image captured by a photographing unit (not shown), a detected signal from a sensing unit (not shown), or an input signal transmitted from the external input device 200. Can be detected.
  • the controller 150 may recognize the location of the user based on the image photographed from the photographing unit (not shown). For example, the distance (z-axis coordinate) between the user and the image display apparatus 100 may be determined, and in addition, the x-axis coordinate and the y-axis coordinate in the display unit 170 corresponding to the user position may be determined. .
  • the storage unit 160 may store a program for signal processing and control of the controller 150, and may store a program related to a predetermined broadcast channel through a channel memory function such as a video signal, an audio signal, a data signal, and a channel map which have been processed. Information can also be stored.
  • the storage unit 160 may include a flash memory, a hard disk, a multimedia card micro type, a card type memory (for example, SD or XD memory), random access (RAM), and the like.
  • RAM random access memory
  • RAM static random access memory
  • ROM read-only memory
  • EEPROM electrically erasable programmable read-only memory
  • PROM programmable read-only memory
  • magnetic memory magnetic disk
  • optical disk At least one of the storage medium may include.
  • the storage 160 may store IR format key codes for controlling other external devices, and may store IR format key databases of a plurality of external devices.
  • the display unit 170 outputs an image signal, a data signal, an OSD signal, or an image signal, a data signal, a control signal, etc. received from the signal input / output unit 130 or the interface unit 140 processed by the controller 150.
  • the driving signal is converted into a signal to generate a driving signal, and through this, an image is output.
  • the display unit 170 may include a plasma display panel (PDP), a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT-LCD), and an organic light emitting diode (Organic).
  • Light Emitting Diode OLED, flexible display, 3D display, e-ink display, etc. can be implemented in various forms.
  • the display unit 170 when the display unit 170 is a 3D display, the display unit 170 may be implemented by an additional display method or a single display method for viewing a 3D image.
  • the independent display method may implement a 3D image by the display unit 170 alone without a separate display, for example, without glasses, for example, a lenticular method, a parallax barrier, or the like. This can be applied.
  • the additional display method may implement a 3D image using a 3D viewing device in addition to the display unit 170. For example, a method such as a head mounted display (HND) type or a glasses type may be applied.
  • HND head mounted display
  • the display unit 170 when the display unit 170 is implemented as a touch screen with a touch sensor, the display unit 170 may also function as an input device.
  • the touch sensor may be configured to convert a change in pressure applied to a specific portion of the display unit 170 or capacitance generated at a specific portion of the display unit 170 into an electrical input signal.
  • the touch sensor may be configured to detect not only the position and area where the touch object is touched on the touch sensor but also the pressure at the touch.
  • the touch object is an object applying a touch to the touch sensor and may be, for example, a finger, a touch pen or a stylus pen, a pointer, or the like. If there is a touch input to the touch sensor, the corresponding signal (s) is sent to the touch controller. The touch controller processes the signal (s) and then transmits the corresponding data to the controller. As a result, the controller 150 may determine which area of the display unit 170 is touched.
  • the audio output unit 180 receives a voice signal processed by the controller 150, for example, a stereo signal or a 5.1 channel signal, and outputs a sound corresponding thereto. To this end, the audio output unit 180 may be implemented as various types of speakers.
  • the microphone 190 may receive a predetermined voice command from the user.
  • the microphone 190 may include various noise removing algorithms for removing noise generated in the process of inputting an external sound signal.
  • the user's voice command or external sound input through the microphone 190 may be input to the controller 150. Then, the controller 150 may process the received voice command or sound to recognize the corresponding meaning or function.
  • the camera (not shown) is taken outside or the user, generally one is provided, but may be provided with two or more depending on the use environment.
  • Image information photographed through the camera may be input to the controller 150. Then, the controller 150 may process the input image information to detect the location or operation of the user or a specific object.
  • the image display apparatus 100 may include an image communication unit (not shown) including a camera (not shown) and a microphone 190.
  • the controller 150 may process the image information photographed by the camera and the audio information collected by the microphone 190 and transmit the signal to the counterpart's video communication device through the signal input / output unit 130 or the interface 140.
  • the power supply unit (not shown) supplies the corresponding power throughout the image display apparatus 100.
  • power may be supplied to the controller 150, which may be implemented in the form of a System On Chip (SOC), a display unit 170 for displaying an image, and an audio output unit 180 for audio output. Can be.
  • SOC System On Chip
  • the power supply unit may include a converter (not shown) for converting AC power into DC power.
  • the inverter further includes an inverter (not shown) capable of PWM operation in order to drive the variable brightness or dimming (dimming) You may.
  • the external input device 200 is connected to the interface unit 140 by wire or wirelessly, and transmits an input signal generated according to a user input to the interface unit 140.
  • the external input device 200 may include a remote controller (eg, a spatial remote controller), a mouse, a keyboard, a wheel, and the like.
  • the remote controller may transmit the input signal to the interface unit 140 through Bluetooth, RF communication, infrared communication (IR communication), UWB (Ultra Wideband), ZigBee (ZigBee) scheme, and the like.
  • a predetermined input signal may be generated by detecting an operation of the main body.
  • the image display apparatus 100 may be implemented as a fixed digital broadcast receiver or a mobile digital broadcast receiver.
  • ATSC 8-VSB digital broadcasting using a single carrier and terrestrial DVB-T method using a plurality of carriers (COFDM)
  • COFDM a plurality of carriers
  • the image display device 100 When the image display device 100 is implemented as a mobile digital broadcast receiver, terrestrial DMB digital broadcasting, satellite DMB digital broadcasting, ATSC-M / H digital broadcasting, DVB-H (Digital Video Broadcast-Handheld) ) Can be implemented to receive at least one of the digital broadcast of the media method, the digital broadcast of the Media Flow Link Only method.
  • DVB-H Digital Video Broadcast-Handheld
  • the image display apparatus 100 may also be implemented as a digital broadcast receiver for cable, satellite communication, and IPTV.
  • the image display apparatus 100 described above may be applied to a mobile terminal.
  • the mobile terminal includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), navigation, a slate PC, a tablet PC ( tablet PC), ultrabook, and the like.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • navigation a slate PC, a tablet PC ( tablet PC), ultrabook, and the like.
  • a wireless communication unit may be further added in addition to the above configuration.
  • the wireless communication unit enables wireless communication between the mobile terminal and the wireless communication system or between the mobile terminal and the network in which the mobile terminal is located.
  • the wireless communication unit may include at least one of a broadcast receiving module, a mobile communication module, a wireless internet module, a short range communication module, and a location information module.
  • the broadcast reception module may receive a broadcast signal and / or broadcast related information from a broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel, a terrestrial channel, and the like.
  • the broadcast management server may refer to a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a previously generated broadcast signal and / or broadcast related information and transmits the same to a terminal.
  • the broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal. .
  • broadcast associated information may mean information related to a broadcast channel, a broadcast program or a broadcast service provider, and such broadcast related information may be provided through a mobile communication network.
  • broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).
  • EPG Electronic Program Guide
  • DMB Digital Multimedia Broadcasting
  • ESG Electronic Service Guide
  • DVD-H Digital Video Broadcast-Handheld
  • the broadcast receiving module may include, for example, Digital Multimedia Broadcasting-Terrestrial (DMB-T), Digital Multimedia Broadcasting-Satellite (DMB-S), Media Forward Link Only (MediaFLO), and Digital Video Broadcast-Handheld (DVB-H).
  • DMB-T Digital Multimedia Broadcasting-Terrestrial
  • DMB-S Digital Multimedia Broadcasting-Satellite
  • MediaFLO Media Forward Link Only
  • DVD-H Digital Video Broadcast-Handheld
  • DMB-CBMS Digital Multimedia Broadcasting-Terrestrial
  • DMB-S Digital Multimedia Broadcasting-Satellite
  • MediaFLO Media Forward Link Only
  • DVD-H Digital Video Broadcast-Handheld
  • DVD-CBMS Convergence of Broadcasting and Mobile Service
  • OMA-BCAST Open Mobile Alliance-BroadCAST
  • CMMB China Multimedia Mobile Broadcasting
  • MBBMS Mobile Broadcasting Business Management System
  • the broadcast signal and / or broadcast related information received through the broadcast receiving module may be stored in a memory.
  • the mobile communication module transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the mobile communication module is configured to implement a video call mode and a voice call mode.
  • the video call mode refers to a state of making a call while viewing the other party's video
  • the voice call mode refers to a state of making a call without viewing the other party's image.
  • the mobile communication module is configured to transmit and receive at least one of audio and video to implement a video call mode and a voice call mode.
  • the wireless internet module is a module for wireless internet access and may be embedded or external to the mobile terminal.
  • Wireless Internet technologies include Wireless LAN (WLAN), Wireless Fidelity (WiFi) Direct, Digital Living Network Alliance (DLNA), Wireless broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), GSM, CDMA, WCDMA, Long Term Evolution (LTE) and the like can be used.
  • the short range communication module refers to a module for short range communication.
  • Short range communication technology enables Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), Wi-Fi Direct And the like can be used.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee Near Field Communication
  • NFC Near Field Communication
  • the location information module is a module for acquiring a location of a mobile terminal, and a representative example thereof is a global position system (GPS) module or a wireless fidelity (WiFi) module.
  • GPS global position system
  • WiFi wireless fidelity
  • FIG. 2 is a block diagram illustrating in detail the external input device 200 shown in FIG. 1.
  • the external input device 200 includes a wireless communication unit 210, a user input unit 220, a detection unit 230, an output unit 240, a power supply unit 250, a storage unit 260, and a control unit 270. It can be made, including.
  • the wireless communication unit 210 transmits a signal to the image display apparatus 100 or receives a signal from the image display apparatus 100.
  • the wireless communication unit 210 may include an RF module 211 and an IR module 212.
  • the RF module 211 is connected to the interface unit 140 of the image display device 100 according to the RF communication standard, and transmits and receives a signal, and the IR module 212 interfaces of the image display device 100 according to the IR communication standard.
  • the unit 140 may transmit and receive a signal.
  • the wireless communication unit 210 may transmit a signal including information such as movement of the external input device 200 to the image display apparatus 100 through the RF module 211.
  • the external input device 200 further includes an NFC module (not shown) for short-range magnetic field communication with an external device, and is connected to a predetermined external device by short-range magnetic field communication by personal information or personal information.
  • the server information may be received, and the received information may be transmitted to the image display apparatus 100 through the RF module 211 or the IR module 212.
  • the external input device 200 may interface with the image display device 100 using Bluetooth, infrared (IR) communication, ultra wideband (UWB), ZigBee, near field communication (NFC), or the like.
  • IR infrared
  • UWB ultra wideband
  • ZigBee ZigBee
  • NFC near field communication
  • a signal may be sent to 140.
  • the external input device 200 may receive an image, audio, or data signal output from the interface unit 140 of the image display device 100.
  • the external input apparatus 200 may display or output the audio on the external input apparatus 200 based on the received image, audio, or data signal.
  • the external input device 200 may receive device information of another external device, channel information for enabling remote control of another external device, frequency information or code information, and the like from a neighboring external device nearby. Based on the information, remote control may be performed by allocating a channel, a frequency, or a code to the corresponding external device.
  • the user input unit 220 may be provided as, for example, a keypad, a key button, a touch screen, a scroll key, a jog key, or the like.
  • the user may input a control command related to the image display apparatus 100 by manipulating the user input unit 220.
  • the control command may be input by the user through a push operation of a hard key button of the user input unit 200.
  • the command may be input, for example, when the user input unit 220 includes a touch screen, by the user touching a soft key of the touch screen.
  • the user input unit 220 may include, for example, an ok key, a menu key, a four-way key, a channel control key, a volume control key, a back key, a home key, and the like. have.
  • An OK key (not shown) may be used to select a menu or item, and a menu key (not shown) may be used to display a predetermined menu.
  • the four-way key (not shown) may be used to move the pointer or indicator displayed on the display unit 170 of the image display apparatus 100 up, down, left, or right.
  • the channel adjustment key (not shown) may be used to adjust the channel up and down
  • the volume adjustment key (not shown) may be used to adjust the volume up and down.
  • a back key (not shown) may be used when moving to a previous screen
  • a home key (not shown) may be used when moving to a home screen.
  • the confirmation key may be implemented by adding a scroll function.
  • the confirmation key may be implemented in the form of a wheel key. That is, when the user pushes the confirmation key up / down or left / right, it can be used as a menu or item selection. When the user rotates the provided wheel up / down, the image display device in a direction corresponding to the rotation of the wheel
  • the screen output to the display unit 170 of FIG. 100 may be scrolled or switched to the next list page. For example, when only a part of the screen to be output is displayed on the display unit 170, when the wheel of the confirmation key is scrolled to search for the desired part of the screen, the screen that is not currently output to the display unit 170 The area may be output to the display unit 170.
  • the list page is displayed on the display unit 170
  • the wheel of the confirmation key is scrolled, the previous page or the next page of the current page displayed on the display unit 170 may be displayed.
  • the channel can be raised or lowered according to the rotation of the wheel when the broadcasting channel is switched, and the volume can be increased by the volume corresponding to the rotation of the wheel when adjusting the volume. You can print at a higher volume or at a lower volume.
  • the scroll function of the confirmation key may be implemented as a separate key.
  • the detector 230 may include a gyro sensor 231, an acceleration sensor 232, and an acoustic sensor 233.
  • the gyro sensor 231 may detect the spatial movement of the external input device 200 based on the x, y, and z axes.
  • the acceleration sensor 232 may detect a moving speed of the external input device 200 and the like.
  • the acoustic sensor 233 may detect voice information input to the external input device 200 and transmit the voice information to the controller 170 or the image display device 100. Then, the controller 170 or the image display apparatus 100 may recognize the voice corresponding to the voice information and / or recognize the recognized voice as a control command for controlling the operation of the image display apparatus 100. .
  • the sensing unit 230 may further include a distance measuring sensor, whereby the distance to the display unit 170 may be detected.
  • the output unit 240 outputs information corresponding to the operation of the user input unit 220 and information corresponding to the transmission signal of the image display apparatus 100.
  • the user may recognize an operation state of the user input unit 220 or a control state of the image display apparatus 100 through the output unit 240.
  • the output unit 240 outputs the LED module 241 that is turned on, the vibration module 242 that generates the vibration, and the sound in response to an operation of the user input unit 220 or a signal transmitted and received through the wireless communication unit 210.
  • a sound output module 243 and a display module 244 for outputting an image may be provided.
  • the power supply unit 250 supplies power to various electronic elements of the external input device 200.
  • the power supply unit 250 may reduce the waste of power by stopping the power supply when the external input device 200 does not move for a predetermined time, and supply power when a predetermined key of the external input device 200 is operated. Can be resumed.
  • the storage unit 260 may store various programs, applications, and frequency band information related to the control or operation of the external input device 200.
  • the storage unit 260 may store IR format key codes for controlling other external devices with an IR signal, and may store IR format key databases of a plurality of external devices.
  • the controller 270 generally controls the general matters related to the control of the external input device 200.
  • the controller 270 may transmit a signal corresponding to a predetermined key manipulation of the user input unit 220 to the image display apparatus 100 through the communication unit 210.
  • the controller 270 may transmit a signal corresponding to the movement of the external input device 200 sensed by the detector 230 to the image display device 100 through the wireless communication unit 210.
  • 100 may calculate a coordinate value of a pointer corresponding to the movement of the external input device 200.
  • FIG. 3 is a conceptual diagram illustrating the mutual operation of the image display apparatus 100 and the external input apparatus 200 according to the present invention.
  • a TV receiver is illustrated as an example of the image display apparatus 100
  • a spatial remote controller is illustrated as an example of the external input apparatus 200 for the purpose of explanation.
  • the external input device 200 may transmit / receive a signal with the image display device 100 according to an RF communication standard.
  • the control menu may be displayed on the screen of the image display apparatus 100 according to a control signal of the external input apparatus 200.
  • the external input device 200 may be provided with a plurality of buttons and may generate an external input signal according to a user's button manipulation.
  • the external input device 200 may transmit the information about the movement in the 3D space of the external input device 200 detected by the sensing unit to the image display device 100.
  • the screen of the image display device 100 may be moved by the movement of the external input device 200.
  • the corresponding pointer 101 is displayed.
  • the external input apparatus 200 may be referred to as a spatial remote controller since the corresponding pointer 101 is moved and displayed on the screen of the image display apparatus 100 according to the movement in 3D space.
  • the image display apparatus 100 may calculate the X and Y coordinates of the pointer from the information about the movement of the external input apparatus 200. Then, the image display apparatus 100 may display the pointer 101 at a position corresponding to the calculated coordinates.
  • the user moves the external input device 200 away from the screen of the image display device 100 while pressing a specific button provided in the external input device 200, the user corresponds to the pointer 101 displayed on the screen.
  • the selected area in the screen can be zoomed in (zoom out) and displayed (zoom in).
  • the selection area in the screen corresponding to the pointer 101 displayed on the screen is zoomed out (zoom in), and then reduced (expanded). ) Can be displayed.
  • the moving speed, the moving direction, and the screen scrolling speed according to the movement of the pointer 101 displayed on the screen of the image display apparatus 100 may be determined according to the moving speed and / or the moving direction of the external input device 200.
  • the pointer 101 may be formed in the shape of an object of various shapes, for example, a point, a cursor, a prompt, an outline, etc. in addition to the arrow shape shown in FIG. 3.
  • the command can be recognized.
  • the controller 150 when a voice command is input, the controller 150 generates a representative image corresponding to the input voice command, and attaches the generated representative image to a pointer output on the screen. The attached representative image moves together as the pointer moves.
  • a conventional pointer may be referred to as a 'first pointer', and a pointer to which a representative image is attached as described above may be referred to as a 'second pointer'.
  • the representative image is a concept including all of an image, text, or a combination thereof capable of immediately visually recognizing a function corresponding to an input voice command of a user.
  • the representative image may be a 'trash box image'.
  • the representative image is a part of the image converted from the voice into text, that is,' Seoul Can be '.
  • the specific object displayed on the screen may be selected by the second pointer.
  • the controller 150 immediately executes a function corresponding to the representative image, for example, 'delete', using the specific object selected by the second pointer as a target.
  • the user can instantly recognize the function to be executed by looking at the shape of the pointer, enabling feedback, and simply selecting the object to which the function is to be applied as a pointer, in particular for the same object.
  • a user environment is provided in which the same function can be made more quickly and intuitively.
  • FIGS. 4 and 5A to 5D a method of operating an image display device according to an exemplary embodiment of the present invention will be described with reference to FIGS. 4 and 5A to 5D.
  • a TV receiver is illustrated as an example of the image display apparatus 100
  • a spatial remote controller is illustrated as an example of the external input apparatus 200.
  • an image display apparatus 100 may include a first pointer that moves according to a pointing signal transmitted from an external input apparatus 200, for example, a spatial remote controller. Output to the screen (S401).
  • the first pointer may be an object of various shapes, for example, a cursor, a prompt, a point, an outline, etc., in addition to the arrow shape illustrated in FIG. 5A.
  • the first pointer is not normally displayed on the screen, but when the movement of the spatial remote controller 200 is detected, the first pointer may be displayed on one area of the display unit 170, for example, the center area of the screen.
  • the first pointer output on the screen may disappear from the screen when no signal, for example, a pointing signal, is input for a predetermined time.
  • the controller 150 may detect that the first voice signal is input from the user (S401).
  • the first voice signal means a user voice input through the microphone 190 of the image display apparatus 100 or the acoustic sensor 233 provided in the spatial remote controller 200.
  • the controller 150 may activate a voice recognition function.
  • the controller 150 may activate a speech to test (STT) function together with a voice recognition function.
  • STT speech to test
  • An algorithm for speech recognition and a speech to test (STT) algorithm may be stored in the storage 160.
  • the controller 150 performs the above function if there is a preset key input (eg, voice recognition activation button), touch input, voice signal, gesture, or the like from the user. Can be activated. In this case, the controller 150 may display an indicator corresponding to the activated function in one area of the display unit 170 (FIG. 1).
  • the controller 150 When it is determined that the voice recognition function and the STT function are activated, the controller 150 generates a representative image corresponding to the input first voice signal and attaches the generated representative image to the first pointer (S403).
  • the representative image refers to an image that can convert a first voice signal into text or represent a function corresponding to a voice recognition result of the first voice signal.
  • the controller 150 may generate a 'letter envelope-shaped image' as a representative image.
  • the controller 150 may generate 'So Ji-seop' text as a representative image.
  • the representative image may be an image previously stored in the storage 160, an image extracted from a predetermined web page through a web connection, or a portion of text converted using a TTS function.
  • the representative image is attached to the first pointer
  • the representative image is displayed together with (or near) the first pointer. That is, the first pointer is changed to the second pointer and output.
  • the generated representative image may stick to up / down / left / right of the first pointer.
  • the specific location to which the representative image is attached may be preset through user input, and may be set manually by a user voice or the location of the pointer (eg, the location where the representative image may be seen when the pointer is at each corner of the screen). Can be changed automatically).
  • the representative image may be represented by a 2D or 3D object.
  • the representative image may be displayed to be visually distinguished from the first pointer by being hatched or expressed in a translucent state.
  • the representative image may be displayed by overlapping at least a portion of the first pointer or may be displayed at a predetermined distance away from the first pointer. However, it may be preferable that at least the first pointer is overlapped within the range indicated by the first pointer, and the representative image is spaced apart within the range recognized as being attached to the first pointer.
  • the controller 150 may generate a plurality of representative images corresponding to the first voice signal. In such a case, the controller 150 may control to display the generated plurality of representative images alternately next to (or near) the first pointer. For example, when the first voice signal is 'delete', 'trash box image' and 'delete' texts may be generated as representative images, and in this case, a preset time interval (eg, 3 seconds) next to the first pointer. ) Can alternately display the 'trash can image' and the 'delete' text.
  • a preset time interval eg, 3 seconds
  • a voice command of “send by e-mail” is provided by the user.
  • a representative image corresponding to an 'email transmission function' included in the input voice command that is, a 'letter envelope' image 502 is generated and attached to the pointer 501.
  • a predetermined alarm for example, a vibration, a sound, a popup message, or the like may be output.
  • the user may move the pointer to which the representative image is attached, that is, the second pointer, using the spatial remote controller 200.
  • the controller 150 may detect that a specific object displayed on the screen is selected by the second pointer (S404).
  • the specific object may be, for example, a specific web page displayed on the screen (which may designate a specific block within the web page), an electronic program guide (EPG), other various menus, widgets, icons, still images, videos, Text, and an input window.
  • EPG electronic program guide
  • the meaning that the specific object is selected by the second pointer means that by moving the spatial remote controller 200, the pointer having the representative image attached thereto, that is, the second pointer is moved to the area where the specific object is displayed, and then the image display device ( It means to apply the selection signal of the preset method to 100, that is, click.
  • the preset selection signal may be generated by any one of a preset key input, a touch input, a voice command (eg, 'selection'), and a gesture.
  • a preset key input e.g., a touch input
  • a voice command e.g., 'selection'
  • a gesture e.g., a gesture
  • an input signal generated by a user pushes a specific key (for example, 'confirmation key' or 'hot key') provided in the spatial remote controller 200 is transmitted to the image display device 100, the The image display apparatus 100 may recognize that a selection signal has occurred.
  • the user may freely move the pointer 501 attached with the 'envelope envelope' image 502 using the spatial remote controller 200 and transmit the e-mail using the pointer.
  • the photos 510, 530, 550 selected by the pointer 501 are visually distinguished from the other photos 520, 530, 560 that are not selected.
  • the letter envelope image 502 moves together as the pointer 501 moves.
  • the type and number of objects selected by the second pointer may be one or multiple. That is, even after a specific object is selected by the second pointer, the representative image attached to the pointer does not disappear. Accordingly, the controller 150 may select the first object by using the second pointer, and then move the second pointer to another area to select the second object.
  • the selectable object includes not only the output on the screen of the current display unit 170 but also an object on the screen that is output by executing a specific application in the future. That is, the area range in which the object can be selected is not limited.
  • the controller 150 may exceptionally recognize that the object selected by the second icon is an execution icon of the application, as a selection by the first icon to which the representative image is not attached.
  • the controller 150 executes a function corresponding to the representative image by targeting the selected specific object (S405). That is, the controller 150 applies a function corresponding to the representative image attached to the pointer to the selected specific object.
  • the function corresponding to the representative image is determined according to the voice recognition result of the first voice signal input in step S402.
  • the controller 150 executes a control command corresponding to the representative image of the selected object. For example, when the first voice signal is 'send by e-mail', as illustrated in FIG. 5C, the photos 510, 530, and 550 selected by the second pointer to which the letter envelope image is attached are displayed. Will be emailed immediately.
  • the controller 150 controls to display full text corresponding to the representative image on the selected object or the selected area. For example, when the first voice signal is 'So Ji-sub', the input window selected by the second pointer attached with 'So-ji-sub' text (which presupposes that the voice is converted to text by the TTS function) is selected. In other words, 'So Ji-sub' is displayed almost simultaneously with 'click'. In the case where there are a plurality of input windows, the input may be continuously performed by simply moving the second pointer to another input window and then clicking.
  • the controller 150 may recognize the second pointer to which the representative image is attached as a special function key. That is, the controller 150 may freely move the second pointer according to a pointing signal, and may immediately execute a function when the object or region is selected by clicking.
  • a user moves a pointer 501 to which an 'envelope envelope' image 502 is attached and sends a plurality of e-mails.
  • the selected plurality of photos 510, 530, 550 are immediately emailed.
  • the order in which the e-mail is transmitted is determined according to the selected order.
  • the execution screen 503 of the e-mail application with the selected pictures attached as the transmission file is displayed.
  • transmission information for example, transmission rate and transmission failure, may be displayed next to the pointer 501.
  • the controller 150 may cause the representative image attached to the pointer to disappear from the screen for a while (hereinafter, The representative image may be named 'hidden' (S406).
  • the video display device attaches an icon indicating a function corresponding to the recognized voice command to the pointer to perform an operation or function to be executed. It allows the external to recognize immediately what it is.
  • the icon attached to the pointer moves together, thereby providing an environment in which the function indicated by the icon can be immediately executed when a specific object or region is selected by the pointer. This provides user convenience, especially when it is necessary to repeatedly execute the same function on a plurality of objects.
  • 6A to 6C illustrate an example in which different representative images are attached to a pointer according to a function corresponding to an input voice signal.
  • the controller 150 may attach a representative image representing a function included in the voice signal.
  • the representative image is preferably an image and / or text in which the user can visually recognize the corresponding function immediately.
  • the representative image may include information representing a service for performing such a function.
  • the representative image may be changed through user input, and in this case, the included function may be maintained even if the representative image itself is edited.
  • whether the input voice signal is a control command determines whether a word or phrase preset in the voice signal (for example, 'send, upload, upload, transmit, and transmit' the input voice signal is included in the voice signal. Can be determined by monitoring whether or not it is included.
  • the controller 150 recognizes the user's voice and, as a result, uploads the 'Snack server called Kakatic'. Or a representative image 602 ′′ corresponding to the control command to transmit 'is generated and attached to the side of the pointer 601.
  • SNS Kakatic
  • the controller 150 when it is recognized that the input voice signal is not a control command, the controller 150 generates a representative image of converting the voice signal into text.
  • the representative image may be generated with some or all of the converted text.
  • the size, font, color, etc. of the representative image may be changed through user input.
  • the controller 150 executes the TTS function and converts the input voice to text into a representative image.
  • Create The controller 150 may recognize, as the second pointer 610, the generated 'hong gil dong' text 602 attached to the pointer 601.
  • the user selects ('clicks') the input areas 610 and 620 by the pointer 601 using the spatial remote controller 200, the user immediately selects the 'Hong Gil-dong' text input area 610 that is the same as the representative image 601. 620 is output.
  • FIGS. 7A to 7C an example in which the representative image attached to the pointer and the pointer changes according to the movement of the spatial remote controller 200 while the representative image is attached to the pointer in step S403 will be described. Shall be.
  • step S403 when the representative image is attached to the pointer according to the input of the input voice signal, the controller 150 may output a preset animation effect or a predetermined notification sound.
  • the animation effect is for inducing the aesthetics to the user, and the notification sound is for the user to recognize that the function of the pointer has been added.
  • the user moves and manipulates the spatial remote controller 200 to generate a pointing signal.
  • the generated pointing signal is applied to the image display apparatus 100 through the interface unit 140 to move and display the pointer to which the representative image is attached.
  • the controller 150 of the image display apparatus 100 controls the representative image to move together as the pointer moves based on the received pointing signal.
  • the controller 150 may output an effect that the representative image flutters in the wind based on the moving direction and the moving speed when the representative image moves according to the movement of the pointer.
  • the pointer 701 to which the representative image is attached moves from right to left.
  • the attached representative image 702 may move while outputting an effect of fluttering in the wind.
  • such a visual effect can be variously changed through a predetermined input.
  • the controller 150 hides the representative image attached to the pointer and moves again as the pointer moves. You can have a hidden representative image appear. In other words, if the pointer stops so as not to unnecessarily obscure the screen, the representative image temporarily disappears.
  • the representative image disappears and only the pointer 701 is displayed on the screen.
  • the representative image 702 again appears next to the pointer 701.
  • FIG. 8 is a conceptual diagram illustrating another example in which an object is selected by a pointer to which a representative image is attached in step S404.
  • user input methods for generating a 'selection signal' may vary. For example, there may be a voice command such as 'select' or 'click', a gesture of a predetermined shape, a specific key input of the spatial remote controller 200, and the like.
  • the controller 150 may apply to the second voice signal based on the specific area. It is possible to select at least one corresponding object.
  • the user uses the spatial remote controller 200, the user moves the pointer 801 to which the representative image is attached to an area in which a specific picture 810 is displayed, and then, “All but this!”
  • the voice signal is input, all pre-stored pictures of the page except for the corresponding picture 810 are transmitted or uploaded to the 'kakatic (TiK)' corresponding to the representative image. That is, according to this method, the time required for many selections is saved.
  • FIGS. 9A to 9C illustrate a method of displaying the information on the pointer to which the representative image is attached when the voice signals input in the above steps S402 and S403 include additional information of a function related to the representative image.
  • step S403 When the first voice signal is input in step S402, if it is determined that additional information related to a function to be executed is further included in the input first voice signal, in step S403, the controller 150 further adds an icon indicating additional information. Create and attach to the representative image.
  • the additional information refers to additional information related to the execution of the function included in the first voice signal.
  • the additional information is 'transmission time, recipient, maximum response time'. It includes both essential and optional information for the transmission.
  • the controller 150 controls the icon to move together as the pointer moves.
  • step S404 when a specific object or a specific area of the screen is selected by the pointer to which the representative image and the icon are attached, the controller 150 selects the selected specific object based on additional information corresponding to the icon. Executes the function corresponding to the representative image as the target.
  • a representative image 902 of the 'Kakatic SNS service' and an image 903 indicating a recipient are provided. Is attached to the pointer 901 and displayed.
  • a user's voice command includes a plurality of additional information, that is, an image 903 indicating a recipient and a text 904 indicating a transmission time are located next to the representative image 902 ′′.
  • the icons 903 and 904 representing the displayed additional information are hidden in the absence of a pointing signal for a predetermined time (for example, 2 seconds) similar to that described above, and reappeared when the pointer 901 moves. can do.
  • the controller 150 when the controller 150 recognizes that the first voice signal is a voice instead of a control command, when the voice signal is input after the pointer with the representative image is output in step S403, the controller 150 controls the control unit 150.
  • the input voice signal may be recognized as a control command for editing the representative image, that is, the text. For example, when a voice command of 'text large' is input while the 'Hong Gil Dong' text is attached to the pointer, the font of the representative image may be largely output.
  • controller 150 may distinguish the area where the representative image is displayed from the area where the icon representing the additional information is displayed and change the input order or the input position through a user input.
  • the representative image may be attached to the area A close to the pointer, or an icon representing additional information is attached to the area A close to the pointer, and the area B far from the pointer. ) May be attached.
  • the area to be displayed may be determined by the order corresponding to the first voice signal.
  • the controller 150 Before performing step S402, the controller 150 enters the voice recognition mode by a predetermined input signal.
  • the predetermined input signal may be generated by various preset methods (eg, voice command, key input, gesture input, etc.).
  • the user may enter the voice recognition mode by pushing a hot key provided in the spatial remote controller 200.
  • the controller 150 When it is detected that the user enters the voice recognition mode, the controller 150 recognizes the voice of the first voice signal input in step S402 and generates a corresponding representative image.
  • a method of attaching, detaching, or changing the generated representative image to the pointer and outputting an effect related thereto may be various, and may be set or changed through a user input.
  • a representative image may be attached to the pointer like a magnet while outputting a visual effect coming toward the pointer (FIG. 10A (a)).
  • the controller 150 changes the shape of the pointer first so as to be displayed to the outside, and attaches the representative image generated according to the input voice signal to be overlaid on at least a part of the changed shape pointer. can do.
  • FIG. 10C when the pointer in the shape of an arrow is output (FIG. 10C), when the user enters the voice recognition mode, the pointer is changed into a diamond shape (not shown), and the input voice is input.
  • the representative image generated according to the signal sticks in a form partially superimposed on the rhombus-shaped pointer (FIG. 10C (b)).
  • the controller 150 converts the first representative image to a second representative image corresponding to the third voice signal. Change to an image.
  • the third voice signal is not a voice command for changing the shape of the representative image, but a change of the representative image itself to change a function to be applied to a specific object. Therefore, for this purpose, the controller 150 may input a preset voice (eg, 'representative image change') first and then input a voice signal corresponding to a function to be switched within a predetermined time. In this case, a visual effect may be output while the representative image is switched.
  • a preset voice eg, 'representative image change'
  • a representative image representing 'Hong Gil-dong' is input by inputting a voice signal in a state in which a representative image (transfer to cacatic) (FIG. 10D (a)) is attached to a pointer. (B)), when the image is sequentially switched to the representative image representing the 'quick memo function' ((c) of FIG. 10D), a visual effect of converting the previous representative image into another representative image may be output.
  • step S405 a function corresponding to the second representative image in which the selected specific object is the target is executed.
  • the controller 150 may output a visual effect of detaching the representative image from the pointer, or control the representative image to disappear from the screen.
  • the image may be detached or detached from the pointer while outputting a visual effect that is gradually reduced in size and extinct ( (B) of FIG. 10B).
  • a method of outputting a list of selected specific objects after step S404 is as follows.
  • FIGS. 11A to 11D illustrate thumbnail images of objects selected by a pointer to which a representative image is attached.
  • a fourth voice signal is input after a specific object or a specific area of the screen is selected by a pointer to which the representative image is attached, the controller 150 attaches a thumbnail image of the selected specific object or a specific area to the representative image. Can be.
  • the fourth voice signal may be a specific voice command previously stored in the storage 160.
  • the controller 150 may recognize it as a control command for displaying a thumbnail image of the selected object or region.
  • the controller 150 recognizes this as a control command for outputting a thumbnail image of the selected object.
  • a list 1110 of thumbnail images of the selected object is output on the representative image 1102 of 'kakatic SNS transmission'.
  • the background image may be processed to be blurred or translucent.
  • the user may move the pointer so that the pointer is over the thumbnail image using the spatial remote controller 200.
  • the attached representative image moves together as the pointer moves, but the thumbnail image or the list of thumbnail images does not move together as the pointer moves.
  • the attached thumbnail images usually move together as the pointer moves, but when a predetermined control signal (for example, a specific key push of the spatial remote controller) is applied, the thumbnail images are detached from the pointer and displayed on the screen independently. It may be implemented.
  • the controller 150 controls to deselect a specific object corresponding to the selected thumbnail image.
  • the thumbnail image list 1110 when a user pushes a specific key (not shown) included in the spatial remote controller, the thumbnail image list 1110 is detached from the representative image. That is, the thumbnail image list 1110 no longer moves as the pointer moves.
  • the pointer 1101 to which the representative image 1102 is attached is moved to a specific image 1112 in the thumbnail image list 1110 and selected ('clicked')
  • the corresponding image 1112 is deselected and kaka The tick is not sent to the SNS server.
  • the image 1112 disappears from the thumbnail image list 1110.
  • the controller 150 may visually display the thumbnail image of the object on which the function corresponding to the first audio signal is already executed and the thumbnail image of the object on which the function corresponding to the first audio signal is to be visually distinguished from each other. have.
  • thumbnail images of objects already uploaded to the Kakatic SNS server are displayed in the upper region a-1 of the list 1110 and the lower region a-2 of the list 1110. Shows thumbnail images of objects that will be uploaded to the Kakatic SNS server, that is, the transfer has not yet been completed. Meanwhile, as shown, a progress bar 1115 indicating transmission information, for example, a transmission degree, may be displayed in one region of the list 1110.
  • FIGS. 12A to 12B are diagrams illustrating a method of outputting a representative image when there are a plurality of functions corresponding to input voice signals according to an embodiment of the present invention.
  • step S402 If it is recognized in step S402 that the first audio signal includes a plurality of functions, the controller 150 generates a first representative image corresponding to the first function and a second representative image corresponding to the second function, respectively. .
  • the first representative image and the second representative image generated in step S403 are attached to the pointer, respectively.
  • the first and second representative images move together.
  • the controller 150 may control the first and second representative images to move while outputting an effect of fluttering along the movement path of the pointer.
  • the first representative image 1202 corresponding to the first function and the second representative image 1203 corresponding to the second function are attached to each other in an overlaid manner.
  • the pointer 1201 moves from right to left using the spatial remote controller 200, the pointer 1201 moves together while outputting an effect flapping in the wind based on the moving direction and the moving speed of the pointer 1201.
  • step S405 the controller 150 first executes the first function corresponding to the first representative image for all the selected objects, and then, when the execution is completed, the controller 150 corresponds to the first representative image.
  • the first function can be executed.
  • the first function and the second function may be simultaneously or sequentially performed on each object.
  • the controller 150 attaches the first representative image corresponding to the first function to be executed closer to the pointer. Then, when the first function is executed for all the selected objects, as shown in FIG. 12C, the first representative image 1202 is detached from the pointer 1201 or disappears (in this case, the first representative image ( A visual effect such as 1202 falling to the floor). A second representative image corresponding to the second function to be executed next is attached (1202 ") close to the pointer.
  • the controller 150 may output the execution result of the function corresponding to the representative image attached to the pointer.
  • the execution result is displayed on the screen at the same time, but if the result is known to run other applications such as 'send', if the transmission of all selected objects is completed You can run the application automatically and show the result. To this end, the current screen is displayed on the first area of the display unit 170, and the execution result of the function applied to the selected object is displayed on the second area in real time.
  • an indicator indicating a progress of a function corresponding to the representative image may be further displayed next to the pointer or beside the representative image attached to the pointer.
  • step S405 when step S405 is completed, the representative image attached to the pointer falls off immediately or when the voice recognition mode is released, and the second pointer returns to the first pointer.
  • the history of the representative images corresponding to the previously executed function may be stored in the storage 160, and a list of the representative images that have been previously displayed through the user input may be displayed on the screen.
  • the corresponding representative image may be attached to the pointer like a magnet, so that steps S401 to S403 may perform the process at once.
  • an icon indicating a function corresponding to the recognized voice command is attached to the pointer or the cursor to perform the execution.
  • the icons move together, and when a specific object is selected by the pointer, a function corresponding to the icon attached to the pointer is executed directly on the selected object, and particularly, the same function is executed on a plurality of objects. If you do or if you need to repeat the same operation several times, it provides convenience to the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

영상표시장치 및 영상표시장치 동작방법이 개시된다. 본 발명의 실시예들에 의하면, 마이크와, 화면에 포인터를 출력하도록 이루어진 디스플레이부와, 상기 화면에 상기 포인터가 출력된 상태에서, 상기 마이크에 제1음성신호가 입력되면, 상기 제1음성신호에 대응되는 대표 이미지를 생성하여 상기 포인터에 부착하는 제어부를 포함한다. 여기서, 상기 제어부는, 상기 화면상에서 상기 포인터가 이동되는 것에 응답하여 상기 포인터에 부착된 상기 대표 이미지가 상기 포인터의 이동 경로를 따라 표시되도록 하고, 상기 대표 이미지가 부착된 포인터를 이용하여 상기 화면상의 특정 객체가 선택되면, 상기 선택에 대응되는 표시가 출력되면서 상기 제1음성신호에 대응되는 상기 대표 이미지와 관련된 기능이 상기 선택된 특정 객체에 적용되도록 한다.

Description

영상표시장치 및 영상표시장치 동작방법
본 발명은 영상표시장치 및 영상표시장치 동작방법에 관한 것으로, 좀 더 구체적으로 사용자의 제스처 입력을 인식할 수 있는 영상표시장치 및 영상표시장치의 동작방법에 관한 것이다.
영상표시장치는 방송을 수신하여 표시하거나, 동영상을 기록 및 재생하는 장치와 오디오를 기록 및 재생하는 장치를 모두 포함한다. 이러한 영상표시장치로는 예를 들어, 텔레비전, 컴퓨터 모니터, 프로젝터, 테블릿, 네비게이션, 디지털 방송 수신 장치(Digital Television) 등일 수 있다.
이와 같은 영상표시장치는 기능이 다양화됨에 따라, 방송이나, 음악이나 동영상 파일의 재생 기능 외에도, 사진이나 동영상의 촬영, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다. 나아가, 최근에는 영상표시장치가 스마트 기기(예를 들어, 스마트 텔레비전)로서 구현되고 있다. 그에 따라서, 영상표시장치는 인터넷 등의 실행은 물론 이동 단말기나 컴퓨터와 연동하여 동작할 수도 있다. 또한, 상기 영상표시장치는 디지털 방송을 수신하여 홈네트워크 환경이나 유비쿼터스(ubiquitous) 환경에서 서버의 기능까지 담당하게 되었다.
한편, 영상표시장치를 동작시키기 위하여 영상표시장치와 분리된 외부 입력 장치, 예를 들어 공간 리모콘이 사용될 수 있다. 사용자는 이와 같은 공간 리모컨을 사용하여 영상표시장치에 표시되는 커서나 포인터를 이동할 수 있다.
또한, 최근, 영상표시장치는 본체에 입력된 음성을 인식하여 대응되는 기능을 실행할 수 있는데 까지 발전하였다.
이와 같이, 영상표시장치에 다양한 동작이나 기능, 또는 서비스를 실행하기 위한 다양한 사용자 인터페이스가 적용되고 있으나, 사용자의 편의를 위해 복수의 사용자 인터페이스를 복합적으로 수행하는 연구가 활발히 진행되고 있다.
이에, 본 발명의 실시예들은 복합적인 사용자 인터페이스, 특히 사용자의 음성 신호와 외부 입력 장치를 통해 움직이는 포인터를 복합적으로 사용하여, 화면에 표시된 특정 객체에 대하여 사용자가 원하는 동작이나 기능이 보다 신속하고 효과적으로 실행될 수 있도록 한 영상표시장치 및 영상표시장치의 동작방법을 제공하는데 그 목적이 있다.
이에, 본 발명의 실시예에 따른 영상표시장치는, 마이크와; 화면에 포인터를 출력하도록 이루어진 디스플레이부와; 상기 화면에 상기 포인터가 출력된 상태에서, 상기 마이크에 제1음성신호가 입력되면, 상기 제1음성신호에 대응되는 대표 이미지를 생성하여 상기 포인터에 부착하는 제어부를 포함하고, 상기 제어부는, 상기 화면상에서 상기 포인터가 이동되는 것에 응답하여 상기 포인터에 부착된 상기 대표 이미지가 상기 포인터의 이동 경로를 따라 표시되도록 하고, 상기 대표 이미지가 부착된 포인터를 이용하여 상기 화면상의 특정 객체가 선택되면, 상기 선택에 대응되는 표시가 출력되면서 상기 제1음성신호에 대응되는 상기 대표 이미지와 관련된 기능이 상기 선택된 특정 객체에 적용되도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 제1음성신호에 소정의 기능을 나타내는 음성이 포함된 경우, 상기 제어부는, 메모리나 소정의 웹서버로부터 상기 기능과 관련된 이미지를 검출하여 상기 대표 이미지를 생성하고, 상기 대표 이미지와 관련된 상기 기능이 상기 선택된 특정 객체에 적용된 후 상기 포인터 옆에 상기 대표 이미지의 표시가 유지되도록 하는 것을 특징으로 한다.
일 실시예에서, 외부 입력 장치로부터 상기 대표 이미지가 부착된 포인터를 이동시키기 위한 포인팅 신호를 수신하는 인터페이스부를 더 포함하고, 상기 제어부는, 상기 수신된 포인팅 신호에 근거하여, 상기 포인터가 이동함에 따라 상기 대표 이미지를 함께 이동하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 대표 이미지가 상기 포인터에 부착된 상태에서, 기설정된 시간 동안 상기 포인터의 이동이 없으면 상기 포인터에 부착된 대표 이미지를 숨기고, 상기 포인터가 이동함에 따라 숨겨진 대표 이미지가 다시 나타나도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 제1음성신호의 입력에 따라 상기 포인터에 상기 대표 이미지가 부착될 때, 기설정된 애니메이션 효과가 출력되거나 소정의 알림음이 출력되도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 대표 이미지가 부착된 포인터가 상기 화면의 특정 영역으로 이동된 상태에서 상기 마이크에 제2음성신호가 입력되면, 상기 특정 영역을 기초로 상기 제2 음성신호에 대응되는 적어도 하나의 객체를 선택하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 제1음성신호에 상기 기능과 관련된 부가 정보가 포함된 경우, 상기 부가 정보를 나타내는 제2 이미지를 생성하여 상기 대표 이미지에 부착하고, 상기 포인터가 이동함에 따라 상기 제2 이미지가 함께 이동하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 제2 이미지 및 상기 대표 이미지가 부착된 포인터를 이용하여 화면의 특정 객체가 선택되면, 상기 제2 이미지에 대응하는 부가 정보에 근거하여, 상기 대표 이미지와 관련된 상기 기능이 상기 선택된 특정 객체에 적용되도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 입력신호에 근거하여 음성 인식 모드로 진입한 것이 감지된 경우에, 상기 제 1음성신호에 대응되는 대표 이미지를 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 음성 인식 모드로 진입하면, 상기 포인터의 형상을 변경하고, 상기 대표 이미지가 상기 변경된 형상의 적어도 일부에 오버레이되는 방식으로 부착시키는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 음성 인식 모드가 해제되면, 상기 포인터로부터 상기 대표 이미지가 탈착되는 시각적 효과를 출력하거나 상기 대표 이미지가 상기 화면으로부터 사라지도록 상기 디스플레이부를 제어하고, 상기 대표 이미지가 사라진 포인터를 이용하여 상기 화면상의 특정 객체가 선택되면, 상기 선택에 대응되는 표시만 출력하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 포인터에 제1 대표 이미지가 부착된 상태에서 상기 마이크에 제3 음성신호가 입력되면, 상기 제1 대표 이미지를 제3음성신호에 대응되는 제 2 대표 이미지로 변경하고, 상기 선택된 특정 객체를 타겟으로 상기 변경된 제 2 대표 이미지에 대응되는 기능을 실행하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 대표 이미지가 부착된 포인터를 이용하여 특정 객체가 선택된 상태에서 상기 마이크에 제4 음성신호가 입력되면, 상기 선택된 특정 객체의 썸네일 이미지를 상기 대표 이미지에 부착하도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 썸네일 이미지는 포인터가 이동함에 따라 함께 이동하지 않도록 제어하고, 상기 대표 이미지가 부착된 포인터를 이용하여 상기 썸네일 이미지 중 적어도 하나가 선택되면, 상기 선택된 썸네일 이미지에 대응되는 특정 객체를 선택해제하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 제1음성신호에 대응되는 기능이 이미 실행된 객체의 썸네일 이미지와, 상기 기능이 실행될 객체의 썸네일 이미지를 시각적으로 서로 구별되게 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 제1음성신호가 복수의 기능을 포함하는 것으로 인식되면, 제1기능에 대응되는 제1대표 이미지와 제2기능에 대응되는 제2대표이미지를 각각 생성하여 상기 포인터에 부착하고, 상기 포인터가 이동함에 따라 상기 제1 및 제2 대표이미지가 함께 이동하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 먼저 실행될 제1기능에 대응되는 제1 대표 이미지를 상기 포인터에 더 가깝게 부착하고, 상기 제1기능이 실행되면 상기 제1 대표 이미지를 상기 포인터로부터 탈착하거나 사라지도록 제어하고, 다음에 실행될 제2기능에 대응되는 제2 대표 이미지를 상기 포인터에 가깝게 부착하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제1음성신호에 소정의 기능을 나타내는 음성이 포함되지 않은 경우, 상기 제어부는, 상기 제1음성신호를 음성인식하여 변환한 텍스트 이미지를 상기 대표 이미지로 생성하고, 상기 대표 이미지가 부착된 포인터를 이용하여 상기 화면상의 특정 객체가 선택되면, 상기 특정 객체상에 상기 텍스트 이미지를 출력시키는 것을 특징으로 한다.
또한, 본 발명의 실시예에 따른 영상표시장치의 동작방법에 의하면, 외부 입력 장치로부터 수신되는 포인팅 신호에 따라 이동하는 포인터를 화면에 출력하는 단계와; 상기 화면에 상기 포인터가 출력된 상태에서, 마이크에 제1음성신호가 입력되면, 상기 제1음성신호에 대응되는 대표 이미지를 생성하여 상기 포인터에 부착하는 단계와; 상기 화면상에서 상기 포인터가 이동되는 것에 응답하여, 상기 포인터에 부착된 상기 대표 이미지를 상기 포인터의 이동 경로를 따라 표시하는 단계와; 상기 대표 이미지가 부착된 포인터를 이용하여 상기 화면상의 특정 객체가 선택되면, 상기 선택에 대응되는 표시를 출력하면서 상기 제1음성신호에 대응되는 상기 대표 이미지와 관련된 기능을 상기 선택된 특정 객체에 적용시키는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 제1음성신호에 소정의 기능을 나타내는 음성이 포함된 경우, 상기 포인터에 부착하는 단계는, 메모리나 소정의 웹서버로부터 상기 기능과 관련된 이미지를 검출하여 상기 대표 이미지를 생성하는 단계를 포함하고, 상기 대표 이미지와 관련된 상기 기능이 상기 선택된 특정 객체에 적용된 후 상기 포인터 옆에 상기 대표 이미지의 표시가 유지되도록 하는 단계를 더 포함하는 것을 특징으로 한다.
따라서, 본 발명의 실시예에 따른 영상표시장치 및 영상표시장치 동작방법에 의하면, 사용자의 음성명령이 입력되면, 인식된 음성명령에 대응되는 기능을 나타내는 아이콘을 포인터에 부착함으로써, 실행하고자 하는 동작이나 기능이 무엇인지를 외부에서 즉각 인식할 수 있고, 이에 대한 피드백이 가능하다.
또한, 포인터가 이동함에 따라 아이콘이 함께 이동되도록 하고, 포인터에 의해 특정 객체가 선택되면, 포인터에 부착된 아이콘이 나타내는 기능을 바로 실행할 수 있도록 함으로써, 특히 복수의 객체에 동일한 기능을 실행하고자 하는 경우나 같은 동작을 반복해야하는 경우에 사용자에게 편의를 제공한다.
예를 들어, 동일한 텍스트를 반복적으로 입력해야하는 경우, 또는 서로 다른 윈도우나 애플리케이션에 있는 복수의 객체들을 동일 SNS에 업로드해야하는 경우, 사용자는 아이콘이 부착된 포인터로 특정 영역이나 객체를 선택하기만 하면 해결된다.
도 1은 본 발명과 관련된 영상표시장치 및 외부 입력 장치를 보여주는 블록도이다.
도 2는 도 1의 외부 입력 장치를 상세하게 보여주는 블록도이다.
도 3은 본 발명과 관련된 영상표시장치 및 외부 입력 장치의 상호 동작을 보여주는 개념도이다.
도 4는 본 발명의 실시예에 따른 영상표시장치 동작방법을 설명하기 위한 예시 흐름도이다.
도 5a 내지 도 5d는 도 4의 흐름도를 설명하기 위한 개념도들이다.
도 6a 내지 도 6c는 본 발명의 실시예에 따라, 입력된 음성신호에 대응되는 기능에 따라 서로 다른 대표 이미지가 포인터에 부착되는 예시를 보인 개념도들이다.
도 7a 내지 도 7c는 본 발명의 실시예에 따라, 외부 입력 장치의 이동에 따라 포인터 및 포인터에 부착된 대표 이미지가 변화하는 예시를 보인 개념도들이다.
도 8은 본 발명의 실시예에 따라, 입력된 음성신호에 기초하여, 대표 이미지가 부착된 포인터에 의해 객체가 선택되는 예시를 보인 개념도들이다.
도 9a 내지 도 9c는 본 발명의 실시예에 따라, 입력된 음성신호에 기초하여, 대표 이미지가 부착된 포인터에 부가 정보를 나타내는 아이콘이 더 부착되는 예시를 보인 개념도들이다.
도 10a 내지 도 10d는 본 발명의 실시예에 따라, 포인터에 대표 이미지가 부착, 탈착, 변경될 때 출력되는 시각적 효과의 예시를 보인 도면들이다.
도 11a 내지 도 11d는 본 발명의 실시예에 따라, 대표 이미지가 부착된 포인터에 의해 선택된 객체들의 썸네일 이미지를 보여주는 도면들이다.
도 12a 내지 도 12d는 본 발명의 실시예에 따라, 입력된 음성신호에 대응되는 기능이 복수인 경우 대표 이미지의 출력방법을 보인 도면들이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세하게 설명하기 위하여, 본 발명의 실시 예가 첨부된 도면을 참조하여 설명한다. 하지만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통해 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 영상표시장치는 방송을 수신하여 표시하거나, 동영상을 기록 및 재생하는 장치와 오디오를 기록 및 재생하는 장치를 모두 포함한다.
도 1은 본 발명과 관련된 영상표시장치(100) 및 외부 입력 장치(200)를 보여주는 블록도이다. 영상표시장치(100)는, 튜너(110), 복조부(120), 신호 입출력부(130), 인터페이스부(140), 제어부(150), 저장부(160), 디스플레이부(170) 및 오디오 출력부(180)를 포함한다. 외부 입력 장치(200)는 영상표시장치(100)와 별도의 장치이나, 영상표시장치(100)의 일 구성요소로 포함될 수 있다.
도 1을 참조하면, 튜너(110)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 대응하는 RF 방송 신호를 선택하고, RF 방송 신호를 중간 주파수 신호 또는 베이스 밴드 영상/음성 신호로 변환한다. 예를 들어, RF 방송 신호가 디지털 방송 신호이면, 튜너(110)는 RF 방송 신호를 디지털 IF 신호(DIF)로 변환한다. 반면, RF 방송 신호가 아날로그 방송 신호이면, 튜너(110)는 RF 방송 신호를 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)로 변환된다. 이와 같이, 튜너(110)는 디지털 방송 신호와 아날로그 방송 신호를 처리할 수 있는 하이브리드 튜너일 수 있다.
튜너(110)에서 출력되는 디지털 IF 신호(DIF)는 복조부(120)로 입력되고, 튜너(110)에서 출력되는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)는 제어부(160)로 입력될 수 있다.
튜너(110)는 ATSC(Advanced Television Systems Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다.
비록 도면에는 하나의 튜너(110)가 도시되나, 이에 한정되지 않고, 영상표시장치(100)는 다수의 튜너, 예를 들어, 제 1 및 제 2 튜너를 구비할 수 있다. 이런 경우, 제 1 튜너는 사용자가 선택한 방송 채널에 대응하는 제 1 RF 방송 신호를 수신하고, 제 2 튜너는 기저장된 방송 채널에 대응하는 제 2 RF 방송 신호를 순차적으로 또는 주기적으로 수신할 수 있다. 제 2 튜너는 제 1 튜너와 마찬가지 방식으로 RF 방송 신호를 디지털 IF 신호(DIF) 또는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)로 변환할 수 있다.
복조부(120)는 튜너(110)에서 변환 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다.
튜너(110)로부터 출력되는 디지털 IF 신호(DIF)가 ATSC 방식이면, 복조부(120)는 8-VSB(8-Vestigal Side Band) 복조를 수행한다. 8-VSB(8-Vestigal Side Band) 복조는 NTSC(National Television System Committee) 주파수 대역을 사용하는 단일 반송파 진폭변조의 잔류측파대 변조방식에 의한 복조이다. 이때, 복조부(120)는 트렐리스 복호화, 디인터리빙(de-interleaving), 리드 솔로몬 복호화 등의 채널 복호화를 수행할 수도 있다. 이를 위해, 복조부(120)는 트렐리스 디코더(Trellis decoder), 디인터리버(de-interleaver) 및 리드 솔로몬 디코더(Reed Solomon decoder) 등을 구비할 수 있다.
튜너(110)로부터 출력되는 디지털 IF 신호(DIF)가 DVB 방식이면, 복조부(120)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. 이때, 복조부(120)는 컨벌루션 복호화, 디인터리빙, 리드 솔로몬 복호화 등의 채널 복호화를 수행할 수도 있다. 이를 위해, 복조부(120)는 컨벌루션 디코더(convolution decoder), 디인터리버 및 리드-솔로몬 디코더 등을 구비할 수 있다.
복조부(120)는 이와 같이 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 예를 들어, 스트림 신호(TS)는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transprt Stream)일 수 있다. 여기서, MPEG-2 TS는 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
이와 같이 복조부(120)에서 출력된 신호는 제어부(170)로 입력되어 역다중화, 영상/음성 신호 처리 등이 수행될 수 있다.
신호 입출력부(130)는 외부 기기, 예를 들어 DVD(Digital Veratile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북), 셋탑 박스, 휴대기기, 스마트 폰 등과 유/무선으로 연결되어 신호 입력 및 출력 동작을 수행한다. 이를 위해, 유선 네트워크와의 접속을 위한 A/V 입출력부 및 무선 네트워크와의 접속을 위한 무선 통신부를 포함할 수 있다.
A/V 입출력부는 이더넷(Ethernet) 단자, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, MHL (Mobile High-definition Link) 단자, RGB 단자, D-SUB 단자, IEEE 1394 단자, SPDIF 단자, 리퀴드(Liquid) HD 단자 등을 포함할 수 있다. 이러한 단자들을 통해 입력되는 디지털 신호는 제어부(150)에 전달될 수 있다. 이때, CVBS 단자 및 S-비디오 단자를 통해 입력되는 아날로그 신호는 아날로그-디지털 변환부(미도시)를 통해 디지털 신호로 변환되어 제어부(150)로 전달될 수 있다.
무선 통신부는 무선 인터넷 접속을 수행할 수 있다. 예를 들어, 무선 통신부는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등을 이용하여 무선 인터넷 접속을 수행할 수 있다. 또한, 무선 통신부는 다른 전자기기와 근거리 무선 통신을 수행할 수 있다. 예를 들어, 무선 통신부는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등을 이용하여 근거리 무선 통신을 수행할 수 있다.
신호 입출력부(130)는 유/무선 네트워크를 통해, 소정 웹 페이지에 접속하여해당 서버와 데이터를 송수신할 수 있고, 그 외에도, 콘텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들, 예를 들어 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보들을 수신할 수 있다. 신호 입출력부(130)는 유/무선 네트워크를 통해, 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있고, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수도 있다.
신호 입출력부(130)는 상기한 외부 기기로부터 제공되는 영상 신호, 음성 신호 및 데이터 신호를 제어부(150)로 전달할 수 있다. 또한, 신호 입출력부(130)는메모리장치, 하드디스크 등과 같은 외부 저장 장치에 저장된 다양한 미디어 파일의 영상 신호, 음성 신호 및 데이터 신호를 제어부(150)로 전달할 수 있다. 또한, 신호 입출력부(130)는 제어부(150)에 의해 처리된 영상 신호, 음성 신호 및 데이터 신호를 상기한 외부 기기 또는 다른 외부 기기로 전달할 수 있다.
좀 더 구체적으로, 신호 입출력부(130)가 상술한 각종 단자 중 적어도 하나를 통해 셋톱 박스, 예를 들어, IPTV(Internet Protocol TV)용 셋톱 박스와 연결되어서 신호 입력 및 출력 동작을 수행할 수 있다. 또한, 신호 입출력부(130)는 양방향 통신이 가능하도록 IPTV용 셋톱 박스에 의해 처리된 영상 신호, 음성 신호 및 데이터 신호를 제어부(150)로 전달할 수 있고, 제어부(150)에 의해 처리된 신호들을 IPTV용 셋톱 박스로 다시 전달할 수도 있다. 여기서, IPTV는 전송 네트워크에 따라 구분되는 ADSL-TV, VDSL-TV, FTTH-TV 등을 포함할 수 있고, TV over DSL, Video over DSL, TV over IP(TVIP), Broadband TV(BTV) 등을 포함할 수 있고, 인터넷 접속이 가능한 인터넷 TV, 풀브라우징 TV를 더 포함할 수 있다.
신호 입출력부(130)에서 출력되는 디지털 신호도 스트림 신호(TS)를 포함할 수 있다. 이와 같은 스트림 신호(TS)는 상술한 바와 같이 영상 신호, 음성 신호 및 데이터 신호가 다중화된 신호일 수 있다.
인터페이스부(140)는 사용자가 입력한 신호를 제어부(150)로 전달하거나, 제어부(150)로부터 전달된 신호를 사용자에게 전달할 수 있다.
인터페이스부(140)는 전원키, 채널키, 볼륨키, 설정키 등에 입력되는 사용자 입력 신호를 제어부(150)에 전달할 수 있다. 또한, 인터페이스부(140)는 사용자의 제스처, 사용자의 위치, 터치 등을 센싱하기 위한 센서부(미도시)가 구비될 수 있다. 이를 위해, 센서부는 터치 센서, 음성 센서, 위치 센서, 동작 센서, 자이로 센서 등을 포함할 수 있다. 그러한 경우 인터페이스부(140)는 센서부로부터 입력되는 입력 신호를 제어부(150)에 전달하거나 제어부(150)로부터의 신호를 센서부로 송신할 수 있다.
인터페이스부(140)는 외부 입력 장치(200), 예를 들어 공간 리모콘으로부터의 전원 제어, 채널 선택, 화면 설정 등을 위해 사용자가 입력한 입력 신호를 수신하거나, 제어부(160)에 의해 처리된 신호를 외부 입력 장치(200)로 전송할 수 있다. 이때, 인터페이스부(140)와 외부 입력 장치(200)는 유선 또는 무선으로 연결될 수 있다.
또한, 인터페이스부(140)는 외부 입력 장치(200)로부터 개인 정보를 수신하거나 그리고/또는 그러한 개인 정보를 통해 접속 중인 웹 서버 정보를 수신할 수 있다. 예를 들어, 이동 단말기가 외부 입력 장치(200)에 소정 거리 이내로 접근하여 근거리 자기장 통신(NFC)를 수행하는 경우에, 외부 입력 장치(200)는 이동 단말기내에 저장된 개인 정보 등을 수신할 수 있다. 여기서, 개인 정보는 전자기기에 접속하거나 또는 서비스를 이용하기 위해 소정 계정으로 로그인하기 위해 필요한 정보일 수 있다.
제어부(150)는 영상표시장치(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(150)는 튜너(110), 복조부(120), 및/또는 신호 입출력부(130)를 통해서 수신되는 스트림 신호(TS)를 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다. 예를 들어, 제어부(150)는 사용자가 선택한 채널 또는 기저장된 채널에 대응하는 RF 방송 신호를 튜닝하도록 튜너(110)를 제어할 수 있다.
제어부(150)에서 영상 처리된 영상 신호는 디스플레이부(170)로 전달되어 해상 영상 신호에 대응하는 영상을 출력할 수 있고, 제어부(150)에서 처리된 음성 신호는 오디오 출력부(180)로 전달되어 음향을 출력할 수 있다. 또한, 제어부(150)에서 처리된 영상 신호 및/또는 음성 신호는 신호 입출력부(130)를 통해 외부 기기의 출력장치로 입력될 수 있다.
제어부(150)는 예를 들어 스트림 신호(TS)를 역다중화하거나, 역다중화된 신호들을 처리하여 영상 또는 음성 출력을 위한 신호를 생성 및 출력하기 위해, 비록 도면에는 도시되지 않았으나, 역다중화부, 영상 처리부, OSD(On Screen Display) 생성부, 음성 처리부, 데이터 처리부, 채널 브라우징 처리부 등을 포함할 수 있다.
역다중화부(미도시)는 입력된 스트림 신호(TS)를 역다중화한다. 역다중화는 예를 들어, MPEG-2 스트림 신호(TS)가 입력되는 경우 이를 역다중화하여, 각각 영상 신호, 음성 신호 및 데이터 신호로 분리할 수 있다. 여기에서, 스트림 신호(TS)는 상술한 바와 같이, 튜너(110), 복조부(120), 및/또는 신호 입력출력(130)로부터 출력되는 것 일 수 있다.
영상 처리부(미도시)는 역다중화된 영상 신호의 영상 처리, 예를 들어 복호화를 수행할 수 있다. 좀더 상세하게, 영상 처리부는 MPEG-2 디코더를 이용하여 MPEG-2 규격의 부호화된 영상 신호를 복호화하고, H.264 디코더를 이용하여 DMB(Digital Multimedia Broadcasting) 방식 또는 DVB-H(Digital Video Broadcast-Handheld) 방식에 따라 H.264 규격의 부호화된 영상 신호를 복호화할 수 있다. 또한, 영상 처리부는 영상 신호의 밝기(brightness), 틴트(tint) 및 색조(color) 등이 조절되도록 영상 처리할 수 있다. 또한, 영상 처리부는 역다중화된 영상 신호가 디스플레이부(170)에서 출력가능하도록 스케일링(scalling) 할 수 있다. 이와 같이 영상 처리부에서 영상 처리된 영상 신호는 디스플레이부(170)로 전달되거나, 외부 출력 단자를 통해 외부 출력 장치(미도시)로 전달될 수 있다.
OSD 생성부(미도시)는 사용자 입력에 따라 또는 자체적으로 OSD 신호를 생성할 수 있다. 좀 더 상세하게, OSD 생성부는 예를 들어, 영상 신호 및 데이터 신호 중 적어도 하나 또는 외부 입력 장치(200)로부터 수신되는 입력 신호에 기초하여, 디스플레이부(170)의 화면에 각종 정보를 그래픽(Graphic)이나 텍스트(Text)로 표시하기 위한 신호를 생성할 수 있다. 생성되는 OSD 신호는, 영상표시장치(100)의 사용자 인터페이스 화면, 다양한 메뉴 화면, 위젯, 아이콘, 외부 입력 장치(200)로부터 송신되는 포인팅 신호에 대응하는 포인터 등의 다양한 데이터를 포함할 수 있다. 또한, 생성되는 OSD 신호는, 2D 오브젝트 또는 3D 오브젝트를 포함할 수 있다.
제어부(150)는 상술한 OSD 생성부에서 생성된 OSD 신호와 영상 처리부에서 영상 처리된 복호화된 영상 신호를 믹싱할 수 있다. 믹싱된 영상 신호는 프레임 레이트 변환부(Frame Rate Conveter, FRC)를 거쳐 영상의 프레임 레이트를 변경할 수 있다. 또한, 믹싱된 영상 신호는 포맷터(Formatter)를 거쳐 영상 신호의 포맷을 변경하여 출력하거나 3D 영상 표시를 위해 2D 영상 신호와 3D 영상 신호를 분리하거나 또는 2D 영상 신호를 3D 영상 신호로 전환할 수 있다.
음성 처리부(미도시)는 역다중화된 음성 신호에 대한 음성 신호 예를 들어, 복호화를 수행할 수 있다. 좀더 상세하게, 음성 처리부는 MPEG-2 디코더를 이용하여 MPEG-2 규격의 부호화된 음성 신호를 복호화할 수 있고, MPEG 4 디코더를 이용하여 DMB 방식에 따른 MPEG 4 BSAC(Bit Sliced Arithmetic Coding) 규격의 부호화된 음성 신호를 복호화할 수 있고, AAC 디코더를 이용하여 위성 DMB 방식 또는 DVB-H(Digital Video Broadcast-Handheld) 방식에 따라 MPEG 2의 AAC(Advanced Audio Codec) 규격의 부호화된 음성 신호를 복호화할 수 있다. 또한, 음성 처리부는 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다. 이와 같이 음성 처리부에서 처리된 음성 신호는 오디오 출력부(180), 예를 들어, 스피커로 전달되거나, 또는 외부 출력 장치로 전달될 수 있다.
데이터 처리부(미도시)는 역다중화된 데이터 신호에 대한 데이터 처리, 예를 들어, 복호화를 수행할 수 있다. 여기서, 데이터 신호는 각각의 채널에서 방영되는 방송프로그램의 시작시간, 종료시간 등의 방송정보를 포함하는 EPG(Electronic Program Guide) 정보를 포함할 수 있다. EPG 정보는, 예를 들어, ATSC 방식에서는 ATSC-PSIP(ATSC-Program and System Information Protocol) 정보를 포함할 수 있고, DVB 방식에서는 DVB-SI(DVB-Service Information) 정보를 포함할 수 있다. 여기서, ATSC-PSIP 정보 또는 DVB-SI 정보는 MPEG-2 스트림 신호(TS)의 헤더(4 byte)에 포함될 수 있다.
채널 브라우징 처리부(미도시)는 복조부(120)에서 출력된 스트림 신호(TS) 또는 신호 입출력부(130)에서 출력된 스트림 신호(TS)를 입력받아, 그로부터 영상을 추출하여 썸네일 영상을 생성할 수 있다. 생성된 썸네일 영상은 그대로 또는 부호화되어 제어부(150)에 입력될 수 있다. 그러한 경우, 제어부(150)는 입력된 썸네일 영상을 이용하여 복수의 썸네일 영상을 구비하는 썸네일 리스트를 디스플레이부(170)에 표시할 수 있다. 이때, 썸네일 리스트내의 썸네일 영상은 디스플레이부(170)의 전체 영역에 표시될 수도 있고 디스플레이부(170)의 일부 영역에 간편 보기 방식으로 표시될 수도 있다. 또한, 썸네일 리스트내의 썸네일 영상은 순차적으로 업데이트될 수 있다.
한편, 제어부(150)는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)에 대한 신호 처리도 수행할 수 있다. 예를 들어, 제어부(150)에 입력되는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)는 튜너(110) 또는 신호 입출력부(130)에서 출력되는 아날로그 베이스 밴드 영상/음성신호일 수 있다. 제어부(150)는 입력된 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)를 처리하고, 신호 처리된 영상 신호는 디스플레이부(170)를 통해 표시되도록 하고, 신호 처리된 음성 신호는 오디오 출력부(180)를 통해 출력되도록 제어한다.
또한, 제어부(150)는 신호 입출력부(130) 또는 인터페이스부(140)를 통해 입력된 사용자 명령이나 또는 내부 프로그램 등에 의하여 영상표시장치(100)의 동작을 제어할 수 있다. 좀더 상세하게, 제어부(150)는 신호 입출력부(130) 또는 인터페이스부(140)로부터 수신되는, 영상표시장치(100) 주변의 인접 외부 기기의 기기 정보, 다른 외부 기기의 원격제어 가능한 채널 정보, 주파수 정보 또는 코드 정보 등에 기초하여, 외부 입력 장치(200)로부터의 개인 정보에 따라, 각 외부 기기 등이 접속되었는지 여부를 판단하고, 외부 기기가 접속 되었음을 나타내는 오브젝트를 디스플레이(170)에 표시하도록 제어할 수 있다.
또한, 제어부(150)는 디스플레이부(170)에 표시되는 적어도 하나의 오브젝트에 대해 3D 오브젝트로 표시되도록 할 수 있다. 여기서, 오브젝트는 예를 들어, 접속된 웹 화면(신문, 잡지 등), EPG(Electronic Program Guide), 이 외에 다양한 메뉴, 위젯, 아이콘, 정지 영상, 동영상, 텍스트 중 적어도 하나일 수 있다.
또한, 제어부(150)는 촬영부(미도시)로부터 촬영된 영상, 센싱부(미도시)로부터의 감지된 신호, 또는 외부 입력 장치(200)로부터 송신된 입력 신호를 각각 또는 조합하여 사용자의 제스처를 감지할 수 있다.
또한, 제어부(150)는 촬영부(미도시)로부터 촬영된 영상에 기초하여, 사용자의 위치를 인식할 수 있다. 예를 들어, 사용자와 영상표시장치(100)간의 거리(z축 좌표)를 파악할 수 있고, 이 외에도, 사용자 위치에 대응하는 디스플레이부(170) 내의 x축 좌표, 및 y축 좌표를 파악할 수 있다.
저장부(160)는 제어부(150)의 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상 신호, 음성 신호 및 데이터 신호, 채널 맵 등의 채널 기억 기능을 통해 소정 방송 채널에 관한 정보 등을 저장할 수도 있다. 저장부(160)는 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
또한, 저장부(160)는 다른 외부 기기들을 제어하기 위한 IR 포맷 키(key) 코드들을 저장할 수 있고, 복수의 외부 기기의 IR 포맷 키 데이터베이스를 저장할 수도 있다.
디스플레이부(170)는 제어부(150)에 의해 처리된 영상 신호, 데이터 신호, OSD 신호, 또는 신호 입출력부(130)나 인터페이스부(140)로부터 수신된 영상 신호, 데이터 신호, 제어 신호 등을 RGB 신호로 변환하여 구동 신호를 생성하고, 이를 통해, 영상을 출력한다. 디스플레이부(170)는 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT- LCD), 유기 발광 다이오드(Organic Light Emitting Diode: OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 등의 다양한 형태로 구현될 수 있다
예를 들어, 디스플레이부(170)가 3차원 디스플레이(3D display)인 경우에는, 3차원 영상 시청을 위하여 추가 디스플레이 방식 또는 단독 디스플레이 방식에 의하여 구현될 수 있다. 단독 디스플레이 방식은 별도의 디스플레이 없이, 예를 들어 안경(glass) 등이 없이 디스플레이부(170) 단독으로 3D 영상을 구현할 수 있는 것으로서, 그 예로 렌티큘라 방식, 파라랙스 베리어(parallax barrier) 등의 방식이 적용될 수 있다. 또한, 추가 디스플레이 방식은 디스플레이부(170) 외에 3D 시청장치를 사용하여 3D 영상을 구현할 수 있는 것으로서, 그 예로 헤드 마운트 디스플레이(HND) 타입, 안경 타입 등의 방식이 적용될 수 있다.
또한, 디스플레이부(170)가 터치 센서를 구비한 터치 스크린으로 구현되는 경우에는 출력 장치 외에 입력 장치의 기능도 수행할 수 있다.
터치 센서는 디스플레이부(170)의 특정 부위에 가해진 압력 또는 디스플레이부(170)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 대상체가 터치 센서 상에 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다. 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부로 전송한다. 이로써, 제어부(150)는 디스플레이부(170)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
오디오 출력부(180)는 제어부(150)에 의해 처리된 음성 신호, 예를 들어, 스테레오 신호 또는 5.1 채널 신호를 입력받아 그에 대응하는 음향을 출력한다. 이를 위해, 오디오 출력부(180)는 다양한 형태의 스피커로 구현될 수 있다.
마이크(190)는 사용자로부터 소정의 음성명령을 수신할 수 있다. 또한, 마이크(190)는 외부의 음향 신호가 입력되는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 포함할 수 있다. 마이크(190)를 통해 입력된 사용자의 음성명령이나 외부 음향은 제어부(150)로 입력될 수 있다. 그러면, 상기 제어부(150)는 입력받은 음성명령이나 음향을 신호 처리하여 대응되는 의미나 기능을 인식할 수 있다.
한편, 비록 도시되지는 않았지만, 카메라(미도시)는 외부 또는 사용자를 촬영하고, 일반적으로는 1개가 구비되나 사용 환경에 따라 2개 이상이 구비될 수 있다. 카메라를 통해 촬영된 영상 정보는 제어부(150)로 입력될 수 있다. 그러면, 제어부(150)는 입력받은 영상 정보를 신호처리하여 사용자 또는 특정 객체의 위치나 동작을 감지할 수 있다.
또한, 영상표시장치(100)는 카메라(미도시)와 마이크(190)를 포함하여 이루어지는 화상통신부(미도시)를 구비할 수 있다. 제어부(150)는 카메라에 의하여 촬영된 영상 정보와 마이크(190)에 의하여 수집된 오디오 정보를 신호 처리하여 신호 입출력부(130) 또는 인터페이스(140)를 통하여 상대방의 화상통신 기기로 전송할 수 있다.
전원 공급부(미도시)는, 영상표시장치(100) 전반에 걸쳐 해당 전원을 공급한다. 특히, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있는 제어부(150)와, 영상 표시를 위한 디스플레이부(170), 및 오디오 출력을 위한 오디오 출력부(180)에 전원을 공급할 수 있다.
이를 위해, 전원 공급부(미도시)는, 교류 전원을 직류 전원으로 변환하는 컨버터(미도시)를 구비할 수 있다. 한편, 예를 들어, 디스플레이부(170)가 다수의 백라이트 램프를 구비하는 액정패널로서 구현되는 경우에는, 휘도 가변 또는 디밍(dimming) 구동을 위하여, PWM 동작이 가능한 인버터(미도시)를 더 구비할 수도 있다.
외부 입력 장치(200)는 유선 또는 무선으로 인터페이스부(140)와 연결되어서, 사용자 입력에 따라 생성되는 입력 신호를 인터페이스부(140)로 전송한다. 외부 입력 장치(200)는 원격조정기(예, 공간 리모콘), 마우스, 키보드, 휠 등을 포함할 수 있다. 원격조정기는 블루투스(Bluetooth), RF 통신, 적외선 통신(IR 통신), UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 통해 입력 신호를 인터페이스부(140)로 전송할 수 있다. 외부 입력 장치(200)가 특히 공간 리모콘으로 구현된 경우에는 본체의 동작을 감지하여서 소정의 입력 신호를 생성할 수 있다.
한편, 영상표시장치(100)는 고정형 디지털 방송 수신기로 구현되거나 또는 이동형 디지털 방송 수신기로 구현될 수 있다.
영상표시장치(100)가 고정형 디지털 방송 수신기로 구현되는 경우에는, 단일의 캐리어를 사용하는 ATSC 방식(8-VSB 방식)의 디지털 방송, 복수의 캐리어를 사용하는 지상파 DVB-T 방식(COFDM 방식)의 디지털 방송, 사용자의 권한에 따라 각기 다른 방송 채널을 사용할 수 있도록 하는 ISDB-T 방식(BST-OFDM방식)의 디지털 방송 등 중 적어도 하나를 수신할 수 있도록 구현 가능하다.
영상표시장치(100)가 이동형 디지털 방송 수신기로 구현되는 경우에는, 지상파 DMB 방식의 디지털 방송, 위성 DMB 방식의 디지털 방송, ATSC-M/H 방식의 디지털 방송, DVB-H(Digital Video Broadcast-Handheld) 방식의 디지털 방송, 미디어플로(Media Foward Link Only) 방식의 디지털 방송 등 중 적어도 하나를 수신할 수 있도록 구현 가능하다.
한편, 영상표시장치(100)는 케이블, 위성 통신, IPTV용 디지털 방송 수신기로도 구현될 수 있다.
또한, 상기에서 설명한 영상 표시 장치(100)는 이동 단말기에도 적용될 수 있다. 상기 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook) 등이 포함될 수 있다.
영상 표시 장치가 이동 단말기로서 사용되는 경우에는 상술한 구성 이외에, 무선 통신부가 더 추가될 수 있다. 무선 통신부는 이동 단말기와 무선 통신 시스템 사이 또는 이동 단말기와 이동 단말기가 위치한 네트워크 사이에 무선 통신을 가능하게 한다.
이를 위해, 무선 통신부는 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 및 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
방송 수신 모듈은 방송 채널을 통해 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신할 수 있다.
여기서, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다. 또한, 여기서, 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 또한, 여기서, 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, 이 외에도 TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
여기서, 상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있고, 이러한 방송 관련 정보는, 이동통신망을 통하여 제공될 수 있다. 또한, 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), DVB-CBMS(Convergence of Broadcasting and Mobile Service), OMA-BCAST(Open Mobile Alliance-BroadCAST), CMMB(China Multimedia Mobile Broadcasting), MBBMS(Mobile Broadcasting Business Management System), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 방식을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리에 저장될 수 있다.
이동통신 모듈은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
상기 이동통신 모듈은 화상통화모드 및 음성통화모드를 구현하도록 이루어진다. 화상통화모드는 상대방의 영상을 보면서 통화하는 상태를 지칭하고, 음성통화모드는 상대방의 영상을 보지 않으면서 통화를 하는 상태를 지칭한다. 이동통신 모듈은 화상통화모드 및 음성통화모드를 구현하기 위해 음성 및 영상 중 적어도 하나를 송수신하도록 형성된다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈로서, 이동 단말기에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN), WiFi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), GSM, CDMA, WCDMA, LTE(Long Term Evolution) 등이 이용될 수 있다.
근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetoot), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), 와이-파이 다이렉트 등이 이용될 수 있다.
위치정보 모듈은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다.
도 2는 도 1에 도시된 외부 입력 장치(200)를 상세하게 보여주는 블록도이다. 외부 입력 장치(200)는 무선 통신부(210), 사용자 입력부(220), 감지부(230), 출력부(240), 전원 공급부(250), 저장부(260) 및 제어부(270)를 등을 포함하여 이루어질 수 있다.
도 2를 참조하면, 무선 통신부(210)는 영상표시장치(100)로 신호를 송신하거나 영상표시장치(100)로부터 신호를 수신한다. 이를 위해, 무선 통신부(210)는 RF 모듈(211) 및 IR 모듈(212)을 구비할 수 있다. RF 모듈(211)은 RF 통신 규격에 따라 영상표시장치(100)의 인터페이스부(140)와 연결되어 신호를 송수신하고, IR 모듈(212)은 IR 통신 규격에 따라 영상표시장치(100)의 인터페이스부(140)와 신호를 송수신할 수 있다. 예를 들어, 무선 통신부(210)는 영상표시장치(100)로 외부 입력 장치(200)의 움직임 등의 정보를 포함하는 신호를 RF 모듈(211)을 통해 전송할 수 있다.
한편, 외부 입력 장치(200)는, 외부 기기와의 근거리 자기장 통신을 위한, NFC 모듈(미도시)을 더 구비하여 소정 외부 기기와 근거리 자기장 통신에 의해, 개인 정보, 개인 정보에 의해 접속 중인 웹 서버 정보 등을 수신하고, 수신된 정보들을 RF 모듈(211) 또는 IR 모듈(212)을 통해 영상표시장치(100)로 전송할 수 있다.
이외에도 외부 입력 장치(200)는 블루투스(Bluetooth), 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee), 근거리 자기장 통신(NFC) 방식 등을 사용하여 영상표시장치(100)의 인터페이스부(140)로 신호를 송신할 수도 있다.
외부 입력 장치(200)는 영상표시장치(100)의 인터페이스부(140)에서 출력되는 영상, 음성 또는 데이터 신호 등을 수신할 수 있다. 그리고, 외부 입력 장치(200)는, 수신되는 영상, 음성 또는 데이터 신호에 기초하여, 외부 입력 장치(200)에서 이를 표시하거나 음성 출력할 수 있다.
또한, 외부 입력 장치(200)는 주변의 인접 외부 기기로부터, 다른 외부 기기의 기기 정보, 다른 외부 기기의 원격제어가 가능한 채널 정보, 주파수 정보 또는 코드 정보 등을 수신할 수도 있고, 이러한 다른 외부 기기 정보에 기초하여, 해당 외부 기기로 채널, 주파수 또는 코드를 할당하여 원격제어를 수행할 수도 있다.
사용자 입력부(220)는 입력 수단으로서, 예를 들어 키 패드, 키 버튼, 터치 스크린, 스크롤 키, 조그 키 등을 구비할 수 있다. 사용자는 사용자 입력부(220)를 조작하여 영상표시장치(100)와 관련된 제어명령을 입력할 수 있다. 이러한 제어명령은, 예를 들어, 사용자가 사용자 입력부(200)의 하드 키 버튼의 푸쉬 동작을 통해 입력될 수 있다. 또한, 이러한 명령은 예를 들어, 사용자 입력부(220)가 터치스크린을 구비할 경우 사용자가 터치스크린의 소프트키를 터치하는 것으로 입력될 수 있다.
사용자 입력부(220)는, 예를 들어, 확인키(Okay key), 메뉴키, 사방향키, 채널 조정키, 볼륨조정키, 백 키(back key), 홈 키(home key) 등을 구비할 수 있다. 확인키(Okay key)(미도시)는 메뉴 또는 항목 선택시 사용 가능하며, 메뉴키(미도시)는 소정 메뉴 표시를 위해 사용 가능하다. 또한, 사방향키(미도시)는 영상표시장치(100)의 디스플레이부(170)에 표시되는 포인터 또는 인디케이터를 상,하,좌,우 이동시 사용될 수 있다. 또한, 채널 조정키(미도시)는 채널의 상, 하 조정시 사용 가능하고, 볼륨 조정키(미도시)는, 볼륨 업, 다운 조정 시 사용될 수 있다. 또한, 백 키(back key)(미도시)는 이전 화면으로의 이동시 사용 가능하며, 홈 키(미도시)는, 홈 화면으로의 이동시 사용될 수 있다.
확인키는, 스크롤 기능을 추가하여 구현될 수 있다. 이를 위해, 확인키는 휠 키 형태로 구현될 수 있다. 즉, 사용자가 확인키를 상/하 또는 좌/우로 푸쉬하는 경우에는 해당 메뉴 또는 항목 선택으로 사용될 수 있고, 구비된 휠을 상/하로 회전시키는 경우에는 휠의 회전에 대응하는 방향으로 영상표시장치(100)의 디스플레이부(170)에 출력된 화면이 스크롤링 또는 다음 리스트 페이지로 전환될 수 있다. 예를 들어, 디스플레이부(170)에 출력된 화면이 전체 출력될 화면의 일부만 표시된 경우, 원하는 부분의 화면을 탐색하기 위하여 확인키의 휠을 스크롤링하면, 현재 디스플레이부(170)에 출력되지 않던 화면 영역이 디스플레이부(170)에 출력될 수 있다. 다른 예로, 디스플레이부(170)에 리스트 페이지가 표시되는 경우, 확인키의 휠을 스크롤링하면, 디스플레이부(170)에 표시되는 현재 페이지의 이전 페이지 또는 다음 페이지가 표시될 수 있다.
또한, 이와 같은 확인키의 스크롤 기능을 이용하여, 방송 채널 전환시 채널을 휠의 회전에 대응하는 만큼 채널을 업시키거나 다운시킬 수 있고, 음량 조절시 음량을 휠의 회전에 대응하는 만큼 볼륨을 높여서 출력하거나 또는 볼륨을 작게하여 출력할 수 있다.
또한, 이와 같은 확인키의 스크롤 기능은, 별도의 키로 구비되어 구현될 수도 있다.
감지부(230)는 자이로 센서(231), 가속도 센서(232), 및 음향 센서(233)를 구비할 수 있다. 자이로 센서(231)는 외부 입력 장치(200)의 공간 움직임을 x축, y축 및 z축을 기준으로 감지할 수 있다. 가속도 센서(232)는 외부 입력 장치(200)의 이동 속도 등을 감지할 수 있다. 음향 센서(233)는 외부 입력 장치(200)에 입력된 음성 정보를 감지하고, 이를 제어부(170)나 영상표시장치(100)에 전달할 수 있다. 그러면, 상기 제어부(170)나 영상표시장치(100)는 음성 정보에 대응되는 음성을 인식하거나 그리고/또는 인식된 음성을 영상표시장치(100)의 동작을 제어하기 위한 제어명령으로 인식할 수 있다.
또한, 감지부(230)는 거리측정센서를 더 구비할 수 있으며, 이에 의하여, 디스플레이부(170)와의 거리를 감지할 수 있다.
출력부(240)는 사용자 입력부(220)의 조작에 따른 정보 및 영상표시장치(100)의 전송 신호에 대응하는 정보를 출력한다. 사용자는 출력부(240)를 통하여 사용자 입력부(220)의 조작 상태 또는 영상표시장치(100)의 제어 상태를 인지할 수 있다. 출력부(240)는, 사용자 입력부(220)의 조작 또는 무선 통신부(210)을 통해 송수신되는 신호에 응답하여, 점등되는 LED 모듈(241), 진동을 발생하는 진동 모듈(242), 음향을 출력하는 음향 출력 모듈(243) 및 영상을 출력하는 디스플레이 모듈(244)을 구비할 수 있다.
전원 공급부(250)는 외부 입력 장치(200)의 각종 전자 소자에 전원을 공급한다. 전원 공급부(250)는 외부 입력 장치(200)가 소정 시간 동안 움직이지 않은 경우, 전원 공급을 중단하여 전원의 낭비를 줄일 수 있으며, 외부 입력 장치(200)의 소정 키가 조작되는 경우에 전원 공급을 재개할 수 있다.
저장부(260)는 외부 입력 장치(200)의 제어 또는 동작과 관련된 각종 프로그램, 애플리케이션, 주파수 대역 정보 등을 저장할 수 있다. 또한, 저장부(260)는 IR 신호로 다른 외부 기기들을 제어하기 위한 IR 포맷 키(key) 코드들을 저장할 수 있고, 복수의 외부 기기의 IR 포맷 키 데이터베이스를 저장할 수 있다.
제어부(270)는 외부 입력 장치(200)의 제어와 관련된 제반사항을 전반적으로 제어한다. 제어부(270)는 사용자 입력부(220)의 소정 키 조작에 대응하는 신호를 통신부(210)를 통해 영상표시장치(100)로 전송할 수 있다. 또한, 제어부(270)는 감지부(230)에서 감지한 외부 입력 장치(200)의 움직임에 대응하는 신호를 무선 통신부(210)를 통해 영상표시장치(100)로 전송할 수 있으며, 영상표시장치(100)는 외부 입력 장치(200)의 움직임에 대응하는 포인터의 좌표값을 산출할 수 있다.
도 3은 본 발명과 관련된 영상표시장치(100)와 외부 입력 장치(200)의 상호 동작을 보여주는 개념도이다. 여기에서는, 설명하기 위한 목적으로 영상표시장치(100)의 예로 TV 수상기를 도시하고, 외부 입력 장치(200)의 예로 공간 리모콘을 도시하였다.
도 3을 참조하면, 외부 입력 장치(200)는 RF 통신 규격에 따라서 영상표시장치(100)와 신호를 송수신할 수 있다. 영상표시장치(100)의 화면에는 외부 입력 장치(200)의 제어 신호에 따라 제어 메뉴가 표시될 수 있다. 이를 위해, 외부 입력 장치(200)는 다수의 버튼을 구비할 수 있고, 사용자의 버튼 조작에 따라 외부 입력 신호를 생성할 수 있다. 또한, 외부 입력 장치(200)는 감지부를 통해서 감지된 외부 입력 장치(200)의 3D 공간상에서의 움직임에 관한 정보를 영상표시장치(100)로 전송할 수 있다.
도 3에서, 사용자가 외부 입력 장치(200)를 상/하, 좌/우, 앞/뒤로 움직이거나 회전하는 것에 응답하여, 영상표시장치(100)의 화면에는 외부 입력 장치(200)의 움직임에 대응하는 포인터(101)가 표시된다. 이러한 외부 입력 장치(200)는, 3D 공간상의 움직임에 따라 해당 포인터(101)가 이동되어 영상표시장치(100)의 화면에 표시되므로, 공간 리모콘이라 명명할 수 있다.
외부 입력 장치(200)의 감지부(230)를 통해 감지된 외부 입력 장치(200)의 움직임에 관한 정보는 영상표시장치(100)로 전송된다. 그러면, 영상표시장치(100)는 외부 입력 장치(200)의 움직임에 관한 정보로부터 포인터의 X, Y 좌표를 산출할 수 있다. 그러면, 영상표시장치(100)는 산출한 좌표에 대응하는 위치에 포인터(101)를 표시할 수 있다.
한편, 외부 입력 장치(200)에 구비된 특정 버튼을 누른 상태에서, 사용자가 외부 입력 장치(200)를 영상표시장치(100)의 화면에서 멀어지도록 이동시키면, 화면에 표시된 포인터(101)에 대응하는 화면내의 선택 영역이 줌인되어(줌아웃되어), 확대(축소) 표시될 수 있다. 이와 반대로, 사용자가 외부 입력 장치(200)를 영상표시장치(100)의 화면에서 가까워지도록 이동시키면, 화면에 표시된 포인터(101)에 대응하는 화면내의 선택 영역이 줌아웃(줌인)되어, 축소(확대) 표시될 수 있다.
한편, 외부 입력 장치(200)에 구비된 특정 버튼을 누른 상태에서는 외부 입력 장치(200)의 상/하, 좌/우 움직임의 인식이 배제될 수 있다. 즉, 외부 입력 장치(200)가 영상표시장치(100)의 화면에서 멀어지거나 접근하도록 이동하는 경우, 상,하,좌,우 이동은 인식되지 않고, 앞/뒤 이동만 인식될 수 있다.
또한, 외부 입력 장치(200)의 이동속도 및/또는 이동방향에 따라 영상표시장치(100)의 화면에 표시되는 포인터(101)의 이동속도, 이동방향, 및 이동에 따른 화면 스크롤 속도가 결정될 수 있다. 여기서, 포인터(101)는 도 3에 도시된 화살표 형상 이외에 다양한 형상의 오브젝트, 예를 들어 점, 커서, 프롬프트, 외곽선 등의 형상으로 이루어질 수 있다.
이상에서 설명한 구성 중 적어도 하나를 포함하는 본 발명의 실시예에 따른 영상표시장치(100)는 디스플레이부(151)의 화면상에 포인터가 출력된 상태에서 마이크(190)를 통해 입력되는 사용자의 음성명령을 인식할 수 있다. 이와 같이, 음성명령이 입력되면, 제어부(150)는 입력된 음성명령에 대응되는 대표 이미지를 생성하고, 생성된 대표 이미지를 화면에 출력된 포인터에 부착시킨다. 부착된 대표 이미지는 포인터가 이동함에 따라 함께 이동한다.
이하에서는, 통상적인 포인터를 '제 1 포인터'로 명명하고, 상기와 같이 대표 이미지가 부착된 포인터를 '제 2 포인터'로 명명할 수 있다.
또한, 여기서, 대표 이미지는 입력된 사용자의 음성명령에 대응되는 기능을 시각적으로 즉시 인지할 수 있는 이미지, 텍스트, 또는 이들의 조합을 모두 포함하는 개념이다. 예를 들어, 입력된 음성명령이 '삭제해!'인 경우, 상기 대표 이미지는 '쓰레기통 이미지'일 수 있다. 또는, 예를 들어, 입력된 음성이 제어명령이 아니라 '서울시 강남구 논현동 49-4번지'와 같이 주소를 나타내는 음성인 경우, 상기 대표 이미지는 해당 음성을 텍스트로 변환한 이미지의 일부, 즉 '서울시'가 될 수 있다.
이와 같이 대표 이미지가 부착된 포인터가 디스플레이부(170)에 표시되고, 외부 입력 장치(200)로부터 포인팅 신호가 수신되면, 제 2 포인터에 의해 화면에 표시된 특정 객체를 선택할 수 있다. 이렇게 특정 객체가 선택되면, 상기 제어부(150)는 제 2 포인터에 의하여 선택된 특정 객체를 타겟(target)으로 상기 대표 이미지에 대응되는 기능, 예를 들어 '삭제'를 바로 실행한다.
그에 따라, 사용자는 실행될 기능을 포인터의 형상을 보고 즉각적으로 인식할 수 있어서 피드백이 가능해지고, 해당 기능을 적용하고 싶은 객체들을 단지 포인터로 선택하기만 하면 되기 때문에, 특히 다수의 객체에 대해 동일한 동작이나 동일한 기능이 보다 신속하고 직관적으로 이루어질 수 있는 사용자 환경이 제공된다.
이하에서는, 도 4 및 도 5a 내지 도 5d를 참조하여, 본 발명의 실시예에 따른 영상표시장치 동작방법을 설명하기로 한다. 여기서는, 영상표시장치(100)의 예로 TV 수상기를 도시하고, 외부 입력 장치(200)의 예로 공간 리모콘을 도시하였다.
도 4를 참조하면, 먼저, 본 발명의 실시예에 따른 영상표시장치(100, 도 1)는 외부 입력 장치(200), 예를 들어 공간 리모콘으로부터 송출된 포인팅 신호에 따라 이동하는 제 1 포인터를 화면에 출력한다(S401).
여기서, 제 1 포인터는 도 5a에 도시된 화살표 형상 외에 다양한 형상의 오브젝트, 예를 들어 커서, 프롬프트, 점, 외곽선 등일 수 있다. 또한, 제 1 포인터는 평소에는 화면에 표시되지 않다가 공간 리모콘(200)의 움직임이 감지될 때, 디스플레이부(170)의 일 영역, 예를 들어 화면의 중앙 영역에 표시될 수 있다.
*또한, 화면에 출력된 제 1 포인터는 기설정된 시간 동안 아무런 신호, 예를 들어 포인팅 신호가 입력되지 않으면 화면에서 사라질 수 있다.
이와 같이 제 1 포인터가 출력되면, 제어부(150)는 사용자로부터 제 1 음성신호가 입력되는 것을 감지할 수 있다(S401). 여기서, 제 1 음성신호는 영상표시장치(100)의 마이크(190)나 공간 리모콘(200)에 구비된 음향 센서(233)를 통해 입력된 사용자 음성을 의미한다.
단계 S402에서 제 1 음성신호가 감지되면, 상기 제어부(150)는 음성 인식 기능을 활성화할 수 있다. 또한, 입력된 음성신호를 텍스트로 출력하기 위해 상기 제어부(150)는 음성 인식 기능과 함께 STT(Speech To Test) 기능을 활성화할 수 있다. 음성 인식을 위한 알고리즘과 STT(Speech To Test) 알고리즘은 저장부(160)에 저장될 수 있다.
또한, 상기 제어부(150)는 제 1 음성신호가 감지되기 전이라도, 사용자로부터 기설정된 키입력(예, 음성 인식 활성화 버튼), 터치입력, 음성신호, 제스처, 등의 입력이 있으면 상기와 같은 기능들을 활성화시킬 수 있다. 이때, 상기 제어부(150)는 이와 같이 활성화된 기능에 대응하는 인디케이터를 디스플레이부(170, 도 1)의 일 영역에 표시할 수 있다.
음성 인식 기능과 STT 기능이 활성화된 것으로 판단되면, 상기 제어부(150)는 입력된 제 1 음성신호에 대응되는 대표 이미지를 생성하고, 생성된 대표 이미지를 상기 제 1 포인터에 부착한다(S403).
여기서, 상기 대표 이미지는 제 1 음성신호를 텍스트로 변환한 것이거나 또는 제 1 음성신호의 음성 인식 결과에 대응되는 기능을 대표할 수 있는 이미지를 가리킨다. 예를 들어, 제 1 음성신호가 '이메일로 전송해줘'와 같이 특정 제어명령으로 인식되면, 상기 제어부(150)는 '편지봉투 형상의 이미지'를 대표 이미지로 생성할 수 있다. 또는 제 1 음성신호가 '소지섭'과 같이 제어명령이 아닌 음성으로 인식되면, 상기 제어부(150)는 '소지섭' 텍스트를 대표 이미지로 생성할 수 있다.
이러한 대표 이미지는, 저장부(160)에 미리 저장된 이미지이거나, 웹 접속을 통해 소정의 웹페이지로부터 추출된 이미지거나, TTS 기능을 사용하여 변환된 텍스트의 일부일 수 있다.
또한, 대표 이미지가 제 1 포인터에 부착된다는 것은, 제 1 포인터 옆(또는 가까이)에 대표 이미지가 함께 표시되는 것을 의미한다. 즉, 제 1 포인터가 제 2 포인터로 변경되어 출력됨을 의미한다.
좀 더 구체적으로, 생성된 대표 이미지는 제 1 포인터의 상/하/좌/우에 달라붙을 수 있다. 이때, 대표 이미지가 부착되는 구체적인 위치는, 사용자 입력을 통해 미리 설정될 수 있고, 사용자 음성에 의해 수동으로 또는 포인터의 위치(예, 포인터가 화면의 각 모서리에 있는 경우 대표 이미지가 보일 수 있는 위치에 표시됨)에 따라 자동으로 변경될 수 있다.
이때, 상기 대표 이미지는 2D 또는 3D 오브젝트로 표현될 수 있다. 또한, 상기 대표 이미지는 해칭(hatching)이 부여되거나 반투명 상태로 표현되어, 제 1 포인터와 시각적으로 구별되도록 표시될 수 있다.
또한, 상기 대표 이미지는 제 1 포인터와 적어도 일부가 겹쳐져서 표시될 수도 있고, 제 1 포인터와 소정거리 떨어져서 표시될 수도 있다. 다만, 적어도 제 1 포인터가 가리키는 지점을 가리지않는 범위내에서 겹쳐지고, 대표 이미지가 제 1 포인터에 달라붙은 것으로 인식되는 범위내에서 이격되도록 표시되는 것이 바람직할 것이다.
또한, 상기 제어부(150)는 제 1 음성신호에 대응되는 대표 이미지를 복수 개 생성할 수 있다. 그러한 경우, 상기 제어부(150)는 생성된 복수의 대표 이미지가 교대로 제 1 포인터 옆(또는 가까이)에 표시되도록 제어할 수 있다. 예를 들어, 제 1 음성신호가 '삭제해줘'인 경우, 대표 이미지로 '쓰레기통 이미지'와 '삭제'텍스트가 생성될 수 있으며, 이러한 경우 제 1 포인터 옆에 기설정된 시간간격(예, 3초)으로 '쓰레기통 이미지'와 '삭제'텍스트가 번갈아가면서 표시될 수 있다.
도 5a 및 도 5b를 참조하면, 도 5a에 도시된 바와 같이 영상표시장치(100)의 디스플레이부(170)에 포인터(501)가 출력된 상태에서, 사용자가 '이메일로 전송해줘'라는 음성명령을 입력하면, 도 5b에 도시된 것처럼, 입력된 음성명령에 포함된 '이메일 전송기능'에 대응되는 대표 이미지, 즉 '편지봉투' 이미지(502)가 생성되어 포인터(501) 옆에 달라붙는다. 또한, 포인터(501) 옆에 '편지봉투' 이미지(502)가 부착될 때 소정의 알람, 예를 들어 진동, 소리, 팝업 메시지 등이 출력될 수 있다.
이와 같이 제 1 포인터에 대표 이미지가 부착된 상태에서, 사용자는 공간 리모콘(200)을 사용하여 대표 이미지가 부착된 포인터, 즉 제 2 포인터를 움직일 수 있다. 그리고, 상기 제어부(150)는 제 2 포인터에 의해 화면에 표시된 특정 객체가 선택된 것을 감지할 수 있다(S404).
여기서, 상기 특정 객체는 예를 들어 화면에 표시된 특정 웹 페이지(웹 페이지내에서의 특정 블록을 지정할 수도 있음), EPG(Electronic Program Guide), 이 외에 다양한 메뉴, 위젯, 아이콘, 정지 영상, 동영상, 텍스트, 및 입력창 중 적어도 하나일 수 있다.
또한, 여기서, 특정 객체가 제 2 포인터에 의하여 선택된다는 의미는, 공간 리모콘(200)을 움직여서 대표 이미지가 부착된 포인터, 즉 제 2 포인터를 특정 객체가 표시된 영역으로 이동한 다음, 영상표시장치(100)에 기설정된 방식의 선택신호를 인가하는 것, 즉 '클릭'하는 것을 의미한다.
이때, 상기 기설정된 방식의 선택신호는, 기설정된 키입력, 터치입력, 음성명령(예, '선택'), 제스처 중 어느 하나에 의하여 발생할 수 있다. 예를 들어, 사용자가 공간 리모콘(200)에 구비된 특정 키(예, '확인키' 또는 '핫키')를 푸쉬(push)하여 생성된 입력신호가 영상표시장치(100)로 송출되면, 상기 영상표시장치(100)는 선택신호가 발생한 것으로 인식할 수 있다.
예를 들어,도 5c를 참조하면, 사용자는 '편지봉투' 이미지(502)가 부착된 포인터(501)를 공간 리모콘(200)을 사용하여 자유롭게 이동할 수 있고, 포인터를 이용하여 이메일로 전송하고 싶은 사진들을 고른 다음 선택할 수 있다. 포인터(501)에 의해 선택된 사진들(510, 530, 550)은 선택되지 않은 다른 사진들(520, 530, 560)과 시각적으로 구별되게 표시된다. 이때, '편지봉투' 이미지(502)는 포인터(501)가 이동함에 따라 함께 이동한다.
제 2 포인터에 의하여 선택되는 객체의 종류와 갯수는 하나 또는 다수일 수 있다. 즉, 제 2 포인터에 의하여 특정 객체가 선택된 후에도 포인터에 부착된 대표 이미지는 사라지지 않고 유지된다. 그에 따라, 상기 제어부(150)는 제 2 포인터를 사용하여 제 1 객체를 선택한 다음, 제 2 포인터를 다른 영역으로 이동하여 제 2 객체를 선택할 수 있다.
또한, 선택가능한 객체에는 현재 디스플레이부(170)의 화면에 출력된 것뿐만 아니라, 장차 특정 애플리케이션을 실행하여 출력되는 화면에 있는 객체도 포함된다. 즉, 객체가 선택될 수 있는 영역범위는 제한이 없다.
이를 위해, 상기 제어부(150)는 예외적으로, 제 2 아이콘에 의해 선택된 객체가 애플리케이션의 실행 아이콘이면, 이를 대표 이미지가 부착되지 않은 제 1 아이콘에 의한 선택으로 인식할 수 있다.
이와 같이, 대표 이미지가 부착된 포인터에 의해 화면의 특정 객체가 선택되면, 상기 제어부(150)는 선택된 특정 객체를 타겟으로 대표 이미지에 대응되는 기능을 실행한다(S405). 즉, 상기 제어부(150)는 선택된 특정 객체에 포인터에 달라붙은 대표 이미지에 대응되는 기능을 적용한다.
여기서, 대표 이미지에 대응되는 기능은 단계 S402에서 입력된 제 1 음성신호의 음성 인식 결과에 따라 결정된다.
구체적으로, 제 1 음성신호가 제어명령으로 인식된 경우이면, 상기 제어부(150)는 선택된 객체에 대하여 대표 이미지에 대응되는 제어명령을 실행한다. 예를 들어, 제 1 음성신호가 '이메일로 전송해줘'인 경우, 도 5c에 도시된 바와 같이, '편지봉투' 이미지가 부착된 제 2 포인터에 의해 선택된 사진들(510, 530, 550)이 즉시 이메일로 전송된다.
한편, 제 1 음성신호가 제어명령이 아닌 음성으로 인식된 경우이면, 상기 제어부(150)는 선택된 객체나 선택된 영역에 대표 이미지에 대응되는 풀 텍스트(full text)를 표시하도록 제어한다. 예를 들어, 제 1 음성신호가 '소지섭'인 경우, '소지섭' 텍스트(이때, TTS 기능에 의해 음성이 텍스트로 전환되는 과정이 전제됨)가 부착된 제 2 포인터에 의해 선택된 입력창에는 선택, 즉 '클릭'과 거의 동시에 '소지섭'이 표시된다. 입력창이 복수인 경우에는 제 2 포인터를 다른 입력창으로 이동한 다음, '클릭'하기만 하면 연속하여 입력이 이루어질 수 있다.
요컨대, 상기 제어부(150)는 대표 이미지가 부착된 제 2 포인터를 특별한 기능 키로 인식할 수 있다. 즉, 상기 제어부(150)는 상기 제 2 포인터를 포인팅 신호에 따라 자유롭게 이동할 수 있고, '클릭'에 의하여 대상이나 영역을 '선택'하면 즉시 기능이 '실행'되도록 할 수 있다.
예를 들어, 도 5c 및 도 5d를 참조하면, 도 5c를 참조하여 위에서 설명한 바와 같이 사용자가 '편지봉투' 이미지(502)가 부착된 포인터(501)를 이동하여, 이메일로 전송하고 싶은 복수의 사진들을 선택하면, 선택된 복수의 사진들(510, 530, 550)이 즉시 이메일로 전송된다. 이때, 이메일로 전송되는 순서는 선택된 순서에 따라 결정된다. 또한, 이메일의 수신자가 미리 설정되지 않은 경우에는, 도 5d에 도시된 바와 같이, 선택된 사진들이 전송 파일로 첨부된 상태의 이메일 애플리케이션의 실행화면(503)이 표시된다. 한편, 선택된 사진들이 각각 이메일로 전송되는 경우에는 포인터(501) 옆에 전송 정보, 예를 들어 전송률, 전송실패 등이 표시될 수 있다.
또한, 예를 들어, 대표 이미지에 대응되는 기능이 '예약녹화'이고, '예약녹화'의 대표 이미지가 부착된 포인터에 의해 화면에 표시된 EPG(Electronic Program Guide) 중 특정 프로그램 정보가 선택되면, 선택된 프로그램을 '예약녹화'한다.
한편, 단계 S404에서 대표 이미지가 부착된 포인터에 의해 특정 객체가 선택되지 않고, 일정시간이 경과하면, 상기 제어부(150)는 포인터에 부착된 대표 이미지가 잠시 화면에서 사라지도록 할 수 있다(이하, 대표 이미지를 '숨긴다'고 명명할 수 있다)(S406).
이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 영상표시장치는, 사용자의 음성명령이 입력되면, 인식된 음성명령에 대응되는 기능을 나타내는 아이콘을 포인터에 부착함으로써, 실행하고자 하는 동작이나 기능이 무엇인지를 외부에서 즉각 인식할 수 있도록 한다. 또한, 포인터가 이동함에 따라 포인터에 달라붙은 아이콘이 함께 이동하면서, 포인터에 의해 특정 객체나 영역이 선택된 즉시 아이콘이 나타내는 기능을 바로 실행할 수 있는 환경을 제공한다. 이에 의하여, 특히 복수의 객체에 동일한 기능을 반복적으로 실행해야하는 경우에 사용자 편의를 제공한다.
이하에서는, 단계 S403과 관련하여 입력된 음성신호에 대응되는 기능에 따라 서로 다른 대표 이미지가 포인터에 부착되는 예시를 설명하기로 한다.
도 6a 내지 도 6c는 를 참조하여, 입력된 음성신호에 대응되는 기능에 따라 서로 다른 대표 이미지가 포인터에 부착되는 예시를 도시한다.
일 예에서, 입력된 음성신호가 제어명령인 경우, 제어부(150)는 음성신호에 포함된 기능을 나타내는 대표 이미지를 부착할 수 있다. 이러한 경우, 대표이미지는 사용자가 대응되는 기능을 시각적으로 즉시 인식할 수 있는 이미지 및/또는 텍스트인 것이 바람직하다. 또한, 상기 대표 이미지는 그러한 기능을 수행하는 서비스를 나타내는 정보를 포함할 수 있다. 또한, 대표 이미지는 사용자 입력을 통해 변경될 수 있고, 이러한 경우 대표 이미지 자체를 편집하더라도 포함된 기능은 유지되도록 할 수 있다. 또한, 입력된 음성신호가 제어명령인지 여부는 음성신호에 기설정된 단어나 문구(예, 입력된 음성신호에 '보내줘, 업로드해, 올려줘, 전송해줘, 가 있으면 '전송 기능'이 포함된 것으로 인식한다)가 포함되었는지를 감시하여 결정될 수 있다.
예를 들어 도 6c를 참조하면, 사용자가 '카카틱(SNS)에 올려줘'라고 음성명령 한 경우, 제어부(150)는 사용자의 음성을 인식하고, 그 결과 '카카틱이라는 SNS 서버'에 '업로드 또는 전송'하는 제어명령에 대응되는 대표 이미지(602")를 생성하여 포인터(601) 옆에 부착한다.
다른 예에서, 입력된 음성신호가 제어명령인 아닌 것으로 인식된 경우, 제어부(150)는 음성신호를 텍스트로 변환한 것을 대표 이미지로 생성한다. 이러한 경우, 대표 이미지는 변환된 텍스트를 일부 또는 전부로 하여 생성될 수 있다. 또한, 대표 이미지의 크기, 글씨체, 색상 등은 사용자 입력을 통해 변경될 수 있다.
예를 들어, 도 6a 및 도 6b를 참조하면, 사용자가 '홍길동'이라는 음성을 입력한 경우, 제어부(150)는 TTS 기능을 실행하여 입력된 음성을 텍스트로 변환한 '홍길동'을 대표 이미지로 생성한다. 제어부(150)는 생성된 '홍길동'텍스트(602)가 포인터(601)에 달라붙은 상태를 제 2 포인터(610)로 인식할 수 있다. 사용자는 공간 리모컨(200)을 사용하여 포인터(601)에 의해 입력영역(610, 620)을 선택('클릭')하면, 선택 즉시 대표 이미지(601)와 동일한 '홍길동'텍스트 입력영역(610, 620)에 출력된다.
이하에서는, 도 7a 내지 도 7c를 참조하여, 상기 단계 S403에서 포인터에 대표 이미지가 부착된 상태에서, 공간 리모컨(200)의 이동에 따라 포인터 및 포인터에 부착된 대표 이미지가 변화하는 예시를 설명하기로 한다.
제어부(150)는 단계 S403에서, 입력된 음성신호의 입력에 따라 포인터에 상기 대표 이미지가 부착될 때, 기설정된 애니메이션 효과를 출력하거나 소정의 알림음을 출력할 수 있다. 여기서, 애니메이션 효과는 사용자에게 심미감을 불러일으키기 위한 것이고, 알림음은 포인터의 기능이 추가되었음을 사용자에게 인식시키기 위한 것이다.
이와 같이 대표 이미지가 포인터에 부착된 상태에서, 사용자는 공간 리모콘(200)을 이동 및 조작하여 포인팅 신호를 발생시킨다. 발생된 포인팅 신호는, 인터페이스부(140)를 통해, 영상표시장치(100)에 인가되어, 상기 대표 이미지가 부착된 포인터를 이동 및 표시하게 한다.
그러면, 영상표시장치(100)의 제어부(150)는, 수신된 포인팅 신호에 근거하여 상기 포인터가 이동함에 따라 상기 대표 이미지가 함께 이동하도록 제어한다. 이때, 상기 제어부(150)는 포인터의 이동에 따라 대표 이미지가 이동할 때, 이동방향 및 이동속도를 기초로 대표 이미지가 바람에 펄럭이는 효과를 출력할 수 있다.
예를 들어, 도 7a를 참조하면, 공간 리모콘(200)이 우에서 좌로 이동함에 따라 대표 이미지가 부착된 포인터(701)가 우에서 좌로 이동한다. 그리고 이와 같이 포인터(701)가 이동함에 따라 부착된 대표 이미지(702)가 바람에 펄럭이는 효과를 출력하면서 이동할 수 있다. 한편, 이와 같은 시각적 효과는 소정의 입력을 통해 다양하게 변경될 수 있다.
한편, 대표 이미지가 포인터에 부착된 상태에서, 기설정된 시간 동안(예, 10초 이상) 포인터의 이동이 없으면, 상기 제어부(150)는 포인터에 부착된 대표 이미지를 숨기고, 다시 포인터가 이동함에 따라 숨겨진 대표 이미지가 나타나도록 할 수 있다. 즉, 불필요하게 화면을 가리지 않도록 포인터가 멈춘 상태가 지속되면, 일시적으로 대표 이미지가 사라지도록 한다.
예를 들어, 도 7b 및 도 7c를 참조하면, 10초 이상 공간 리모콘(200)으로 아무런 포인팅 신호가 수신되지 않는 경우, 대표 이미지는 사라지고 포인터(701)만 화면에 표시된다. 그리고, 다시 공간 리모콘(200)의 움직임에 따라 포인터(701)가 움직이면 대표 이미지(702)가 다시 포인터(701) 옆에 나타난다.
도 8은 상기 단계 S404에서, 대표 이미지가 부착된 포인터에 의해 객체가 선택되는 다른 예시를 설명하기 위한 개념도이다.
대표 이미지가 부착된 포인터를 특정 객체나 특정 영역으로 이동한 상태에서, '선택신호'를 생성하기 위한 사용자 입력 방식은 다양할 수 있다. 예를 들어, '선택' 또는 '클릭'과 같은 음성명령, 기설정된 형상의 제스처, 공간 리모컨(200)의 특정 키 입력 등이 있을 수 있다.
다른 예로, 대표 이미지가 부착된 포인터가 화면의 특정 영역으로 이동된 상태에서 상기 마이크에 제2음성신호가 입력되면, 상기 제어부(150)는, 상기 특정 영역을 기초로 하여 상기 제2음성신호에 대응되는 적어도 하나의 객체를 선택하도록 할 수 있다.
예를 들어, 도 8을 참조하면, 사용자가 공간 리모컨(200)을 사용하여, 대표 이미지가 부착된 포인터(801)를 특정 사진(810)이 표시된 영역으로 이동한 다음, '이거 빼고 전부!'의 음성신호를 입력한 경우, 해당 사진(810)을 제외한 해당 페이지의 기저장된 모든 사진들이 대표 이미지에 대응되는 '카카틱(TiK)'에 전송 또는 업로드된다. 즉, 이러한 방식에 의하면, 많은 선택을 위해 소요되는 시간이 절약된다.
한편, 도 9a 내지 도 9c는 상기 단계 S402 및 S403에서 입력된 음성신호에 대표 이미지와 관련된 기능의 부가 정보가 포함된 경우, 대표 이미지가 부착된 포인터에 이를 표시하는 방법을 설명한다.
단계 S402에서 제 1 음성신호가 입력된 경우, 입력된 제 1 음성신호에 실행할 기능과 관련된 부가 정보가 더 포함된 것으로 판단되면, 단계 S403에서, 상기 제어부(150)는 부가 정보를 나타내는 아이콘을 더 생성하여 상기 대표 이미지에 부착한다.
여기서, 부가정보란, 제 1 음성신호에 포함된 기능의 실행과 관련된 추가 정보를 의미하는 것으로, 예를 들어 상기 기능이 '전송'인 경우에 부가정보는 '전송시간, 수신대상자, 최대응답시간' 등과 같이 전송을 위한 필수적 정보와 선택적 정보를 모두 포함한다.
이와 같이 대표 이미지에 부가 정보를 나타내는 아이콘이 부착되면, 상기 제어부(150)는 포인터가 이동함에 따라 상기 아이콘이 함께 이동하도록 제어한다.
단계 S404에서와 유사하게, 상기 대표 이미지 및 아이콘이 부착된 포인터에 의해 화면의 특정 객체나 특정 영역이 선택되면, 상기 제어부(150)는 아이콘에 대응하는 부가 정보에 근거하여, 상기 선택된 특정 객체를 타겟으로 대표 이미지에 대응되는 기능을 실행한다.
예를 들어, 도 9a를 참조하면, 사용자가 '존(John)에게 카카틱으로 보내줘'라는 음성을 입력하면, '카카틱 SNS 서비스'의 대표 이미지(902)와 수신대상자를 나타내는 이미지(903)가 포인터(901)에 부착되어 표시된다. 한편, 도 9b에 도시된 바와 같이 사용자의 음성명령에 복수의 부가 정보가 포함된 경우, 즉 수신대상자를 나타내는 이미지(903)와 전송시간을 나타내는 텍스트(904)가 대표 이미지(902") 옆에 리스트 형태로 부착될 수 있다. 표시된 부가정보를 나타내는 아이콘들(903,904)들은 위에서 설명한 것과 유사하게 기설정된 시간 동안(예, 2초) 포인팅 신호가 없으면 숨겨지고, 포인터(901)가 움직이면 다시 나타나도록 할 수 있다.
또한, 상기 제어부(150)는 제 1 음성신호가 제어명령이 아닌 음성인 것으로 인식된 경우, 단계 S403에서, 대표 이미지가 부착된 포인터가 출력된 이후 음성신호가 입력되면, 상기 제어부(150)는 입력된 음성신호를 대표 이미지, 즉 텍스트의 편집을 수행하기 위한 제어명령으로 인식할 수 있다. 예를 들어, '홍길동'텍스트가 포인터에 부착된 상태에서, '텍스트 크게'라는 음성명령이 입력되면, 대표 이미지의 폰트를 크게 출력할 수 있다.
또한, 상기 제어부(150)는 대표 이미지가 표시될 영역과 부가 정보를 나타내는 아이콘이 표시될 영역가 구별되도록 하고, 사용자 입력을 통해 입력 순서나 입력 위치를 변경할 수 있다.
예를 들어, 도 9c를 참조하면, 대표 이미지는 포인터로부터 가까운 영역(A)에 부착될 수도 있고, 또는 포인터로부터 가까운 영역(A)에는 부가정보를 나타내는 아이콘이 부착되고, 포인터로부터 먼 영역(B)에 부착될 수도 있다. 또는, 제 1 음성신호에 대응되는 순서에 의하여 표시될 영역이 결정될 수도 있다.
이하에서는, 도 10a 내지 도 10d를 참조하여, 상술한 대표 이미지(및/또는 부가정보를 나타내는 아이콘)가 포인터에 부착, 탈착, 변경될 때 출력되는 시각적 효과를 설명한다.
단계 S402를 수행하기 이전에, 상기 제어부(150)는 소정의 입력신호에 의하여 음성 인식 모드로 진입한다. 여기서, 상기 소정의 입력신호는 기설정된 다양한 방식(예, 음성명령, 키입력, 제스처입력 등)에 의하여 발생될 수 있다. 예를 들어, 공간 리모콘(200)에 구비된 핫 키(hot key)를 푸쉬함으로써, 음성 인식 모드로 진입할 수 있다.
이와 같은 음성 인식 모드로 진입한 것이 감지된 경우에, 상기 제어부(150)는 단계 S402에서 입력된 제 1 음성신호의 음성을 인식하여, 대응되는 대표 이미지를 생성한다.
한편, 단계 S403에서, 생성된 대표 이미지가 포인터에 부착, 탈착, 변경되는 방법과 이와 관련된 효과를 출력하는 방법은 다양할 수 있고, 사용자 입력을 통해 설정 또는 변경될 수 있다.
일 예로, 도 10a에 도시된 바와 같이 대표 이미지가 포인터를 향해 다가오는 시각적 효과(도 10a의 (a))를 출력하면서, 포인터에 자석처럼 부착될 수 있다(도 10a의 (b)).
또한, 상기 제어부(150)는 음성 인식 모드에 진입하면, 이를 외부에 표시하기 위하여 포인터의 형상을 먼저 변경하고, 입력된 음성신호에 따라 생성된 대표 이미지가 형상 변경된 포인터의 적어도 일부에 오버레이되도록 부착할 수 있다.
일 예로, 도 10c에 도시된 바와 같이, 화살표 형상의 포인터가 출력된 상태에서(도 10c의 (a)), 음성 인식 모드로 진입하면 마름모 형상의 포인터로 변경되고(미도시), 입력된 음성신호에 따라 생성된 대표 이미지가, 마름모 형상의 포인터에 일부 겹쳐진 형태로 달라붙는다(도 10c의 (b)).
또한, 음성 인식 모드에서, 포인터에 제1 대표 이미지가 부착된 상태에서 제3음성신호가 입력된 경우, 상기 제어부(150)는, 상기 제1 대표 이미지를 제3음성신호에 대응되는 제 2 대표 이미지로 변경한다. 여기서, 제3음성신호는 대표 이미지 의 형상을 변경하기 위한 음성명령이 아니라, 특정 객체에 적용할 기능을 변경하기 위하여 대표 이미지 자체를 변경하는 것이다. 따라서, 이를 위해, 제어부(150)는 기설정된 음성(예, '대표 이미지 전환')을 먼저 입력한 뒤 소정시간내 전환할 기능에 대응되는 음성신호를 입력하도록 할 수 있다. 이때, 대표 이미지가 전환되면서 시각적 효과가 출력될 수 있다.
일 예로, 도 10d를 참조하면, '카카틱에 전송'을 나타내는 대표 이미지(도 10d의 (a))가 포인터에 부착된 상태에서, 음성신호를 입력하여 '홍길동'을 나타내는 대표 이미지(도 10d의 (b)), '퀵 메모 기능'을 나타내는 대표 이미지(도 10d의 (c))로 차례로 전환될 때, 이전 대표 이미지가 회전하면서 다른 대표 이미지로 전환되는 시각적 효과가 출력될 수 있다.
이와 같이 음성신호에 따라 대표 이미지가 변경된 경우, 단계 S405에서는, 선택된 특정 객체를 타겟으로 변경된 제 2 대표 이미지에 대응되는 기능이 실행된다.
한편, 음성 인식 모드가 해제되면, 상기 제어부(150)는 포인터로부터 상기 대표 이미지가 탈착되는 시각적 효과를 출력하거나, 상기 대표 이미지가 상기 화면으로부터 사라지도록 제어할 수 있다.
일 예로, 도 10b에 도시된 바와 같이, 대표 이미지가 포인터에 부착된 상태에서(도 10b의 (a)), 점점 크기가 작아지다가 소멸되는 시각적 효과를 출력하면서, 포인터로부터 탈착 또는 떨어질 수 있다(도 10b의 (b)).
한편, 상기 단계 S404 이후에 선택된 특정 객체들의 리스트를 출력하는 방법은 다음과 같다.
이와 관련하여, 도 11a 내지 도 11d는 대표 이미지가 부착된 포인터에 의해 선택된 객체들의 썸네일 이미지를 보여주는 도면들이다.
대표 이미지가 부착된 포인터에 의해 화면의 특정 객체 또는 특정 영역이 선택된 후, 제 4 음성신호가 입력되면, 상기 제어부(150)는, 선택된 특정 객체 또는 특정 영역의 썸네일 이미지를 상기 대표 이미지에 부착시킬 수 있다.
제 4 음성신호는 저장부(160) 기저장된 특정 음성명령일 수 있다. 제 4 음성신호가 입력되면, 상기 제어부(150)는 선택된 객체나 영역의 썸네일 이미지를 표시하기 위한 제어명령으로 인식할 수 있다.
예를 들어, 도 11a에 도시된 바와 같이, '카카틱 SNS 전송'의 대표 이미지(1102)가 부착된 포인터(1101)에 의해 복수의 사진들이 선택된 상태에서, 사용자가 '선택된 것 썸네일 이미지로 보여줘'라는 음성신호를 입력하면, 제어부(150)는 이를 선택된 객체의 썸네일 이미지를 출력하기 위한 제어명령으로 인식한다.
그러면, 도 11b에 도시된 것처럼, '카카틱 SNS 전송'의 대표 이미지(1102)에 선택된 객체의 썸네일 이미지들의 리스트(1110)가 출력된다. 이때, 배경이미지는 흐리게 또는 반투명하게 처리될 수 있다.
이와 같이, 선택된 객체나 영역의 썸네일 이미지가 화면에 표시된 상태에서, 사용자는 공간 리모컨(200)을 사용하여 포인터가 썸네일 이미지 위에 오도록 이동할 수 있다.
이를 위해, 포인터가 이동함에 따라 부착된 대표 이미지는 함께 이동하지만, 썸네일 이미지 또는 썸네일 이미지의 리스트는 포인터가 이동함에 따라 함께 이동하지 않는다. 한편, 평소에는 부착된 썸네일 이미지들이 포인터가 이동함에 따라 함께 이동하지만, 소정의 제어신호(예, 공간 리모콘의 특정 키 푸쉬(push))가 인가된 경우에는 포인터로부터 탈착되어서 독립적으로 화면에 표시되도록 구현될 수도 있다.
이와 같은 상태에서, 상기 대표 이미지가 부착된 포인터를 이용하여 상기 썸네일 이미지 중 적어도 하나가 선택되면, 상기 제어부(150)는 선택된 썸네일 이미지에 대응되는 특정 객체를 선택해제하도록 제어한다.
예를 들어, 도 11c를 참조하면, 사용자가 공간 리모콘에 구비된 특정 키(미도시)를 푸쉬하면, 썸네일 이미지 리스트(1110)가 대표 이미지로부터 탈착된다. 즉, 썸네일 이미지 리스트(1110)는 더이상 포인터가 이동함에 따라 이동하지 않는다. 이러한 상태에서, 대표 이미지(1102)가 부착된 포인터(1101)를 썸네일 이미지 리스트(1110)에서 특정 이미지(1112)로 이동하여 선택('클릭')하면, 해당 이미지(1112)는 선택해제되어서 카카틱 SNS 서버에 전송되지 않는다. 그리고, 해당 이미지(1112)는 썸네일 이미지 리스트(1110)에서 사라진다.
한편, 상기 제어부(150)는, 제1음성신호에 대응되는 기능이 이미 실행된 객체의 썸네일 이미지와, 제1음성신호에 대응되는 기능이 실행될 객체의 썸네일 이미지를 시각적으로 서로 구별되게 표시할 수 있다.
예를 들어 도 11d를 참조하면, 리스트(1110)의 상부영역(a-1)에는 이미 카카틱 SNS 서버에 업로드된 객체들의 썸네일 이미지들이 표시되고, 리스트(1110)의 하부영역(a-2)에는 카카틱 SNS 서버에 업로드될, 즉 아직 전송이 완료되지 않은 객체들의 썸네일 이미지들이 표시된다. 한편, 도시된 바와 같이, 리스트(1110)의 일 영역에는 전송 정보, 예를 들어 전송 정도를 나타내는 프로그레스 바(1115)가 표시될 수 있다.
이하에서는, 상술한 단계 S402 내지 S405와 관련하여, 입력된 음성신호에 대응되는 기능이 복수인 경우 대표 이미지를 포인터에 부착 및 출력하는 방법을 설명한다. 도 12a 내지 도 12b는 본 발명의 실시예에 따라, 입력된 음성신호에 대응되는 기능이 복수인 경우 대표 이미지의 출력방법을 보인 도면들이다.
단계 S402에서 제1음성신호가 복수의 기능을 포함하는 것으로 인식된 경우, 상기 제어부(150)는 제1기능에 대응되는 제1대표 이미지와 제2기능에 대응되는 제2대표이미지를 각각 생성한다.
단계 S403에서 생성된 제1대표 이미지와 제2대표이미지는 각각 포인터에 부착된다. 이때, 포인터가 이동함에 따라 상기 제1 및 제2 대표이미지는 함께 이동한다. 일 예로, 제어부(150)는 포인터가 이동함에 따라, 제1 및 제2 대표이미지가 포인터의 이동 경로를 따라 펄럭이는 효과를 출력하면서 이동하도록 제어할 수 있다.
도 12a 및 도 12b를 참조하면, 포인터(1201) 옆에 제1기능에 대응되는 제1대표 이미지(1202)와 제2기능에 대응되는 제2대표이미지(1203)가 오버레이되는 방식으로 서로 부착되고, 공간 리모컨(200)을 사용하여 포인터(1201)가 우에서 좌로 이동하면, 포인터(1201)의 이동방향 및 이동속도를 기초로 바람에 펄럭이는 효과를 출력하면서 함께 이동한다.
이와 같이, 실행될 기능이 복수인 경우, 단계 S405에서 상기 제어부(150)는 선택된 모든 객체들에 대해 먼저 제 1 대표이미지에 대응되는 제1기능을 실행한 다음, 실행 완료되면 제 1 대표이미지에 대응되는 제1기능을 실행할 수 있다. 다른 예로, 각 객체에 대해 제1기능과 제2기능을 동시에 수행하거나 차례로 수행할 수도 있다.
전자의 경우, 상기 제어부(150)는, 먼저 실행될 제1기능에 대응되는 제1 대표 이미지를 포인터에 더 가깝게 부착한다. 그리고, 선택된 모든 객체에 대해 제1기능이 실행되면 도 12c에 도시된 바와 같이, 상기 제1 대표 이미지(1202)를 포인터(1201)로부터 탈착시키거나 사라지도록 제어한다(여기서는, 제 1 대표 이미지(1202)가 바닥으로 떨어지는 것과 같은 시각적 효과를 예시로 도시하였다). 그리고, 다음에 실행될 제2기능에 대응되는 제2 대표 이미지를 포인터에 가깝게 부착시킨다(1202").
한편, 비록 도시되지는 않았지만, 상기 단계 S405 이후, 상기 제어부(150)는 포인터에 부착된 대표 이미지에 대응되는 기능의 실행 결과를 출력할 수 있다.
구체적으로, 상기 기능이 입력창에 텍스트를 표시하는 것이면, 실행 결과가 화면에 동시에 보여지지만, '전송'과 같이 다른 애플리케이션을 실행해야 결과를 알 수 있는 경우이면, 선택된 모든 객체들의 전송이 완료되면, 자동으로 해당 애플리케이션을 실행하여 실행결과를 보여줄 수 있다. 이를 위해, 디스플레이부(170)의 제1영역에는 현재화면이 표시되고, 제2영역에는 선택된 객체에 적용된 기능의 실행결과가 실시간으로 표시되도록 할 수 있다.
또한, 단계 S405에서 포인터 옆에 또는 포인터에 부착된 대표 이미지 옆에, 대표 이미지에 대응되는 기능의 진행정도를 나타내는 인디케이터, 예를 들어 프로그레스 바가 더 표시될 수 있다.
또한, 단계 S405가 완료되면, 즉시 또는 음성 인식 모드가 해제되면 포인터에 부착된 대표 이미지가 떨어지고, 제 2 포인터는 제 1 포인터로 복귀한다. 이때, 기실행된 기능에 대응되는 대표 이미지들의 이력은 저장부(160)에 저장되어, 사용자 입력을 통해 기표시되었던 대표 이미지들의 리스트가 화면에 표시될 수 있다.
이러한 경우, 포인터를 표시된 리스트의 특정 대표 이미지에 가져가면, 해당 대표 이미지가 자석처럼 포인터에 붙도록 함으로써, 단계 S401 내지 단계 S403이 과정을 한번에 수행할 수도 있다.
이상에서 살펴본 것과 같이, 본 발명에 따른 영상표시장치 및 영상표시장치 동작방법에 의하면, 사용자의 음성명령이 입력되면, 인식된 음성명령에 대응되는 기능을 나타내는 아이콘을 포인터나 커서에 부착함으로써, 실행하고자 하는 동작이나 기능이 무엇인지를 외부에서 즉각 인식할 수 있고, 이에 대한 피드백이 가능해진다. 또한, 포인터가 이동함에 따라 아이콘이 함께 이동하고, 포인터에 의해 특정 객체가 선택되면, 포인터에 부착된 아이콘에 대응되는 기능이 선택된 객체에 바로 실행되도록 함으로써, 특히 복수의 객체에 동일한 기능을 실행하고자 하는 경우나 같은 동작을 여러번 반복해야하는 경우에 사용자에게 편의를 제공한다.
나아가, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 마이크;
    화면에 포인터를 출력하도록 이루어진 디스플레이부;
    상기 화면에 상기 포인터가 출력된 상태에서, 상기 마이크에 제1음성신호가 입력되면, 상기 제1음성신호에 대응되는 대표 이미지를 생성하여 상기 포인터에 부착하는 제어부를 포함하고,
    상기 제어부는,
    상기 화면상에서 상기 포인터가 이동되는 것에 응답하여 상기 포인터에 부착된 상기 대표 이미지가 상기 포인터의 이동 경로를 따라 표시되도록 하고,
    상기 대표 이미지가 부착된 포인터를 이용하여 상기 화면상의 특정 객체가 선택되면, 상기 선택에 대응되는 표시가 출력되면서 상기 제1음성신호에 대응되는 상기 대표 이미지와 관련된 기능이 상기 선택된 특정 객체에 적용되도록 하는 것을 특징으로 하는 영상표시장치.
  2. 제1항에 있어서,
    상기 제1음성신호에 소정의 기능을 나타내는 음성이 포함된 경우,
    상기 제어부는,
    메모리나 소정의 웹서버로부터 상기 기능과 관련된 이미지를 검출하여 상기 대표 이미지를 생성하고,
    상기 대표 이미지와 관련된 상기 기능이 상기 선택된 특정 객체에 적용된 후 상기 포인터 옆에 상기 대표 이미지의 표시가 유지되도록 하는 것을 특징으로 하는 영상표시장치.
  3. 제1항에 있어서,
    외부 입력 장치로부터 상기 대표 이미지가 부착된 포인터를 이동시키기 위한 포인팅 신호를 수신하는 인터페이스부를 더 포함하고,
    상기 제어부는,
    상기 수신된 포인팅 신호에 근거하여, 상기 포인터가 이동함에 따라 상기 대표 이미지를 함께 이동하도록 제어하는 것을 특징으로 하는 영상표시장치.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 대표 이미지가 상기 포인터에 부착된 상태에서,
    기설정된 시간 동안 상기 포인터의 이동이 없으면 상기 포인터에 부착된 대표 이미지를 숨기고, 상기 포인터가 이동함에 따라 숨겨진 대표 이미지가 다시 나타나도록 제어하는 것을 특징으로 하는 영상표시장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 제1음성신호의 입력에 따라 상기 포인터에 상기 대표 이미지가 부착될 때, 기설정된 애니메이션 효과가 출력되거나 소정의 알림음이 출력되도록 제어하는 것을 특징으로 하는 영상표시장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 대표 이미지가 부착된 포인터가 상기 화면의 특정 영역으로 이동된 상태에서 상기 마이크에 제2음성신호가 입력되면, 상기 특정 영역을 기초로 상기 제2음성신호에 대응되는 적어도 하나의 객체를 선택하도록 제어하는 것을 특징으로 하는 영상표시장치.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 제1음성신호에 상기 기능과 관련된 부가 정보가 포함된 경우,
    상기 부가 정보를 나타내는 제2 이미지를 생성하여 상기 대표 이미지에 부착하고, 상기 포인터가 이동함에 따라 상기 제2 이미지가 함께 이동하도록 제어하는 것을 특징으로 하는 영상표시장치.
  8. 제7항에서,
    상기 제어부는,
    상기 제2 이미지 및 상기 대표 이미지가 부착된 포인터를 이용하여 화면의 특정 객체가 선택되면,
    상기 제2 이미지에 대응하는 부가 정보에 근거하여, 상기 대표 이미지와 관련된 상기 기능이 상기 선택된 특정 객체에 적용되도록 하는 것을 특징으로 하는 영상표시장치.
  9. 제1항에 있어서,
    상기 제어부는,
    입력신호에 근거하여 음성 인식 모드로 진입한 것이 감지된 경우에, 상기 제1음성신호에 대응되는 대표 이미지를 생성하는 것을 특징으로 하는 영상표시장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 음성 인식 모드로 진입하면,
    상기 포인터의 형상을 변경하고, 상기 대표 이미지가 상기 변경된 형상의 적어도 일부에 오버레이되는 방식으로 부착시키는 것을 특징으로 하는 영상표시장치.
  11. 제9항에 있어서,
    상기 제어부는,
    상기 음성 인식 모드가 해제되면, 상기 포인터로부터 상기 대표 이미지가 탈착되는 시각적 효과를 출력하거나 상기 대표 이미지가 상기 화면으로부터 사라지도록 상기 디스플레이부를 제어하고,
    상기 대표 이미지가 사라진 포인터를 이용하여 상기 화면상의 특정 객체가 선택되면, 상기 선택에 대응되는 표시만을 출력하는 것을 특징으로 하는 영상표시장치.
  12. 제1항에 있어서,
    상기 제어부는,
    상기 포인터에 제1 대표 이미지가 부착된 상태에서 상기 마이크에 제3음성신호가 입력되면,
    상기 제1 대표 이미지를 제3음성신호에 대응되는 제 2 대표 이미지로 변경하고, 상기 선택된 특정 객체를 타겟으로 상기 변경된 제 2 대표 이미지에 대응되는 기능을 실행하도록 제어하는 것을 특징으로 하는 영상표시장치.
  13. 제1항에 있어서,
    상기 제어부는,
    상기 대표 이미지가 부착된 포인터를 이용하여 특정 객체가 선택된 상태에서 상기 마이크에 제4음성신호가 입력되면,
    상기 선택된 특정 객체의 썸네일 이미지를 상기 대표 이미지에 부착하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 영상표시장치.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 썸네일 이미지는 포인터가 이동함에 따라 함께 이동하지 않도록 제어하고,
    상기 대표 이미지가 부착된 포인터를 이용하여 상기 썸네일 이미지 중 적어도 하나가 선택되면, 상기 선택된 썸네일 이미지에 대응되는 특정 객체를 선택해제하도록 제어하는 것을 특징으로 하는 영상표시장치.
  15. 제13항에 있어서,
    상기 제어부는,
    상기 제1음성신호에 대응되는 기능이 이미 실행된 객체의 썸네일 이미지와, 상기 기능이 실행될 객체의 썸네일 이미지를 시각적으로 서로 구별되게 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 영상표시장치.
  16. 제1항에 있어서,
    상기 제어부는,
    상기 제1음성신호가 복수의 기능을 포함하는 것으로 인식되면,
    제1기능에 대응되는 제1대표 이미지와 제2기능에 대응되는 제2대표이미지를 각각 생성하여 상기 포인터에 부착하고,
    상기 포인터가 이동함에 따라 상기 제1 및 제2 대표이미지가 함께 이동하도록 제어하는 것을 특징으로 하는 영상표시장치.
  17. 제16항에 있어서,
    상기 제어부는,
    먼저 실행될 제1기능에 대응되는 제1 대표 이미지를 상기 포인터에 더 가깝게 부착하고,
    상기 제1기능이 실행되면 상기 제1 대표 이미지를 상기 포인터로부터 탈착하거나 사라지도록 제어하고, 다음에 실행될 제2기능에 대응되는 제2 대표 이미지를 상기 포인터에 가깝게 부착하도록 제어하는 것을 특징으로 하는 영상표시장치.
  18. 제1항에 있어서,
    상기 제1음성신호에 소정의 기능을 나타내는 음성이 포함되지 않은 경우,
    상기 제어부는,
    상기 제1음성신호를 음성인식하여 변환한 텍스트 이미지를 상기 대표 이미지로 생성하고,
    상기 대표 이미지가 부착된 포인터를 이용하여 상기 화면상의 특정 객체가 선택되면, 상기 특정 객체상에 상기 텍스트 이미지를 출력시키는 것을 특징으로 하는 영상표시장치.
  19. 외부 입력 장치로부터 수신되는 포인팅 신호에 따라 이동하는 포인터를 화면에 출력하는 단계;
    상기 화면에 상기 포인터가 출력된 상태에서, 마이크에 제1음성신호가 입력되면, 상기 제1음성신호에 대응되는 대표 이미지를 생성하여 상기 포인터에 부착하는 단계;
    상기 화면상에서 상기 포인터가 이동되는 것에 응답하여, 상기 포인터에 부착된 상기 대표 이미지를 상기 포인터의 이동 경로를 따라 표시하는 단계; 및
    상기 대표 이미지가 부착된 포인터를 이용하여 상기 화면상의 특정 객체가 선택되면, 상기 선택에 대응되는 표시를 출력하면서 상기 제1음성신호에 대응되는 상기 대표 이미지와 관련된 기능을 상기 선택된 특정 객체에 적용시키는 단계를 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
  20. 제19항에 있어서,
    상기 제1음성신호에 소정의 기능을 나타내는 음성이 포함된 경우,
    상기 포인터에 부착하는 단계는, 메모리나 소정의 웹서버로부터 상기 기능과 관련된 이미지를 검출하여 상기 대표 이미지를 생성하는 단계를 포함하고,
    상기 대표 이미지와 관련된 상기 기능이 상기 선택된 특정 객체에 적용된 후 상기 포인터 옆에 상기 대표 이미지의 표시가 유지되도록 하는 단계를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작방법.
PCT/KR2013/008706 2013-09-27 2013-09-27 영상표시장치 및 영상표시장치 동작방법 WO2015046649A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2013/008706 WO2015046649A1 (ko) 2013-09-27 2013-09-27 영상표시장치 및 영상표시장치 동작방법
US14/913,869 US10310702B2 (en) 2013-09-27 2013-09-27 Image display apparatus for controlling an object displayed on a screen and method for operating image display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2013/008706 WO2015046649A1 (ko) 2013-09-27 2013-09-27 영상표시장치 및 영상표시장치 동작방법

Publications (1)

Publication Number Publication Date
WO2015046649A1 true WO2015046649A1 (ko) 2015-04-02

Family

ID=52743768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/008706 WO2015046649A1 (ko) 2013-09-27 2013-09-27 영상표시장치 및 영상표시장치 동작방법

Country Status (2)

Country Link
US (1) US10310702B2 (ko)
WO (1) WO2015046649A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017086635A1 (ko) * 2015-11-16 2017-05-26 삼성전자 주식회사 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9741150B2 (en) * 2013-07-25 2017-08-22 Duelight Llc Systems and methods for displaying representative images
EP3108287A4 (en) * 2014-02-18 2017-11-08 Merge Labs, Inc. Head mounted display goggles for use with mobile computing devices
KR102350382B1 (ko) * 2015-07-16 2022-01-13 삼성전자 주식회사 디스플레이장치 및 그 제어방법
KR102362850B1 (ko) 2017-04-14 2022-02-15 삼성전자주식회사 디스플레이장치, 디스플레이 시스템 및 디스플레이장치의 제어방법
EP3401797A1 (en) * 2017-05-12 2018-11-14 Samsung Electronics Co., Ltd. Speech navigation for multilingual web pages
US10585640B2 (en) * 2017-10-23 2020-03-10 International Business Machines Corporation Automated voice enablement of applications
US10481865B2 (en) * 2017-10-23 2019-11-19 International Business Machines Corporation Automated voice enablement of applications
JP2019186758A (ja) * 2018-04-11 2019-10-24 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理システム
US11842123B2 (en) * 2020-09-30 2023-12-12 Honeywell International Inc. Methods and systems for using voice commands and a smart scratch pad to tune a radio in a voice activated flight deck

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293291A (ja) * 1999-04-06 2000-10-20 Akira Ichikawa マウスのマルチポインタ方式
US20060195791A1 (en) * 2003-04-08 2006-08-31 Johanson Bradley E Pointright based point-of-presence system and architecture
KR20090129192A (ko) * 2008-06-12 2009-12-16 엘지전자 주식회사 이동 단말기 및 그 음성 인식 방법
US20120176313A1 (en) * 2011-01-06 2012-07-12 Samsung Electronics Co., Ltd. Display apparatus and voice control method thereof
KR20120131258A (ko) * 2011-05-25 2012-12-05 엘지전자 주식회사 영상표시장치 및 그 동작방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565618B2 (en) * 2003-02-13 2009-07-21 LumaPix Inc. Method and system for distributing multiple dragged objects
US7650575B2 (en) * 2003-03-27 2010-01-19 Microsoft Corporation Rich drag drop user interface
US7624019B2 (en) * 2005-10-17 2009-11-24 Microsoft Corporation Raising the visibility of a voice-activated user interface
JP4805279B2 (ja) * 2005-12-16 2011-11-02 パナソニック株式会社 移動体用入力装置、及び方法
JP4415961B2 (ja) * 2006-03-15 2010-02-17 ブラザー工業株式会社 リムーバブルメディア装置およびデータ制御プログラム
US8006183B1 (en) * 2006-12-08 2011-08-23 Trading Technologies International Inc. System and method for using a curser to convey information
KR20090020265A (ko) * 2007-08-23 2009-02-26 삼성전자주식회사 휴대 단말기 및 그 메시지 작성 방법
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
GB2504270A (en) * 2012-07-23 2014-01-29 Wirewax Ltd Synchronising hyperlink and associated object positions using frame numbers encoded as pixel data
US20150156247A1 (en) * 2012-09-13 2015-06-04 Google Inc. Client-Side Bulk Uploader

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293291A (ja) * 1999-04-06 2000-10-20 Akira Ichikawa マウスのマルチポインタ方式
US20060195791A1 (en) * 2003-04-08 2006-08-31 Johanson Bradley E Pointright based point-of-presence system and architecture
KR20090129192A (ko) * 2008-06-12 2009-12-16 엘지전자 주식회사 이동 단말기 및 그 음성 인식 방법
US20120176313A1 (en) * 2011-01-06 2012-07-12 Samsung Electronics Co., Ltd. Display apparatus and voice control method thereof
KR20120131258A (ko) * 2011-05-25 2012-12-05 엘지전자 주식회사 영상표시장치 및 그 동작방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017086635A1 (ko) * 2015-11-16 2017-05-26 삼성전자 주식회사 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
CN108353206A (zh) * 2015-11-16 2018-07-31 三星电子株式会社 遥控设备、用于驱动遥控设备的方法、图像显示设备、用于驱动图像显示设备的方法以及计算机可读记录介质

Also Published As

Publication number Publication date
US20160202872A1 (en) 2016-07-14
US10310702B2 (en) 2019-06-04

Similar Documents

Publication Publication Date Title
WO2015046649A1 (ko) 영상표시장치 및 영상표시장치 동작방법
WO2016143965A1 (en) Display device and controlling method thereof
WO2011025118A1 (ko) 영상표시기기 및 그 동작방법
WO2014209053A1 (en) A digital device and method of processing service data thereof
WO2014182089A1 (en) Display apparatus and graphic user interface screen providing method thereof
WO2014163279A1 (en) Image display device and control method thereof
WO2018026059A1 (ko) 이동 단말기 및 그 제어방법
WO2017052143A1 (en) Image display device and method of operating the same
WO2015083975A1 (en) Method of displaying pointing information and device for performing the method
WO2011074794A2 (en) Image display apparatus and method for operating the image display apparatus
WO2015068911A1 (en) Mobile terminal and method of controlling the same
WO2012102592A9 (ko) 영상 표시 장치 및 그 동작방법
WO2011021854A2 (en) Image display apparatus and method for operating an image display apparatus
WO2016080700A1 (en) Display apparatus and display method
WO2017018737A1 (ko) 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
WO2018062754A1 (en) Digital device and data processing method in the same
WO2017047942A1 (ko) 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
WO2016099166A1 (en) Electronic device and method for displaying webpage using the same
WO2016111455A1 (en) Image display apparatus and method
WO2014208854A1 (ko) 영상표시기기
WO2018030661A1 (en) Digital device and method of processing data therein
WO2011136402A1 (ko) 영상표시기기 및 그 동작방법
WO2017010602A1 (ko) 단말기 및 그것을 포함한 시스템
WO2016182319A1 (en) Image display device and method for controlling the same
WO2017007051A1 (ko) 멀티미디어 디바이스

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13894781

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14913869

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13894781

Country of ref document: EP

Kind code of ref document: A1