WO2020262742A1 - 디스플레이 장치 - Google Patents

디스플레이 장치 Download PDF

Info

Publication number
WO2020262742A1
WO2020262742A1 PCT/KR2019/007876 KR2019007876W WO2020262742A1 WO 2020262742 A1 WO2020262742 A1 WO 2020262742A1 KR 2019007876 W KR2019007876 W KR 2019007876W WO 2020262742 A1 WO2020262742 A1 WO 2020262742A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
text
area
pointer
display device
Prior art date
Application number
PCT/KR2019/007876
Other languages
English (en)
French (fr)
Inventor
허승현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/007876 priority Critical patent/WO2020262742A1/ko
Priority to US17/597,162 priority patent/US20220309095A1/en
Priority to EP19934643.8A priority patent/EP3992816A4/en
Publication of WO2020262742A1 publication Critical patent/WO2020262742A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/908—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558—Details of hyperlinks; Management of linked annotations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the present invention relates to a display device, and more particularly, to a display device capable of immediately executing a search for text displayed on a screen.
  • the digital TV service can provide a variety of services that could not be provided by conventional analog broadcasting services.
  • IPTV Internet Protocol Television
  • smart TV services which are one type of digital TV service
  • IPTV and smart TV services may provide various additional services, such as Internet search, home shopping, and online games, based on this interactive nature.
  • a search result can be provided only by first executing a search function and then inputting a text to be searched.
  • CP specific content provider
  • a specific function there is an inconvenience of having to select a specific content provider or a specific function from the entire search result.
  • the user may need a method of immediately performing a search for displayed text while using a digital TV or performing a search only for a specific range.
  • An object of the present invention is to provide a display device capable of immediately performing a search for a specific text displayed on a screen.
  • An object of the present invention is to provide a display device capable of more accurately recognizing a text to be searched by a user when searching for a specific text displayed on a screen.
  • An object of the present invention is to provide a display device capable of obtaining a search target more accurately when searching for a specific text displayed on a screen.
  • An object of the present invention is to provide a display device that minimizes the user's inconvenience of inputting text for a search and allows the user to more conveniently set a search range.
  • a display device includes a display unit displaying content, a user input interface unit receiving a control signal of a pointer displayed on the content, and a search result of text displayed in an area where the pointer is placed upon receiving a search command. It may include a control unit for controlling the display unit to display.
  • the controller may extract text of an area where the pointer is located and perform a search using the extracted text.
  • the controller may perform a search using text having a hyperlink in an area where the pointer is located.
  • control unit can control the display unit to obtain a search target if the text in the area where the pointer is located has a hyperlink, and display a search impossible message if the text in the area where the pointer is located does not have a hyperlink have.
  • the controller may obtain whether to perform a search using text based on a position on the content of the text.
  • the controller may acquire the text extracted from the title area as a search target.
  • the controller may obtain whether to perform a search using text based on the text size of the area where the pointer is located.
  • the controller may receive a text of an area in which the pointer is located in the mirrored image from an external terminal and perform a search using the text received from the external terminal.
  • the controller may extract text related to the image and perform a search using the extracted text.
  • the controller may perform a search using the fixed text.
  • the control unit may further receive a command for selecting a search range of text and perform a search using text in the selected search range.
  • the controller may display at least one search area icon around the pointer and obtain a search area corresponding to the selected search area icon as a search range.
  • the controller When the control unit receives a command for selecting a region on the content for less than a predetermined time with a pointer, the controller recognizes it as an execution command for the selected region, and a search command for the selected region upon receiving a command for selecting a region on the content for a predetermined time or longer with the pointer Can be recognized as.
  • the controller may display at least one search area icon and, upon receiving a selection command for the search area icon, search for text displayed in the area where the pointer is located in a search range corresponding to the search area icon.
  • the display device may further include a voice acquisition unit for acquiring a search command, and the controller may acquire a text of an area where the pointer is positioned as a search target when receiving the search command through the voice acquisition unit.
  • the search result is provided only by selecting the text displayed on the screen, there is an advantage in that the time required for the search can be minimized compared to the case of receiving a search word after executing the conventional search function.
  • the search range can be set immediately upon request of a search, there is an advantage in that the user can provide the desired result more quickly and accurately.
  • FIG. 1 is a block diagram illustrating a configuration of a display device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a remote control device according to an embodiment of the present invention.
  • FIG. 3 shows an example of an actual configuration of a remote control device according to an embodiment of the present invention.
  • FIG. 4 shows an example of using a remote control device according to an embodiment of the present invention.
  • FIG. 5 is a block diagram of a search module included in a display device according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method of operating a display device according to an exemplary embodiment of the present invention.
  • FIG. 7 to 9 are exemplary diagrams of a method of receiving a search command for text on content and displaying a search result by the display device according to the first embodiment of the present invention.
  • FIG. 10 is an exemplary diagram of a method of receiving a search command for text on content and displaying a search result by a display device according to the second and third embodiments of the present invention.
  • FIG. 11 is an exemplary diagram of a method for receiving a search command for text on content and displaying a search result by the display device according to the fourth embodiment of the present invention.
  • FIG. 12 is an exemplary diagram of a method of receiving a search command for text on content and displaying a search result by the display device according to the fifth embodiment of the present invention.
  • FIG. 13 is an exemplary diagram of a method for receiving a search command for text on a content and displaying a search result by the display device according to the sixth embodiment of the present invention.
  • FIG. 14 is an exemplary diagram illustrating a method of receiving a search command through a voice acquisition unit by a display device according to an embodiment of the present invention.
  • 15 is an exemplary diagram of a method of displaying a search impossibility guide message when a display device according to an embodiment of the present invention fails to obtain a search target.
  • FIG. 1 is a block diagram illustrating a configuration of a display device according to an embodiment of the present invention.
  • the display device 100 includes a broadcast receiving unit 130, an external device interface unit 135, a storage unit 140, a user input interface unit 150, a control unit 170, and a wireless communication unit 173.
  • a voice acquisition unit 175, a display unit 180, an audio output unit 185, and a power supply unit 190 may be included.
  • the broadcast reception unit 130 may include a tuner 131, a demodulation unit 132, and a network interface unit 133.
  • the tuner 131 may select a specific broadcast channel according to a channel selection command.
  • the tuner 131 may receive a broadcast signal for a selected specific broadcast channel.
  • the demodulator 132 may divide the received broadcast signal into a video signal, an audio signal, and a data signal related to a broadcast program, and restore the separated video signal, audio signal, and data signal into a form capable of outputting.
  • the network interface unit 133 may provide an interface for connecting the display device 100 to a wired/wireless network including an Internet network.
  • the network interface unit 133 may transmit or receive data with other users or other electronic devices through a connected network or another network linked to the connected network.
  • the network interface unit 133 may access a predetermined web page through a connected network or another network linked to the connected network. That is, by accessing a predetermined web page through a network, the server and data can be transmitted or received.
  • the network interface unit 133 may receive content or data provided by a content provider or a network operator. That is, the network interface unit 133 may receive content such as movies, advertisements, games, VODs, broadcast signals, and related information provided from a content provider or a network provider through a network.
  • the network interface unit 133 may receive update information and an update file of firmware provided by a network operator, and transmit data to the Internet or content provider or network operator.
  • the network interface unit 133 may select and receive a desired application from among applications open to the public through a network.
  • the external device interface unit 135 may receive an application or an application list in an adjacent external device and transmit it to the control unit 170 or the storage unit 140.
  • the external device interface unit 135 may provide a connection path between the display device 100 and the external device.
  • the external device interface unit 135 may receive one or more of an image and audio output from an external device connected to the display device 100 by wire or wirelessly, and transmit it to the control unit 170.
  • the external device interface unit 135 may include a plurality of external input terminals.
  • the plurality of external input terminals may include an RGB terminal, one or more HDMI (High Definition Multimedia Interface) terminals, and a component terminal.
  • An image signal of an external device input through the external device interface unit 135 may be output through the display unit 180.
  • the audio signal of the external device input through the external device interface unit 135 may be output through the audio output unit 185.
  • the external device connectable to the external device interface unit 135 may be any one of a set-top box, a Blu-ray player, a DVD player, a game console, a sound bar, a smartphone, a PC, a USB memory, and a home theater, but this is only an example. .
  • some content data stored in the display apparatus 100 may be transmitted to another user registered in advance in the display apparatus 100 or a selected user or a selected electronic device among other electronic devices.
  • the storage unit 140 may store a program for processing and controlling each signal in the control unit 170 and may store signal-processed video, audio, or data signals.
  • the storage unit 140 may perform a function for temporary storage of a video, audio, or data signal input from the external device interface unit 135 or the network interface unit 133. You can also store information about the image.
  • the storage unit 140 may store an application or an application list input from the external device interface unit 135 or the network interface unit 133.
  • the display device 100 may reproduce and provide a content file (movie file, still image file, music file, document file, application file, etc.) stored in the storage unit 140 to a user.
  • a content file moving file, still image file, music file, document file, application file, etc.
  • the user input interface unit 150 may transmit a signal input by the user to the controller 170 or may transmit a signal from the controller 170 to the user.
  • the user input interface unit 150 may be configured according to various communication methods such as Bluetooth, Ultra Wideband (WB), ZigBee method, Radio Frequency (RF) communication method, or infrared (IR) communication method, Control signals such as power on/off, channel selection, and screen setting may be received and processed from the remote control device 200, or a control signal from the control unit 170 may be transmitted to the remote control device 200.
  • the user input interface unit 150 may transmit a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a set value to the control unit 170.
  • a local key such as a power key, a channel key, a volume key, and a set value
  • the image signal processed by the controller 170 may be input to the display unit 180 and displayed as an image corresponding to the corresponding image signal. Also, the image signal processed by the controller 170 may be input to an external output device through the external device interface unit 135.
  • the audio signal processed by the controller 170 may be audio output to the audio output unit 185.
  • the voice signal processed by the control unit 170 may be input to an external output device through the external device interface unit 135.
  • controller 170 may control the overall operation of the display apparatus 100.
  • control unit 170 may control the display device 100 by a user command or an internal program input through the user input interface unit 150, and access the network to display an application or application list desired by the user. It can be downloaded within (100).
  • the control unit 170 enables channel information selected by the user to be output through the display unit 180 or the audio output unit 185 together with the processed image or audio signal.
  • control unit 170 in accordance with an external device image playback command received through the user input interface unit 150, from an external device input through the external device interface unit 135, for example, a camera or a camcorder, An image signal or an audio signal may be output through the display unit 180 or the audio output unit 185.
  • control unit 170 may control the display unit 180 to display an image, for example, a broadcast image input through the tuner 131 or an external input input through the external device interface unit 135
  • An image, an image input through the network interface unit, or an image stored in the storage unit 140 may be controlled to be displayed on the display unit 180.
  • the image displayed on the display unit 180 may be a still image or a moving image, and may be a 2D image or a 3D image.
  • control unit 170 may control content stored in the display device 100, received broadcast content, or external input content input from the outside to be played, and the content includes a broadcast image, an external input image, an audio file, and a stop. It may be in various forms such as an image, a connected web screen, and a document file.
  • the wireless communication unit 173 may communicate with an external device through wired or wireless communication.
  • the wireless communication unit 173 may perform short range communication with an external device.
  • the wireless communication unit 173 includes Bluetooth (Bluetooth), BLE (Bluetooth Low Energy), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association; IrDA), UWB (Ultra Wideband), ZigBee, NFC (Near Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless Universal Serial Bus (USB) technologies may be used to support short-range communication.
  • the wireless communication unit 173 may be configured between the display device 100 and a wireless communication system, between the display device 100 and another display device 100, or between the display device 100 and the display device 100 through wireless area networks. Wireless communication between networks in which the display device 100 or an external server is located may be supported.
  • the local area wireless communication networks may be wireless personal area networks (Wireless Personal Area Networks).
  • the other display device 100 is a wearable device capable of exchanging (or interlocking with) data with the display device 100 according to the present invention, for example, a smartwatch, smart glasses. (smart glass), HMD (head mounted display)), it can be a mobile terminal such as a smart phone.
  • the wireless communication unit 173 may detect (or recognize) a wearable device capable of communicating around the display apparatus 100. Further, when the sensed wearable device is an authenticated device to communicate with the display apparatus 100 according to the present invention, the controller 170 transmits at least a portion of the data processed by the display apparatus 100 to the wireless communication unit ( 173) can be transmitted to the wearable device. Accordingly, a user of the wearable device may use data processed by the display apparatus 100 through the wearable device.
  • the voice acquisition unit 175 may acquire audio.
  • the voice acquisition unit 175 may include at least one microphone (not shown), and may acquire audio around the display apparatus 100 through a microphone (not shown).
  • the display unit 180 converts an image signal, a data signal, an OSD signal processed by the control unit 170, or an image signal and a data signal received from the external device interface unit 135 into R, G, and B signals, respectively. Can generate signals.
  • the display device 100 shown in FIG. 1 is only an embodiment of the present invention. Some of the illustrated components may be integrated, added, or omitted according to the specifications of the display device 100 that is actually implemented.
  • two or more components may be combined into a single component, or one component may be subdivided into two or more components and configured.
  • functions performed by each block are for explaining an embodiment of the present invention, and specific operations or devices thereof do not limit the scope of the present invention.
  • the display apparatus 100 does not include a tuner 131 and a demodulation unit 132, but a network interface unit 133 or an external device interface unit ( 135) can also be received and played.
  • the display device 100 is implemented by being divided into an image processing device such as a set-top box for receiving broadcast signals or contents according to various network services, and a content reproducing device for reproducing content input from the image processing device. Can be.
  • an image processing device such as a set-top box for receiving broadcast signals or contents according to various network services
  • a content reproducing device for reproducing content input from the image processing device. Can be.
  • the method of operating the display device according to an embodiment of the present invention to be described below is not only the display device 100 as described with reference to FIG. 1, but also an image processing device or display unit 180 such as a separate set-top box. ) And the audio output unit 185 may be performed by any one of a content playback device.
  • FIG. 2 is a block diagram of a remote control device according to an embodiment of the present invention
  • FIG. 3 is a block diagram showing an example of an actual configuration of a remote control device according to an embodiment of the present invention.
  • the remote control device 200 includes a fingerprint recognition unit 210, a wireless communication unit 220, a user input unit 230, a sensor unit 240, an output unit 250, and a power supply unit 260. ), a storage unit 270, a control unit 280, and a voice acquisition unit 290.
  • the wireless communication unit 220 transmits and receives signals to and from any one of the display devices according to the exemplary embodiments described above.
  • the remote control device 200 includes an RF module 221 capable of transmitting and receiving signals with the display device 100 according to the RF communication standard, and capable of transmitting and receiving signals with the display device 100 according to the IR communication standard.
  • An IR module 223 may be provided.
  • the remote control device 200 may include a Bluetooth module 225 capable of transmitting and receiving signals to and from the display device 100 according to the Bluetooth communication standard.
  • the remote control device 200 includes an NFC module 227 capable of transmitting and receiving signals with the display device 100 according to the NFC (Near Field Communication) communication standard, and the display according to the WLAN (Wireless LAN) communication standard.
  • a WLAN module 229 capable of transmitting and receiving signals to and from the device 100 may be provided.
  • the remote control device 200 transmits a signal containing information about the movement of the remote control device 200 to the display device 100 through the wireless communication unit 220.
  • the remote control device 200 may receive a signal transmitted from the display device 100 through the RF module 221, and power on/off the display device 100 through the IR module 223 as necessary. Commands for off, channel change, volume change, etc. can be transmitted.
  • the user input unit 230 may be composed of a keypad, a button, a touch pad, or a touch screen. A user may input a command related to the display device 100 to the remote control device 200 by manipulating the user input unit 230.
  • the user input unit 230 includes a hard key button, the user may input a command related to the display device 100 to the remote control device 200 through a push operation of the hard key button. This will be described with reference to FIG. 3.
  • the remote control device 200 may include a plurality of buttons.
  • the plurality of buttons include a fingerprint recognition button 212, a power button 231, a home button 232, a live button 233, an external input button 234, a volume control button 235, a voice recognition button 236, A channel change button 237, a confirmation button 238, and a back button 239 may be included.
  • the fingerprint recognition button 212 may be a button for recognizing a user's fingerprint. As an example, the fingerprint recognition button 212 is capable of a push operation and may receive a push operation and a fingerprint recognition operation.
  • the power button 231 may be a button for turning on/off power of the display apparatus 100.
  • the home button 232 may be a button for moving to the home screen of the display device 100.
  • the live button 233 may be a button for displaying a real-time broadcast program.
  • the external input button 234 may be a button for receiving an external input connected to the display device 100.
  • the volume control button 235 may be a button for adjusting the volume of the volume output by the display apparatus 100.
  • the voice recognition button 236 may be a button for receiving a user's voice and recognizing the received voice.
  • the channel change button 237 may be a button for receiving a broadcast signal of a specific broadcast channel.
  • the confirmation button 238 may be a button for selecting a specific function, and the back button 2
  • the user input unit 230 When the user input unit 230 includes a touch screen, the user may input a command related to the display device 100 to the remote control device 200 by touching a soft key on the touch screen.
  • the user input unit 230 may include various types of input means that a user can manipulate, such as a scroll key or a jog key, and the present embodiment does not limit the scope of the present invention.
  • the sensor unit 240 may include a gyro sensor 241 or an acceleration sensor 243, and the gyro sensor 241 may sense information about the movement of the remote control device 200.
  • the gyro sensor 241 may sense information on the operation of the remote control device 200 based on the x, y, and z axes, and the acceleration sensor 243 is the moving speed of the remote control device 200 Information about the back can be sensed.
  • the remote control device 200 may further include a distance measuring sensor, so that the distance to the display unit 180 of the display device 100 may be sensed.
  • the output unit 250 may output an image or audio signal corresponding to an operation of the user input unit 230 or a signal transmitted from the display apparatus 100. Through the output unit 250, the user may recognize whether the user input unit 230 is operated or whether the display apparatus 100 is controlled.
  • the output unit 250 includes an LED module 251 that lights up when the user input unit 230 is operated or a signal is transmitted and received with the display device 100 through the wireless communication unit 220, and a vibration module that generates vibration ( 253), a sound output module 255 for outputting sound, or a display module 257 for outputting an image may be provided.
  • the power supply unit 260 supplies power to the remote control device 200, and when the remote control device 200 has not moved for a predetermined period of time, the power supply is stopped, thereby reducing power waste.
  • the power supply unit 260 may resume power supply when a predetermined key provided in the remote control device 200 is operated.
  • the storage unit 270 may store various types of programs, application data, and the like necessary for controlling or operating the remote control device 200. If the remote control device 200 wirelessly transmits and receives signals through the display device 100 and the RF module 221, the remote control device 200 and the display device 100 transmit and receive signals through a predetermined frequency band. .
  • the control unit 280 of the remote control device 200 stores information about a frequency band through which signals can be wirelessly transmitted and received with the display device 100 paired with the remote control device 200 in the storage unit 270 and is referred to. can do.
  • the controller 280 controls all matters related to the control of the remote control device 200.
  • the controller 280 transmits a signal corresponding to the operation of a predetermined key by the user input unit 230 or a signal corresponding to the movement of the remote control device 200 sensed by the sensor unit 240 through the wireless communication unit 220. 100).
  • the voice acquisition unit 290 of the remote control device 200 may acquire voice.
  • the voice acquisition unit 290 may include at least one microphone 291, and may acquire a voice through the microphone 291.
  • FIG. 4 will be described.
  • FIG. 4 shows an example of using a remote control device according to an embodiment of the present invention.
  • FIG. 4A illustrates that a pointer 205 corresponding to the remote control device 200 is displayed on the display unit 180.
  • the user can move or rotate the remote control device 200 up and down, left and right.
  • the pointer 205 displayed on the display unit 180 of the display device 100 corresponds to the movement of the remote control device 200.
  • the remote control device 200 since the corresponding pointer 205 is moved and displayed according to movement in the 3D space, the remote control device 200 may be referred to as a space remote controller.
  • FIG. 4B illustrates that when the user moves the remote control device 200 to the left, the pointer 205 displayed on the display unit 180 of the display device 100 also moves to the left in response thereto.
  • the display device 100 may calculate the coordinates of the pointer 205 from information about the movement of the remote control device 200.
  • the display apparatus 100 may display the pointer 205 to correspond to the calculated coordinates.
  • FIG. 4C illustrates a case where a user moves the remote control device 200 away from the display unit 180 while pressing a specific button in the remote control device 200. Accordingly, the selection area in the display unit 180 corresponding to the pointer 205 may be zoomed in and displayed in an enlarged manner.
  • a selection area in the display unit 180 corresponding to the pointer 205 may be zoomed out and displayed in a reduced size.
  • the selection area may be zoomed out, and when the remote control device 200 approaches the display unit 180, the selection area may be zoomed in.
  • a specific button in the remote control device 200 when a specific button in the remote control device 200 is pressed, recognition of vertical and horizontal movement may be excluded. That is, when the remote control device 200 moves away from or approaches the display unit 180, up, down, left, and right movements are not recognized, but only forward and backward movements may be recognized. In a state in which a specific button in the remote control device 200 is not pressed, only the pointer 205 is moved according to the up, down, left, and right movement of the remote control device 200.
  • the moving speed or moving direction of the pointer 205 may correspond to the moving speed or moving direction of the remote control device 200.
  • a pointer refers to an object displayed on the display unit 180 in response to an operation of the remote control device 200.
  • the pointer 205 can be used to make objects of various shapes other than the arrow shape shown in the drawing.
  • it may be a concept including a point, a cursor, a prompt, and a thick outline.
  • the pointer 205 may be displayed in correspondence with any one of a horizontal axis and a vertical axis on the display unit 180, as well as a plurality of points such as a line and a surface. Do.
  • FIG. 5 is a block diagram of a search module included in a display device according to an embodiment of the present invention.
  • the display apparatus 100 may further include a search module 171 for directly searching for text displayed on the display unit 180.
  • the search module 171 may be included in the control unit 170. That is, the search module 171 is a component of the control unit 170 and may operate to search for a specific text displayed on the display unit 180.
  • the search module 171 may include all or at least some of the application management unit 172, the search registration unit 173, and the search execution unit 174.
  • the application manager 172 may execute, operate, and manage an application installed in the display device 100.
  • a first application, a second application, and a third application are installed in the display device 100, and the application manager 172 executes each of the second application, the second application, and the third application, Can perform operations and management.
  • the first application may be a native app.
  • the first application may include a browser app, a Settings app, a video service app, and the like.
  • the second application may be a web app.
  • the second application may include a Webkit framework-based application.
  • the second application may include a store app, an internet app, and the like.
  • the third application may be a Qt app.
  • the third application may include an application based on the Qt framework.
  • the third application may include a banner app, a home app, and a search app.
  • the application management unit 172 may transmit and receive data to and from the search registration unit 173.
  • the application manager 172 may directly transmit and receive signals with the search registration unit 173 when transmitting and receiving data related to the first application.
  • the application management unit 172 may transmit and receive signals with the search registration unit 173 through a webkit.
  • the application manager 172 may transmit and receive signals with the search registration unit 173 through the Qt framework.
  • the application management unit 172 may register (1) register the executed application in the search registration unit 173.
  • the search module 171 may receive a user trigger 2 requesting a search.
  • the search registration unit 173 requests the user-triggered text to the application management unit 172 (3) get Text, and the application management unit 172 transmits the requested text to the search registration unit 173 (4) send Text) can be done.
  • the search registration unit 173 transmits text to the search execution unit 174 and initiates the search (5) launch
  • the search execution unit 174 may perform a search on the received text.
  • the search module 171 may receive a user selection (6) selectResonserByUser for setting a search range, and in this case, set a search range so that only a specific application responds to the search.
  • the display unit 180 may display a text search result by the search execution unit 174.
  • the search module illustrated in FIG. 5 is merely an example for convenience of description. That is, the components shown in FIG. 5, the order of operation, and the operation method may be changed.
  • a screen gateway for receiving text from the external terminal may be further included. That is, when the display unit 180 is displaying a mirrored image, the search module 171 may perform operations such as registration with an external terminal, text request, and reception through a screen gateway (not shown).
  • FIG. 6 is a flowchart illustrating a method of operating a display device according to an exemplary embodiment of the present invention.
  • the display unit 180 may display content (S11).
  • Content may mean information provided by an application execution or a mirroring function.
  • the content may include information according to execution of a browser application, information according to execution of a video service application, information according to execution of a banner application, information according to execution of a home application, information according to execution of a setting application, etc. I can.
  • the display unit 180 may display content on the entire screen.
  • the display unit 180 may display content in a predetermined area of a broadcast image.
  • the controller 170 may obtain whether to receive a search command (S13).
  • the controller 170 may determine whether a search command has been received while the content is being displayed.
  • the control unit 170 may receive a search command through the pointer 205 or may receive a search command through the voice acquisition unit 175.
  • the search command may be a command for acquiring information on a specific text on the content.
  • the control unit 170 may display the pointer 205 on the content, and a signal for selecting a specific text on the content through the pointer 205 Through the search command can be received.
  • the controller 170 may receive a control signal of the pointer 205 from the remote control device 200 through the user input interface unit 150. That is, the user input interface unit 150 may receive a control signal of the pointer 205 displayed on the content from the remote control device 200.
  • the control signal of the pointer 205 may include a signal for moving the position of the pointer 205, a signal for selecting a region with the pointer 205, and the like.
  • the control unit 170 when receiving a command for selecting a region on the content with a pointer 205 for less than a predetermined time, the control unit 170 recognizes it as an execution command for the selected region, and uses the pointer 205 to determine a region on the content for a predetermined time.
  • the above-selected command long-press command
  • it can be recognized as a search command for text in the selected area.
  • the controller 170 may receive a search command by recognizing a user's voice through a microphone provided in the voice acquisition unit 175.
  • the control unit 170 may recognize the text to be searched as text displayed in an area where the pointer 205 is located. A detailed description of this will be described later in FIG. 14.
  • the controller 170 may continue to display content and obtain whether to receive the search command.
  • the controller 170 may control the display 180 to display a search result of the text displayed in the area where the pointer 205 is located, and a detailed description thereof will be described later.
  • control unit 170 may extract the text of the area where the pointer 205 is located (S15).
  • the controller 170 may extract text of an area in which the pointer 205 is located at the time of receiving the search command.
  • the search registration unit 173 transmits a signal for requesting text in the area where the pointer 205 is located to the application management unit 172, and receives a text signal in response to the text request signal from the application management unit 172 Accordingly, the text of the area where the pointer 205 is located may be obtained.
  • the probability of incorrectly recognizing the text may be lowered than when the text is extracted by analyzing the image on which the content is displayed, thereby increasing the accuracy of providing the search result.
  • the controller 170 may extract text by analyzing an image in which the content is displayed, and by recognizing the text in the area where the pointer 205 is located.
  • the controller 170 may extract text related to the image.
  • the control unit 170 may extract text related to an image from metadata about an image of the area where the pointer 205 is located, and in this case, the text related to the image is the title, person, time, and time of the image. It may include information such as.
  • the controller 170 may obtain whether the extracted text corresponds to a search target (S17).
  • the controller 170 may determine whether the extracted text corresponds to a search target.
  • the search target may mean text having a purpose for which a search operation is to be performed.
  • the content may include various types of information, some of which are meaningful information that the user is curious about or that the user needs, and some of the content may be meaningless information.
  • the meaningless information may be information for decorating an execution image of the content, information for further explanation, information to be changed, and the like. As for such insignificant information, even if a search is performed, there may be no result information to be displayed, and thus, it may be unnecessary to perform a search. That is, the meaningless information may be text for which the search operation is not intended to be performed. Therefore, the control unit 170 may determine whether the extracted text corresponds to a search target.
  • the controller 170 may determine whether the text extracted through a hyperlink corresponds to a search target. For example, when the extracted text has a hyperlink, the controller 170 may obtain the extracted text as a search target. In this case, the hyperlink may mean a function connected to other elements. If the extracted text does not have a hyperlink, the controller 170 may determine that the extracted text does not correspond to a search target.
  • the controller 170 may determine whether the extracted text corresponds to a search target based on a position on the content of the extracted text. For example, when the extracted text is located in the title area of the content, the controller 170 may obtain the extracted text as a search target.
  • the controller 170 may determine whether the extracted text corresponds to a search target based on the size of the extracted text. For example, when the size of the extracted text is larger than the size of other texts in the content, the control unit 170 may obtain the extracted text as a search target.
  • the controller 170 may obtain a text extracted from an external terminal connected to mirroring as a search target.
  • the controller 170 when receiving a search command for an image, the controller 170 may obtain a text extracted in relation to the image as a search target.
  • the controller 170 may obtain the fixed text as a search target.
  • the controller 170 may determine whether the extracted text corresponds to a search target by performing any one of the first to sixth embodiments. In addition, the control unit 170 may determine whether the extracted text corresponds to a search target by selectively executing a plurality of the first to sixth embodiments.
  • control unit 170 sets at least one of the first to sixth embodiments as a reference method for determining whether it corresponds to a search target according to the type of an application providing content or the state of the extracted text, and sets the set reference method. It can be determined whether the extracted text corresponds to the search target. For example, when the content is a web browser, when receiving a search command for a region on the content, the control unit 170 obtains a search target based on whether the text in the region where the pointer 205 is located has a hyperlink, and In the case of a banner, when a search command for a region of the content is received, whether the text of the pointer 205 is located in a region among the banners may be used to obtain a search target. However, this is merely an example for convenience of description and is not limited thereto.
  • control unit 170 may determine whether the text extracted through a method other than the first to sixth embodiments described above corresponds to a search target.
  • control unit 170 may omit the step of determining whether the extracted text corresponds to a search target. That is, according to another embodiment of the present invention, when text is extracted, the control unit 170 may immediately perform a search operation for the extracted text. In this case, when recognizing a search command, the control unit 170 immediately displays at least one search area icon (see 61 to 63, see Fig. 7), and when receiving a selection command for a search area icon, the pointer 205 is positioned in the area. The displayed text may be searched in a search range corresponding to the search area icon.
  • the controller 170 may display a search impossible message (S21).
  • control unit 170 may not perform a search operation.
  • the controller 170 may control the display 180 to display a search impossible message.
  • the control unit 170 may inform the user that the search is not performed by displaying a search impossible message, thereby minimizing the user's misunderstanding and increasing the reliability of the product.
  • the controller 170 may display an icon for selecting a search range of the extracted text (S23).
  • the control unit 170 may set a search range of text by receiving a command for setting a search range before performing a search operation, and in this case, search the text within the set search range.
  • the step of selecting the search range may be omitted. That is, according to an embodiment, when the extracted text corresponds to a search target, the control unit 170 performs a text search operation for the entire interior of the display device 100, and according to another embodiment, the control unit 170 ) Can perform a search operation of the extracted text only for the set search range.
  • control unit 170 performs the step of setting the search range by displaying an icon for receiving the selection of the search range, and a detailed description thereof will be described later with reference to FIGS. 7 to 8.
  • the controller 170 may display a search result of the text extracted from the set search range (S25).
  • the controller 170 may perform a search for text and immediately display the search result on the display unit 180.
  • FIG. 7 to 9 are exemplary diagrams of a method of receiving a search command for text on content and displaying a search result by the display device according to the first embodiment of the present invention.
  • the display unit 180 may display the content 73, and the content 73 may overlap and be displayed in a predetermined area of the broadcast image 71.
  • the content 73 may be a web browser displayed according to execution of a web browser application, but this is only exemplary. That is, the content 73 may be information displayed according to the execution of an application other than a web browser application.
  • the controller 170 may receive a search command for an area of the content 73 through the pointer 205, and in this case, may extract text displayed in the area where the pointer 205 is located.
  • the controller 170 may extract the text'Hayoon Kim, Seojun Lee' as displayed in the area where the pointer 205 is located.
  • the controller 170 may perform a search using text having a hyperlink in an area where the pointer 205 is located. For example, when receiving a search command, the control unit 170 may acquire, as a search target, only text having a hyperlink among texts extracted from an area where the pointer 205 is located.
  • the controller 170 may obtain the text of the area where the pointer 205 is located as a search target. However, if the text in the area where the pointer 205 is located does not have a hyperlink, the controller 170 may obtain the text in the area where the pointer 205 is located as not a search target.
  • the controller 170 may further receive a command for selecting a search range. That is, the control unit 170 receives a search command for selecting a region (for example, Ha-yoon Kim, Seo-jun Lee) through the pointer 205, and then through the pointer 205, the search range (for example, the first search A command for selecting the area icon 61) may be further received.
  • a region for example, Ha-yoon Kim, Seo-jun Lee
  • the search range for example, the first search A command for selecting the area icon 61
  • the controller 170 may control the display 180 to further display the search range selection menu 60 around the pointer 205 when the search target is acquired, and the search range selection menu 60 It may include at least one search area icon 61 to 63.
  • the search area icons 61 to 63 may represent each area in which a search is performed.
  • the first search area icon 61 may indicate the inside of the TV
  • the second search area icon 62 may indicate a video service application
  • the third search area icon 63 may indicate the Internet.
  • the controller 170 may acquire a search area corresponding to the selected search area icon as a search range.
  • the control unit 170 when receiving a selection command for the first search area icon 61, the control unit 170 sets the search area indicated by the first search area icon 61, for example, the inside of the TV as a search range. I can.
  • the controller 170 may control the display unit 180 to search for'Kim Ha-yoon Lee Seo-joon' as a search target inside the TV, and to display the search result information 1001 according thereto.
  • the control unit 170 after receiving a search command for selecting a region (eg, Ha-yoon Kim, Seo-jun Lee) through the pointer 205, the control unit 170 is reduced to the search range through the pointer 205. 2 This may be the case when a command for selecting the search area icon 62 is further received.
  • a region eg, Ha-yoon Kim, Seo-jun Lee
  • the control unit 170 when receiving a selection command for the second search area icon 62, the control unit 170 selects the search area indicated by the second search area icon 62, for example, a video service application, as a search range. Can be set. In this case, the controller 170 may search for'Kim Ha-yoon Lee Seo-joon' as a search target in the video service application, and control the display unit 180 to display the search result information 1002.
  • the controller 170 may perform a search using text in the selected search range.
  • the present invention can be applied to an exemplary diagram when the content 73 is displayed on the image 71, but also when the content 81 is displayed on the entire screen of the display unit 180. .
  • the controller 170 may set a search range through the search range selection menu 60, and then perform a search and display the search result.
  • FIGS. 7 to 8 The overlapping description of FIGS. 7 to 8 will be omitted.
  • FIG. 10 is an exemplary diagram of a method of receiving a search command for text on content and displaying a search result by a display device according to the second and third embodiments of the present invention.
  • the display unit 180 may display the content 93, and the content 93 may overlap and be displayed in a predetermined area of the broadcast image 91.
  • the content 93 may be a banner displayed according to the execution of the banner application, but this is only exemplary. That is, the content 93 may be information displayed according to execution of an application other than a banner application.
  • the controller 170 may receive a search command for an area of the content 93 through the pointer 205, and in this case, may extract text displayed in the area where the pointer 205 is located.
  • the controller 170 may extract the text'News & Issue' as displayed in the area where the pointer 205 is located.
  • control unit 170 may obtain the text as a search target based on where the text in the region where the pointer 205 is located is located on the content 93. That is, the controller 170 may obtain whether to perform a search using text based on the position on the content 93 of the text in the region where the pointer 205 is located.
  • the content 93 including a banner may include a title area 93a, a time information area 93b, a channel information area 93c, a broadcaster information area 93d, and the like, at least some of them. May be a search target area. If the title area 93a is the search target area, the control unit 170 searches the text extracted from the title area 93a when receiving a search command through the pointer 205 located in the title area 93a of the banner. Can be obtained as a target. On the other hand, when the time information area 93b is not the search target area, the control unit 170 receives the search command through the pointer 205 located in the time information area 93b of the banner, but in the time information area 93b. The extracted text may not be acquired as a search target.
  • the controller 170 may acquire text as a search target based on the text size of the area where the pointer 205 is located. That is, when receiving a search command, the controller 170 may obtain whether to perform a search using text based on the size of the text extracted from the region where the pointer 205 is located.
  • text in an area where the pointer 205 is located may be larger than the size of text in other areas.
  • the text size of the title area 93a where the pointer 205 is located is larger than the text size of the time information area 93b, the text size of the channel information area 93c, or the text size of the broadcaster information area 93d. I can. Therefore, in this case, when receiving the search command, the control unit 170 selects the text of the title area 93a as a search target because the text of the title area 93a, which is the area where the pointer 205 is located, is larger than the text of other areas. Can be obtained.
  • the control unit 170 may acquire an area in which the text size is greater than or equal to the reference size as a search target area. For example, the control unit 170 acquires a title area 93a and a channel information area 93c having a text size equal to or greater than the reference size as a search target area, and the time information area 93b and a broadcaster whose text size is not The information area 93d may be acquired as a non-search target area. In this case, when the text of the title area 93a or the channel information area 93c is extracted, the controller 170 may obtain the extracted text as a search target.
  • FIG. 11 is an exemplary diagram of a method for receiving a search command for text on content and displaying a search result by the display device according to the fourth embodiment of the present invention.
  • the display unit 180 may display the content 95, and the content 95 may be a mirrored image. That is, the content 95 shown in the example of FIG. 11 may be an image received from an external terminal. Even in this case, the controller 170 may receive a search command for text displayed on the mirrored image through the pointer 205.
  • control unit 170 may receive a search command for a region of the content 95 through the pointer 205, and in this case, the text of the region where the pointer 205 is located is transmitted to an external terminal.
  • the text of the area where the pointer 205 is located may be extracted, and a search may be performed using the extracted text.
  • the controller 170 may extract text related to the image.
  • the text related to the image may include at least one of a title, a protagonist, and an episode.
  • the control unit 170 extracts the title of the image on which the pointer 205 is located as a search target text, and uses the extracted title to display the search result information 1004. Can be controlled.
  • FIG. 12 is an exemplary diagram of a method of receiving a search command for text on content and displaying a search result by the display device according to the fifth embodiment of the present invention.
  • the display unit 180 may display the content 97, and the content 97 may overlap and be displayed in a predetermined area of the broadcast image 96.
  • the content 97 may be a home menu displayed according to the execution of the home application, but this is only exemplary. That is, the content 97 may be information displayed according to the execution of an application other than the home application.
  • the controller 170 may receive a search command for a region of the content 97 through the pointer 205, and in this case, the pointer 205 may be located in a specific image region.
  • the controller 170 may extract text related to the image in the area where the pointer 205 is located.
  • the text related to the image may include at least one of a title, a protagonist, and an episode of the image.
  • the controller 170 may extract text related to the image based on the metadata of the image.
  • the image of the area where the pointer 205 is located is an execution image of the video service application, and the controller 170 extracts the title of the video service application as text when receiving a search command through the pointer 205.
  • the controller 170 may perform a search based on the title of the video service application and may display the search result information 1005.
  • the search result information 1005 may include contents provided by the video service application.
  • FIG. 13 is an exemplary diagram of a method for receiving a search command for text on a content and displaying a search result by the display device according to the sixth embodiment of the present invention.
  • the display unit 180 may display the content 98, and the content 98 may be a setting menu displayed according to the execution of the setting application.
  • the content 98 may be information displayed according to the execution of an application other than the setting application.
  • the controller 170 may receive a search command for an area of the content 98 through the pointer 205, and in this case, may extract text displayed in the area where the pointer 205 is located.
  • the text may include fixed text and variable text.
  • the fixed text refers to a certain text regardless of the passage of time or the state of the display device 100
  • the variable text may refer to a text that can be changed according to the passage of time or the state of the display device 100.
  • the text extracted from the area where the pointer 205 is located may be'wireless network connection, not connected', in which case "wireless network connection” is fixed text, and " “Not connected” may be variable text. That is, "not connected” may be a text whose content is changed according to the connection state of the wireless network.
  • control unit 170 may perform a search using only fixed text among the extracted texts. That is, the controller 170 may obtain a fixed text from among the extracted texts as a search target.
  • FIGS. 10 to 13 a description of a method for setting a search range is omitted, but this is the same as that described in FIGS. 7 to 8.
  • FIG. 14 is an exemplary diagram illustrating a method of receiving a search command through a voice acquisition unit by a display device according to an embodiment of the present invention.
  • control unit 170 may obtain a search command by recognizing a voice command through the voice acquisition unit 175.
  • the controller 170 may determine that the search command has been received. As shown in the example of FIG. 14, when receiving a voice command such as "search for this on TV”, “search for this on an app”, or “search for this", the controller 170 receives the search command. It can be judged as.
  • the voice command may include a search target, a search range, and the like.
  • the voice command may be "search for this on TV”, “search for this on app”, and "search for this".
  • the search target is'this'
  • the search range may be'on TV' or'in app'.
  • the control unit 170 may obtain the text extracted from the region where the pointer 205 is located as a search target. In particular, when receiving'this' as a search target, the controller 170 may recognize the text extracted from the area where the pointer 205 is located as a search target. In the example of FIG. 14, when receiving a search command, the controller 170 may obtain a text related to an image of an area in which the pointer 205 is located as a search target.
  • control unit 170 may extract a search range from the voice command.
  • the voice command includes a search range (eg,'on TV' or'in app')
  • the controller 170 may search for text corresponding to the search target in the search range according to the voice command. If the search range cannot be extracted from the voice command, the control unit 170 may search the text corresponding to the search target using the entire search range.
  • 15 is an exemplary diagram of a method of displaying a search impossibility guide message when a display device according to an embodiment of the present invention fails to obtain a search target.
  • the controller 170 may determine whether the extracted text corresponds to a search target, and may perform a search only when the extracted text corresponds to the search target.
  • the controller 170 may not perform a search if the extracted text does not correspond to a search target.
  • the control unit 170 may control the display unit 180 to display a message 1007 notifying that search is impossible. That is, the controller 170 may control the display 180 to display a message 1007 indicating that the search is not performed when the search is not performed despite receiving the search command.
  • Message 1007 may indicate that no search is performed.
  • the message 1007 may further include a reason for not being able to search.
  • the message 1007 may include a reason for inability to search that the text selected by the pointer 205 does not correspond to a search target.
  • the control unit 170 controls the display unit 180 to display the message 1007
  • the user can easily know that the search is not performed through the message 1007, and accordingly, the display device ( It can minimize the case of misunderstanding 100).
  • the message 1007 includes a reason for not being searchable
  • the user can request a search by referring to the message 1007 so that the search is not possible when a search is requested later.

Abstract

본 발명은 화면에 표시된 텍스트에 대한 검색을 바로 실행하는 디스플레이 장치에 관한 것으로, 컨텐트를 표시하는 디스플레이부, 컨텐트 상에 표시되는 포인터의 제어 신호를 수신하는 사용자 입력 인터페이스부, 및 검색 명령을 수신하면 포인터가 위치한 영역에 표시된 텍스트의 검색 결과를 표시하도록 디스플레이부를 제어하는 제어부를 포함할 수 있다.

Description

디스플레이 장치
본 발명은 디스플레이 장치에 관한 것으로, 보다 상게하게는 화면에 표시된 텍스트에 대한 검색을 바로 실행 가능한 디스플레이 장치에 관한 것이다.
최근 들어, 유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화되고 있다. 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다.
예를 들어, 디지털 TV 서비스의 한 종류인 IPTV(Internet Protocol Television), smart TV 서비스의 경우 사용자로 하여금 시청 프로그램의 종류, 시청 시간 등을 능동적으로 선택할 수 있도록 하는 양방향성을 제공한다. IPTV, smart TV서비스는 이러한 양방향성을 기반으로 하여 다양한 부가 서비스, 예컨대 인터넷 검색, 홈쇼핑, 온라인 게임 등을 제공할 수도 있다.
특히, 기존에는, 사용자가 검색을 필요로 할 때, 검색 기능을 먼저 실행한 후 검색하고자 하는 텍스트를 입력해야만 검색 결과를 제공받을 수 있다. 그리고, 사용자는 특정 컨텐트 제공자(Content Provider, CP) 또는 특정 기능에 대한 검색 결과만 얻고 싶어도, 전체 검색 결과에서 특정 컨텐트 제공자 또는 특정 기능을 선택해야 하는 불편이 있다.
따라서, 사용자는 디지털 TV를 사용하면서 표시된 텍스트에 대한 검색을 바로 실시하거나, 특정 범위에 대해서만 검색을 실시하는 방안을 필요로 할 수 있다.
본 발명은 화면에 표시된 특정 텍스트에 대한 검색을 바로 수행할 수 있는 디스플레이 장치를 제공하고자 한다.
본 발명은 화면에 표시된 특정 텍스트에 대한 검색을 수행하는 경우, 사용자가 검색하고자 하는 텍스트를 보다 정확하게 인식할 수 있는 디스플레이 장치를 제공하고자 한다.
본 발명은 화면에 표시된 특정 텍스트에 대한 검색을 수행하는 경우, 검색 대상을 보다 정확하게 획득할 수 있는 디스플레이 장치를 제공하고자 한다.
본 발명은 검색을 위한 사용자의 텍스트 입력 불편을 최소화하며, 사용자가 검색 범위를 보다 편리하게 설정할 수 있는 디스플레이 장치를 제공하고자 한다.
본 발명의 실시 예에 따른 디스플레이 장치는 컨텐트를 표시하는 디스플레이부, 컨텐트 상에 표시되는 포인터의 제어 신호를 수신하는 사용자 입력 인터페이스부, 및 검색 명령을 수신하면 포인터가 위치한 영역에 표시된 텍스트의 검색 결과를 표시하도록 디스플레이부를 제어하는 제어부를 포함할 수 있다.
제어부는 검색 명령을 수신하면 포인터가 위치한 영역의 텍스트를 추출하고, 추출된 텍스트를 이용하여 검색을 수행할 수 있다.
제어부는 검색 명령을 수신하면 포인터가 위치한 영역에서 하이퍼링크를 갖는 텍스트를 이용하여 검색을 수행할 수 있다.
제어부는 컨텐트가 웹 브라우저인 경우, 포인터가 위치한 영역의 텍스트가 하이퍼링크를 갖으면 검색 대상으로 획득하고, 포인터가 위치한 영역의 텍스트가 하이퍼링크를 갖지 않으면 검색 불가 메시지를 표시하도록 디스플레이부를 제어할 수 있다.
제어부는 검색 명령을 수신하면 텍스트의 컨텐트 상 위치에 기초하여 텍스트를 이용하는 검색 수행 여부를 획득할 수 있다.
제어부는 컨텐트가 배너인 경우, 배너의 타이틀 영역에 위치한 포인터를 통해 검색 명령을 수신시 타이틀 영역에서 추출한 텍스트를 검색 대상으로 획득할 수 있다.
제어부는 검색 명령을 수신하면 포인터가 위치한 영역의 텍스트 크기에 기초하여 텍스트를 이용하는 검색 수행 여부를 획득할 수 있다.
제어부는 컨텐트가 미러링 영상인 경우 미러링 영상에서 포인터가 위치한 영역의 텍스트를 외부 단말기로부터 수신하고, 외부 단말기로부터 수신한 텍스트를 이용하여 검색을 수행할 수 있다.
제어부는 포인터가 위치한 영역이 이미지인 경우, 이미지와 관련된 텍스트를 추출하고, 추출된 텍스트를 이용하여 검색을 수행할 수 있다.
제어부는 포인터가 위치한 영역에 고정 텍스트 및 가변 텍스트가 포함된 경우, 고정 텍스트를 이용하여 검색을 수행할 수 있다.
제어부는 텍스트의 검색 범위를 선택하는 명령을 더 수신하고, 선택된 검색 범위에서 텍스트를 이용하여 검색을 수행할 수 있다.
제어부는 포인터 주변에 적어도 하나의 검색 영역 아이콘을 표시하고, 선택된 검색 영역 아이콘에 대응하는 검색 영역을 검색 범위로 획득할 수 있다.
제어부는 포인터로 컨텐트 상의 일 영역을 소정 시간 미만으로 선택하는 명령을 수신시 선택된 영역의 실행 명령으로 인식하고, 포인터로 컨텐트 상의 일 영역을 소정 시간 이상으로 선택하는 명령을 수신시 선택된 영역의 검색 명령으로 인식할 수 있다.
제어부는 검색 명령을 인식하면 적어도 하나의 검색 영역 아이콘을 표시하고, 검색 영역 아이콘의 선택 명령을 수신시 포인터가 위치한 영역에 표시된 텍스트를 검색 영역 아이콘에 대응하는 검색 범위에서 검색할 수 있다.
디스플레이 장치는 검색 명령을 획득하는 음성 획득부를 더 포함하고, 제어부는 음성 획득부를 통해 검색 명령을 수신시 포인터가 위치한 영역의 텍스트를 검색 대상으로 획득할 수 있다.
본 발명의 실시 예에 따르면, 검색어를 사용자가 일일이 입력하지 않아도 되므로, 검색 기능시 사용자 불편을 최소화할 수 있는 이점이 있다.
또한, 화면에 표시된 텍스트의 선택만으로 검색 결과가 제공되므로, 종래 검색 기능을 실행한 후 검색어를 입력받는 경우 보다 검색에 소요되는 시간을 최소화할 수 있는 이점이 있다.
또한, 화면에 표시된 텍스트를 검색어로 획득할 때, 화면 속 이미지를 분석하는 것이 아니라, 해당 어플리케이션으로부터 텍스트를 수신하기 때문에 사용자가 검색하고자 하는 텍스트 인식의 정확도를 높일 수 있는 이점이 있고, 이에 따라 검색 결과 제공의 정확도도 높아지는 이점이 있다.
또한, 화면에 표시된 텍스트 중 무의미한 텍스트에 대해서는 검색을 미실시함으로써, 검색 대상을 보다 정확하게 획득할 수 있는 이점이 있다.
또한, 검색 요청시 검색 범위를 바로 설정 가능하므로, 사용자가 원하는 결과를 보다 신속하며, 정확하게 제공할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2는 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 3은 본발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 5는 본 발명의 실시 예에 따른 디스플레이 장치가 포함하는 검색 모듈의 블록도이다.
도 6은 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법을 도시한 순서도이다.
도 7 내지 도 9는 본 발명의 제1 실시 예에 따른 디스플레이 장치가 컨텐트 상의 텍스트에 대한 검색 명령을 수신 및 검색 결과를 표시하는 방법의 예시 도면이다.
도 10은 본 발명의 제2 및 제3 실시 예에 따른 디스플레이 장치가 컨텐트 상의 텍스트에 대한 검색 명령을 수신 및 검색 결과를 표시하는 방법의 예시 도면이다.
도 11은 본 발명의 제4 실시 예에 따른 디스플레이 장치가 컨텐트 상의 텍스트에 대한 검색 명령을 수신 및 검색 결과를 표시하는 방법의 예시 도면이다.
도 12는 본 발명의 제5 실시 예에 따른 디스플레이 장치가 컨텐트 상의 텍스트에 대한 검색 명령을 수신 및 검색 결과를 표시하는 방법의 예시 도면이다.
도 13은 본 발명의 제6 실시 예에 따른 디스플레이 장치가 컨텐트 상의 텍스트에 대한 검색 명령을 수신 및 검색 결과를 표시하는 방법의 예시 도면이다.
도 14는 본 발명의 실시 예에 따른 디스플레이 장치가 음성 획득부를 통해 검색 명령을 수신하는 방법을 도시한 예시 도면이다.
도 15는 본 발명의 실시 예에 따른 디스플레이 장치가 검색 대상을 획득하지 못한 경우 검색 불가 안내 메시지를 표시하는 방법의 예시 도면이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 무선 통신부(173), 음성 획득부(175), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190)를 포함할 수 있다.
방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
외부장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
외부장치 인터페이스부(135)는 디스플레이 장치(100)와 외부 장치 간의 연결 경로를 제공할 수 있다. 외부장치 인터페이스부(135)는 디스플레이 장치(100)에 무선 또는 유선으로 연결된 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, 제어부(170)로 전달할 수 있다. 외부장치 인터페이스부(135)는 복수의 외부 입력 단자들을 포함할 수 있다. 복수의 외부 입력 단자들은 RGB 단자, 하나 이상의 HDMI(High Definition Multimedia Interface) 단자, 컴포넌트(Component) 단자를 포함할 수 있다.
외부장치 인터페이스부(135)를 통해 입력된 외부장치의 영상 신호는 디스플레이부(180)를 통해 출력될 수 있다. 외부장치 인터페이스부(135)를 통해 입력된 외부장치의 음성 신호는 오디오 출력부(185)를 통해 출력될 수 있다.
외부장치 인터페이스부(135)에 연결 가능한 외부 장치는 셋톱 박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있으나, 이는 예시에 불과하다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램을 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
무선 통신부(173)는 유선 또는 무선 통신을 통해 외부 기기와 통신을 수행할 수 있다. 무선 통신부(173)는 외부 기기와 근거리 통신(Short range communication)을 수행할 수 있다. 이를 위해, 무선 통신부(173)는 블루투스(Bluetooth쪠), BLE(Bluetooth Low Energy), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 무선 통신부(173)는 근거리 무선 통신망(Wireless Area Networks)을 통해 디스플레이 장치(100)와 무선 통신 시스템 사이, 디스플레이 장치(100)와 다른 디스플레이 장치(100) 사이, 또는 디스플레이 장치(100)와 디스플레이 장치(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
여기에서, 다른 디스플레이 장치(100)는 본 발명에 따른 디스플레이 장치(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display)), 스마트 폰과 같은 이동 단말기가 될 수 있다. 무선 통신부(173)는 디스플레이 장치(100) 주변에, 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(170)는 감지된 웨어러블 디바이스가 본 발명에 따른 디스플레이 장치(100)와 통신하도록 인증된(authenticated) 디바이스인 경우, 디스플레이 장치(100)에서 처리되는 데이터의 적어도 일부를, 무선 통신부(173)를 통해 웨어러블 디바이스로 송신할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 디스플레이 장치(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다.
음성 획득부(175)는 오디오를 획득할 수 있다. 음성 획득부(175)는 적어도 하나의 마이크(미도시)를 포함할 수 있고, 마이크(미도시)를 통해 디스플레이 장치(100) 주변의 오디오를 획득할 수 있다.
디스플레이부(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 발명의 일 실시 예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시 예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시 예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋톱 박스 등과 같은 영상 처리 장치와 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 분리된 셋톱 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
다음으로, 도 2 내지 도 3을 참조하여, 본 발명의 일 실시 예에 따른 원격제어장치에 대해 설명한다.
도 2는 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 3은 본발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
먼저, 도 2를 참조하면, 원격제어장치(200)는 지문인식부(210), 무선통신부(220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원공급부(260), 저장부(270), 제어부(280), 음성 획득부(290)를 포함할 수 있다.
도 2를 참조하면, 무선통신부(220)는 전술하여 설명한 본 발명의 실시 예들에 따른 디스플레이 장치 중 임의의 어느 하나와 신호를 송수신한다.
원격제어장치(200)는 RF 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다. 또한, 원격제어장치(200)는 블루투스 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 블루투스 모듈(225)를 구비할 수 있다. 또한, 원격제어장치(200)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수할 수 있는 NFC 모듈(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 WLAN 모듈(229)을 구비할 수 있다.
또한, 원격제어장치(200)는 디스플레이 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 무선 통신부(220)를 통해 전송한다.
한편, 원격제어장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(230)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.
도 3을 참조하면, 원격제어장치(200)는 복수의 버튼을 포함할 수 있다. 복수의 버튼은 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239)을 포함할 수 있다.
지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시 예로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다. 전원 버튼(231)은 디스플레이 장치(100)의 전원을 온/오프 하기 위한 버튼일 수 있다. 홈 버튼(232)은 디스플레이 장치(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다. 라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다. 외부 입력 버튼(234)은 디스플레이 장치(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다. 음량 조절 버튼(235)은 디스플레이 장치(100)가 출력하는 음량의 크기를 조절하기 위한 버튼일 수 있다. 음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다. 채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다. 확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.
다시 도 2를 설명한다.
사용자 입력부(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x, y, z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이부(180)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(230)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(230)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다.
예를 들어, 출력부(250)는 사용자 입력부(230)가 조작되거나 무선 통신부(220)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
또한, 전원공급부(260)는 원격제어장치(200)로 전원을 공급하며, 원격제어장치(200)가 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로써 전원 낭비를 줄일 수 있다. 전원공급부(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 디스플레이 장치(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)와 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.
원격제어장치(200)의 제어부(280)는 원격제어장치(200)와 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.
제어부(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(280)는 사용자 입력부(230)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(220)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
또한, 원격제어장치(200)의 음성 획득부(290)는 음성을 획득할 수 있다.
음성 획득부(290)는 적어도 하나 이상의 마이크(291)을 포함할 수 있고, 마이크(291)를 통해 음성을 획득할 수 있다.
다음으로 도 4를 설명한다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 4의 (a)는 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이부(180)에 표시되는 것을 예시한다.
사용자는 원격 제어 장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응한다. 이러한 원격 제어 장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)는 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송된다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 디스플레이 장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)는, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.
이와 반대로, 사용자가 원격 제어 장치(200)를 디스플레이부(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.
한편, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격 제어 장치(200)가 디스플레이부(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격 제어 장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격 제어 장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 명세서에서의 포인터는, 원격 제어 장치(200)의 동작에 대응하여, 디스플레이부(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이부(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
도 5는 본 발명의 실시 예에 따른 디스플레이 장치가 포함하는 검색 모듈의 블록도이다.
본 발명의 실시 예에 따른 디스플레이 장치(100)는 디스플레이부(180)에 표시된 텍스트를 바로 검색하기 위한 검색 모듈(171)을 더 포함할 수 있다.
검색 모듈(171)은 제어부(170)에 포함될 수 있다. 즉, 검색 모듈(171)은 제어부(170)의 일 구성요소로, 디스플레이부(180)에 표시된 특정 텍스트에 대한 검색을 수행하도록 동작할 수 있다.
검색 모듈(171)은 어플리케이션 관리부(172), 검색 등록부(173) 및 검색 실행부(174) 중 전부 또는 적어도 일부를 포함할 수 있다.
어플리케이션 관리부(172)는 디스플레이 장치(100)에 설치된 어플리케이션의 실행, 동작 및 관리를 수행할 수 있다.
도 5의 예시를 참조하면, 디스플레이 장치(100)에는 제1 어플리케이션, 제2 어플리케이션 및 제3 어플리케이션이 설치되어 있고, 어플리케이션 관리부(172)는 제 어플리케이션, 제2 어플리케이션 및 제3 어플리케이션 각각의 실행, 동작 및 관리를 수행할 수 있다.
제1 어플리케이션은 네이티브 앱(Native app)일 수 있다. 예를 들어, 제1 어플리케이션은 브라우저(Browser) 앱, 설정(Settings) 앱, 동영상 서비스 앱 등을 포함할 수 있다.
제2 어플리케이션은 웹 앱(Web app)일 수 있다. 제2 어플리케이션은 웹킷(Webkit) 프레임워크 기반 어플리케이션을 포함할 수 있다. 예를 들어, 제2 어플리케이션은 스토어 앱, 인터넷 앱 등을 포함할 수 있다.
제3 어플리케이션은 Qt 앱일 수 있다. 제3 어플리케이션은 Qt 프레임워크 기반 어플리케이션을 포함할 수 있다. 예를 들어, 제3 어플리케이션은 배너(Banner) 앱, 홈(Home) 앱, 검색(Search) 앱 등을 포함할 수 있다.
어플리케이션 관리부(172)는 검색 등록부(173)와 데이터를 송수신할 수 있다. 어플리케이션 관리부(172)는 제1 어플리케이션과 관련된 데이터를 송수신시 검색 등록부(173)와 직접 신호를 송수신할 수 있다. 어플리케이션 관리부(172)는 제2 어플리케이션과 관련된 데이터를 송수신시 웹킷을 통해 검색 등록부(173)와 신호를 송수신할 수 있다. 어플리케이션 관리부(172)는 제3 어플리케이션과 관련된 데이터를 송수신시 Qt 프레임워크를 통해 검색 등록부(173)와 신호를 송수신할 수 있다.
어플리케이션 관리부(172)는 특정 어플리케이션이 실행되면 검색 등록부(173)에 실행된 어플리케이션을 등록(1) register)할 수 있다. 특정 어플리케이션의 실행 도중 검색 모듈(171)은 검색을 요청하는 사용자 트리거(2) user Trigger)를 수신할 수 있다. 이 때, 검색 등록부(173)는 어플리케이션 관리부(172)에 사용자 트리거된 텍스트를 요청(3) get Text)하고, 어플리케이션 관리부(172)는 검색 등록부(173)에 요청받은 텍스트를 전송(4) send Text)할 수 있다. 검색 등록부(173)는 검색 실행부(174)에 텍스트를 전달하며 검색을 개시(5) launch)하면, 검색 실행부(174)가 전달받은 텍스트에 대한 검색을 수행할 수 있다. 한편, 검색 모듈(171)은 검색 범위를 설정하는 사용자 선택(6) selectResonserByUser)을 수신할 수 있고, 이 경우 특정 어플리케이션만 검색에 응답하도록 검색 범위를 설정할 수 있다.
디스플레이부(180)는 검색 실행부(174)에 의한 텍스트 검색 결과를 표시할 수 있다.
한편, 도 5에 도시된 검색 모듈은 설명의 편의를 위해 예시로 든 것에 불과하다. 즉, 도 5에 도시된 구성 요소와, 동작 순서, 및 동작 방법 등이 변경될 수 있다.
또한, 디스플레이 장치(100)가 스마튼 폰 등과 같은 외부 단말기와 미러링 연결된 경우 외부 단말기로부터 텍스트를 수신하기 위한 스크린 게이트웨이(미도시)를 더 포함할 수 있다. 즉, 검색 모듈(171)은 디스플레이부(180)가 미러링 영상을 표시 중인 경우, 스크린 게이트웨이(미도시)를 통해 외부 단말기와 등록, 텍스트 요청 및 수신 등의 동작을 수행할 수 있다.
도 6은 본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법을 도시한 순서도이다.
디스플레이부(180)는 컨텐트를 표시할 수 있다(S11).
컨텐트는 어플리케이션의 실행 또는 미러링 기능의 실행 등에 의해 제공되는 정보를 의미할 수 있다. 예를 들어, 컨텐트는 브라우저 어플리케이션의 실행에 따른 정보, 동영상 서비스 어플리케이션의 실행에 따른 정보, 배너 어플리케이션의 실행에 따른 정보, 홈 어플리케이션의 실행에 따른 정보, 설정 어플리케이션의 실행에 따른 정보 등을 포함할 수 있다.
일 실시 예에 따르면, 디스플레이부(180)는 컨텐트를 화면 전체에 표시할 수 있다.
다른 실시 예에 따르면, 디스플레이부(180)는 방송 영상의 소정 영역에 컨텐트를 표시할 수 있다.
제어부(170)는 검색 명령의 수신 여부를 획득할 수 있다(S13).
제어부(170)는 컨텐트를 표시 중인 상태에서 검색 명령을 수신하였는지 판단할 수 있다.
제어부(170)는 포인터(205)를 통해 검색 명령을 수신하거나, 음성 획득부(175)를 통해 검색 명령을 수신할 수 있다.
검색 명령은 컨텐트 상의 특정 텍스트에 대한 정보를 획득하기 위한 명령일 수 있다.
먼저, 포인터(205)를 통해 검색 명령을 수신하는 방법을 설명하면, 제어부(170)는 컨텐트 상에 포인터(205)를 표시할 수 있고, 포인터(205)를 통해 컨텐트 상의 특정 텍스트를 선택하는 신호를 통해 검색 명령을 수신할 수 있다.
구체적으로, 제어부(170)는 사용자 입력 인터페이스부(150)를 통해 원격 제어 장치(200)로부터 포인터(205)의 제어 신호를 수신할 수 있다. 즉, 사용자 입력 인터페이스부(150)는 원격 제어 장치(200)로부터 컨텐트 상에 표시되는 포인터(205)의 제어 신호를 수신할 수 있다.
포인터(205)의 제어 신호는 포인터(205)의 위치를 이동시키는 신호, 포인터(205)로 일 영역을 선택하는 신호 등을 포함할 수 있다.
예를 들어, 제어부(170)는 포인터(205)로 컨텐트 상의 일 영역을 소정 시간 미만으로 선택하는 명령을 수신시 선택된 영역의 실행 명령으로 인식하고, 포인터(205)로 컨텐트 상의 일 영역을 소정 시간 이상 선택하는 명령(롱-프레스 명령)을 수신하면, 선택된 영역의 텍스트에 대한 검색 명령으로 인식할 수 있다.
다음으로, 음성 획득부(175)를 통해 검색 명령을 수신하는 방법을 설명하면, 제어부(170)는 음성 획득부(175)에 구비된 마이크로 사용자의 음성을 인식함으로써 검색 명령을 수신할 수 있다. 제어부(170)는 음성 획득부(175)를 통해 검색 명령을 수신시, 검색 대상이 되는 텍스트는 포인터(205)가 위치한 영역에 표시된 텍스트로 인식할 수 있다. 이에 대한 자세한 설명은 도 14에서 후술하기로 한다.
제어부(170)는 검색 명령을 수신하지 않으면, 계속해서 컨텐트를 표시하고, 검색 명령의 수신 여부를 획득할 수 있다.
제어부(170)는 검색 명령을 수신하면, 포인터(205)가 위치한 영역에 표시된 텍스트의 검색 결과를 표시하도록 디스플레이부(180)를 제어할 수 있고, 이에 대한 자세한 설명을 이어서 설명한다.
제어부(170)는 검색 명령을 수신하면, 포인터(205)가 위치한 영역의 텍스트를 추출할 수 있다(S15).
제어부(170)는 검색 명령을 수신한 경우, 검색 명령을 수신한 시점에 포인터(205)가 위치한 영역의 텍스트를 추출할 수 있다.
구체적으로, 검색 등록부(173)가 포인터(205)가 위치한 영역의 텍스트를 요청하는 신호를 어플리케이션 관리부(172)에 전송하고, 어플리케이션 관리부(172)로부터 텍스트를 요청하는 신호에 응답하는 텍스트 신호를 수신함에 따라, 포인터(205)가 위치한 영역의 텍스트를 획득할 수 있다.
위와 같이, 어플리케이션 관리부(172)를 통해 텍스트를 획득할 경우, 컨텐트가 표시된 이미지를 분석하여 글씨를 추출하는 경우 보다 텍스트를 잘못 인식할 확률을 낮출 수 있어, 검색 결과 제공의 정확도를 높일 수 있다.
실시 예에 따라, 제어부(170)는 컨텐트가 표시된 이미지를 분석함으로써, 포인터(205)가 위치한 영역의 텍스트를 인식함으로써, 텍스트를 추출할 수도 있다.
한편, 제어부(170)는 검색 명령을 수신한 시점에 포인터(205)가 썸네일(thumbnail) 등과 같은 이미지에 위치하는 경우에는, 이미지와 관련된 텍스트를 추출할 수 있다. 예를 들어, 제어부(170)는 포인터(205)가 위치한 영역의 이미지에 대한 메타 데이터에서 이미지와 관련된 텍스트를 추출할 수 있고, 이 때, 이미지와 관련된 텍스트는 이미지의 타이틀, 인물, 시간, 회차 등의 정보를 포함할 수 있다.
제어부(170)는 추출된 텍스트의 검색 대상에의 해당 여부를 획득할 수 있다(S17).
제어부(170)는 추출된 텍스트가 검색 대상에 해당하는지 판단할 수 있다.
검색 대상은 검색 동작이 수행되어야 할 목적을 갖는 텍스트를 의미할 수 있다.
구체적으로, 컨텐트는 각종 정보를 포함할 수 있고, 그 중 일부는 사용자가 궁금해하거나, 사용자가 필요로 하는 유의미한 정보이고, 다른 일부는 무의미한 정보일 수 있다.
예를 들어, 무의미한 정보는 컨텐트의 실행 이미지를 꾸미기 위한 정보, 부연 설명하기 위한 정보, 가변되는 정보 등일 수 있다. 이와 같이 무의미한 정보는 검색이 수행되더라도 표시될 결과 정보가 없을 수 있고, 따라서 검색을 수행하는 것 자체가 불필요할 수 있다. 즉, 무의미한 정보는 검색 동작이 수행되어야 할 목적이 없는 텍스트일 수 있다. 따라서, 제어부(170)는 추출된 텍스트가 검색 대상에 해당하는지를 판단할 수 있다.
제1 실시 예에 따르면, 제어부(170)는 하이퍼링크(hyperlink)를 통해 추출된 텍스트가 검색 대상에 해당하는지 판단할 수 있다. 예를 들어, 제어부(170)는 추출된 텍스트가 하이퍼링크(hyperlink)를 갖는 경우, 추출된 텍스트를 검색 대상으로 획득할 수 있다. 이 때, 하이퍼링크는 다른 요소와 연결되는 기능을 의미할 수 있다. 제어부(170)는 추출된 텍스트가 하이퍼링크(hyperlink)를 갖지 않으면, 추출된 텍스트는 검색 대상에 해당하지 않는 것으로 판단할 수 있다.
제2 실시 예에 따르면, 제어부(170)는 추출된 텍스트의 컨텐트 상 위치에 기초하여, 추출된 텍스트가 검색 대상에 해당하는지 판단할 수 있다. 예를 들어, 제어부(170)는 추출된 텍스트가 컨텐트의 타이틀 영역에 위치할 경우, 추출된 텍스트를 검색 대상으로 획득할 수 있다.
제3 실시 예에 따르면, 제어부(170)는 추출된 텍스트의 크기에 기초하여, 추출된 텍스트가 검색 대상에 해당하는지 판단할 수 있다. 예를 들어, 제어부(170)는 추출된 텍스트의 크기가 컨텐트 상의 다른 텍스트들의 크기 보다 큰 경우, 추출된 텍스트를 검색 대상으로 획득할 수 있다.
제4 실시 예에 따르면, 제어부(170)는 미러링 연결된 외부 단말기로부터 추출된 텍스트를 검색 대상으로 획득할 수 있다.
제5 실시 예에 따르면, 제어부(170)는 이미지에 대한 검색 명령을 수신시, 이미지와 관련하여 추출된 텍스트를 검색 대상으로 획득할 수 있다.
제6 실시 예에 따르면, 제어부(170)는 추출된 텍스트가 고정 텍스트 및 가변 텍스트를 포함하는 경우, 고정 텍스트를 검색 대상으로 획득할 수 있다.
제어부(170)는 추출된 텍스트에 대해 제1 내지 제6 실시 예 중 어느 하나를 실시하여 검색 대상에 해당하는지 판단할 수도 있다. 또한, 제어부(170)는 추출된 텍스트에 대해 제1 내지 제6 실시 예 중 복수개를 선택적으로 실시하여 검색 대상에 해당하는지 판단할 수도 있다.
또한, 제어부(170)는 컨텐트를 제공하는 어플리케이션의 종류 또는 추출된 텍스트의 상태 등에 따라 제1 내지 제6 실시 예 중 적어도 하나를 검색 대상에 해당하는지 판단하는 기준 방법으로 설정하고, 설정된 기준 방법을 실시하여 추출된 텍스트가 검색 대상에 해당하는지 판단할 수 있다. 예를 들어, 제어부(170)는 컨텐트가 웹 브라우저인 경우 컨텐트 상의 일 영역에 대한 검색 명령을 수신하면, 포인터(205)가 위치한 영역의 텍스트가 하이퍼링크를 갖는지 여부로 검색 대상을 획득하고, 컨텐트가 배너인 경우 컨텐트 상의 일 영역에 대한 검색 명령을 수신하면, 포인터(205) 영역의 텍스트가 배너 중 어느 영역에 위치하는지에 따라 검색 대상 여부를 획득할 수 있다. 그러나, 이는 설명의 편의를 위해 예시로 든 것에 불과하므로 이에 제한되지 않는다.
또한, 제어부(170)는 상술한 제1 내지 제6 실시 예 외에 다른 방법을 통해 추출된 텍스트가 검색 대상에 해당하는지 판단할 수도 있다.
한편, 제어부(170)는 추출된 텍스트가 검색 대상에 해당하는지 판단하는 단계를 생략할 수도 있다. 즉, 본 발명의 다른 실시 예에 따르면, 제어부(170)는 텍스트를 추출하면, 추출된 텍스트에 대한 검색 동작을 바로 수행할 수 있다. 이 경우, 제어부(170)는 검색 명령을 인식시 적어도 하나의 검색 영역 아이콘(61 내지 63, 도 7 참고)을 바로 표시하고, 검색 영역 아이콘의 선택 명령을 수신시 포인터(205)가 위치한 영역에 표시된 텍스트를 검색 영역 아이콘에 대응하는 검색 범위에서 검색을 수행할 수 있다.
제어부(170)는 추출된 텍스트가 검색 대상에 해당하지 않으면, 검색 불가 메시지를 표시할 수 있다(S21).
즉, 제어부(170)는 추출된 텍스트가 검색 대상에 해당하지 않으면, 검색 동작을 수행하지 않을 수 있다. 그리고, 검색 동작을 수행하지 않는 대신에, 제어부(170)는 검색 불가 메시지를 표시하도록 디스플레이부(180)를 제어할 수 있다.
이와 같이, 사용자는 검색을 요청하였음에도 검색 결과가 표시되지 않으면, 디스플레이 장치(100)의 고장으로 오인할 수도 있다. 따라서, 제어부(170)는 검색 동작을 수행하지 않는 경우, 검색 불가 메시지를 표시함으로써, 사용자에게 검색이 수행되지 않음을 안내할 수 있고, 이를 통해 사용자의 오인을 최소화하여 제품의 신뢰성을 높일 수 있는 이점이 있다.
한편, 제어부(170)는 추출된 텍스트가 검색 대상에 해당하면, 추출된 텍스트의 검색 범위를 선택받기 위한 아이콘을 표시할 수 있다(S23).
제어부(170)는 검색 동작을 수행하기 이전에 검색 범위를 설정하는 명령을 수신함으로써, 텍스트의 검색 범위를 설정할 수 있고, 이 경우, 텍스트를 설정된 검색 범위 내에서 검색할 수 있다.
실시 예에 따라, 검색 범위를 선택받는 단계는 생략될 수도 있다. 즉, 일 실시 예에 따르면, 제어부(170)는 추출된 텍스트가 검색 대상에 해당하면, 디스플레이 장치(100)의 내부 전체에 대해 텍스트의 검색 동작을 수행하고, 다른 실시 예에 따르면, 제어부(170)는 설정된 검색 범위에 대해서만 추출된 텍스트의 검색 동작을 수행할 수 있다.
이하, 제어부(170)는 검색 범위를 선택 받기 아이콘을 표시함으로써 검색 범위를 설정하는 단계를 실시하는 것으로 가정하여 설명하고, 이에 대한 자세한 설명은 도 7 내지 도 8에서 후술하기로 한다.
제어부(170)는 설정된 검색 범위에서 추출된 텍스트를 검색한 결과를 표시할 수 있다(S25).
즉, 제어부(170)는 컨텐트 상에서 텍스트에 대한 검색 명령을 수신시, 텍스트에 대한 검색을 수행하여 검색 결과를 디스플레이부(180)에 바로 표시할 수 있다.
다음으로, 도 7 내지 도 13에 도시된 다양한 예시를 참조하여, 본 발명의 실시 예에 따른 디스플레이 장치(100)가 검색 명령을 수신하고, 검색 결과를 표시하는 방법을 설명한다.
도 7 내지 도 9는 본 발명의 제1 실시 예에 따른 디스플레이 장치가 컨텐트 상의 텍스트에 대한 검색 명령을 수신 및 검색 결과를 표시하는 방법의 예시 도면이다.
디스플레이부(180)는 컨텐트(73)를 표시할 수 있고, 컨텐트(73)는 방송 영상(71)의 소정 영역에 오버랩되어 표시될 수 있다.
도 7의 예시에서, 컨텐트(73)는 웹 브라우저 어플리케이션의 실행에 따라 표시되는 웹 브라우저일 수 있으나, 이는 예시적인 것에 불과하다. 즉, 컨텐트(73)는 웹 브라우저 어플리케이션이 아닌 다른 어플리케이션의 실행에 따라 표시되는 정보일 수도 있다.
제어부(170)는 포인터(205)를 통해 컨텐트(73)의 일 영역에 대한 검색 명령을 수신할 수 있고, 이 경우 포인터(205)가 위치한 영역에 표시된 텍스트를 추출할 수 있다.
예를 들어, 제어부(170)는 포인터(205)가 위치한 영역에 표시된 것으로 텍스트 '김하윤 이서준'을 추출할 수 있다.
그리고, 제어부(170)는 검색 명령을 수신하면 포인터(205)가 위치한 영역에서 하이퍼링크를 갖는 텍스트를 이용하여 검색을 수행할 수 있다. 예를 들어, 제어부(170)는 검색 명령을 수신시 포인터(205)가 위치한 영역에서 추출한 텍스트 중 하이퍼링크를 갖는 텍스트만을 검색 대상으로 획득할 수도 있다.
제어부(170)는 포인터(205)가 위치한 영역의 텍스트가 하이퍼링크(hyperlink)를 갖으면 포인터(205)가 위치한 영역의 텍스트를 검색 대상으로 획득할 수 있다. 그러나, 제어부(170)는 포인터(205)가 위치한 영역의 텍스트가 하이퍼링크를 갖지 않으면 포인터(205)가 위치한 영역의 텍스트를 검색 대상이 아닌 것으로 획득할 수 있다.
제어부(170)는 포인터(205)가 위치한 영역의 텍스트를 검색 대상으로 획득한 경우, 검색 범위를 선택하는 명령을 더 수신할 수 있다. 즉, 제어부(170)는 포인터(205)를 통해 일 영역(예를 들어, 김하윤 이서준)을 선택하는 검색 명령을 수신한 후, 포인터(205)를 통해 검색 범위(예를 들어, 제1 검색 영역 아이콘(61))를 선택하는 명령을 더 수신할 수 있다.
구체적으로, 제어부(170)는 검색 대상을 획득한 경우 포인터(205) 주변에 검색 범위 선택 메뉴(60)를 더 표시하도록 디스플레이부(180)를 제어할 수 있고, 검색 범위 선택 메뉴(60)는 적어도 하나의 검색 영역 아이콘(61 내지 63)을 포함할 수 있다.
검색 영역 아이콘(61 내지 63)은 검색이 이루어지는 영역 각각을 나타낼 수 있다. 예를 들어, 제1 검색 영역 아이콘(61)은 TV 내부를 나타내고, 제2 검색 영역 아이콘(62)은 동영상 서비스 어플리케이션을 나타내고, 제3 검색 영역 아이콘(63)은 인터넷을 나타낼 수 있다.
제어부(170)는 선택된 검색 영역 아이콘에 대응하는 검색 영역을 검색 범위로 획득할 수 있다.
도 7의 예시와 같이, 제어부(170)는 제1 검색 영역 아이콘(61)의 선택 명령을 수신하면, 제1 검색 영역 아이콘(61)이 나타내는 검색 영역, 예를 들어 TV 내부를 검색 범위로 설정할 수 있다. 이 경우, 제어부(170)는 검색 대상인 '김하윤 이서준'을 TV 내부에서 검색하고, 그에 따른 검색 결과 정보(1001)를 디스플레이부(180)가 표시하도록 제어할 수 있다.
한편, 도 8의 예시는, 제어부(170)가 포인터(205)를 통해 일 영역(예를 들어, 김하윤 이서준)을 선택하는 검색 명령을 수신한 후, 포인터(205)를 통해 검색 범위로 제2 검색 영역 아이콘(62)을 선택하는 명령을 더 수신한 경우 일 수 있다.
도 8의 예시와 같이, 제어부(170)는 제2 검색 영역 아이콘(62)의 선택 명령을 수신하면, 제2 검색 영역 아이콘(62)이 나타내는 검색 영역, 예를 들어 동영상 서비스 어플리케이션을 검색 범위로 설정할 수 있다. 이 경우, 제어부(170)는 검색 대상인 '김하윤 이서준'을 동영상 서비스 어플리케이션에서 검색하고, 그 검색 결과 정보(1002)를 디스플레이부(180)가 표시하도록 제어할 수 있다.
즉, 제어부(170)는 검색 범위 선택 메뉴(60) 등을 통해 텍스트의 검색 범위를 선택하는 명령을 수신하면, 선택된 검색 범위에서 텍스트를 이용하는 검색을 수행할 수 있다.
한편, 도 7 내지 도 8에서는 컨텐트(73)가 영상(71) 상에 표시된 경우의 예시 도면이나, 컨텐트(81)가 디스플레이부(180)의 화면 전체에 표시되는 경우에도 본 발명이 적용될 수 있다.
즉, 도 9에 도시된 바와 같이, 디스플레이부(180)가 컨텐트(81)를 화면 전체에 표시하는 경우에도, 제어부(170)는 컨텐트(81) 상의 일 영역에 대한 검색 명령을 수신하면, 포인터(205)가 위치한 영역의 텍스트를 추출하고, 추출된 텍스트의 하이퍼링크 포함 여부에 기초하여 검색 대상을 획득할 수 있다. 마찬가지로, 제어부(170)는 검색 대상을 획득한 후, 검색 범위 선택 메뉴(60)를 통해 검색 범위를 설정한 후, 검색을 수행 및 검색 결과를 표시할 수 있다. 도 7 내지 도 8과 중복되는 설명은 생략하기로 한다.
도 10은 본 발명의 제2 및 제3 실시 예에 따른 디스플레이 장치가 컨텐트 상의 텍스트에 대한 검색 명령을 수신 및 검색 결과를 표시하는 방법의 예시 도면이다.
디스플레이부(180)는 컨텐트(93)를 표시할 수 있고, 컨텐트(93)는 방송 영상(91)의 소정 영역에 오버랩되어 표시될 수 있다.
도 10의 예시에서, 컨텐트(93)는 배너 어플리케이션의 실행에 따라 표시되는 배너일 수 있으나, 이는 예시적인 것에 불과하다. 즉, 컨텐트(93)는 배너 어플리케이션이 아닌 다른 어플리케이션의 실행에 따라 표시되는 정보일 수도 있다.
제어부(170)는 포인터(205)를 통해 컨텐트(93)의 일 영역에 대한 검색 명령을 수신할 수 있고, 이 경우 포인터(205)가 위치한 영역에 표시된 텍스트를 추출할 수 있다.
예를 들어, 제어부(170)는 포인터(205)가 위치한 영역에 표시된 것으로 텍스트 'News & Issue'를 추출할 수 있다.
그리고, 본 발명의 제2 실시 예에 따르면, 제어부(170)는 포인터(205)가 위치한 영역의 텍스트가 컨텐트(93) 상에서 어디에 위치하는지에 기초하여 텍스트를 검색 대상으로 획득할 수 있다. 즉, 제어부(170)는 포인터(205)가 위치한 영역의 텍스트의 컨텐트(93) 상 위치에 기초하여 텍스트를 이용하는 검색 수행 여부를 획득할 수 있다.
예를 들어, 배너를 포함하는 컨텐트(93)에는 타이틀 영역(93a), 시간 정보 영역(93b), 채널 정보 영역(93c), 방송사 정보 영역(93d) 등을 포함할 수 있고, 이 중 적어도 일부가 검색 대상 영역일 수 있다. 만약, 타이틀 영역(93a)이 검색 대상 영역인 경우, 제어부(170)는 배너의 타이틀 영역(93a)에 위치한 포인터(205)를 통해 검색 명령을 수신하면, 타이틀 영역(93a)에서 추출한 텍스트를 검색 대상으로 획득할 수 있다. 한편, 시간 정보 영역(93b)이 검색 대상 영역이 아닌 경우, 제어부(170)는 배너의 시간 정보 영역(93b)에 위치한 포인터(205)를 통해 검색 명령을 수신하더라도, 시간 정보 영역(93b)에서 추출한 텍스트를 검색 대상으로 획득하지 않을 수 있다.
한편, 본 발명의 제3 실시 예에 따르면, 제어부(170)는 포인터(205)가 위치한 영역의 텍스트 크기에 기초하여, 텍스트를 검색 대상으로 획득할 수 있다. 즉, 제어부(170)는 검색 명령을 수신시, 포인터(205)가 위치한 영역에서 추출한 텍스트의 크기에 기초하여, 텍스트를 이용하는 검색 수행 여부를 획득할 수 있다.
예를 들어, 도 10을 참조하면, 포인터(205)가 위치한 영역의 텍스트는 다른 영역의 텍스트의 크기 보다 클 수 있다. 구체적으로, 포인터(205)가 위치한 타이틀 영역(93a)의 텍스트 크기는 시간 정보 영역(93b)의 텍스트 크기, 채널 정보 영역(93c)의 텍스트 크기, 또는 방송사 정보 영역(93d)의 텍스트 크기 보다 클 수 있다. 따라서, 이 경우, 제어부(170)는 검색 명령을 수신시 포인터(205)가 위치한 영역인 타이틀 영역(93a)의 텍스트가 다른 영역의 텍스트 보다 크므로, 타이틀 영역(93a)의 텍스트를 검색 대상으로 획득할 수 있다.
실시 예에 따라, 제어부(170)는 텍스트 크기가 기준 크기 이상인 영역을 검색 대상 영역으로 획득할 수도 있다. 예를 들어, 제어부(170)는 텍스트 크기가 기준 크기 이상인 타이틀 영역(93a)과 채널 정보 영역(93c)을 검색 대상 영역으로 획득하고, 텍스트 크기가 기준 크기 미안인 시간 정보 영역(93b) 및 방송사 정보 영역(93d)은 검색 비대상 영역으로 획득할 수 있다. 이 경우, 제어부(170)는 타이틀 영역(93a) 또는 채널 정보 영역(93c)의 텍스트를 추출한 경우, 추출된 텍스트를 검색 대상으로 획득할 수 있다.
도 11은 본 발명의 제4 실시 예에 따른 디스플레이 장치가 컨텐트 상의 텍스트에 대한 검색 명령을 수신 및 검색 결과를 표시하는 방법의 예시 도면이다.
디스플레이부(180)는 컨텐트(95)를 표시할 수 있고, 컨텐트(95)는 미러링 영상일 수 있다. 즉, 도 11의 예시에 도시된 컨텐트(95)는 외부 단말기로부터 수시된 영상일 수 있다. 이 경우에도, 제어부(170)는 포인터(205)를 통해 미러링 영상에 표시된 텍스트에 대한 검색 명령을 수신할 수 있다.
도 11의 예시를 참조하면, 제어부(170)는 포인터(205)를 통해 컨텐트(95)의 일 영역에 대한 검색 명령을 수신할 수 있고, 이 경우 포인터(205)가 위치한 영역의 텍스트를 외부 단말기로부터 수신함으로써, 포인터(205)가 위치한 영역의 텍스트를 추출하고, 추출된 텍스트를 이용하여 검색을 수행할 수 있다.
한편, 제어부(170)는 포인터(205)가 위치한 영역이 이미지인 경우, 이미지와 관련된 텍스트를 추출할 수 있다. 예를 들어, 이미지와 관련된 텍스트는 의 타이틀, 주인공, 및 회차 중 적어도 하나를 포함할 수 있다. 도 11의 예시에서, 제어부(170)는 포인터(205)가 위치한 이미지의 타이틀을 검색 대상 텍스트로 추출하고, 추출된 타이틀을 이용하여 검색한 결과 정보(1004)를 표시하도록 디스플레이부(180)를 제어할 수 있다.
도 12는 본 발명의 제5 실시 예에 따른 디스플레이 장치가 컨텐트 상의 텍스트에 대한 검색 명령을 수신 및 검색 결과를 표시하는 방법의 예시 도면이다.
디스플레이부(180)는 컨텐트(97)를 표시할 수 있고, 컨텐트(97)는 방송 영상(96)의 소정 영역에 오버랩되어 표시될 수 있다.
도 12의 예시에서, 컨텐트(97)는 홈 어플리케이션의 실행에 따라 표시되는 홈 메뉴일 수 있으나, 이는 예시적인 것에 불과하다. 즉, 컨텐트(97)는 홈 어플리케이션이 아닌 다른 어플리케이션의 실행에 따라 표시되는 정보일 수도 있다.
제어부(170)는 포인터(205)를 통해 컨텐트(97)의 일 영역에 대한 검색 명령을 수신할 수 있고, 이 경우 포인터(205)는 특정 이미지 영역에 위치할 수도 있다. 제어부(170)는 특정 이미지 영역에 위치한 포인터(205)를 통해 검색 명령을 수신할 경우, 포인터(205)가 위치한 영역의 이미지와 관련된 텍스트를 추출할 수 있다. 예를 들어, 이미지와 관련된 텍스트는 이미지의 타이틀, 주인공, 및 회차 중 적어도 하나를 포함할 수 있다. 제어부(170)는 이미지의 메타 데이터에 기초하여 이미지와 관련된 텍스트를 추출할 수 있다.
도 12의 예시에서, 포인터(205)가 위치한 영역의 이미지는 동영상 서비스 어플리케이션의 실행 이미지로, 제어부(170)는 포인터(205)를 통해 검색 명령을 수신시 동영상 서비스 어플리케이션의 타이틀을 텍스트로 추출할 수 있다. 이 경우, 제어부(170)는 동영상 서비스 어플리케이션의 타이틀에 기초하여 검색을 수행할 수 있고, 검색 결과 정보(1005)를 표시할 수 있다. 이 때, 검색 결과 정보(1005)는 동영상 서비스 어플리케이션이 제공하는 컨텐트들을 포함할 수 있다.
도 13은 본 발명의 제6 실시 예에 따른 디스플레이 장치가 컨텐트 상의 텍스트에 대한 검색 명령을 수신 및 검색 결과를 표시하는 방법의 예시 도면이다.
디스플레이부(180)는 컨텐트(98)를 표시할 수 있고, 컨텐트(98)는 설정 어플리케이션의 실행에 따라 표시되는 설정 메뉴일 수 있다. 그러나, 이는 예시적인 것에 불과하며, 컨텐트(98)는 설정 어플리케이션이 아닌 다른 어플리케이션의 실행에 따라 표시되는 정보일 수도 있다.
제어부(170)는 포인터(205)를 통해 컨텐트(98)의 일 영역에 대한 검색 명령을 수신할 수 있고, 이 경우 포인터(205)가 위치한 영역에 표시된 텍스트를 추출할 수 있다. 이 때, 텍스트는 고정 텍스트 및 가변 텍스트를 포함할 수 있다.
여기서, 고정 텍스트는 시간의 경과, 디스플레이 장치(100)의 상태 등과 관계없이 일정한 텍스트를 의미하고, 가변 텍스트는 시간의 경과 또는 디스플레이 장치(100)의 상태 등에 따라 변경될 수 있는 텍스트를 의미할 수 있다. 예를 들어, 도 13의 예시를 참조하면, 포인터(205)가 위치한 영역에서 추출된 텍스트는 '무선 네트워크 연결, 연결되지 않음'일 수 있고, 이 때 "무선 네트워크 연결"은 고정 텍스트이고, "연결되지 않음"은 가변 텍스트일 수 있다. 즉, "연결되지 않음"은 무선 네트워크의 연결 상태에 따라 그 내용이 변경되는 텍스트일 수 있다.
이 경우, 제어부(170)는 추출된 텍스트 중 고정 텍스트만을 이용하여 검색을 수행할 수 있다. 즉, 제어부(170)는 추출된 텍스트 중 고정 텍스트를 검색 대상으로 획득할 수 있다.
한편, 도 10 내지 도 13에서, 검색 범위를 설정하는 방법에 대한 설명을 생략하였으나, 이는 도 7 내지 도 8에서 설명한 것과 동일하다.
도 14는 본 발명의 실시 예에 따른 디스플레이 장치가 음성 획득부를 통해 검색 명령을 수신하는 방법을 도시한 예시 도면이다.
도 14에 도시된 바와 같이, 제어부(170)는 음성 획득부(175)를 통해 음성 명령을 인식함으로써, 검색 명령을 획득할 수도 있다.
예를 들어, 제어부(170)는 음성 획득부(175)를 통해 수신한 음성 명령에 '검색'이 포함된 경우, 검색 명령을 수신한 것으로 판단할 수 있다. 도 14의 예시에 도시된 바와 같이, 제어부(170)는 "이거 TV에서 검색해줘", "이거 app에서 검색해줘", 또는 "이거 검색해줘" 등과 같은 음성 명령을 수신시, 검색 명령을 수신한 것으로 판단할 수 있다.
음성 명령은 검색 대상, 검색 범위 등을 포함할 수 있다. 예를 들어, 음성 명령은 "이거 TV에서 검색해줘", "이거 app에서 검색해줘", "이거 검색해줘" 등일 수 있다. 여기서, 검색 대상은 '이거'이고, 검색 범위는 'TV에서' 또는 'app에서'일 수 있다.
제어부(170)는 음성 명령을 통한 검색 명령을 획득한 경우에도, 포인터(205)가 위치한 영역에서 추출한 텍스트를 검색 대상으로 획득할 수 있다. 특히, 제어부(170)는 검색 대상으로 '이거'를 수신한 경우, 포인터(205)가 위치한 영역에서 추출한 텍스트를 검색 대상으로 인식할 수 있다. 도 14의 예시에서는, 제어부(170)는 검색 명령을 수신시 포인터(205)가 위치한 영역의 이미지와 관련된 텍스트를 검색 대상으로 획득할 수 있다.
그리고, 제어부(170)는 음성 명령에서 검색 범위를 추출할 수도 있다. 제어부(170)는 음성 명령이 검색 범위(예를 들어, 'TV에서', 'app에서')를 포함한 경우, 음성 명령에 따른 검색 범위에서 검색 대상에 해당하는 텍스트를 검색할 수 있다. 만약, 제어부(170)는 음성 명령에서 검색 범위를 추출할 수 없으면, 전체를 검색 범위로 하여 검색 대상에 해당하는 텍스트를 검색할 수도 있다.
도 15는 본 발명의 실시 예에 따른 디스플레이 장치가 검색 대상을 획득하지 못한 경우 검색 불가 안내 메시지를 표시하는 방법의 예시 도면이다.
제어부(170)는 포인터(205)가 위치한 영역과 관련된 텍스트를 추출한 후, 추출한 텍스트가 검색 대상에 해당하는지 판단할 수 있고, 검색 대상에 해당하는 경우에만 검색을 수행할 수 있다.
반면에, 제어부(170)는 추출한 텍스트가 검색 대상에 해당하지 않으면 검색을 수행하지 않을 수 있다. 이 때, 제어부(170)는 검색 불가를 안내하는 메시지(1007)를 표시하도록 디스플레이부(180)를 제어할 수 있다. 즉, 제어부(170)는 검색 명령을 수신하였음에도 불구하고 검색을 수행하지 않는 경우에는 검색을 수행하지 않는다는 메시지(1007)를 표시하도록 디스플레이부(180)를 제어할 수 있다.
메시지(1007)는 검색을 수행하지 않음을 나타낼 수 있다. 메시지(1007)는 검색 불가 사유를 더 포함할 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 메시지(1007)는 포인터(205)에 의해 선택된 텍스트가 검색 대상에 해당하지 않는다는 검색 불가 사유를 포함할 수 있다.
이와 같이, 제어부(170)가 메시지(1007)를 표시하도록 디스플레이부(180)를 제어할 경우, 사용자는 메시지(1007)를 통해 검색이 이루어지지 않음을 용이하게 알 수 있고, 이에 따라 디스플레이 장치(100)의 고장으로 오인하는 경우를 최소화할 수 있다. 또한, 메시지(1007)가 검색 불가 사유를 포함하는 경우, 사용자는 이후에 검색을 요청할 경우, 메시지(1007)를 참조로 검색 불가가 발생하지 않도록 검색 요청할 수 있는 이점이 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 컨텐트를 표시하는 디스플레이부;
    상기 컨텐트 상에 표시되는 포인터의 제어 신호를 수신하는 사용자 입력 인터페이스부; 및
    검색 명령을 수신하면 상기 포인터가 위치한 영역에 표시된 텍스트의 검색 결과를 표시하도록 상기 디스플레이부를 제어하는 제어부를 포함하는
    디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어부는
    상기 검색 명령을 수신하면 상기 포인터가 위치한 영역의 텍스트를 추출하고, 추출된 텍스트를 이용하여 검색을 수행하는
    디스플레이 장치.
  3. 제1항에 있어서,
    상기 제어부는
    상기 검색 명령을 수신하면 상기 포인터가 위치한 영역에서 하이퍼링크를 갖는 텍스트를 이용하여 검색을 수행하는
    디스플레이 장치.
  4. 제3항에 있어서,
    상기 제어부는
    상기 컨텐트가 웹 브라우저인 경우,
    상기 포인터가 위치한 영역의 텍스트가 하이퍼링크를 갖으면 검색 대상으로 획득하고,
    상기 포인터가 위치한 영역의 텍스트가 하이퍼링크를 갖지 않으면 검색 불가 메시지를 표시하도록 상기 디스플레이부를 제어하는
    디스플레이 장치.
  5. 제1항에 있어서,
    상기 제어부는
    상기 검색 명령을 수신하면 상기 텍스트의 상기 컨텐트 상 위치에 기초하여 상기 텍스트를 이용하는 검색 수행 여부를 획득하는
    디스플레이 장치.
  6. 제5항에 있어서,
    상기 제어부는
    상기 컨텐트가 배너인 경우, 상기 배너의 타이틀 영역에 위치한 포인터를 통해 검색 명령을 수신시 상기 타이틀 영역에서 추출한 텍스트를 검색 대상으로 획득하는
    디스플레이 장치.
  7. 제1항에 있어서,
    상기 제어부는
    상기 검색 명령을 수신하면 상기 포인터가 위치한 영역의 텍스트 크기에 기초하여 상기 텍스트를 이용하는 검색 수행 여부를 획득하는
    디스플레이 장치.
  8. 제1항에 있어서,
    상기 제어부는
    상기 컨텐트가 미러링 영상인 경우 상기 미러링 영상에서 상기 포인터가 위치한 영역의 텍스트를 외부 단말기로부터 수신하고, 상기 외부 단말기로부터 수신한 텍스트를 이용하여 검색을 수행하는
    디스플레이 장치.
  9. 제1항에 있어서,
    상기 제어부는
    상기 포인터가 위치한 영역이 이미지인 경우, 상기 이미지와 관련된 텍스트를 추출하고, 추출된 텍스트를 이용하여 검색을 수행하는
    디스플레이 장치.
  10. 제1항에 있어서,
    상기 제어부는
    상기 포인터가 위치한 영역에 고정 텍스트 및 가변 텍스트가 포함된 경우, 상기 고정 텍스트를 이용하여 검색을 수행하는
    디스플레이 장치.
  11. 제1항에 있어서,
    상기 제어부는
    상기 텍스트의 검색 범위를 선택하는 명령을 더 수신하고, 선택된 검색 범위에서 상기 텍스트를 이용하여 검색을 수행하는
    디스플레이 장치.
  12. 제11항에 있어서,
    상기 제어부는
    상기 포인터 주변에 적어도 하나의 검색 영역 아이콘을 표시하고, 선택된 검색 영역 아이콘에 대응하는 검색 영역을 상기 검색 범위로 획득하는
    디스플레이 장치.
  13. 제1항에 있어서,
    상기 제어부는
    상기 포인터로 상기 컨텐트 상의 일 영역을 소정 시간 미만으로 선택하는 명령을 수신시 선택된 영역의 실행 명령으로 인식하고,
    상기 포인터로 상기 컨텐트 상의 일 영역을 소정 시간 이상으로 선택하는 명령을 수신시 선택된 영역의 검색 명령으로 인식하는
    디스플레이 장치.
  14. 제13항에 있어서,
    상기 제어부는
    상기 검색 명령을 인식하면 적어도 하나의 검색 영역 아이콘을 표시하고, 상기 검색 영역 아이콘의 선택 명령을 수신시 상기 포인터가 위치한 영역에 표시된 텍스트를 상기 검색 영역 아이콘에 대응하는 검색 범위에서 검색하는
    디스플레이 장치.
  15. 제1항에 있어서,
    상기 검색 명령을 획득하는 음성 획득부를 더 포함하고,
    상기 제어부는
    상기 음성 획득부를 통해 상기 검색 명령을 수신시 상기 포인터가 위치한 영역의 텍스트를 검색 대상으로 획득하는
    디스플레이 장치.
PCT/KR2019/007876 2019-06-28 2019-06-28 디스플레이 장치 WO2020262742A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2019/007876 WO2020262742A1 (ko) 2019-06-28 2019-06-28 디스플레이 장치
US17/597,162 US20220309095A1 (en) 2019-06-28 2019-06-28 Display device
EP19934643.8A EP3992816A4 (en) 2019-06-28 2019-06-28 DISPLAY DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/007876 WO2020262742A1 (ko) 2019-06-28 2019-06-28 디스플레이 장치

Publications (1)

Publication Number Publication Date
WO2020262742A1 true WO2020262742A1 (ko) 2020-12-30

Family

ID=74060618

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/007876 WO2020262742A1 (ko) 2019-06-28 2019-06-28 디스플레이 장치

Country Status (3)

Country Link
US (1) US20220309095A1 (ko)
EP (1) EP3992816A4 (ko)
WO (1) WO2020262742A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090052809A (ko) * 2007-11-21 2009-05-26 케이디디아이 가부시키가이샤 정보 검색장치 및 컴퓨터 프로그램
US20130182182A1 (en) * 2012-01-18 2013-07-18 Eldon Technology Limited Apparatus, systems and methods for presenting text identified in a video image
JP2015052971A (ja) * 2013-09-09 2015-03-19 邦和 田中 インターネット広告検索支援装置
KR20150136312A (ko) * 2014-05-27 2015-12-07 삼성전자주식회사 디스플레이 장치 및 이의 정보 제공 방법
KR20160061176A (ko) * 2014-11-21 2016-05-31 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980641B1 (en) * 1998-10-29 2005-12-27 Intel Corporation Method and apparatus for controlling a computer to implement telephone functions with an enhanced minidialer function
US6402781B1 (en) * 2000-01-31 2002-06-11 Mitralife Percutaneous mitral annuloplasty and cardiac reinforcement
US7613589B2 (en) * 2005-07-27 2009-11-03 The Mathworks, Inc. Measuring productivity and quality in model-based design
US8296171B2 (en) * 2007-09-07 2012-10-23 Oracle International Corporation User interface for human involved business processes
US8176068B2 (en) * 2007-10-31 2012-05-08 Samsung Electronics Co., Ltd. Method and system for suggesting search queries on electronic devices
KR20120021057A (ko) * 2010-08-31 2012-03-08 삼성전자주식회사 특정 영역에서 키워드를 추출하는 검색 서비스 제공방법 및 이를 적용한 디스플레이 장치
US8745683B1 (en) * 2011-01-03 2014-06-03 Intellectual Ventures Fund 79 Llc Methods, devices, and mediums associated with supplementary audio information
US20130246110A1 (en) * 2012-03-15 2013-09-19 Microsoft Corporation Visualizing resource requirements along a timeline
US9077896B2 (en) * 2012-06-11 2015-07-07 Lg Electronics Inc. Mobile terminal for capturing image and controlling method thereof
US9274742B2 (en) * 2012-10-25 2016-03-01 PixiOnCloud, Inc. Visual-symbolic control of remote devices having display-based user interfaces
US10218954B2 (en) * 2013-08-15 2019-02-26 Cellular South, Inc. Video to data
US20150212659A1 (en) * 2014-01-24 2015-07-30 Tresys Technology, Llc Multi-Persona Launcher
EP3420523B1 (en) * 2016-02-22 2021-02-17 Royal Bank Of Canada Electronic document platform
US11501321B2 (en) * 2018-03-09 2022-11-15 Ignite Enterprise Software Solutions, Inc. Systems and methods for discovering and quantifying principal driving factors or dominant paths in interconnected journey data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090052809A (ko) * 2007-11-21 2009-05-26 케이디디아이 가부시키가이샤 정보 검색장치 및 컴퓨터 프로그램
US20130182182A1 (en) * 2012-01-18 2013-07-18 Eldon Technology Limited Apparatus, systems and methods for presenting text identified in a video image
JP2015052971A (ja) * 2013-09-09 2015-03-19 邦和 田中 インターネット広告検索支援装置
KR20150136312A (ko) * 2014-05-27 2015-12-07 삼성전자주식회사 디스플레이 장치 및 이의 정보 제공 방법
KR20160061176A (ko) * 2014-11-21 2016-05-31 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법

Also Published As

Publication number Publication date
EP3992816A1 (en) 2022-05-04
EP3992816A4 (en) 2023-01-18
US20220309095A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
WO2016204520A1 (en) Display device and operating method thereof
WO2017159941A1 (en) Display device and method of operating the same
WO2021060590A1 (ko) 디스플레이 장치 및 인공 지능 시스템
WO2019135433A1 (ko) 디스플레이 장치 및 디스플레이 장치를 포함하는 시스템
WO2015186857A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2018066788A1 (ko) 디스플레이 장치
WO2019009453A1 (ko) 디스플레이 장치
WO2020230923A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치 및 그의 동작 방법
WO2021015319A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021010511A1 (ko) 디스플레이 장치
WO2020222322A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치
WO2020262742A1 (ko) 디스플레이 장치
WO2021029453A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021060570A1 (ko) 가전 기기 및 서버
WO2021033785A1 (ko) 사용자의 음성을 통해 가전 기기를 제어할 수 있는 디스플레이 장치 및 인공 지능 서버
WO2020171245A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2024010110A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023182547A1 (ko) 디스플레이 장치
WO2022085820A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020262732A1 (ko) 디스플레이 장치
WO2023153639A1 (ko) 디스플레이 시스템
WO2020235724A1 (ko) 디스플레이 장치
WO2022239881A1 (ko) 디스플레이 장치
WO2024019190A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2024025003A1 (ko) 디스플레이 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19934643

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019934643

Country of ref document: EP