WO2021132738A1 - 디스플레이 장치 및 그의 동작 방법 - Google Patents

디스플레이 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2021132738A1
WO2021132738A1 PCT/KR2019/018315 KR2019018315W WO2021132738A1 WO 2021132738 A1 WO2021132738 A1 WO 2021132738A1 KR 2019018315 W KR2019018315 W KR 2019018315W WO 2021132738 A1 WO2021132738 A1 WO 2021132738A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
category
information
display
related information
Prior art date
Application number
PCT/KR2019/018315
Other languages
English (en)
French (fr)
Inventor
이혜승
조은영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP19957412.0A priority Critical patent/EP4083779A4/en
Priority to PCT/KR2019/018315 priority patent/WO2021132738A1/ko
Priority to KR1020227016363A priority patent/KR20220082890A/ko
Priority to US17/788,634 priority patent/US20230035751A1/en
Publication of WO2021132738A1 publication Critical patent/WO2021132738A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/278—Content descriptor database or directory service for end-user access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the present disclosure relates to a display device and an operating method thereof.
  • the digital TV service can provide various services that cannot be provided by the existing analog broadcasting service.
  • IPTV Internet Protocol Television
  • smart TV services which are a type of digital TV service
  • interactivity is provided so that a user can actively select a type of program to watch, a viewing time, and the like.
  • IPTV and smart TV services may provide various additional services, such as Internet search, home shopping, and online games, based on such interactivity.
  • An object of the present disclosure is to provide a display apparatus that provides information corresponding to a user's request more quickly and preferentially when providing content-related information, and an operating method thereof.
  • An object of the present disclosure is to provide a display apparatus that more accurately provides information corresponding to a user's request when providing content-related information, and an operating method thereof.
  • the display device includes a display for displaying content, and a controller for controlling the display so that, upon receiving a voice command, content-related information corresponding to a scene at the time of receiving the voice command is displayed, the controller includes a voice command may change the arrangement of content-related information based on the requested category.
  • the controller may change the arrangement of content-related information so that information corresponding to the requested category is displayed in priority over other information.
  • the content-related information includes information corresponding to the first category and information corresponding to the second category
  • the requested category is the first category
  • the information corresponding to the first category is higher than the information corresponding to the second category.
  • the controller may control the display to display information other than the information corresponding to the requested category.
  • the controller may determine whether information corresponding to a category other than the requested category exists in the content-related information.
  • the controller may control the display to display information corresponding to the other category.
  • the controller may determine whether information corresponding to the requested category exists in the scene before receiving the voice command.
  • the controller may control the display to display information corresponding to the requested category included in the previous scene.
  • the controller may control the display to display all content-related information included in the content.
  • the controller may acquire content-related information that is metadata including a category.
  • the category may include at least one of place, product, person, and others.
  • the content-related information may include categories corresponding to frame times for each of a plurality of frames constituting the content.
  • the controller may control the display so that the image turned on at the time of receiving the voice command is further displayed.
  • the controller may acquire the requested category based on the voice command.
  • the controller may determine the order in which the content-related information is displayed based on the requested category.
  • the display device since the display device displays information corresponding to a category requested by a user in a priority order, there is an advantage in that it is possible to provide convenience for a user to quickly obtain desired information.
  • the display device displays information of another category or information corresponding to the requested category included in the previous scene, thereby providing information desired by the user. It has the advantage of providing more accurately.
  • the display device displays the captured image together when displaying the content-related information, so that the user can easily check which scene the displayed content-related information is the content-related information related to.
  • the display apparatus can more accurately provide information corresponding to the category requested by the user by using the content-related information that is metadata including the category.
  • FIG. 1 is a block diagram illustrating a configuration of a display apparatus according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram of a remote control device according to an embodiment of the present disclosure.
  • FIG 3 shows an actual configuration example of a remote control device according to an embodiment of the present disclosure.
  • FIG. 4 shows an example of using a remote control device according to an embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating a method of operating a display apparatus according to an embodiment of the present disclosure.
  • FIG. 6 is a schematic diagram illustrating an example of a method for a display apparatus to obtain requested category and content related information according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of a method of displaying, by a display device, content related information for each category according to an embodiment of the present disclosure.
  • FIG. 8 is an exemplary diagram illustrating a structure of content-related information according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating an example of a method for a display apparatus to change an arrangement of content-related information according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating an example of a method of arranging information other than information corresponding to a requested category by the display apparatus according to an embodiment of the present disclosure.
  • FIG. 11 is an exemplary view for explaining a first example in which a display device according to an embodiment of the present disclosure arranges content-related information.
  • FIG. 12 is an exemplary view for explaining a second example in which the display device according to an embodiment of the present disclosure arranges content-related information.
  • FIG. 13 is an exemplary view for explaining a third example in which a display device according to an embodiment of the present disclosure arranges content-related information.
  • FIG. 14 is a diagram illustrating a first example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • 15 is a diagram illustrating a second example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • 16 is a diagram illustrating a third example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • FIG. 17 is a diagram illustrating a fourth example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • FIG. 18 is a diagram illustrating a fifth example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • 19 and 20 are diagrams illustrating a sixth example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • 21 is a diagram illustrating a seventh example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • FIG. 22 is a diagram illustrating an eighth example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • FIG. 23 is a diagram illustrating a ninth example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • FIG. 1 is a block diagram illustrating a configuration of a display apparatus according to an embodiment of the present disclosure.
  • the display apparatus 100 includes a broadcast receiving unit 130 , an external device interface unit 135 , a storage unit 140 , a user input interface unit 150 , a control unit 170 , and a wireless communication unit 173 . , a voice acquisition unit 175 , a display 180 , an audio output unit 185 , and a power supply unit 190 .
  • the broadcast receiver 130 may include a tuner 131 , a demodulator 132 , and a network interface unit 133 .
  • the tuner 131 may tune into a specific broadcasting channel according to a channel selection command.
  • the tuner 131 may receive a broadcast signal for a specific selected broadcast channel.
  • the demodulator 132 may separate the received broadcast signal into a video signal, an audio signal, and a data signal related to a broadcast program, and may restore the separated video signal, audio signal, and data signal to an outputable form.
  • the network interface unit 133 may provide an interface for connecting the display apparatus 100 to a wired/wireless network including an Internet network.
  • the network interface unit 133 may transmit or receive data with other users or other electronic devices through the connected network or another network linked to the connected network.
  • the network interface unit 133 may access a predetermined web page through the connected network or another network linked to the connected network. That is, by accessing a predetermined web page through a network, it is possible to transmit or receive data with a corresponding server.
  • the network interface unit 133 may receive content or data provided by a content provider or a network operator. That is, the network interface unit 133 may receive content such as a movie, advertisement, game, VOD, broadcast signal, etc. and information related thereto, provided from the content provider or the network provider through the network.
  • content such as a movie, advertisement, game, VOD, broadcast signal, etc. and information related thereto, provided from the content provider or the network provider through the network.
  • the network interface unit 133 may receive firmware update information and an update file provided by a network operator, and transmit data to the Internet or a content provider or a network operator.
  • the network interface unit 133 may select and receive a desired application from among applications open to the public through a network.
  • the external device interface unit 135 may receive an application or an application list in an adjacent external device and transmit it to the control unit 170 or the storage unit 140 .
  • the external device interface unit 135 may provide a connection path between the display apparatus 100 and an external device.
  • the external device interface unit 135 may receive one or more of an image and audio output from an external device connected to the display device 100 by wire or wirelessly, and transmit it to the controller 170 .
  • the external device interface unit 135 may include a plurality of external input terminals.
  • the plurality of external input terminals may include an RGB terminal, one or more High Definition Multimedia Interface (HDMI) terminals, and a component terminal.
  • HDMI High Definition Multimedia Interface
  • An image signal of an external device input through the external device interface unit 135 may be output through the display 180 .
  • a voice signal of an external device input through the external device interface unit 135 may be output through the audio output unit 185 .
  • the external device connectable to the external device interface unit 135 may be any one of a set-top box, a Blu-ray player, a DVD player, a game machine, a sound bar, a smart phone, a PC, a USB memory, and a home theater, but this is only an example. .
  • some content data stored in the display apparatus 100 may be transmitted to another user registered in advance in the display apparatus 100 , or to a user selected from among other electronic devices or to a selected electronic device.
  • the storage unit 140 may store a program for each signal processing and control in the control unit 170 , and may store a signal-processed image, audio, or data signal.
  • the storage unit 140 may perform a function for temporarily storing an image, audio, or data signal input from the external device interface unit 135 or the network interface unit 133 , and may perform a predetermined function through a channel storage function. It is also possible to store information about the image.
  • the storage unit 140 may store an application or an application list input from the external device interface unit 135 or the network interface unit 133 .
  • the display apparatus 100 may reproduce content files (movie files, still image files, music files, document files, application files, etc.) stored in the storage unit 140 and provide them to the user.
  • content files moving files, still image files, music files, document files, application files, etc.
  • the user input interface unit 150 may transmit a signal input by the user to the control unit 170 or may transmit a signal from the control unit 170 to the user.
  • the user input interface unit 150 is Bluetooth (Bluetooth), WB (Ultra Wideband), ZigBee (ZigBee) method, according to various communication methods such as RF (Radio Frequency) communication method or infrared (IR) communication method, such as,
  • RF Radio Frequency
  • IR infrared
  • the user input interface unit 150 may transmit a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a setting value to the control unit 170 .
  • a local key such as a power key, a channel key, a volume key, and a setting value
  • the image signal processed by the controller 170 may be input to the display 180 and displayed as an image corresponding to the image signal. Also, the image signal processed by the control unit 170 may be input to an external output device through the external device interface unit 135 .
  • the audio signal processed by the control unit 170 may be audio output to the audio output unit 185 .
  • the audio signal processed by the control unit 170 may be input to an external output device through the external device interface unit 135 .
  • controller 170 may control overall operations within the display apparatus 100 .
  • control unit 170 may control the display apparatus 100 according to a user command input through the user input interface unit 150 or an internal program, and access the network to display an application or a list of applications desired by the user. You can make it available for download in (100).
  • the controller 170 allows the user-selected channel information to be output through the display 180 or the audio output unit 185 together with the processed image or audio signal.
  • control unit 170 according to the external device image playback command received through the user input interface unit 150, from an external device input through the external device interface unit 135, for example, a camera or camcorder, A video signal or an audio signal may be output through the display 180 or the audio output unit 185 .
  • the controller 170 may control the display 180 to display an image, for example, a broadcast image input through the tuner 131 or an external input image input through the external device interface unit 135 . , or an image input through the network interface unit or an image stored in the storage unit 140 may be controlled to be displayed on the display 180 .
  • the image displayed on the display 180 may be a still image or a moving image, and may be a 2D image or a 3D image.
  • control unit 170 may control to reproduce content stored in the display apparatus 100 , received broadcast content, or external input content input from the outside, and the content includes a broadcast image, an external input image, an audio file, and a still image. It may be in various forms, such as an image, a connected web screen, and a document file.
  • the wireless communication unit 173 may communicate with an external device through wired or wireless communication.
  • the wireless communication unit 173 may perform short range communication with an external device.
  • the wireless communication unit 173 is Bluetooth (BluetoothTM), BLE (Bluetooth Low Energy), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association; IrDA), UWB (Ultra Wideband), ZigBee, NFC (Near) Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technologies may be used to support short-distance communication.
  • Such a wireless communication unit 173 is between the display device 100 and a wireless communication system, between the display device 100 and another display device 100, or the display device 100 through wireless area networks (Wireless Area Networks). It is possible to support wireless communication between networks in which the display apparatus 100 or an external server is located.
  • the local area networks may be wireless personal area networks (Local Area Networks).
  • the other display apparatus 100 is a wearable device capable of exchanging (or interworking) data with the display apparatus 100 according to the present disclosure, for example, a smart watch, smart glasses (smart glass), HMD (head mounted display)), it may be a mobile terminal such as a smart phone.
  • the wireless communication unit 173 may detect (or recognize) a communicable wearable device around the display apparatus 100 .
  • the controller 170 transmits at least a portion of data processed by the display apparatus 100 to the wireless communication unit ( 173) to the wearable device. Accordingly, the user of the wearable device may use data processed by the display apparatus 100 through the wearable device.
  • the voice acquisition unit 175 may acquire audio.
  • the voice acquisition unit 175 may include at least one microphone (not shown), and may acquire audio around the display apparatus 100 through the microphone (not shown).
  • the display 180 converts the image signal, the data signal, the OSD signal processed by the controller 170, or the image signal, the data signal, etc. received from the external device interface unit 135 into R, G, and B signals, respectively, and a driving signal can create
  • the display device 100 illustrated in FIG. 1 is only an embodiment of the present disclosure. Some of the illustrated components may be integrated, added, or omitted according to the specifications of the actually implemented display apparatus 100 .
  • two or more components may be combined into one component, or one component may be subdivided into two or more components as needed.
  • the function performed in each block is for describing an embodiment of the present disclosure, and the specific operation or device does not limit the scope of the present disclosure.
  • the display apparatus 100 does not include a tuner 131 and a demodulator 132, and does not include a network interface unit 133 or an external device interface unit ( 135), the video may be received and reproduced.
  • the display device 100 is implemented by being separated into an image processing device such as a set-top box for receiving contents according to a broadcast signal or various network services, and a content playback device that reproduces content input from the image processing device.
  • an image processing device such as a set-top box for receiving contents according to a broadcast signal or various network services
  • a content playback device that reproduces content input from the image processing device.
  • the operating method of the display apparatus includes not only the display apparatus 100 as described with reference to FIG. 1 , but also an image processing apparatus such as a separate set-top box or the display 180 . And it may be performed by any one of the content reproducing apparatus having an audio output unit (185).
  • the audio output unit 185 receives the audio-processed signal from the control unit 170 and outputs it as audio.
  • the power supply unit 190 supplies corresponding power to the entire display apparatus 100 .
  • the control unit 170 that can be implemented in the form of a system on chip (SOC), the display 180 for displaying an image, and the audio output unit 185 for outputting audio. have.
  • SOC system on chip
  • the power supply unit 190 may include a converter for converting AC power into DC power and a dc/dc converter for converting the level of DC power.
  • FIG. 2 is a block diagram of a remote control apparatus according to an embodiment of the present disclosure
  • FIG. 3 shows an actual configuration example of the remote control apparatus according to an embodiment of the present disclosure.
  • the remote control device 200 includes a fingerprint recognition unit 210 , a wireless communication unit 220 , a user input unit 230 , a sensor unit 240 , an output unit 250 , and a power supply unit 260 . ), a storage unit 270 , a control unit 280 , and a voice acquisition unit 290 .
  • the wireless communication unit 220 transmits/receives a signal to and from any one of the display devices according to the embodiments of the present disclosure described above.
  • the remote control device 200 includes an RF module 221 capable of transmitting and receiving signals to and from the display device 100 according to the RF communication standard, and capable of transmitting and receiving signals to and from the display device 100 according to the IR communication standard.
  • An IR module 223 may be provided.
  • the remote control device 200 may include a Bluetooth module 225 capable of transmitting and receiving signals to and from the display device 100 according to the Bluetooth communication standard.
  • the remote control device 200 includes an NFC module 227 capable of transmitting and receiving signals to and from the display device 100 according to a near field communication (NFC) communication standard, and a display according to a wireless LAN (WLAN) communication standard.
  • a WLAN module 229 capable of transmitting and receiving signals to and from the device 100 may be provided.
  • the remote control device 200 transmits a signal containing information about the movement of the remote control device 200 to the display device 100 through the wireless communication unit 220 .
  • the remote control device 200 may receive a signal transmitted by the display device 100 through the RF module 221 , and if necessary, turn on/off power to the display device 100 through the IR module 223 . It can send commands about off, channel change, volume change, and the like.
  • the user input unit 230 may include a keypad, a button, a touch pad, or a touch screen.
  • the user may input a command related to the display apparatus 100 to the remote control apparatus 200 by manipulating the user input unit 230 .
  • the user input unit 230 includes a hard key button, the user may input a command related to the display apparatus 100 to the remote control apparatus 200 through a push operation of the hard key button. This will be described with reference to FIG. 3 .
  • the remote control device 200 may include a plurality of buttons.
  • the plurality of buttons include a fingerprint recognition button 212, a power button 231, a home button 232, a live button 233, an external input button 234, a volume control button 235, a voice recognition button 236, It may include a channel change button 237 , a confirmation button 238 , and a back button 239 .
  • the fingerprint recognition button 212 may be a button for recognizing a user's fingerprint. As an embodiment, the fingerprint recognition button 212 may perform a push operation, and thus may receive a push operation and a fingerprint recognition operation.
  • the power button 231 may be a button for turning on/off the power of the display apparatus 100 .
  • the home button 232 may be a button for moving to the home screen of the display apparatus 100 .
  • the live button 233 may be a button for displaying a real-time broadcast program.
  • the external input button 234 may be a button for receiving an external input connected to the display apparatus 100 .
  • the volume control button 235 may be a button for adjusting the level of the volume output by the display apparatus 100 .
  • the voice recognition button 236 may be a button for receiving a user's voice and recognizing the received voice.
  • the channel change button 237 may be a button for receiving a broadcast signal of a specific broadcast channel.
  • the confirmation button 238 may be a button for selecting a specific function, and the back button 239 may be a button for returning to a previous screen.
  • the user input unit 230 When the user input unit 230 includes a touch screen, the user may input a command related to the display apparatus 100 to the remote control apparatus 200 by touching a soft key of the touch screen.
  • the user input unit 230 may be provided with various types of input means that the user can operate, such as a scroll key or a jog key, and this embodiment does not limit the scope of the present specification.
  • the sensor unit 240 may include a gyro sensor 241 or an acceleration sensor 243 , and the gyro sensor 241 may sense information regarding the movement of the remote control device 200 .
  • the gyro sensor 241 may sense information about the operation of the remote control device 200 based on the x, y, and z axes, and the acceleration sensor 243 is the moving speed of the remote control device 200 It is possible to sense information about the Meanwhile, the remote control device 200 may further include a distance measuring sensor, so that the distance between the display device 100 and the display 180 may be sensed.
  • the output unit 250 may output an image or audio signal corresponding to a manipulation of the user input unit 230 or a signal transmitted from the display apparatus 100 . Through the output unit 250 , the user may recognize whether the user input unit 230 is operated or whether the display apparatus 100 is controlled.
  • the output unit 250 includes an LED module 251 that is turned on when the user input unit 230 is manipulated or a signal is transmitted and received with the display device 100 through the wireless communication unit 220, and a vibration module that generates vibration ( 253), a sound output module 255 for outputting sound, or a display module 257 for outputting an image may be provided.
  • the power supply unit 260 supplies power to the remote control device 200 , and when the remote control device 200 does not move for a predetermined time, the power supply is stopped, thereby reducing power wastage.
  • the power supply unit 260 may resume power supply when a predetermined key provided in the remote control device 200 is operated.
  • the storage unit 270 may store various types of programs and application data required for control or operation of the remote control device 200 . If the remote control device 200 wirelessly transmits and receives signals through the display device 100 and the RF module 221 , the remote control device 200 and the display device 100 transmit and receive signals through a predetermined frequency band. .
  • the control unit 280 of the remote control device 200 stores and references information about a frequency band in which a signal can be wirelessly transmitted and received with the display device 100 paired with the remote control device 200 in the storage unit 270 . can do.
  • the controller 280 controls all matters related to the control of the remote control device 200 .
  • the control unit 280 transmits a signal corresponding to a predetermined key operation of the user input unit 230 or a signal corresponding to the movement of the remote control device 200 sensed by the sensor unit 240 to the display device ( 100) can be transmitted.
  • the voice acquisition unit 290 of the remote control device 200 may acquire a voice.
  • the voice acquisition unit 290 may include at least one microphone 291 , and may acquire a voice through the microphone 291 .
  • FIG. 4 will be described.
  • FIG. 4 shows an example of using a remote control device according to an embodiment of the present disclosure.
  • FIG. 4A illustrates that a pointer 205 corresponding to the remote control device 200 is displayed on the display 180 .
  • the user may move or rotate the remote control device 200 up, down, left and right.
  • the pointer 205 displayed on the display 180 of the display apparatus 100 corresponds to the movement of the remote control apparatus 200 .
  • the remote control device 200 moves and displays the corresponding pointer 205 according to the movement in 3D space, so it may be called a space remote controller.
  • FIG. 4B illustrates that when the user moves the remote control device 200 to the left, the pointer 205 displayed on the display 180 of the display device 100 also moves to the left correspondingly.
  • the display apparatus 100 may calculate the coordinates of the pointer 205 from information about the movement of the remote control apparatus 200 .
  • the display apparatus 100 may display the pointer 205 to correspond to the calculated coordinates.
  • 4C illustrates a case in which the user moves the remote control device 200 away from the display 180 while pressing a specific button in the remote control device 200 . Accordingly, the selected area in the display 180 corresponding to the pointer 205 may be zoomed in and displayed in an enlarged manner.
  • the remote control device 200 when the user moves the remote control device 200 to be closer to the display 180 , the selected area in the display 180 corresponding to the pointer 205 may be zoomed out and displayed.
  • the selection area is zoomed out, and when the remote control apparatus 200 approaches the display 180 , the selection area may be zoomed in.
  • the moving speed or moving direction of the pointer 205 may correspond to the moving speed or moving direction of the remote control device 200 .
  • a pointer refers to an object displayed on the display 180 in response to an operation of the remote control device 200 . Accordingly, objects of various shapes other than the arrow shape shown in the drawing are possible with the pointer 205 . For example, it may be a concept including a dot, a cursor, a prompt, a thick outline, and the like.
  • the pointer 205 may be displayed corresponding to any one point among a horizontal axis and a vertical axis on the display 180, and may also be displayed corresponding to a plurality of points such as a line and a surface. .
  • the display apparatus 100 may provide information related to the content being displayed.
  • the display apparatus 100 may provide information related to the content by displaying information related to the content being displayed on the display 180 or outputting it through the audio output unit 185 .
  • a method for providing information related to content is not limited to the above-described method, and may be more diverse.
  • the display apparatus 100 may provide information related to the content currently being viewed by the user.
  • content-related information is referred to as content-related information.
  • the content-related information may refer to information about a product, person, place, or music appearing in the content.
  • the content-related information may include information about a product, person, place, or music similar to those appearing in the content, as well as information about a product, person, place, or music appearing in the content.
  • the display apparatus 100 may provide content-related information related to a current scene among content-related information. That is, the display apparatus 100 may provide information on a product, person, place, or music related to a scene currently viewed by the user. Through this, the display apparatus 100 may immediately provide information that the user may be curious about while watching the content.
  • the user wants to know information about music appearing in the current scene, but information other than music may be provided first, such as a product, person, or place, in the display device 100.
  • information other than music may be provided first, such as a product, person, or place, in the display device 100.
  • the user is provided with the desired information Inconveniences may arise in that you have to wait until it becomes available or you have to separately input information to find desired information.
  • the display apparatus 100 preferentially provides information desired by a user when providing content-related information.
  • FIG. 5 is a flowchart illustrating a method of operating a display apparatus according to an embodiment of the present disclosure.
  • the controller 170 may display the content (S10).
  • the controller 170 may display the content on the display 180 .
  • the content may be a broadcast image received through the broadcast receiver 130 .
  • the content may include an image received from an external device such as a set-top box or a smart phone, an image played through an application, and the like.
  • the controller 170 may determine whether a voice command is received when displaying the content (S20).
  • the voice command may be a command for requesting content-related information. That is, the controller 170 may determine whether a command for requesting content-related information is received when displaying content.
  • the user may request content-related information from the display apparatus 100 by voice through the voice acquisition unit 175 provided in the display apparatus 100 or the voice acquisition unit 290 provided in the remote control device 200 . Accordingly, the control unit 170 may receive a command for requesting content-related information through the voice acquisition unit 175 or the user input interface unit 150 .
  • control unit 170 may continue to display the content.
  • the controller 170 may acquire a category requested by the user based on the voice command (S30).
  • a requested category may mean a category of content-related information requested by a user through a voice command.
  • a category may include a person, a fashion product, other products, a place, music, and the like, but this is only an example, and the types of categories may vary. Meanwhile, the categories may be divided into detailed categories.
  • the person category may have detailed categories such as men, women, adults, children, etc.
  • the fashion product category may have detailed categories such as clothes, shoes, pants, etc., but this is only exemplary and is not limited thereto. .
  • the controller 170 may acquire the category requested by the user by internally analyzing the voice command. For example, the controller 170 may obtain the category requested by the user by extracting a preset keyword from the voice command.
  • the present invention is not limited thereto.
  • the controller 170 may acquire the category requested by the user through an external server (eg, the NLP server 10 of FIG. 6 ). This will be described with reference to FIG. 6 .
  • an external server eg, the NLP server 10 of FIG. 6 .
  • control unit 170 may obtain content-related information corresponding to the scene at the time of receiving the voice command (S40).
  • the controller 170 may acquire content-related information corresponding to a scene at the time of receiving the voice command among the content-related information.
  • the scene at the time of receiving the voice command includes only the scene being displayed at the time of receiving the voice command, or the scene being displayed at the time of receiving the voice command and scenes for a predetermined time before receiving the voice command You may.
  • the controller 170 may acquire content-related information corresponding to the scene at the time of receiving the voice command.
  • the controller 170 may acquire content-related information about the scene at the time of receiving the voice command and the scenes for a predetermined time before receiving the voice command.
  • the content-related information may be metadata including categories.
  • the controller 170 may acquire content-related information that is metadata including a category.
  • the controller 170 may acquire content-related information through an external server (eg, the metadata server 40 of FIG. 6 ). This will be described with reference to FIG. 6 .
  • an external server eg, the metadata server 40 of FIG. 6 .
  • steps S30 and S40 may be changed. That is, upon receiving the voice command, the controller 170 may acquire content-related information corresponding to the scene at the time of receiving the voice command, and then acquire the category requested by the user. Also, upon receiving the voice command, the controller 170 may simultaneously acquire content-related information corresponding to the scene at the time of receiving the voice command and the category requested by the user.
  • the controller 170 When the controller 170 obtains the requested category and content-related information according to the voice command, it may change the arrangement of the content-related information according to the requested category (S50), and display the content-related information according to the changed arrangement (S50). S60).
  • the controller 170 may display the content-related information on the display 180 after changing the arrangement of the content-related information based on the requested category when displaying the content-related information.
  • the display apparatus 100 changes the arrangement of content-related information based on the category requested by the user and displays the content-related information, it is highly likely that the information desired by the user is displayed preferentially. It can be delivered quickly and accurately.
  • the controller 170 may arrange the content-related information according to a default order and display it on the display 180 .
  • FIG. 6 is a schematic diagram illustrating an example of a method for a display apparatus to obtain requested category and content related information according to an embodiment of the present disclosure.
  • the NLP server 10 may be a Natural Language Processing server.
  • the NLP server 10 may analyze the voice data to determine the user's intention. For example, the NLP server 10 may analyze the voice data to determine the category requested by the user.
  • the metadata server 40 may store and manage content-related information for each content.
  • the metadata server 40 may provide content related information to the display apparatus 100 .
  • the metadata server 40 may extract content-related information according to the content information and transmit it to the display apparatus 100 .
  • the display device 100 when the display device 100 receives a user's voice command requesting content-related information, it transmits voice data including the voice command to the NLP server 10, and sets the category requested in the voice command to the NLP server 10 ) can be received from
  • the display apparatus 100 may acquire content information at the time the voice command is received.
  • the content information may include at least one of a content ID for identifying content, a reproduction time corresponding to a time point at which a voice command is received, a content capture image at a time point at which the voice command is received, and the like.
  • the metadata server 40 may acquire content-related information based on the content information and transmit it to the display apparatus 100 .
  • the display apparatus 100 may receive content-related information in response to the content information from the metadata server 40 .
  • the content-related information may be metadata.
  • the display apparatus 100 may compare a time point at which content information (eg, a captured image) is acquired according to a voice command and a time point at which the requested category appears.
  • content information eg, a captured image
  • a voice command e.g., a voice command
  • the display apparatus 100 arranges the content-related information according to the requested category. can be changed.
  • FIG. 7 is a diagram illustrating an example of a method of displaying, by a display device, content related information for each category according to an embodiment of the present disclosure.
  • FIG. 7A is an example of a format in which content-related information corresponding to a category corresponds to a place
  • FIG. 7B is an example of a format in which content-related information corresponding to a product including a person is displayed.
  • (c) of FIG. 7 is an example of a format in which content-related information corresponding to a product whose category does not include a person is displayed. That is, the product category may or may not include a person.
  • 'product and person category' means a product category including a person
  • 'product category' means a product category that does not include a person.
  • the controller 170 controls the display 180 to display content-related information including at least one of a place image, a place name, and a place description, and FIG.
  • the control unit 170 includes at least one of a person image, a person name, an item worn by the person, and an item similar to the item worn by the person Controls the display 180 to display content-related information to be displayed, and as shown in FIG. 7C , when the category is a product, the controller 170 includes items included in the scene and items similar to the items included in the scene.
  • the display 180 may be controlled to display content related information including at least one.
  • content-related information may be generated for each person.
  • the controller 170 may control the display 180 to preferentially display content-related information corresponding to a requested category when displaying content-related information. For example, when the requested category is a place, the controller 170 may change the content-related information shown in FIG. 7(a) to the content-related information shown in FIG. 7(b) or FIG. 7(c). The display 180 may be controlled to be displayed before the illustrated content-related information.
  • FIG. 8 is an exemplary diagram illustrating a structure of content-related information according to an embodiment of the present disclosure.
  • content-related information that is metadata
  • the content-related information may include content information and a category.
  • the content information (media) may include a media id, a media name, etc. corresponding to each frame time for each of a plurality of frames constituting the content.
  • the media id may be a content ID
  • the media name may be a content name.
  • a category may include a location, a product, and others. And, the category may further include a character. That is, the category may include at least one of a place, a product, a person, and others.
  • the person category may exist separately from the place category, product category, and other categories. According to another example, the person category may be included in the product category. In this case, the product category may or may not include the person category.
  • the location may include a location name, a location image, and a location link corresponding to each frame time for each of a plurality of frames constituting the content.
  • the product may include a person/actor name, a person gender, a person image, and a person rank corresponding to each frame time for each of a plurality of frames constituting the content.
  • each character/actor name includes product rank, product category, product name, product image, product price, product brand, product link, similar product, and similar products include similar product names, similar product images, similar product prices, May include similar product brands and similar product links.
  • the product category may include a 'Clothing' category, a 'Shoes' category, and a 'Jewelry' category.
  • Others include product rank, product category, product name, product image, product price, product brand, product link, and similar products corresponding to each frame time for each of a plurality of frames constituting the content and similar products may include similar product names, similar product images, similar product prices, similar product brands, and similar product links.
  • the content-related information may include categories corresponding to frame times for each of a plurality of frames constituting the content. That is, content-related information that is metadata may be categorized.
  • the controller 170 may more easily obtain content-related information corresponding to the scene at the time of receiving the voice command by using the content-related information having the structure shown in FIG. 8 .
  • the control unit 170 obtains the reproduction time of the content corresponding to the time of receiving the voice command, and obtains information about the place, product, etc. corresponding to the frame time matching the reproduction time of the content. have.
  • the controller 170 may acquire information corresponding to the requested category by using the content-related information having a structure as shown in FIG. 8 .
  • the controller 170 may obtain information corresponding to the requested category by extracting information that matches the information corresponding to the requested category from the content-related information having the structure shown in FIG. 8 .
  • the controller 170 may display the content-related information after changing the arrangement of the content-related information so that the information corresponding to the requested category is displayed preferentially over other information.
  • FIG. 9 is a flowchart illustrating an example of a method for a display apparatus to change an arrangement of content-related information according to an embodiment of the present disclosure.
  • FIG. 9 may be a flowchart in which step S50 of FIG. 5 is embodied.
  • the controller 170 may determine whether information corresponding to the requested category exists in the content-related information (S51).
  • the control unit 170 detects a frame time corresponding to the content reproduction time at the time of receiving the voice command, and searches for information corresponding to the requested category among the categories corresponding to the frame time detected in the content-related information. can do. If the information corresponding to the requested category is not found in the content-related information, the controller 170 determines that the information corresponding to the requested category does not exist in the content-related information, and corresponds to the requested category in the content-related information. When the information to be used is searched for, it may be determined that information corresponding to the requested category exists in the content-related information.
  • the controller 170 may arrange the information corresponding to the requested category in a higher order than other information (S53).
  • the other information may be information that does not correspond to the requested category.
  • the controller 170 may arrange information corresponding to the requested category in a higher order than information not corresponding to the requested category.
  • the controller 170 may arrange the content-related information so that information corresponding to the requested category is located before information not corresponding to the requested category. For example, when the content-related information includes information corresponding to the first category and information corresponding to the second category, the display 180 displays the information corresponding to the first category if the requested category is the first category. 2 It can be displayed before the information corresponding to the category.
  • the controller 170 may arrange the content-related information so that the display size of information corresponding to the requested category is larger than the display size of information not corresponding to the requested category. For example, when the content-related information includes information corresponding to the first category and information corresponding to the second category, the display 180 displays the size of the information corresponding to the first category if the requested category is the first category. may be displayed larger than the size of information corresponding to the second category.
  • controller 170 may arrange the information corresponding to the requested category in a priority order over other information in various ways.
  • the controller 170 may arrange other information in addition to the information corresponding to the requested category ( S55 ).
  • the controller 170 may arrange the content-related information so that other information is displayed.
  • the other information may include at least one of information not corresponding to the requested category or information corresponding to the requested category existing in a scene prior to the time the voice command is received.
  • FIG. 10 is a flowchart illustrating an example of a method of arranging information other than information corresponding to a requested category by the display apparatus according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart in which step S55 of FIG. 9 is embodied.
  • the controller 170 may determine whether other information other than information corresponding to the requested category exists (S61).
  • the controller 170 may determine whether other information exists in addition to the information corresponding to the requested category.
  • the controller 170 may arrange other information in addition to the information corresponding to the requested category (S63).
  • the other information is information not corresponding to the requested category, and may be information corresponding to a category other than the requested category. That is, when information not corresponding to the requested category exists in addition to information corresponding to the requested category, the controller 170 may arrange information not corresponding to the requested category. That is, when information corresponding to a category other than the requested category exists in the content-related information, the controller 170 may control the display 180 to display information corresponding to the other category.
  • the controller 170 may determine whether information corresponding to the requested category exists in the previous scene ( S65 ).
  • the previous scene may refer to scenes for a predetermined time before receiving the voice command.
  • the previous scene may mean scenes for 5 seconds before receiving the voice command, but 5 seconds at this time is only an example, so it is reasonable that the present invention is not limited thereto.
  • the controller 170 may detect frame times corresponding to previous scenes, respectively, and search for information corresponding to a requested category among categories corresponding to each frame time.
  • step S61 if the information corresponding to the requested category does not exist in the content-related information, it may be determined whether information corresponding to the requested category exists in the scene before receiving the voice command. have.
  • the controller 170 may arrange information corresponding to the requested category included in the previous scene (S67).
  • the controller 170 may control the display 180 to display information corresponding to the requested category included in the previous scene. .
  • the controller 170 may arrange all information included in the content (S69).
  • the controller 170 may arrange the content-related information so that all of the content-related information is displayed.
  • the controller 170 may control the full view mode of content-related information in which all content-related information is displayed. .
  • control the display 180 to display all content-related information included in the content.
  • FIG. 11 is an exemplary view for explaining a first example in which the display apparatus according to an embodiment of the present disclosure arranges content-related information.
  • the frame time corresponding to the content reproduction time at the time of receiving the voice command may be 10000 ms, and the requested category may be 'shoes'.
  • the controller 170 may search for information corresponding to the requested category 'shoes' among the categories corresponding to the frame time of 10000 ms.
  • the content-related information may include information on 'Product 1' of 'Character 1' corresponding to the category 'shoes' corresponding to a frame time of 10000 ms. Accordingly, in this case, the control unit 170 determines that the information on 'Product 1' of 'Character 1' corresponding to the category 'shoes' corresponding to the frame time of 10000 ms is different from information on 'Product 2' of 'Character 1'. Information, information on 'Product 1' of 'Character 2', and information on 'location' can be arranged in priority order.
  • the content-related information may not include information corresponding to a category 'shoes' corresponding to a frame time of 10000 ms. Accordingly, in this case, the controller 170 first displays information on 'Product 1' of 'Character 1' corresponding to another category 'clothing' corresponding to frame time 10000 ms, and then corresponds to frame time 9000 ms, which is the previous scene Information on 'Product 2' of the category 'Character 1' may be displayed, and then information on 'Product 1' of 'Character 2' and information on 'location' may be displayed.
  • the controller 170 may arrange the content-related information so that information preferred by the user is placed in the priority order based on the requested category and playback time.
  • FIG. 12 is an exemplary view for explaining a second example in which the display apparatus according to an embodiment of the present disclosure arranges content-related information.
  • the content-related information may be set to be arranged in a place category, a product and person category, and a product category in order.
  • the controller 170 displays the content in the order of information corresponding to a place category, information corresponding to a product and person category, and information corresponding to a product category, as shown in FIG. 12A . Relevant information can be arranged.
  • the controller 170 selects the information corresponding to the product and person category rather than the information corresponding to the place category and the information corresponding to the product category as shown in FIG. 12(b).
  • Content-related information may be arranged to be displayed in a ranking order.
  • FIG. 13 is an exemplary view for explaining a third example in which a display device according to an embodiment of the present disclosure arranges content-related information.
  • the information corresponding to the product and person categories may be set to be arranged in the order of a 'Clothing' category, a 'Shoes' category, and a 'Jewelry' category by default.
  • the controller 170 controls 'Clothing' in information corresponding to product and person categories as shown in FIG. 13A.
  • Content-related information may be arranged to be displayed in order of information corresponding to a category, information corresponding to a 'Shoes' category, and information corresponding to a 'Jewelry' category. That is, the controller 170 displays information corresponding to the 'Clothing' category within the information corresponding to the product and person categories, and each time a next command is received, sequentially information corresponding to the 'Shoes' category and Content-related information may be arranged so that information corresponding to the 'Jewelry' category is displayed.
  • the controller 170 may change the order of the content-related information displayed in the information corresponding to the product and person categories according to the requested category.
  • the controller 170 may acquire 'Product', 'Fashion', and 'Jewelry' as the requested category.
  • the control unit 170 displays the information corresponding to the 'Jewelry' category in the information corresponding to the product and person categories in a higher priority than the information corresponding to the 'Clothing' category and the information corresponding to the 'Shoes' category.
  • Content-related information can be arranged as much as possible.
  • the controller 170 displays information corresponding to the 'Jewelry' category within the information corresponding to the product and person categories, and each time a next command is received, sequentially information corresponding to the 'Clothing' category and Content-related information may be arranged so that information corresponding to the 'Shoes' category is displayed.
  • FIG. 14 is a diagram illustrating a first example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • the controller 170 may receive “Who is that person?” as a voice command.
  • the controller 170 may acquire a captured image by capturing the screen at the time of receiving the voice command.
  • the controller 170 may acquire the requested category based on the voice command. For example, the controller 170 may acquire 'character/actor' as a requested category based on a voice command.
  • the controller 170 may acquire content-related information based on the captured image.
  • the controller 170 may display the content-related information on the display 180, and at this time, arrange the content-related information according to the requested category.
  • the example shown in (b) of FIG. 14 is an example of a screen on which the display 180 displays content-related information together with the captured image 1401 .
  • the captured image 1401 may be a video image captured at the time of receiving the voice command. Through the captured image 1401, the user can easily check which scene the content-related information is the content-related information related to.
  • the content-related information corresponding to the captured image 1401 may include information 1403 corresponding to a product and person category and information 1405 corresponding to a place category.
  • the display 180 may display the information 1403 corresponding to the product and person categories in a higher order than the information 1405 corresponding to the place category based on the requested category.
  • the information 1403 corresponding to the product and person category may include information about a product worn by a person appearing in the content and information about a product similar to that worn by the person.
  • Information 1403 corresponding to product and person categories may be different for each person. For example, when the person appearing in the content is the first person and the second person, information corresponding to the product and person category for the first person and information corresponding to the product and person category for the second person are separately may exist.
  • Information 1403 corresponding to product and person categories may include a previous view icon 1403a and a next view icon 1403b.
  • the previous view icon 1403a and the next view icon 1403b may be icons for switching to display a product other than the displayed product when the information corresponding to the product and person categories includes a plurality of products.
  • the information 1405 corresponding to the place category may include information about a place appearing in content.
  • the information 1405 corresponding to the place category may include information about a place appearing in the captured image 1401 .
  • the display 180 may further display a full view icon 1409 .
  • the full view icon 1409 may be an icon for displaying all content-related information included in the currently displayed content.
  • 15 is a diagram illustrating a second example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • the controller 170 may receive “Where is that place?” as a voice command.
  • the controller 170 may acquire a captured image by capturing the screen at the time of receiving the voice command.
  • the controller 170 may acquire the requested category based on the voice command. For example, the controller 170 may acquire 'location' as a requested category based on a voice command.
  • the controller 170 may acquire content-related information based on the captured image.
  • the controller 170 may display the content-related information on the display 180, and at this time, arrange the content-related information according to the requested category.
  • An example shown in (b) of FIG. 15 is an example of a screen on which the display 180 displays content-related information together with the captured image 1501 .
  • the captured image 1501 may be a video image captured at the time of receiving the voice command. Through the captured image 1501, there is an advantage that the user can easily check which scene the content-related information is the content-related information related to.
  • the content-related information corresponding to the captured image 1501 may include information 1503 corresponding to a place category and information 1505 corresponding to a product and person category.
  • the display 180 may display the information 1503 corresponding to the place category in a higher order than the information 1505 corresponding to the product and person categories.
  • the information 1503 corresponding to the place category may include information about a place appearing in content.
  • the information 1503 corresponding to the place category may include information about a place appearing in the captured image 1501 .
  • the information 1505 corresponding to the product and person category may include information about a product worn by a person appearing in the content and information about a product similar to that worn by the person.
  • Information 1505 corresponding to product and person categories may include a previous view icon 1505a and a next view icon 1505b.
  • the previous view icon 1505a and the next view icon 1505b may be icons for switching to display a product other than the displayed product when the information corresponding to the product and person category includes a plurality of products.
  • the display 180 may further display a full view icon 1509 .
  • the full view icon 1509 may be an icon for displaying all content-related information included in the currently displayed content.
  • 16 is a diagram illustrating a third example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • the controller 170 may receive “Who is that person?” as a voice command.
  • the controller 170 may acquire a captured image by capturing the screen at the time of receiving the voice command.
  • the controller 170 may acquire the requested category based on the voice command. For example, the controller 170 may acquire 'character/actor' as a requested category based on a voice command.
  • the controller 170 may acquire content-related information based on the captured image.
  • the controller 170 may display the content-related information on the display 180, and at this time, arrange the content-related information according to the requested category.
  • the example shown in (b) of FIG. 16 is an example of a screen on which the display 180 displays content-related information together with the captured image 1601 .
  • the captured image 1601 may be a video image captured when a voice command is received. Through the captured image 1601, there is an advantage that the user can easily check which scene the content-related information is the content-related information related to.
  • the content-related information corresponding to the captured image 1601 includes information 1603 corresponding to product and person categories for the first person and information corresponding to product and person categories for the second person. (1605).
  • the display 180 may display any one of information 1603 corresponding to a product and person category for the first person and information 1605 corresponding to a product and person category for the second person based on the requested category. can be displayed as a priority over the other.
  • Whether information corresponding to a product and a person category is first displayed among the first person and the second person may be determined according to a character rank among the categories. In the example of FIG. 16 , it is assumed that the information 1603 corresponding to the product and person category for the first person is displayed in a line higher than the information 1605 corresponding to the product and person category for the second person.
  • Each of the information 1603 and 1605 corresponding to the product and person category for the first and second persons includes information on products worn by the person appearing in the content and information on products similar to those worn by the person. may include.
  • the information 1603 corresponding to the product and person category of the first person and the information 1605 corresponding to the product and person category of the second person may be different from each other.
  • the controller 170 may arrange the content-related information so that information of a 'Clothing' category among a plurality of 'product' categories related to the first person is preferentially displayed. That is, when the requested category includes only the 'product' category, the controller 170 may determine the order of information belonging to the 'product' category according to a default.
  • the information 1603 corresponding to the product and person category of the first person may include a previous view icon 1603a and a next view icon 1603b.
  • the previous view icon 1603a and the next view icon 1603b may be icons for switching information of a plurality of 'product' categories to be sequentially displayed.
  • controller 170 displays the information 1605 corresponding to the product and person category for the second person, similarly to the information 1603 corresponding to the product and person category for the first person, 'product (product)' ' Determines the order of information belonging to a category, and can include a previous view icon (not shown) and a next view icon (not shown).
  • FIG. 17 is a diagram illustrating a fourth example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • the controller 170 may receive “What is that jewelry?” as a voice command.
  • the controller 170 may acquire a captured image by capturing the screen at the time of receiving the voice command.
  • the controller 170 may acquire the requested category based on the voice command. For example, the controller 170 may acquire at least one of 'Product', 'Fashion', and 'Jewelry' as a requested category based on a voice command.
  • the controller 170 may acquire content-related information based on the captured image.
  • the controller 170 may display the content-related information on the display 180, and at this time, arrange the content-related information according to the requested category.
  • the example shown in (b) of FIG. 17 is an example of a screen on which the display 180 displays content-related information together with the captured image 1701 .
  • the captured image 1701 may be a video image captured at the time of receiving the voice command. Through the captured image 1701, there is an advantage that the user can easily check which scene the content-related information is the content-related information related to.
  • the content-related information corresponding to the captured image 1701 includes information 1703 corresponding to product and person categories for the first person and information corresponding to product and person categories for the second person. (1705).
  • the display 180 displays any one of information 1703 corresponding to a product and person category for the first person and information 1705 corresponding to a product and person category for the second person based on the requested category. can be displayed as a priority over the other.
  • information 1703 corresponding to the product and person category for the first person is displayed in a line above the information 1705 corresponding to the product and person category for the second person.
  • Each of the information 1703 and 1705 corresponding to the product and person category for the first and second person includes information about a product worn by a person appearing in the content and information about a product similar to that worn by the person. may include.
  • the information 1703 corresponding to the product and person category of the first person and the information 1705 corresponding to the product and person category of the second person may be different from each other.
  • the controller 170 may arrange the content-related information so that information of a 'Jewelry' category is preferentially displayed among a plurality of 'product' categories related to the first person. That is, since the requested category includes the 'Jewelry' category, the controller 170 includes information corresponding to the 'Jewelry' category among information belonging to the 'product' category according to the requested category. Content-related information may be arranged so that .
  • the information 1703 corresponding to the product and person category for the first person may include a previous view icon 1703a and a next view icon 1703b.
  • the previous view icon 1703a and the next view icon 1703b may be icons for switching information of a plurality of 'product' categories to be sequentially displayed. For example, when the control unit 170 receives a selection command of the next view icon 1703b while information corresponding to the 'Jewelry' category is displayed, other information belonging to the 'product' category is displayed
  • the display 180 may be controlled so as to be possible.
  • control unit 170 displays the information 1705 corresponding to the product and person category for the second person, similarly to the information 1703 corresponding to the product and person category for the first person, 'jewelry ( Jewelry) ', arranges content-related information so that information corresponding to the category is displayed in priority over other information, and may include a previous view icon (not shown) and a next view icon (not shown).
  • FIG. 18 is a diagram illustrating a fifth example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • the controller 170 may receive “What is that clothing?” as a voice command.
  • the controller 170 may acquire a captured image by capturing the screen at the time of receiving the voice command.
  • the controller 170 may acquire the requested category based on the voice command. For example, the controller 170 may acquire at least one of 'Product', 'Fashion', and 'Clothing' as a requested category based on a voice command.
  • the controller 170 may acquire content-related information based on the captured image.
  • the controller 170 may display the content-related information on the display 180, and at this time, arrange the content-related information according to the requested category.
  • the example shown in (b) of FIG. 18 is an example of a screen on which the display 180 displays content-related information together with the captured image 1801 .
  • the captured image 1801 may be a video image captured at the time of receiving the voice command. Through the captured image 1801, there is an advantage that the user can easily check which scene the content-related information is the content-related information related to.
  • the content-related information corresponding to the captured image 1801 may include information 1803 corresponding to a product and a person category for the first person and information 1805 corresponding to a product category. have.
  • the information 1803 corresponding to the product and person category of the first person may include a previous view icon 1803a and a next view icon 1803b.
  • the information 1803 corresponding to the product and person category for the first person includes information corresponding to the 'Fashion' category
  • the information 1805 corresponding to the product category is 'others'.
  • ' may include information corresponding to the category.
  • the display 180 may display the product for the first person and the information 1803 corresponding to the person category in a higher order than the information 1805 corresponding to the product category based on the requested category.
  • the controller 170 when the controller 170 receives “What is that furniture?” as a voice command, at least one of 'others' and 'furniture' One can be obtained in the requested category.
  • the display 180 may display the information 1805 corresponding to the product category in a higher order than the product for the first person and the information 1803 corresponding to the person category based on the requested category.
  • 19 and 20 are diagrams illustrating a sixth example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • the controller 170 may receive “What is that men's clothing?” as a voice command.
  • the controller 170 may acquire a captured image by capturing the screen at the time of receiving the voice command.
  • the controller 170 may acquire the requested category based on the voice command. For example, the controller 170 acquires at least one of 'Product', 'Fashion', 'Clothing', and 'men' as a requested category based on the voice command can do.
  • the controller 170 may acquire content-related information based on the captured image.
  • the controller 170 may display the content-related information on the display 180, and at this time, arrange the content-related information according to the requested category.
  • the example shown in (b) of FIG. 19 is an example of a screen on which the display 180 displays content-related information together with the captured image 1901 .
  • the captured image 1901 may be a video image captured at the time of receiving the voice command. Through the captured image 1901, there is an advantage that the user can easily check which scene the content-related information is the content-related information related to.
  • the content-related information corresponding to the captured image 1901 includes information 1903 corresponding to product and person categories for the first person and information corresponding to product and person categories for the second person. (1905) may be included.
  • the information 1903 corresponding to the product and person category for the first person includes a 'men' category
  • the information 1905 corresponding to the product and person category for the second person is ' woman'. (women)' category.
  • the display 180 prioritizes the information 1903 corresponding to the product and person category for the first person over the information 1905 corresponding to the product and person category for the second person based on the requested category. can be displayed
  • the controller 170 may receive “What is that women's clothing?” as a voice command. At this time, the controller 170 may acquire at least one of 'Product', 'Fashion', 'Clothing', and 'women' as the requested category based on the voice command. can
  • the controller 170 determines that the product for the second person including the 'women' category and the information 1905 corresponding to the person category include the product for one person including the 'men' category. And it is possible to arrange the content-related information so that the information 1903 corresponding to the person category is displayed in a priority order.
  • 21 is a diagram illustrating a seventh example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • the controller 170 obtains the requested category according to the voice command, but information corresponding to the requested category may not exist in the content-related information.
  • the display 180 may display a message indicating that there is no information corresponding to the requested category. For example, as shown in (a) of FIG. 21 , the display 180 may display a message such as “No information for the item you said”.
  • the controller 170 further displays a message indicating that there is no information corresponding to the requested category, a message asking whether to check information included in the previous scene, a no icon 2100a and a yes icon 2100b ( 180) can be controlled.
  • display 180 may display a message such as “Would you like to take a look at information in the previous scene?”
  • the controller 170 may not display content-related information.
  • the controller 170 may acquire information corresponding to the category requested in the previous scene.
  • the controller 170 may extract a scene having information corresponding to the requested category from among the previous scenes. If there are a plurality of scenes having information corresponding to the requested category among the previous scenes, the controller 170 may extract one scene closest to the point in time at which the voice command is received from among the plurality of scenes.
  • the controller 170 may display content related information included in the previous scene extracted as described above.
  • control unit 170 controls a captured image 2101 of a previous scene, information 2103 corresponding to product and person categories included in the previous scene, and a full view icon (2105) can be displayed.
  • the controller 170 omits the screen shown in (a) of FIG. 21 and immediately (b) of FIG. You can also display a screen like
  • FIG. 22 is a diagram illustrating an eighth example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • the controller 170 obtains the requested category according to the voice command, but information corresponding to the requested category may not exist in the content-related information.
  • the display 180 may display a message indicating that there is no information corresponding to the requested category. For example, as shown in (a) of FIG. 22 , the display 180 may display a message such as “No information for the item you said”.
  • the controller 170 further displays a message indicating that there is no information corresponding to the requested category, a message asking whether to check other information included in the current scene, and a no icon 2200a and a yes icon 2200b. (180) can be controlled.
  • the display 180 may display a message such as “Would you like to take a look at other information in the scene?”
  • control unit 170 When the control unit 170 receives a selection command of the no icon 2200a, the control unit 170 may not display the content-related information.
  • the controller 170 may acquire other information that does not correspond to the requested category in the current scene.
  • the current scene may mean a scene being displayed at the time the voice command is received.
  • the controller 170 may extract information other than information corresponding to the requested category from among the current scene.
  • control unit 170 may display a captured image 2201 of the current scene, other information 2203 in addition to information corresponding to the requested category, and a full view icon 2205 . have.
  • the controller 170 omits the screen shown in (a) of FIG. A screen as shown in (b) of 22 may be displayed.
  • FIG. 23 is a diagram illustrating a ninth example of content-related information displayed on a screen by a display device according to a voice command according to an embodiment of the present disclosure.
  • the controller 170 obtains the requested category according to the voice command, but information corresponding to the requested category may not exist in the content-related information.
  • the display 180 may display a message indicating that there is no information corresponding to the requested category. For example, as shown in (a) of FIG. 23 , the display 180 may display a message such as “No information for the item you said”.
  • the controller 170 controls the display 180 to further display a message indicating that there is no information corresponding to the requested category, a message asking whether to execute the full view, and a no icon 2300a and a yes icon 2300b.
  • the full view may be a mode for displaying all content-related information included in the currently viewed image.
  • the display 180 may display a message such as “Would you like to take a look at all information in the content?”
  • control unit 170 When the control unit 170 receives the selection command of the no icon 2300a, the control unit 170 may not display the content related information.
  • the controller 170 may control the display 180 to display all content-related information included in the currently displayed content.
  • the display 180 displays a full view menu 2310, and the full view menu 2310 includes information 2311 corresponding to a place category and a product for the first person. and information 2313 corresponding to the person category and information 2315 corresponding to the product and person category for the second person.
  • the controller 170 operates according to the flowchart shown in FIG. 10 , and in step S63,
  • the display 180 may be controlled to display a screen as shown in (b), display a screen as shown in FIG. 21 (b) in step S67, and display a screen as shown in FIG. 23 (b) in step S69. .

Abstract

본 개시에 따른 디스플레이 장치는 컨텐트를 표시하는 디스플레이, 및 음성 명령을 수신하면, 음성 명령을 수신한 시점의 장면에 대응하는 컨텐트 관련 정보가 표시되도록 디스플레이를 제어하는 제어부를 포함하고, 제어부는 음성 명령에서 요청된 카테고리에 기초하여 컨텐트 관련 정보의 배열을 변경할 수 있다.

Description

디스플레이 장치 및 그의 동작 방법
본 개시는 디스플레이 장치 및 그의 동작 방법에 관한 것이다.
최근 들어, 유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화되고 있다. 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다.
예를 들어, 디지털 TV 서비스의 한 종류인 IPTV(Internet Protocol Television), smart TV 서비스의 경우 사용자로 하여금 시청 프로그램의 종류, 시청 시간 등을 능동적으로 선택할 수 있도록 하는 양방향성을 제공한다. IPTV, smart TV서비스는 이러한 양방향성을 기반으로 하여 다양한 부가 서비스, 예컨대 인터넷 검색, 홈쇼핑, 온라인 게임 등을 제공할 수도 있다.
한편, 사용자는 컨텐트를 시청할 때 컨텐트에 등장하는 제품, 인물, 장소 등에 대해 궁금증을 갖을 수 있다. 이 경우, 사용자는 인터넷 등을 이용하여 컨텐트에 등장하는 제품, 인물, 장소 등을 일일이 직접 검색해야 하는 불편이 있다. 또한, 사용자는 컨텐트에 등장하는 제품, 인물, 장소 등을 일일이 검색하더라도 컨텐트에 등장한 것과 일치하는 제품, 인물 또는 장소를 찾기 어려울 수 있다.
따라서, 사용자가 현재 시청 중인 컨텐트와 관련된 제품, 인물 또는 장소 등에 대한 정보를 자동으로 제공하는 방안이 요구될 수 있다. 특히, 컨텐트 관련 정보에 대한 사용자의 요청이 있을 경우, 사용자의 요청에 맞는 정보를 보다 정확하게 제공하는 방안이 요구될 수 있다.
본 개시는 컨텐트 관련 정보를 제공할 때 사용자의 요청에 대응하는 정보를 보다 빠르고, 우선적으로 제공하는 디스플레이 장치 및 그의 동작 방법을 제공하고자 한다.
본 개시는 컨텐트 관련 정보를 제공할 때 사용자의 요청에 대응하는 정보를 보다 정확하게 제공하는 디스플레이 장치 및 그의 동작 방법을 제공하고자 한다.
본 개시에 따른 디스플레이 장치는 컨텐트를 표시하는 디스플레이, 및 음성 명령을 수신하면, 음성 명령을 수신한 시점의 장면에 대응하는 컨텐트 관련 정보가 표시되도록 디스플레이를 제어하는 제어부를 포함하고, 제어부는 음성 명령에서 요청된 카테고리에 기초하여 컨텐트 관련 정보의 배열을 변경할 수 있다.
제어부는 요청된 카테고리에 해당하는 정보가 다른 정보 보다 선 순위로 표시되도록 컨텐트 관련 정보의 배열을 변경할 수 있다.
디스플레이는 컨텐트 관련 정보가 제1 카테고리에 해당하는 정보 및 제2 카테고리에 해당하는 정보를 포함할 경우, 요청된 카테고리가 제1 카테고리이면 제1 카테고리에 해당하는 정보가 제2 카테고리에 해당하는 정보 보다 먼저 표시할 수 있다.
제어부는 요청된 카테고리에 해당하는 정보가 컨텐트 관련 정보에 존재하지 않으면, 요청된 카테고리에 해당하는 정보 외의 다른 정보가 표시되도록 디스플레이를 제어할 수 있다.
제어부는 요청된 카테고리에 해당하는 정보가 컨텐트 관련 정보에 존재하지 않으면, 컨텐트 관련 정보에 요청된 카테고리 외 다른 카테고리에 해당하는 정보가 존재하는지 판단할 수 있다.
제어부는 컨텐트 관련 정보에 요청된 카테고리 외 다른 카테고리에 해당하는 정보가 존재하면, 다른 카테고리에 해당하는 정보가 표시되도록 디스플레이를 제어할 수 있다.
제어부는 요청된 카테고리에 해당하는 정보가 컨텐트 관련 정보에 존재하지 않으면, 음성 명령을 수신하기 이전 장면에 요청된 카테고리에 해당하는 정보가 존재하는지 판단할 수 있다.
제어부는 음성 명령을 수신하기 이전 장면에 요청된 카테고리에 해당하는 정보가 존재하면, 이전 장면에 포함된 요청된 카테고리에 해당하는 정보가 표시되도록 디스플레이를 제어할 수 있다.
제어부는 요청된 카테고리에 해당하는 정보가 컨텐트 관련 정보에 존재하지 않으면, 컨텐트에 포함된 모든 컨텐트 관련 정보가 표시되도록 디스플레이를 제어할 수 있다.
제어부는 컨텐트 관련 정보를 요청하는 음성 명령을 수신하면, 카테고리를 포함하는 메타데이터인 컨텐트 관련 정보를 획득할 수 있다.
카테고리는 장소, 제품, 인물 및 기타 중 적어도 하나를 포함할 수 있다.
컨텐트 관련 정보는 컨텐트를 구성하는 복수의 프레임 각각에 대한 프레임 시간에 대응되는 카테고리들을 포함할 수 있다.
제어부는 컨텐트 관련 정보를 표시할 때 음성 명령을 수신한 시점에 켭쳐된 이미지가 더 표시되도록 디스플레이를 제어할 수 있다.
제어부는 음성 명령에 기초하여 요청된 카테고리를 획득할 수 있다.
제어부는 요청된 카테고리에 기초하여 컨텐트 관련 정보가 표시되는 순서를 결정할 수 있다.
본 개시에 따르면, 디스플레이 장치는 사용자에 의해 요청된 카테고리에 해당하는 정보를 선 순위로 표시하므로, 사용자가 원하는 정보를 빠르게 획득할 수 있는 편의성을 제공 가능한 이점이 있다.
본 개시에 따르면, 디스플레이 장치는 사용자에 의해 요청된 카테고리에 해당하는 정보가 존재하지 않으면, 다른 카테고리의 정보를 표시하거나 이전 장면에 포함된 요청된 카테고리에 해당하는 정보를 표시함으로써, 사용자가 원하는 정보를 보다 정확하게 제공하는 이점이 있다.
본 개시에 따르면, 디스플레이 장치는 컨텐트 관련 정보를 표시할 때 캡쳐 이미지를 함께 표시함으로써, 사용자가 표시된 컨텐트 관련 정보가 어떤 장면과 관련된 컨텐트 관련 정보인지 용이하게 확인 가능한 이점이 있다.
본 개시에 따르면, 디스플레이 장치는 카테고리를 포함하는 메타데이터인 컨텐트 관련 정보를 이용함으로써, 사용자가 요청한 카테고리에 해당하는 정보를 보다 정확하게 제공 가능한 이점이 있다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2는 본 개시의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 4는 본 개시의 실시 예에 따라 원격제어장치를 활용하는 예를 보여준다.
도 5는 본 개시의 실시 예에 따른 디스플레이 장치가 동작하는 방법이 도시된 순서도이다.
도 6은 본 개시의 실시 예에 따른 디스플레이 장치가 요청된 카테고리 및 컨텐트 관련 정보를 획득하는 방법의 일 예가 도시된 개략도이다.
도 7은 본 개시의 실시 예에 따른 디스플레이 장치가 카테고리 별 컨텐트 관련 정보를 표시하는 방법의 예가 도시된 도면이다.
도 8은 본 개시의 실시 예에 따른 컨텐트 관련 정보의 구조가 도시된 예시 도면이다.
도 9는 본 개시의 실시 예에 따른 디스플레이 장치가 컨텐트 관련 정보의 배열을 변경하는 방법의 일 예가 도시된 순서도이다.
도 10은 본 개시의 실시 예에 따른 디스플레이 장치가 요청된 카테고리에 해당하는 정보 외에 다른 정보를 배열하는 방법의 일 예가 도시된 순서도이다.
도 11은 본 개시의 실시 예에 따른 디스플레이 장치가 컨텐트 관련 정보를 배열하는 제1 예를 설명하기 위한 예시 도면이다.
도 12는 본 개시의 실시 예에 따른 디스플레이 장치가 컨텐트 관련 정보를 배열하는 제2 예를 설명하기 위한 예시 도면이다.
도 13은 본 개시의 실시 예에 따른 디스플레이 장치가 컨텐트 관련 정보를 배열하는 제3 예를 설명하기 위한 예시 도면이다.
도 14는 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제1 예가 도시된 도면이다.
도 15는 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제2 예가 도시된 도면이다.
도 16은 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제3 예가 도시된 도면이다.
도 17은 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제4 예가 도시된 도면이다.
도 18은 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제5 예가 도시된 도면이다.
도 19 및 도 20은 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제6 예가 도시된 도면이다.
도 21은 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제7 예가 도시된 도면이다.
도 22는 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제8 예가 도시된 도면이다.
도 23은 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제9 예가 도시된 도면이다.
이하, 본 개시와 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 디스플레이 장치(100)는 방송 수신부(130), 외부기기 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 무선 통신부(173), 음성 획득부(175), 디스플레이(180), 오디오 출력부(185), 전원공급부(190)를 포함할 수 있다.
방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
외부기기 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
외부기기 인터페이스부(135)는 디스플레이 장치(100)와 외부 장치 간의 연결 경로를 제공할 수 있다. 외부기기 인터페이스부(135)는 디스플레이 장치(100)에 무선 또는 유선으로 연결된 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, 제어부(170)로 전달할 수 있다. 외부기기 인터페이스부(135)는 복수의 외부 입력 단자들을 포함할 수 있다. 복수의 외부 입력 단자들은 RGB 단자, 하나 이상의 HDMI(High Definition Multimedia Interface) 단자, 컴포넌트(Component) 단자를 포함할 수 있다.
외부기기 인터페이스부(135)를 통해 입력된 외부장치의 영상 신호는 디스플레이(180)를 통해 출력될 수 있다. 외부기기 인터페이스부(135)를 통해 입력된 외부장치의 음성 신호는 오디오 출력부(185)를 통해 출력될 수 있다.
외부기기 인터페이스부(135)에 연결 가능한 외부 장치는 셋톱 박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있으나, 이는 예시에 불과하다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램을 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 저장부(140)는 외부기기 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
저장부(140)는 외부기기 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부기기 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부기기 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부기기 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는 영상을 표시하도록 디스플레이(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부기기 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
무선 통신부(173)는 유선 또는 무선 통신을 통해 외부 기기와 통신을 수행할 수 있다. 무선 통신부(173)는 외부 기기와 근거리 통신(Short range communication)을 수행할 수 있다. 이를 위해, 무선 통신부(173)는 블루투스(Bluetooth™), BLE(Bluetooth Low Energy), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 무선 통신부(173)는 근거리 무선 통신망(Wireless Area Networks)을 통해 디스플레이 장치(100)와 무선 통신 시스템 사이, 디스플레이 장치(100)와 다른 디스플레이 장치(100) 사이, 또는 디스플레이 장치(100)와 디스플레이 장치(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
여기에서, 다른 디스플레이 장치(100)는 본 개시에 따른 디스플레이 장치(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display)), 스마트 폰과 같은 이동 단말기가 될 수 있다. 무선 통신부(173)는 디스플레이 장치(100) 주변에, 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(170)는 감지된 웨어러블 디바이스가 본 개시에 따른 디스플레이 장치(100)와 통신하도록 인증된(authenticated) 디바이스인 경우, 디스플레이 장치(100)에서 처리되는 데이터의 적어도 일부를, 무선 통신부(173)를 통해 웨어러블 디바이스로 송신할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 디스플레이 장치(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다.
음성 획득부(175)는 오디오를 획득할 수 있다. 음성 획득부(175)는 적어도 하나의 마이크(미도시)를 포함할 수 있고, 마이크(미도시)를 통해 디스플레이 장치(100) 주변의 오디오를 획득할 수 있다.
디스플레이(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부기기 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 개시의 일 실시 예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 개시의 실시 예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 개시의 권리범위를 제한하지 아니한다.
본 개시의 또 다른 실시 예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부기기 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋톱 박스 등과 같은 영상 처리 장치와 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 개시의 실시 예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 분리된 셋톱 박스 등과 같은 영상 처리 장치 또는 디스플레이(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
오디오 출력부(185)는, 제어부(170)에서 음성 처리된 신호를 입력 받아 음성으로 출력한다.
전원 공급부(190)는, 디스플레이 장치(100) 전반에 걸쳐 해당 전원을 공급한다. 특히, 시스템 온 칩(System On Chip, SOC)의 형태로 구현될 수 있는 제어부(170)와, 영상 표시를 위한 디스플레이(180), 및 오디오 출력을 위한 오디오 출력부(185) 등에 전원을 공급할 수 있다.
구체적으로, 전원 공급부(190)는, 교류 전원을 직류 전원으로 변환하는 컨버터와, 직류 전원의 레벨을 변환하는 dc/dc 컨버터를 구비할 수 있다.
다음으로, 도 2 내지 도 3을 참조하여, 본 개시의 일 실시 예에 따른 원격제어장치에 대해 설명한다.
도 2는 본 개시의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 3은 본 개시의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
먼저, 도 2를 참조하면, 원격제어장치(200)는 지문인식부(210), 무선통신부(220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원공급부(260), 저장부(270), 제어부(280), 음성 획득부(290)를 포함할 수 있다.
도 2를 참조하면, 무선통신부(220)는 전술하여 설명한 본 개시의 실시 예들에 따른 디스플레이 장치 중 임의의 어느 하나와 신호를 송수신한다.
원격제어장치(200)는 RF 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다. 또한, 원격제어장치(200)는 블루투스 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 블루투스 모듈(225)를 구비할 수 있다. 또한, 원격제어장치(200)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수할 수 있는 NFC 모듈(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 WLAN 모듈(229)을 구비할 수 있다.
또한, 원격제어장치(200)는 디스플레이 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 무선 통신부(220)를 통해 전송한다.
한편, 원격제어장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(230)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.
도 3을 참조하면, 원격제어장치(200)는 복수의 버튼을 포함할 수 있다. 복수의 버튼은 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239)을 포함할 수 있다.
지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시 예로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다. 전원 버튼(231)은 디스플레이 장치(100)의 전원을 온/오프 하기 위한 버튼일 수 있다. 홈 버튼(232)은 디스플레이 장치(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다. 라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다. 외부 입력 버튼(234)은 디스플레이 장치(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다. 음량 조절 버튼(235)은 디스플레이 장치(100)가 출력하는 음량의 크기를 조절하기 위한 버튼일 수 있다. 음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다. 채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다. 확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.
다시 도 2를 설명한다.
사용자 입력부(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 명세서의 권리범위를 제한하지 아니한다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x, y, z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이(180)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(230)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(230)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다.
예를 들어, 출력부(250)는 사용자 입력부(230)가 조작되거나 무선 통신부(220)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
또한, 전원공급부(260)는 원격제어장치(200)로 전원을 공급하며, 원격제어장치(200)가 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로써 전원 낭비를 줄일 수 있다. 전원공급부(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 디스플레이 장치(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)와 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.
원격제어장치(200)의 제어부(280)는 원격제어장치(200)와 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.
제어부(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(280)는 사용자 입력부(230)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(220)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
또한, 원격제어장치(200)의 음성 획득부(290)는 음성을 획득할 수 있다.
음성 획득부(290)는 적어도 하나 이상의 마이크(291)을 포함할 수 있고, 마이크(291)를 통해 음성을 획득할 수 있다.
다음으로 도 4를 설명한다.
도 4는 본 개시의 실시 예에 따라 원격제어장치를 활용하는 예를 보여준다.
도 4의 (a)는 원격제어장치(200)에 대응하는 포인터(205)가 디스플레이(180)에 표시되는 것을 예시한다.
사용자는 원격제어장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 디스플레이 장치(100)의 디스플레이(180)에 표시된 포인터(205)는 원격제어장치(200)의 움직임에 대응한다. 이러한 원격제어장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)는 사용자가 원격제어장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격제어장치(200)의 센서를 통하여 감지된 원격제어장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송된다. 디스플레이 장치(100)는 원격제어장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 디스플레이 장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)는, 원격제어장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격제어장치(200)를 디스플레이(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.
이와 반대로, 사용자가 원격제어장치(200)를 디스플레이(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.
한편, 원격제어장치(200)가 디스플레이(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격제어장치(200)가 디스플레이(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
또한, 원격제어장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격제어장치(200)가 디스플레이(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격제어장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격제어장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격제어장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 명세서에서의 포인터는, 원격제어장치(200)의 동작에 대응하여, 디스플레이(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
디스플레이 장치(100)는 표시 중인 컨텐트와 관련된 정보를 제공할 수 있다. 예를 들어, 디스플레이 장치(100)는 표시 중인 컨텐트와 관련된 정보를 디스플레이(180)에 표시하거나, 오디오 출력부(185)를 통해 출력함으로써 컨텐트와 관련된 정보를 제공할 수 있다. 그러나, 컨텐트와 관련된 정보를 제공하는 방법은 상술한 방법에 제한되지 않고, 보다 다양할 수 있다.
디스플레이 장치(100)는 사용자가 현재 시청 중인 컨텐트와 관련된 정보를 제공할 수 있다.
이하, 설명의 편의를 위해, 컨텐트와 관련된 정보는 컨텐트 관련 정보(content-related information)라고 한다.
컨텐트 관련 정보는 컨텐트에 등장하는 제품, 인물, 장소 또는 음악 등에 대한 정보를 의미할 수 있다. 컨텐트 관련 정보는 컨텐트에 등장하는 제품, 인물, 장소 또는 음악 등에 대한 정보뿐만 아니라, 컨텐트에 등장한 것과 유사한 제품, 인물, 장소 또는 음악 등에 대한 정보를 포함할 수 있다.
디스플레이 장치(100)는 컨텐트 관련 정보를 제공할 때, 컨텐트 관련 정보 중 현재 장면과 관련된 컨텐트 관련 정보를 제공할 수 있다. 즉, 디스플레이 장치(100)는 사용자가 현재 보고 있는 장면에 등장하는 것과 관련된 제품, 인물, 장소 또는 음악 등에 대한 정보를 제공할 수 있다. 이를 통해, 디스플레이 장치(100)는 사용자가 컨텐트를 시청하면서 궁금해할 수 있는 정보를 바로 제공할 수 있다.
한편, 사용자는 현재 장면에 나오는 음악에 대한 정보를 알고 싶었으나, 디스플레이 장치(100)에서 제품, 인물 또는 장소 등과 같이 음악이 아닌 다른 정보가 먼저 제공될 수 있고, 이 경우 사용자는 원하는 정보가 제공될 때까지 기다려야 하거나, 원하는 정보를 찾기 위해 별도의 입력을 해야 하는 불편이 발생할 수 있다.
따라서, 본 개시에 따른 디스플레이 장치(100)는 컨텐트 관련 정보를 제공할 때 사용자가 원하는 정보를 우선적으로 제공하고자 한다.
도 5는 본 개시의 실시 예에 따른 디스플레이 장치가 동작하는 방법이 도시된 순서도이다.
제어부(170)는 컨텐트를 표시할 수 있다(S10).
제어부(170)는 컨텐트를 디스플레이(180)에 표시할 수 있다. 이 때, 컨텐트는 방송 수신부(130)를 통해 수신되는 방송 영상일 수 있다. 그러나, 이는 예시적인 것에 불과하며, 컨텐트는 셋톱 박스 또는 스마트폰 등과 같이 외부기기로부터 수신되는 영상, 어플리케이션을 통해 재생되는 영상 등을 포함할 수 있다.
제어부(170)는 컨텐트를 표시할 때 음성 명령을 수신하였는지 판단할 수 있다(S20).
이 때, 음성 명령은 컨텐트 관련 정보를 요청하는 명령일 수 있다. 즉, 제어부(170)는 컨텐트를 표시할 때 컨텐트 관련 정보를 요청하는 명령을 수신하였는지 판단할 수 있다.
사용자는 디스플레이 장치(100)에 구비된 음성 획득부(175) 또는 원격제어장치(200)에 구비된 음성 획득부(290)를 통해 음성으로 디스플레이 장치(100)에 컨텐트 관련 정보를 요청할 수 있다. 따라서, 제어부(170)는 컨텐트 관련 정보를 요청하는 명령을 음성 획득부(175) 또는 사용자입력 인터페이스부(150)를 통해 수신할 수 있다.
제어부(170)는 음성 명령을 수신하지 않은 경우, 컨텐트를 계속해서 표시할 수 있다.
제어부(170)는 음성 명령을 수신한 경우, 음성 명령에 기초하여 사용자에 의해 요청된 카테고리를 획득할 수 있다(S30).
요청된 카테고리(requested category)는 사용자가 음성 명령을 통해 요청한 컨텐트 관련 정보의 카테고리를 의미할 수 있다. 예를 들어, 카테고리는 인물, 패션 제품, 이외 제품, 장소, 음악 등을 포함할 수 있으나, 이는 예시적인 것에 불과하며, 카테고리의 종류는 다양할 수 있다. 한편, 카테고리는 상세 카테고리로 구분될 수도 있다. 예를 들어, 인물 카테고리는 남자, 여자, 성인, 어린이 등과 같은 상세 카테고리를 갖고, 패션 제품 카테고리는 옷, 신발, 바지 등과 같은 상세 카테고리를 갖을 수 있으나, 이는 예시적인 것에 불과하므로, 이에 제한되지 않는다.
일 실시 예에 따르면, 제어부(170)는 내부적으로 음성 명령을 분석함으로써 사용자에 의해 요청된 카테고리를 획득할 수 있다. 예를 들어, 제어부(170)는 음성 명령에서 기설정된 키워드를 추출함으로써 사용자에 의해 요청된 카테고리를 획득할 수 있다. 그러나, 이는 예시적인 것에 불과하므로, 이에 제한되지 않는다.
다른 실시 예에 따르면, 제어부(170)는 외부 서버(예를 들어, 도 6의 NLP 서버(10))를 통해 사용자에 의해 요청된 카테고리를 획득할 수 있다. 이에 대해서는 도 6에서 설명하기로 한다.
그리고, 제어부(170)는 음성 명령을 수신한 시점의 장면에 대응하는 컨텐트 관련 정보를 획득할 수 있다(S40).
제어부(170)는 컨텐트 관련 정보 중 음성 명령을 수신한 시점의 장면에 대응하는 컨텐트 관련 정보를 획득할 수 있다. 이 때, 음성 명령을 수신한 시점의 장면은 음성 명령을 수신한 시점에 표시 중인 장면만을 포함하거나, 음성 명령을 수신한 시점에 표시 중인 장면과 음성 명령을 수신하기 전 소정 시간 동안의 장면들을 포함할 수도 있다. 따라서, 제어부(170)는 음성 명령을 수신한 시점의 장면에 해당하는 컨텐트 관련 정보를 획득할 수 있다. 또는, 제어부(170)는 음성 명령을 수신한 시점의 장면 및 음성 명령을 수신하기 전 소정 시간 동안의 장면들에 대한 컨텐트 관련 정보를 획득할 수 있다.
컨텐트 관련 정보는 카테고리를 포함하는 메타데이터일 수 있다. 제어부(170)는 컨텐트 관련 정보를 요청하는 음성 명령을 수신하면, 카테고리를 포함하는 메타데이터인 컨텐트 관련 정보를 획득할 수 있다.
제어부(170)는 컨텐트 관련 정보를 외부 서버(예를 들어, 도 6의 메타데이터 서버(40))를 통해 획득할 수 있다. 이에 대해서는 도 6에서 설명하기로 한다.
한편, 단계 S30과 단계 S40의 순서는 변경될 수 있다. 즉, 제어부(170)는 음성 명령을 수신하면 음성 명령을 수신한 시점의 장면에 대응하는 컨텐트 관련 정보를 획득한 후 사용자에 의해 요청된 카테고리를 획득할 수 있다. 또한, 제어부(170)는 음성 명령을 수신하면 음성 명령을 수신한 시점의 장면에 대응하는 컨텐트 관련 정보와 사용자에 의해 요청된 카테고리를 동시에 획득할 수도 있다.
제어부(170)는 음성 명령에 따른 요청된 카테고리 및 컨텐트 관련 정보를 획득하면, 요청된 카테고리에 따라 컨텐트 관련 정보의 배열을 변경하고(S50), 변경된 배열에 따라 컨텐트 관련 정보를 표시할 수 있다(S60).
즉, 제어부(170)는 컨텐트 관련 정보를 표시할 때 요청된 카테고리에 기초하여 컨텐트 관련 정보의 배열을 변경한 후 디스플레이(180)에 표시할 수 있다. 이와 같이, 디스플레이 장치(100)가 사용자에 의해 요청된 카테고리에 기초하여 컨텐트 관련 정보의 배열을 변경하여 표시할 경우, 사용자가 원하는 정보가 우선적으로 표시될 가능성이 높아지므로, 사용자가 원하는 정보를 보다 빠르고, 정확하게 제공할 수 있다.
한편, 제어부(170)는 요청된 카테고리를 획득하지 못한 경우에는 컨텐트 관련 정보를 디폴트 순서에 따라 배열하여 디스플레이(180)에 표시할 수 있다.
다음으로, 도 6 내지 도 23을 참조하여, 도 5에서 설명한 디스플레이 장치(100)의 동작 방법과 그 예시를 상세히 설명한다.
도 6은 본 개시의 실시 예에 따른 디스플레이 장치가 요청된 카테고리 및 컨텐트 관련 정보를 획득하는 방법의 일 예가 도시된 개략도이다.
NLP 서버(10)는 Natural Language Processing 서버일 수 있다. NLP 서버(10)는 음성 데이터를 분석하여 사용자의 의도를 파악할 수 있다. 예를 들어, NLP 서버(10)는 음성 데이터를 분석하여 사용자에 의해 요청된 카테고리를 파악할 수 있다.
메타데이터 서버(40)는 컨텐츠 각각에 대한 컨텐트 관련 정보를 저장 및 관리할 수 있다. 메타데이터 서버(40)는 디스플레이 장치(100)에 컨텐트 관련 정보를 제공할 수 있다. 예를 들어, 디스플레이 장치(100)가 메타데이터 서버(40)에 컨텐트 정보를 전송하면, 메타데이터 서버(40)는 컨텐트 정보에 따라 컨텐트 관련 정보를 추출하여 디스플레이 장치(100)에 전송할 수 있다.
따라서, 디스플레이 장치(100)는 컨텐트 관련 정보를 요청하는 사용자의 음성 명령을 수신하면, 음성 명령을 포함하는 음성 데이터를 NLP 서버(10)에 전송하고, 음성 명령에서 요청된 카테고리를 NLP 서버(10)로부터 수신할 수 있다.
한편, 디스플레이 장치(100)는 컨텐트 관련 정보를 요청하는 사용자의 음성 명령을 수신하면, 음성 명령을 수신한 시점에서의 컨텐트 정보를 획득할 수 있다.
이 때, 컨텐트 정보는 컨텐트를 식별하기 위한 컨텐트 ID, 음성 명령을 수신한 시점에 해당하는 재생 시간, 음성 명령을 수신한 시점에서의 컨텐트 캡쳐 이미지 등 중 적어도 하나를 포함할 수 있다.
디스플레이 장치(100)는 상술한 바와 같은 컨텐트 정보를 메타데이터 서버(40)로 전송하면, 메타데이터 서버(40)가 컨텐트 정보에 기초하여 컨텐트 관련 정보를 획득하여 디스플레이 장치(100)에 전송할 수 있다. 디스플레이 장치(100)는 컨텐트 정보에 응답하는 컨텐트 관련 정보를 메타데이터 서버(40)로부터 수신할 수 있다. 컨텐트 관련 정보는 메타데이터일 수 있다.
디스플레이 장치(100)는 음성 명령에 따라 컨텐트 정보(예를 들어, 캡쳐 이미지)를 획득한 시점과 요청된 카테고리가 등장하는 시점을 비교할 수 있다. 디스플레이 장치(100)는 음성 명령에 따라 컨텐트 정보(예를 들어, 캡쳐 이미지)를 획득한 시점의 컨텐트 관련 정보가 요청된 카테고리에 해당하는 정보를 포함하면, 요청된 카테고리에 따라 컨텐트 관련 정보의 정렬을 변경할 수 있다.
도 7은 본 개시의 실시 예에 따른 디스플레이 장치가 카테고리 별 컨텐트 관련 정보를 표시하는 방법의 예가 도시된 도면이다.
도 7의 (a)는 카테고리가 장소에 해당하는 컨텐트 관련 정보가 표시되는 형식의 예이고, 도 7의 (b)는 카테고리가 인물을 포함하는 제품에 해당하는 컨텐트 관련 정보가 표시되는 형식의 예이고, 도 7의 (c)는 카테고리가 인물을 포함하지 않는 제품에 해당하는 컨텐트 관련 정보가 표시되는 형식의 예이다. 즉, 제품 카테고리는 인물을 포함하거나, 포함하지 않을 수 있다. 이하, 설명의 편의를 위해, '제품 및 인물 카테고리'는 인물을 포함하는 제품 카테고리를 의미하고, '제품 카테고리'는 인물을 포함하지 않는 제품 카테고리를 의미하는 것으로 가정한다.
도 7의 (a)에 도시된 바와 같이 제어부(170)는 카테고리가 장소인 경우 장소 이미지, 장소 이름, 장소 설명 중 적어도 하나를 포함하는 컨텐트 관련 정보가 표시되도록 디스플레이(180)를 제어하고, 도 7의 (b)에 도시된 바와 같이 제어부(170)는 카테고리가 인물을 포함하는 제품인 경우 인물 이미지, 인물 이름, 인물이 착용하고 있는 아이템, 인물이 착용하고 있는 아이템과 유사한 아이템 중 적어도 하나를 포함하는 컨텐트 관련 정보가 표시되도록 디스플레이(180)를 제어하고, 도 7의 (c)에 도시된 바와 같이 제어부(170)는 카테고리가 제품인 경우 장면에 포함된 아이템, 장면에 포함된 아이템과 유사한 아이템 중 적어도 하나를 포함하는 컨텐트 관련 정보가 표시되도록 디스플레이(180)를 제어할 수 있다.
제품 및 인물 카테고리에 해당하는 정보는 각 인물마다 컨텐트 관련 정보가 생성될 수 있다.
제어부(170)는 컨텐트 관련 정보를 표시할 때 요청된 카테고리에 해당하는 컨텐트 관련 정보가 우선적으로 표시되도록 디스플레이(180)를 제어할 수 있다. 예를 들어, 제어부(170)는 요청된 카테고리가 장소인 경우, 도 7의 (a)에 도시된 컨텐트 관련 정보가 도 7의 (b)에 도시된 컨텐트 관련 정보 또는 도 7의 (c)에 도시된 컨텐트 관련 정보 보다 먼저 표시되도록 디스플레이(180)를 제어할 수 있다.
도 8은 본 개시의 실시 예에 따른 컨텐트 관련 정보의 구조가 도시된 예시 도면이다.
도 8은 메타데이터인 컨텐트 관련 정보의 예시 도면으로, 컨텐트 관련 정보는 컨텐트 정보 및 카테고리를 포함할 수 있다.
컨텐트 정보(media)는 컨텐트를 구성하는 복수의 프레임 각각에 대해 프레임 시간(frame time) 각각에 대응하는 media id, media name 등을 포함할 수 있다. media id는 컨텐트 ID이고, media name은 컨텐트 이름일 수 있다.
카테고리(category)는 장소(location), 제품(product), 기타(others) 등을 포함할 수 있다. 그리고, 카테고리(category)는 인물(character)을 더 포함할 수 있다. 즉, 카테고리는 장소, 제품, 인물 및 기타 중 적어도 하나를 포함할 수 있다.
일 예에 따르면, 인물 카테고리는 장소 카테고리 제품 카테고리 기타 카테고리와 별개로 존재할 수 있다. 다른 예에 따르면, 인물 카테고리는 제품 카테고리에 포함될 수도 있다. 이 경우, 제품 카테고리는 인물 카테고리를 포함하거나, 포함하지 않을 수 있다.
장소(location)는 컨텐트를 구성하는 복수의 프레임 각각에 대해 프레임 시간(frame time) 각각에 대응하는 장소 이름, 장소 이미지, 장소 링크를 포함할 수 있다.
제품(product)은 컨텐트를 구성하는 복수의 프레임 각각에 대해 프레임 시간(frame time) 각각에 대응하는 인물/배우 이름, 인물 성별, 인물 이미지, 인물 랭크를 포함할 수 있다. 그리고, 인물/배우 이름 각각에는 제품 랭크, 제품 카테고리, 제품 이름, 제품 이미지, 제품 가격, 제품 브랜드, 제품 링크, 유사 제품을 포함하고, 유사 제품은 유사 제품 이름, 유사 제품 이미지, 유사 제품 가격, 유사 제품 브랜드 및 유사 제품 링크를 포함할 수 있다.
예를 들어, 제품 카테고리는 'Clothing' 카테고리, 'Shoes' 카테고리 및 'Jewelry' 카테고리 등을 포함할 수 있다.
기타(others)는 컨텐트를 구성하는 복수의 프레임 각각에 대해 프레임 시간(frame time) 각각에 대응하는 제품 랭크, 제품 카테고리, 제품 이름, 제품 이미지, 제품 가격, 제품 브랜드, 제품 링크, 유사 제품을 포함하고, 유사 제품은 유사 제품 이름, 유사 제품 이미지, 유사 제품 가격, 유사 제품 브랜드 및 유사 제품 링크를 포함할 수 있다.
즉, 컨텐트 관련 정보는 컨텐트를 구성하는 복수의 프레임 각각에 대한 프레임 시간에 대응되는 카테고리들을 포함할 수 있다. 즉 메타데이터인 컨텐트 관련 정보는 카테고리화되어 있을 수 있다.
제어부(170)는 도 8에 도시된 바와 같은 구조의 컨텐트 관련 정보를 이용함으로써 음성 명령을 수신한 시점의 장면에 대응하는 컨텐트 관련 정보를 보다 용이하게 획득할 수 있다. 예를 들어, 제어부(170)는 음성 명령의 수신한 시점에 해당하는 컨텐트의 재생 시간을 획득하고, 컨텐트의 재생 시간과 일치하는 프레임 시간에 대응하는 장소, 제품, 기타 등에 대한 정보를 획득할 수 있다.
그리고, 제어부(170)는 도 8에 도시된 바와 같은 구조의 컨텐트 관련 정보를 이용함으로써 요청된 카테고리에 해당하는 정보를 획득할 수 있다. 예를 들어, 제어부(170)는 도 8에 도시된 바와 같은 구조의 컨텐트 관련 정보에서 요청된 카테고리에 해당하는 정보와 일치하는 정보를 추출함으로써, 요청된 카테고리에 해당하는 정보를 획득할 수 있다.
제어부(170)는 요청된 카테고리에 해당하는 정보를 획득하면, 요청된 카테고리에 해당하는 정보가 다른 정보 보다 우선적으로 표시되도록 컨텐트 관련 정보의 배열을 변경한 후 컨텐트 관련 정보를 표시할 수 있다.
다음으로, 도 9를 참조하여, 본 개시의 실시 예에 따른 디스플레이 장치(100)가 컨텐트 관련 정보의 배열을 변경하는 방법의 일 예를 설명한다.
도 9는 본 개시의 실시 예에 따른 디스플레이 장치가 컨텐트 관련 정보의 배열을 변경하는 방법의 일 예가 도시된 순서도이다.
특히, 도 9는 도 5의 단계 S50이 구체화된 순서도일 수 있다.
제어부(170)는 요청된 카테고리에 해당하는 정보가 컨텐트 관련 정보에 존재하는지 판단할 수 있다(S51).
구체적으로, 제어부(170)는 음성 명령을 수신한 시점에서의 컨텐트 재생 시간에 해당하는 프레임 시간을 검출하고, 컨텐트 관련 정보에서 검출된 프레임 시간에 대응하는 카테고리 중 요청된 카테고리에 해당하는 정보를 검색할 수 있다. 만약, 제어부(170)는 컨텐트 관련 정보에서 요청된 카테고리에 해당하는 정보가 검색되지 않으면 요청된 카테고리에 해당하는 정보가 컨텐트 관련 정보에 존재하지 않는 것으로 판단하고, 컨텐트 관련 정보에서 요청된 카테고리에 해당하는 정보가 검색되면 요청된 카테고리에 해당하는 정보가 컨텐트 관련 정보에 존재하는 것으로 판단할 수 있다.
제어부(170)는 요청된 카테고리에 해당하는 정보가 컨텐트 관련 정보에 존재하면, 요청된 카테고리에 해당하는 정보를 다른 정보 보다 선 순위로 배열할 수 있다(S53).
이 때, 다른 정보는 요청된 카테고리에 해당하지 않는 정보일 수 있다.
제어부(170)는 요청된 카테고리에 해당하는 정보가 요청된 카테고리에 해당하지 않는 정보 보다 선 순위로 배열할 수 있다.
일 실시 예에 따르면, 제어부(170)는 요청된 카테고리에 해당하는 정보가 요청된 카테고리에 해당하지 않는 정보 보다 먼저 위치하도록 컨텐트 관련 정보를 배열 수 있다. 예를 들어, 디스플레이(180)는 컨텐트 관련 정보가 제1 카테고리에 해당하는 정보 및 제2 카테고리에 해당하는 정보를 포함할 경우, 요청된 카테고리가 제1 카테고리이면 제1 카테고리에 해당하는 정보가 제2 카테고리에 해당하는 정보 보다 먼저 표시할 수 있다.
다른 실시 예에 따르면, 제어부(170)는 요청된 카테고리에 해당하는 정보의 표시 크기가 요청된 카테고리에 해당하는 않는 정보의 표시 크기 보다 크도록 컨텐트 관련 정보를 배열 수 있다. 예를 들어, 디스플레이(180)는 컨텐트 관련 정보가 제1 카테고리에 해당하는 정보 및 제2 카테고리에 해당하는 정보를 포함할 경우, 요청된 카테고리가 제1 카테고리이면 제1 카테고리에 해당하는 정보의 크기가 제2 카테고리에 해당하는 정보의 크기 보다 크게 표시할 수 있다.
상술한 방법은 예시적인 것에 불과하며, 제어부(170)는 다양한 방법으로 요청된 카테고리에 해당하는 정보를 다른 정보 보다 선 순위로 배열할 수 있다.
한편, 제어부(170)는 요청된 카테고리에 해당하는 정보가 컨텐트 관련 정보에 존재하지 않으면, 요청된 카테고리에 해당하는 정보 외에 다른 정보를 배열할 수 있다(S55).
제어부(170)는 요청된 카테고리에 해당하는 정보가 컨텐트 관련 정보에 존재하지 않으면, 다른 정보가 표시되도록 컨텐트 관련 정보를 배열할 수 있다.
이 때, 다른 정보는 요청된 카테고리에 해당하는 않는 정보 또는 음성 명령을 수신한 시점 이전 장면에 존재하는 요청된 카테고리에 해당하는 정보 중 적어도 하나를 포함할 수 있다.
다음으로, 도 10을 참조하여, 본 개시의 실시 예에 따른 디스플레이 장치(100)가 요청된 카테고리에 해당하는 정보 외에 다른 정보를 배열하는 방법의 일 예를 설명한다.
도 10은 본 개시의 실시 예에 따른 디스플레이 장치가 요청된 카테고리에 해당하는 정보 외에 다른 정보를 배열하는 방법의 일 예가 도시된 순서도이다.
특히, 도 10은 도 9의 단계 S55가 구체화된 순서도이다.
제어부(170)는 요청된 카테고리에 해당하는 정보 외에 다른 정보가 존재하는지 판단할 수 있다(S61).
제어부(170)는 요청된 카테고리에 해당하는 정보가 컨텐트 관련 정보에 존재하지 않으면, 요청된 카테고리에 해당하는 정보 외에 다른 정보가 존재하는지 판단할 수 있다.
제어부(170)는 요청된 카테고리에 해당하는 정보 외에 다른 정보가 존재하면, 요청된 카테고리에 해당하는 정보 외에 다른 정보를 배열할 수 있다(S63).
이 때, 다른 정보는 요청된 카테고리에 해당하는 않는 정보로, 요청된 카테고리가 아닌 다른 카테고리에 해당하는 정보일 수 있다. 즉, 제어부(170)는 요청된 카테고리에 해당하는 정보 외에 요청된 카테고리에 해당하는 않는 정보가 존재하면, 요청된 카테고리에 해당하는 않는 정보를 배열할 수 있다. 즉, 제어부(170)는 컨텐트 관련 정보에 요청된 카테고리 외 다른 카테고리에 해당하는 정보가 존재하면, 다른 카테고리에 해당하는 정보가 표시되도록 디스플레이(180)를 제어할 수 있다.
한편, 제어부(170)는 요청된 카테고리에 해당하는 정보 외에 다른 정보가 존재하지 않으면, 이전 장면에 요청된 카테고리에 해당하는 정보가 존재하는지 판단할 수 있다(S65).
이전 장면은 음성 명령을 수신하기 전 소정 시간 동안의 장면들을 의미할 수 있다. 예를 들어, 이전 장면은 음성 명령을 수신하기 전 5초 동안의 장면들을 의미할 수 있으나, 이 때 5초는 예시적인 것에 불과하므로, 이에 제한되지 않음이 타당하다.
구체적으로, 제어부(170)는 이전 장면들에 해당하는 프레임 시간을 각각 검출하고, 프레임 시간 각각에 대응하는 카테고리 중 요청된 카테고리에 해당하는 정보를 검색할 수 있다.
한편, 단계 S61과 관계 없이, 제어부(170)는 요청된 카테고리에 해당하는 정보가 컨텐트 관련 정보에 존재하지 않으면, 음성 명령을 수신하기 이전 장면에 요청된 카테고리에 해당하는 정보가 존재하는지 판단할 수도 있다.
제어부(170)는 이전 장면에 요청된 카테고리에 해당하는 정보가 존재하면, 이전 장면에 포함된 요청된 카테고리에 해당하는 정보를 배열할 수 있다(S67).
즉, 제어부(170)는 음성 명령을 수신하기 이전 장면에 요청된 카테고리에 해당하는 정보가 존재하면, 이전 장면에 포함된 요청된 카테고리에 해당하는 정보가 표시되도록 디스플레이(180)를 제어할 수 있다.
그러나, 제어부(170)는 이전 장면에 요청된 카테고리에 해당하는 정보가 존재하지 않으면, 컨텐트에 포함된 모든 정보를 배열할 수 있다(S69).
즉, 제어부(170)는 이전 장면에 요청된 카테고리에 해당하는 정보가 존재하지 않으면, 컨텐트 관련 정보가 모두 표시되도록 컨텐트 관련 정보를 배열할 수 있다.
제어부(170)는 음성 명령을 수신한 시점에서의 장면과 그 이전 장면에서 요청된 카테고리에 해당하는 정보가 포함되지 않으면, 컨텐트 관련 정보가 모두 표시되는 컨텐트 관련 정보의 전체보기 모드로 제어할 수 있다.
한편, 단계 S61 및 단계 S65와 관계 없이, 제어부(170)는 요청된 카테고리에 해당하는 정보가 컨텐트 관련 정보에 존재하지 않으면, 컨텐트에 포함된 모든 컨텐트 관련 정보가 표시되도록 디스플레이(180)를 제어할 수도 있다.
다음으로, 도 11은 본 개시의 실시 예에 따른 디스플레이 장치가 컨텐트 관련 정보를 배열하는 제1 예를 설명하기 위한 예시 도면이다.
도 11의 예시에서, 음성 명령을 수신한 시점에서의 컨텐트 재생 시간에 해당하는 프레임 시간은 10000ms이고, 요청된 카테고리는 'shoes'일 수 있다. 제어부(170)는 프레임 시간이 10000ms에 대응하는 카테고리 중 요청된 카테고리 'shoes'에 해당하는 정보를 검색할 수 있다.
도 11의 (a)에 도시된 예시에 따르면, 컨텐트 관련 정보는 프레임 시간 10000ms에 대응하는 카테고리 'shoes'에 해당하는 'Character 1'의 'Product 1'에 대한 정보를 포함할 수 있다. 따라서, 이 경우 제어부(170)는 프레임 시간 10000ms에 대응하는 카테고리 'shoes'에 해당하는 'Character 1'의 'Product 1'에 대한 정보가 다른 정보, 즉 'Character 1'의 'Product 2'에 대한 정보, 'Character 2'의 'Product 1'에 대한 정보, 'location'에 대한 정보 보다 선 순위로 배열할 수 있다.
한편, 도 11의 (b)에 도시된 예시에 따르면, 컨텐트 관련 정보는 프레임 시간 10000ms에 대응하는 카테고리 'shoes'에 해당하는 정보를 포함하지 않을 수 있다. 따라서, 이 경우 제어부(170)는 프레임 시간 10000ms에 대응하는 다른 카테고리 'clothing'에 해당하는 'Character 1'의 'Product 1'에 대한 정보를 먼저 표시하고, 그 다음 이전 장면인 프레임 시간 9000ms에 대응하는 카테고리 'Character 1'의 'Product 2'에 대한 정보를 표시하고, 그 다음 'Character 2'의 'Product 1'에 대한 정보, 'location'에 대한 정보를 표시할 수 있다.
이와 같이, 제어부(170)는 요청된 카테고리 및 재생 시간에 기초하여 사용자가 선호하는 정보가 선 순위에 배치되도록 컨텐트 관련 정보를 배열할 수 있다.
다음으로, 도 12는 본 개시의 실시 예에 따른 디스플레이 장치가 컨텐트 관련 정보를 배열하는 제2 예를 설명하기 위한 예시 도면이다.
컨텐트 관련 정보는 디폴트로 장소 카테고리, 제품 및 인물 카테고리, 제품 카테고리에 순으로 배열되도록 설정될 수 있다.
따라서, 제어부(170)는 요청된 카테고리가 없으면 도 12의 (a)에 도시된 바와 같이 장소 카테고리에 해당하는 정보, 제품 및 인물 카테고리에 해당하는 정보, 제품 카테고리에 해당하는 정보 순으로 표시되도록 컨텐트 관련 정보를 배열할 수 있다.
한편, 제어부(170)는 요청된 카테고리가 인물인 경우, 도 12의 (b)에 도시된 바와 같이 제품 및 인물 카테고리에 해당하는 정보가 장소 카테고리에 해당하는 정보 및 제품 카테고리에 해당하는 정보 보다 선 순위로 표시되도록 컨텐트 관련 정보를 배열할 수 있다.
도 13은 본 개시의 실시 예에 따른 디스플레이 장치가 컨텐트 관련 정보를 배열하는 제3 예를 설명하기 위한 예시 도면이다.
제품 및 인물 카테고리에 해당하는 정보 내에서는 디폴트로 'Clothing' 카테고리, 'Shoes' 카테고리 및 'Jewelry' 카테고리 순으로 배열되도록 설정될 수 있다.
따라서, 제어부(170)는 요청된 카테고리가 'Product' 또는 'Fashion' 중 적어도 하나를 포함하는 경우, 도 13의 (a)에 도시된 바와 같이 제품 및 인물 카테고리에 해당하는 정보 내에서 'Clothing' 카테고리에 해당하는 정보, 'Shoes' 카테고리에 해당하는 정보 및 'Jewelry' 카테고리에 해당하는 정보 순으로 표시되도록 컨텐트 관련 정보를 배열할 수 있다. 즉, 제어부(170)는 제품 및 인물 카테고리에 해당하는 정보에 내에서 'Clothing' 카테고리에 해당하는 정보가 표시되고, 다음(next) 명령을 수신할 때마다 차례로 'Shoes' 카테고리에 해당하는 정보 및 'Jewelry' 카테고리에 해당하는 정보가 표시되도록 컨텐트 관련 정보를 배열할 수 있다. 정리하면, 제어부(170)는 제품 및 인물 카테고리에 해당하는 정보에 내에서 표시되는 컨텐트 관련 정보들의 순서를 요청된 카테고리에 따라 변경할 수도 있다.
한편, 제어부(170)는 음성 명령이 “What is that jewelry?”인 경우, 'Product', 'Fashion' 및 'Jewelry'를 요청된 카테고리로 획득할 수 있다. 이 경우, 제어부(170)는 제품 및 인물 카테고리에 해당하는 정보에 내에서 'Jewelry' 카테고리에 해당하는 정보가 'Clothing' 카테고리에 해당하는 정보 및 'Shoes' 카테고리에 해당하는 정보 보다 선 순위로 표시되도록 컨텐트 관련 정보를 배열할 수 있다. 즉, 제어부(170)는 제품 및 인물 카테고리에 해당하는 정보에 내에서 'Jewelry' 카테고리에 해당하는 정보 가 표시되고, 다음(next) 명령을 수신할 때마다 차례로 'Clothing' 카테고리에 해당하는 정보 및 'Shoes' 카테고리에 해당하는 정보가 표시되도록 컨텐트 관련 정보를 배열할 수 있다.
다음으로, 도 14 내지 도 23을 참조하여, 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 컨텐트 관련 정보를 표시하는 방법을 다양한 예시를 통해 설명한다.
도 14는 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제1 예가 도시된 도면이다.
도 14의 (a)에 도시된 바와 같이, 제어부(170)는 음성 명령으로 “저 사람 누구야(Who is that person)?”를 수신할 수 있다. 제어부(170)는 음성 명령을 수신한 시점에 화면을 캡쳐하여 캡쳐 이미지를 획득할 수 있다.
제어부(170)는 음성 명령에 기초하여 요청된 카테고리를 획득할 수 있다. 예를 들어, 제어부(170)는 음성 명령에 기초하여 '인물(character/actor)'을 요청된 카테고리로 획득할 수 있다.
그리고, 제어부(170)는 캡쳐 이미지에 기초하여 컨텐트 관련 정보를 획득할 수 있다. 제어부(170)는 컨텐트 관련 정보를 디스플레이(180)에 표시할 수 있고, 이 때 요청된 카테고리에 따라 컨텐트 관련 정보를 배열할 수 있다.
도 14의 (b)에 도시된 예시는 디스플레이(180)가 캡쳐 이미지(1401)와 함께 컨텐트 관련 정보를 표시한 화면의 예이다.
캡쳐 이미지(1401)는 음성 명령을 수신한 시점에서 캡쳐된 영상 이미지일 수 있다. 캡쳐 이미지(1401)를 통해 사용자는 컨텐트 관련 정보가 어떤 장면과 관련된 컨텐트 관련 정보인지 용이하게 확인 가능한 이점이 있다.
그리고, 도 14의 예시에서, 캡쳐 이미지(1401)에 대응하는 컨텐트 관련 정보는 제품 및 인물 카테고리에 해당하는 정보(1403)와 장소 카테고리에 해당하는 정보(1405)를 포함할 수 있다.
이 때, 디스플레이(180)는 요청된 카테고리에 기초하여 제품 및 인물 카테고리에 해당하는 정보(1403)를 장소 카테고리에 해당하는 정보(1405) 보다 선 순위로 표시할 수 있다.
제품 및 인물 카테고리에 해당하는 정보(1403)는 컨텐트에 등장하는 인물이 착용하고 있는 제품에 대한 정보 및 해당 인물이 착용하고 있는 것과 유사한 제품에 대한 정보를 포함할 수 있다.
제품 및 인물 카테고리에 해당하는 정보(1403)는 인물마다 상이할 수 있다. 예를 들어, 컨텐트에 등장하는 인물이 제1 인물과 제2 인물인 경우, 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보와 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보가 별개로 존재할 수 있다.
제품 및 인물 카테고리에 해당하는 정보(1403)는 이전보기 아이콘(1403a)과 다음보기 아이콘(1403b)을 포함할 수 있다. 이전보기 아이콘(1403a) 및 다음보기 아이콘(1403b)은 제품 및 인물 카테고리에 해당하는 정보가 복수의 제품을 포함할 경우, 표시된 제품 외에 다른 제품이 표시되도록 전환하기 위한 아이콘일 수 있다.
장소 카테고리에 해당하는 정보(1405)는 컨텐트에 등장하는 장소에 대한 정보를 포함할 수 있다. 특히, 장소 카테고리에 해당하는 정보(1405)는 캡쳐 이미지(1401)에 등장하는 장소에 대한 정보를 포함할 수 있다.
그리고, 디스플레이(180)는 전체보기 아이콘(1409)을 더 표시할 수도 있다. 전체보기 아이콘(1409)는 현재 표시 중인 컨텐트에 포함된 모든 컨텐트 관련 정보를 표시하기 위한 아이콘일 수 잇다.
따라서, 사용자는 요청한 정보를 우선적으로 확인 가능한 이점이 있다.
도 15는 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제2 예가 도시된 도면이다.
도 15의 (a)에 도시된 바와 같이, 제어부(170)는 음성 명령으로 “저 장소 어디야(Where is that place)?”를 수신할 수 있다. 제어부(170)는 음성 명령을 수신한 시점에 화면을 캡쳐하여 캡쳐 이미지를 획득할 수 있다.
제어부(170)는 음성 명령에 기초하여 요청된 카테고리를 획득할 수 있다. 예를 들어, 제어부(170)는 음성 명령에 기초하여 '장소(location)'을 요청된 카테고리로 획득할 수 있다.
그리고, 제어부(170)는 캡쳐 이미지에 기초하여 컨텐트 관련 정보를 획득할 수 있다. 제어부(170)는 컨텐트 관련 정보를 디스플레이(180)에 표시할 수 있고, 이 때 요청된 카테고리에 따라 컨텐트 관련 정보를 배열할 수 있다.
도 15의 (b)에 도시된 예시는 디스플레이(180)가 캡쳐 이미지(1501)와 함께 컨텐트 관련 정보를 표시한 화면의 예이다.
캡쳐 이미지(1501)는 음성 명령을 수신한 시점에서 캡쳐된 영상 이미지일 수 있다. 캡쳐 이미지(1501)를 통해 사용자는 컨텐트 관련 정보가 어떤 장면과 관련된 컨텐트 관련 정보인지 용이하게 확인 가능한 이점이 있다.
그리고, 도 15의 예시에서, 캡쳐 이미지(1501)에 대응하는 컨텐트 관련 정보는 장소 카테고리에 해당하는 정보(1503), 제품 및 인물 카테고리에 해당하는 정보(1505)를 포함할 수 있다.
이 때, 디스플레이(180)는 장소 카테고리에 해당하는 정보(1503)를 제품 및 인물 카테고리에 해당하는 정보(1505) 보다 선 순위로 표시할 수 있다.
마찬가지로, 장소 카테고리에 해당하는 정보(1503)는 컨텐트에 등장하는 장소에 대한 정보를 포함할 수 있다. 특히, 장소 카테고리에 해당하는 정보(1503)는 캡쳐 이미지(1501)에 등장하는 장소에 대한 정보를 포함할 수 있다.
제품 및 인물 카테고리에 해당하는 정보(1505)는 컨텐트에 등장하는 인물이 착용하고 있는 제품에 대한 정보 및 해당 인물이 착용하고 있는 것과 유사한 제품에 대한 정보를 포함할 수 있다.
제품 및 인물 카테고리에 해당하는 정보(1505)는 이전보기 아이콘(1505a)과 다음보기 아이콘(1505b)을 포함할 수 있다. 이전보기 아이콘(1505a) 및 다음보기 아이콘(1505b)은 제품 및 인물 카테고리에 해당하는 정보가 복수의 제품을 포함할 경우, 표시된 제품 외에 다른 제품이 표시되도록 전환하기 위한 아이콘일 수 있다.
그리고, 디스플레이(180)는 전체보기 아이콘(1509)을 더 표시할 수도 있다. 전체보기 아이콘(1509)는 현재 표시 중인 컨텐트에 포함된 모든 컨텐트 관련 정보를 표시하기 위한 아이콘일 수 잇다.
따라서, 사용자는 요청한 정보를 우선적으로 확인 가능한 이점이 있다.
도 16은 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제3 예가 도시된 도면이다.
도 16의 (a)에 도시된 바와 같이, 제어부(170)는 음성 명령으로 “저 사람 누구야(Who is that person)?”를 수신할 수 있다. 제어부(170)는 음성 명령을 수신한 시점에 화면을 캡쳐하여 캡쳐 이미지를 획득할 수 있다.
제어부(170)는 음성 명령에 기초하여 요청된 카테고리를 획득할 수 있다. 예를 들어, 제어부(170)는 음성 명령에 기초하여 '인물(character/actor)'을 요청된 카테고리로 획득할 수 있다.
그리고, 제어부(170)는 캡쳐 이미지에 기초하여 컨텐트 관련 정보를 획득할 수 있다. 제어부(170)는 컨텐트 관련 정보를 디스플레이(180)에 표시할 수 있고, 이 때 요청된 카테고리에 따라 컨텐트 관련 정보를 배열할 수 있다.
도 16의 (b)에 도시된 예시는 디스플레이(180)가 캡쳐 이미지(1601)와 함께 컨텐트 관련 정보를 표시한 화면의 예이다.
캡쳐 이미지(1601)는 음성 명령을 수신한 시점에서 캡쳐된 영상 이미지일 수 있다. 캡쳐 이미지(1601)를 통해 사용자는 컨텐트 관련 정보가 어떤 장면과 관련된 컨텐트 관련 정보인지 용이하게 확인 가능한 이점이 있다.
그리고, 도 16의 예시에서, 캡쳐 이미지(1601)에 대응하는 컨텐트 관련 정보는 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1603)와 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1605)를 포함할 수 있다.
이 때, 디스플레이(180)는 요청된 카테고리에 기초하여 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1603) 및 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1605) 중 어느 하나를 다른 하나 보다 선 순위로 표시할 수 있다.
제1 인물과 제2 인물 중 어떤 인물에 대한 제품 및 인물 카테고리에 해당하는 정보가 먼저 표시될 지는 카테고리 중 인물 랭크(character rank)에 따라 결정될 수 있다. 도 16의 예시에서는 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1603)가 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1605) 보다 선 선위로 표시되는 것으로 가정한다.
제1 및 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1603)(1605) 각각은 컨텐트에 등장하는 인물이 착용하고 있는 제품에 대한 정보 및 해당 인물이 착용하고 있는 것과 유사한 제품에 대한 정보를 포함할 수 있다.
제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1603)와 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1605)는 서로 상이할 수 있다.
한편, 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1603)에는 제1 인물과 관련된 '제품(product)' 카테고리의 정보가 복수개일 수 있다. 이 때, 제어부(170)는 제1 인물과 관련된 복수개의 '제품(product)' 카테고리의 정보 중 '옷(Clothing)' 카테고리의 정보가 우선적으로 표시되도록 컨텐트 관련 정보를 배열할 수 있다. 즉, 제어부(170)는 요청된 카테고리가 '제품(product)' 카테고리만 포함할 경우 디폴트에 따라 '제품(product)' 카테고리에 속하는 정보들의 순서를 결정할 수 있다.
그리고, 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1603)는 이전보기 아이콘(1603a)과 다음보기 아이콘(1603b)을 포함할 수 있다. 이전보기 아이콘(1603a) 및 다음보기 아이콘(1603b)은 복수개의 '제품(product)' 카테고리의 정보 각각이 순차적으로 표시되도록 전환하기 위한 아이콘일 수 있다.
제어부(170)는 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1605)를 표시할 때, 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1603)와 유사하게 '제품(product)' 카테고리에 속하는 정보들의 순서를 결정하며, 이전보기 아이콘(미도시)과 다음보기 아이콘(미도시)을 포함시킬 수 있다.
도 17은 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제4 예가 도시된 도면이다.
도 17의 (a)에 도시된 바와 같이, 제어부(170)는 음성 명령으로 “저 주얼리 뭐야(What is that jewelry)?”를 수신할 수 있다. 제어부(170)는 음성 명령을 수신한 시점에 화면을 캡쳐하여 캡쳐 이미지를 획득할 수 있다.
제어부(170)는 음성 명령에 기초하여 요청된 카테고리를 획득할 수 있다. 예를 들어, 제어부(170)는 음성 명령에 기초하여 '제품(Product)', '패션(Fashion)' 및 '주얼리(Jewelry)' 중 적어도 하나를 요청된 카테고리로 획득할 수 있다.
그리고, 제어부(170)는 캡쳐 이미지에 기초하여 컨텐트 관련 정보를 획득할 수 있다. 제어부(170)는 컨텐트 관련 정보를 디스플레이(180)에 표시할 수 있고, 이 때 요청된 카테고리에 따라 컨텐트 관련 정보를 배열할 수 있다.
도 17의 (b)에 도시된 예시는 디스플레이(180)가 캡쳐 이미지(1701)와 함께 컨텐트 관련 정보를 표시한 화면의 예이다.
캡쳐 이미지(1701)는 음성 명령을 수신한 시점에서 캡쳐된 영상 이미지일 수 있다. 캡쳐 이미지(1701)를 통해 사용자는 컨텐트 관련 정보가 어떤 장면과 관련된 컨텐트 관련 정보인지 용이하게 확인 가능한 이점이 있다.
그리고, 도 17의 예시에서, 캡쳐 이미지(1701)에 대응하는 컨텐트 관련 정보는 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1703)와 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1705)를 포함할 수 있다.
이 때, 디스플레이(180)는 요청된 카테고리에 기초하여 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1703) 및 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1705) 중 어느 하나를 다른 하나 보다 선 순위로 표시할 수 있다. 도 16과 마찬가지로, 도 17의 예시에서는 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1703)가 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1705) 보다 선 선위로 표시되는 것으로 가정한다.
제1 및 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1703)(1705) 각각은 컨텐트에 등장하는 인물이 착용하고 있는 제품에 대한 정보 및 해당 인물이 착용하고 있는 것과 유사한 제품에 대한 정보를 포함할 수 있다.
제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1703)와 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1705)는 서로 상이할 수 있다.
한편, 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1703)에는 제1 인물과 관련된 '제품(product)' 카테고리의 정보가 복수개일 수 있다. 이 때, 제어부(170)는 제1 인물과 관련된 복수개의 '제품(product)' 카테고리의 정보 중 '주얼리(Jewelry)' 카테고리의 정보가 우선적으로 표시되도록 컨텐트 관련 정보를 배열할 수 있다. 즉, 제어부(170)는 요청된 카테고리가 '주얼리(Jewelry)' 카테고리를 포함하므로, 요청된 카테고리에 따라 '제품(product)' 카테고리에 속하는 정보들 중 '주얼리(Jewelry)' 카테고리에 해당하는 정보가 먼저 표시되도록 컨텐트 관련 정보를 배열할 수 있다.
그리고, 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1703)는 이전보기 아이콘(1703a)과 다음보기 아이콘(1703b)을 포함할 수 있다. 이전보기 아이콘(1703a) 및 다음보기 아이콘(1703b)은 복수개의 '제품(product)' 카테고리의 정보 각각이 순차적으로 표시되도록 전환하기 위한 아이콘일 수 있다. 예를 들어, 제어부(170)는 '주얼리(Jewelry)' 카테고리에 해당하는 정보가 표시된 상태에서 다음보기 아이콘(1703b)의 선택 명령을 수신하면, '제품(product)' 카테고리에 속하는 다른 정보가 표시되도록 디스플레이(180)를 제어할 수 있다.
마찬가지로, 제어부(170)는 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1705)를 표시할 때, 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1703)와 유사하게 '주얼리(Jewelry)' 카테고리에 해당하는 정보가 다른 정보들 보다 선 순위로 표시되도록 컨텐트 관련 정보를 배열하며, 이전보기 아이콘(미도시)과 다음보기 아이콘(미도시)을 포함시킬 수 있다.
도 18은 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제5 예가 도시된 도면이다.
도 18의 (a)에 도시된 바와 같이, 제어부(170)는 음성 명령으로 “저 옷 뭐야(What is that clothing)?”를 수신할 수 있다. 제어부(170)는 음성 명령을 수신한 시점에 화면을 캡쳐하여 캡쳐 이미지를 획득할 수 있다.
제어부(170)는 음성 명령에 기초하여 요청된 카테고리를 획득할 수 있다. 예를 들어, 제어부(170)는 음성 명령에 기초하여 '제품(Product)', '패션(Fashion)' 및 '옷(Clothing)' 중 적어도 하나를 요청된 카테고리로 획득할 수 있다.
그리고, 제어부(170)는 캡쳐 이미지에 기초하여 컨텐트 관련 정보를 획득할 수 있다. 제어부(170)는 컨텐트 관련 정보를 디스플레이(180)에 표시할 수 있고, 이 때 요청된 카테고리에 따라 컨텐트 관련 정보를 배열할 수 있다.
도 18의 (b)에 도시된 예시는 디스플레이(180)가 캡쳐 이미지(1801)와 함께 컨텐트 관련 정보를 표시한 화면의 예이다.
캡쳐 이미지(1801)는 음성 명령을 수신한 시점에서 캡쳐된 영상 이미지일 수 있다. 캡쳐 이미지(1801)를 통해 사용자는 컨텐트 관련 정보가 어떤 장면과 관련된 컨텐트 관련 정보인지 용이하게 확인 가능한 이점이 있다.
그리고, 도 18의 예시에서, 캡쳐 이미지(1801)에 대응하는 컨텐트 관련 정보는 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1803)와 제품 카테고리에 해당하는 정보(1805)를 포함할 수 있다. 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1803)는 이전보기 아이콘(1803a)과 다음보기 아이콘(1803b)을 포함할 수 있다.
이 때, 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1803)는 '패션(Fashion)' 카테고리에 해당하는 정보를 포함하고, 제품 카테고리에 해당하는 정보(1805)는 '기타(others)' 카테고리에 해당하는 정보를 포함할 수 있다. 이 경우, 디스플레이(180)는 요청된 카테고리에 기초하여 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1803)가 제품 카테고리에 해당하는 정보(1805) 보다 순 순위에 표시할 수 있다.
그러나, 만약 도 18의 예시와 달리, 제어부(170)가 음성 명령으로 “저 가구 뭐야(What is that furniture)?”를 수신한 경우, '기타(others)', '가구(furniture)' 중 적어도 하나를 요청된 카테고리로 획득할 수 있다.
이 경우, 디스플레이(180)는 요청된 카테고리에 기초하여 제품 카테고리에 해당하는 정보(1805)가 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1803) 보다 선 순위로 표시할 수 있다.
도 19 및 도 20은 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제6 예가 도시된 도면이다.
도 19의 (a)에 도시된 바와 같이, 제어부(170)는 음성 명령으로 “저 남자 옷 뭐야(What is that men's clothing)?”를 수신할 수 있다. 제어부(170)는 음성 명령을 수신한 시점에 화면을 캡쳐하여 캡쳐 이미지를 획득할 수 있다.
제어부(170)는 음성 명령에 기초하여 요청된 카테고리를 획득할 수 있다. 예를 들어, 제어부(170)는 음성 명령에 기초하여 '제품(Product)', '패션(Fashion)', '옷(Clothing)' 및 '남자(men)' 중 적어도 하나를 요청된 카테고리로 획득할 수 있다.
그리고, 제어부(170)는 캡쳐 이미지에 기초하여 컨텐트 관련 정보를 획득할 수 있다. 제어부(170)는 컨텐트 관련 정보를 디스플레이(180)에 표시할 수 있고, 이 때 요청된 카테고리에 따라 컨텐트 관련 정보를 배열할 수 있다.
도 19의 (b)에 도시된 예시는 디스플레이(180)가 캡쳐 이미지(1901)와 함께 컨텐트 관련 정보를 표시한 화면의 예이다.
캡쳐 이미지(1901)는 음성 명령을 수신한 시점에서 캡쳐된 영상 이미지일 수 있다. 캡쳐 이미지(1901)를 통해 사용자는 컨텐트 관련 정보가 어떤 장면과 관련된 컨텐트 관련 정보인지 용이하게 확인 가능한 이점이 있다.
그리고, 도 19의 예시에서, 캡쳐 이미지(1901)에 대응하는 컨텐트 관련 정보는 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1903)와 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1905)를 포함할 수 있다. 이 때, 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1903)는 '남자(men)' 카테고리를 포함하고, 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1905)는 '여자(women)' 카테고리를 포함할 수 있다. 이 경우 디스플레이(180)는 요청된 카테고리에 기초하여 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1903)를 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1905) 보다 선 순위로 표시할 수 있다.
한편, 도 20에 도시된 바와 같이, 제어부(170)는 음성 명령으로 “저 여자 옷 뭐야(What is that women's clothing)?”를 수신할 수도 있다. 이 때, 제어부(170)는 음성 명령에 기초하여 '제품(Product)', '패션(Fashion)', '옷(Clothing)' 및 '여자(women)' 중 적어도 하나를 요청된 카테고리로 획득할 수 있다.
이 경우, 제어부(170)는 '여자(women)' 카테고리를 포함하는 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1905)가 '남자(men)' 카테고리를 포함하는 1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(1903) 보다 선 순위로 표시되도록 컨텐트 관련 정보를 배열할 수 있다.
도 21은 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제7 예가 도시된 도면이다.
제어부(170)는 음성 명령에 따라 요청된 카테고리를 획득하였으나, 컨텐트 관련 정보에 요청된 카테고리에 해당하는 정보가 존재하지 않을 수 있다. 이 경우, 디스플레이(180)는 요청된 카테고리에 해당하는 정보가 없음을 나타내는 메시지를 표시할 수 있다. 예를 들어, 도 21의 (a)에 도시된 바와 같이, 디스플레이(180)는 “말씀하신 정보를 찾을 수 없습니다(No information for the item you said)”와 같은 메시지를 표시할 수 있다.
그리고, 제어부(170)는 요청된 카테고리에 해당하는 정보가 없음을 나타내는 메시지와 함께 이전 장면에 포함된 정보를 확인할 지 묻는 메시지, 아니오 아이콘(2100a) 및 예 아이콘(2100b)을 더 표시하도록 디스플레이(180)를 제어할 수 있다.
예를 들어, 디스플레이(180)는 “이전 장면에서 정보를 찾으시겠습니까(Would you like to take a look at information in the previous scene)?”와 같은 메시지를 표시할 수 있다.
제어부(170)는 아니오 아이콘(2100a)의 선택 명령을 수신하면, 컨텐트 관련 정보를 표시하지 않을 수 있다.
그러나, 제어부(170)는 예 아이콘(2100b)의 선택 명령을 수신하면, 이전 장면에서 요청된 카테고리에 해당하는 정보를 획득할 수 있다. 특히, 제어부(170)는 이전 장면 중 요청된 카테고리에 해당하는 정보를 갖는 장면을 추출할 수 있다. 만약, 제어부(170)는 이전 장면 중 요청된 카테고리에 해당하는 정보를 갖는 장면이 복수인 경우에는 복수의 장면 중 음성 명령을 수신한 시점과 가장 근접한 장면 하나를 추출할 수 있다. 제어부(170)는 이와 같이 추출된 이전 장면에 포함된 컨텐트 관련 정보를 표시할 수 있다.
예를 들어, 도 21의 (b)에 도시된 바와 같이, 제어부(170)는 이전 장면의 캡쳐 이미지(2101), 이전 장면에 포함된 제품 및 인물 카테고리에 해당하는 정보(2103) 및 전체보기 아이콘(2105)을 표시할 수 있다.
이 경우, 사용자가 다소 늦게 발화함에 따라 사용자가 원하는 정보를 표시하지 못하는 문제를 최소화할 수 있고, 이에 따라 사용자가 원하는 정보를 보다 정확하게 제공 가능한 이점이 있다.
한편, 실시 예에 따라, 제어부(170)는 컨텐트 관련 정보에 요청된 카테고리에 해당하는 정보가 존재하지 않을 경우, 도 21의 (a)에 도시된 화면을 생략하고, 바로 도 21의 (b)와 같은 화면을 표시할 수도 있다.
도 22는 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제8 예가 도시된 도면이다.
제어부(170)는 음성 명령에 따라 요청된 카테고리를 획득하였으나, 컨텐트 관련 정보에 요청된 카테고리에 해당하는 정보가 존재하지 않을 수 있다. 이 경우, 디스플레이(180)는 요청된 카테고리에 해당하는 정보가 없음을 나타내는 메시지를 표시할 수 있다. 예를 들어, 도 22의 (a)에 도시된 바와 같이, 디스플레이(180)는 “말씀하신 정보를 찾을 수 없습니다(No information for the item you said)”와 같은 메시지를 표시할 수 있다.
그리고, 제어부(170)는 요청된 카테고리에 해당하는 정보가 없음을 나타내는 메시지와 함께 현재 장면에 포함된 다른 정보를 확인할 지 묻는 메시지, 아니오 아이콘(2200a) 및 예 아이콘(2200b)을 더 표시하도록 디스플레이(180)를 제어할 수 있다.
예를 들어, 디스플레이(180)는 “현재 장면에서 다른 정보를 찾으시겠습니까(Would you like to take a look at other information in the scene)?”와 같은 메시지를 표시할 수 있다.
제어부(170)는 아니오 아이콘(2200a)의 선택 명령을 수신하면, 컨텐트 관련 정보를 표시하지 않을 수 있다.
그러나, 제어부(170)는 예 아이콘(2200b)의 선택 명령을 수신하면, 현재 장면에서 요청된 카테고리에 해당하지 않는 다른 정보를 획득할 수 있다. 현재 장면은 음성 명령을 수신한 시점에 표시 중인 장면을 의미할 수 있다. 제어부(170)는 현재 장면 중 요청된 카테고리에 해당하는 정보 외에 다른 정보를 추출할 수 있다.
도 22의 (b)에 도시된 바와 같이, 제어부(170)는 현재 장면의 캡쳐 이미지(2201), 요청된 카테고리에 해당하는 정보 외에 다른 정보(2203) 및 전체보기 아이콘(2205)을 표시할 수 있다.
이 경우, 사용자가 요청한 카테고리에 정확히 일치하지는 않으나, 사용자가 시청 중인 장면과 관련된 다른 정보를 표시함으로써, 아무 정보도 제공하지 않는 대신 사용자가 요청한 제품과 유사한 제품을 사용자에게 제공할 수 있는 이점이 있다.
한편, 실시 예에 따라, 제어부(170)는 현재 장면에 대응하는 컨텐트 관련 정보에 요청된 카테고리에 해당하는 정보가 존재하지 않을 경우, 도 22의 (a)에 도시된 화면을 생략하고, 바로 도 22의 (b)와 같은 화면을 표시할 수도 있다.
도 23은 본 개시의 실시 예에 따른 디스플레이 장치가 음성 명령에 따라 화면에 표시하는 컨텐트 관련 정보의 제9 예가 도시된 도면이다.
제어부(170)는 음성 명령에 따라 요청된 카테고리를 획득하였으나, 컨텐트 관련 정보에 요청된 카테고리에 해당하는 정보가 존재하지 않을 수 있다. 이 경우, 디스플레이(180)는 요청된 카테고리에 해당하는 정보가 없음을 나타내는 메시지를 표시할 수 있다. 예를 들어, 도 23의 (a)에 도시된 바와 같이, 디스플레이(180)는 “말씀하신 정보를 찾을 수 없습니다(No information for the item you said)”와 같은 메시지를 표시할 수 있다.
그리고, 제어부(170)는 요청된 카테고리에 해당하는 정보가 없음을 나타내는 메시지와 전체보기를 실행할 지 묻는 메시지, 아니오 아이콘(2300a) 및 예 아이콘(2300b)을 더 표시하도록 디스플레이(180)를 제어할 수 있다.
전체보기는 현재 시청 중인 영상에 포함된 모든 컨텐트 관련 정보를 표시하는 모드일 수 있다.
예를 들어, 디스플레이(180)는 “컨텐트에 포함된 모든 정보를 보시겠습니까(Would you like to take a look at all information in the conent)?”와 같은 메시지를 표시할 수 있다.
제어부(170)는 아니오 아이콘(2300a)의 선택 명령을 수신하면, 컨텐트 관련 정보를 표시하지 않을 수 있다.
그러나, 제어부(170)는 예 아이콘(2300b)의 선택 명령을 수신하면, 현재 표시 중인 컨텐트에 포함된 모든 컨텐트 관련 정보가 표시되도록 디스플레이(180)를 제어할 수 있다.
도 23의 (b)에 도시된 바와 같이, 디스플레이(180)는 전체보기 메뉴(2310)를 표시하며, 전체보기 메뉴(2310)는 장소 카테고리에 해당하는 정보(2311), 제1 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(2313), 제2 인물에 대한 제품 및 인물 카테고리에 해당하는 정보(2315) 등을 포함할 수 있다.
이 경우, 사용자가 요청한 정보를 찾을 수 없을 때, 사용자가 원하는 정보를 직접 찾을 수 있는 기능을 제공할 수 있다.
한편, 도 21 내지 도 23에서 설명한 바와 달리, 제어부(170)는 컨텐트 관련 정보에 요청된 카테고리에 해당하는 정보가 존재하지 않으면, 도 10에 도시된 순서도에 따라 동작하며, 단계 S63에서는 도 22의 (b)와 같은 화면을 표시하고, 단계 S67에서는 도 21의 (b)와 같은 화면을 표시하고, 단계 S69에서는 도 23의 (b)와 같은 화면을 표시하도록 디스플레이(180)를 제어할 수 있다.
이상의 설명은 본 명세서의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 명세서에 개시된 실시 예들은 본 명세서의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 명세서의 기술 사상의 범위가 한정되는 것은 아니다.
본 명세서의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 명세서의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 컨텐트를 표시하는 디스플레이; 및
    음성 명령을 수신하면, 상기 음성 명령을 수신한 시점의 장면에 대응하는 컨텐트 관련 정보가 표시되도록 상기 디스플레이를 제어하는 제어부를 포함하고,
    상기 제어부는
    상기 음성 명령에서 요청된 카테고리에 기초하여 상기 컨텐트 관련 정보의 배열을 변경하는
    디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어부는
    상기 요청된 카테고리에 해당하는 정보가 다른 정보 보다 선 순위로 표시되도록 상기 컨텐트 관련 정보의 배열을 변경하는
    디스플레이 장치.
  3. 제1항에 있어서,
    상기 디스플레이는
    상기 컨텐트 관련 정보가 제1 카테고리에 해당하는 정보 및 제2 카테고리에 해당하는 정보를 포함할 경우, 상기 요청된 카테고리가 제1 카테고리이면 상기 제1 카테고리에 해당하는 정보가 제2 카테고리에 해당하는 정보 보다 먼저 표시하는
    디스플레이 장치.
  4. 제1항에 있어서,
    상기 제어부는
    상기 요청된 카테고리에 해당하는 정보가 상기 컨텐트 관련 정보에 존재하지 않으면, 상기 요청된 카테고리에 해당하는 정보 외의 다른 정보가 표시되도록 상기 디스플레이를 제어하는
    디스플레이 장치.
  5. 제1항에 있어서,
    상기 제어부는
    상기 요청된 카테고리에 해당하는 정보가 상기 컨텐트 관련 정보에 존재하지 않으면, 상기 컨텐트 관련 정보에 상기 요청된 카테고리 외 다른 카테고리에 해당하는 정보가 존재하는지 판단하는
    디스플레이 장치.
  6. 제5항에 있어서,
    상기 제어부는
    상기 컨텐트 관련 정보에 상기 요청된 카테고리 외 다른 카테고리에 해당하는 정보가 존재하면, 상기 다른 카테고리에 해당하는 정보가 표시되도록 상기 디스플레이를 제어하는
    디스플레이 장치.
  7. 제7항에 있어서,
    상기 제어부는
    상기 요청된 카테고리에 해당하는 정보가 상기 컨텐트 관련 정보에 존재하지 않으면, 상기 음성 명령을 수신하기 이전 장면에 상기 요청된 카테고리에 해당하는 정보가 존재하는지 판단하는
    디스플레이 장치.
  8. 제7항에 있어서,
    상기 제어부는
    상기 음성 명령을 수신하기 이전 장면에 상기 요청된 카테고리에 해당하는 정보가 존재하면, 이전 장면에 포함된 상기 요청된 카테고리에 해당하는 정보가 표시되도록 상기 디스플레이를 제어하는
    디스플레이 장치.
  9. 제1항에 있어서,
    상기 제어부는
    상기 요청된 카테고리에 해당하는 정보가 상기 컨텐트 관련 정보에 존재하지 않으면, 상기 컨텐트에 포함된 모든 컨텐트 관련 정보가 표시되도록 상기 디스플레이를 제어하는
    디스플레이 장치.
  10. 제1항에 있어서,
    상기 제어부는
    컨텐트 관련 정보를 요청하는 상기 음성 명령을 수신하면, 카테고리를 포함하는 메타데이터인 상기 컨텐트 관련 정보를 획득하는
    디스플레이 장치.
  11. 제1항에 있어서,
    상기 카테고리는
    장소, 제품, 인물 및 기타 중 적어도 하나를 포함하는
    디스플레이 장치.
  12. 제1항에 있어서,
    상기 컨텐트 관련 정보는
    상기 컨텐트를 구성하는 복수의 프레임 각각에 대한 프레임 시간에 대응되는 카테고리들을 포함하는
    디스플레이 장치.
  13. 제1항에 있어서,
    상기 제어부는
    상기 컨텐트 관련 정보를 표시할 때 상기 음성 명령을 수신한 시점에 캡쳐된 이미지가 더 표시되도록 상기 디스플레이를 제어하는
    디스플레이 장치.
  14. 제1항에 있어서,
    상기 제어부는
    상기 음성 명령에 기초하여 상기 요청된 카테고리를 획득하는
    디스플레이 장치.
  15. 제1항에 있어서,
    상기 제어부는
    상기 요청된 카테고리에 기초하여 상기 컨텐트 관련 정보가 표시되는 순서를 결정하는
    디스플레이 장치.
PCT/KR2019/018315 2019-12-23 2019-12-23 디스플레이 장치 및 그의 동작 방법 WO2021132738A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19957412.0A EP4083779A4 (en) 2019-12-23 2019-12-23 DISPLAY DEVICE AND METHOD FOR OPERATING THEREOF
PCT/KR2019/018315 WO2021132738A1 (ko) 2019-12-23 2019-12-23 디스플레이 장치 및 그의 동작 방법
KR1020227016363A KR20220082890A (ko) 2019-12-23 2019-12-23 디스플레이 장치 및 그의 동작 방법
US17/788,634 US20230035751A1 (en) 2019-12-23 2019-12-23 Display device and method for operating same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/018315 WO2021132738A1 (ko) 2019-12-23 2019-12-23 디스플레이 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2021132738A1 true WO2021132738A1 (ko) 2021-07-01

Family

ID=76574817

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018315 WO2021132738A1 (ko) 2019-12-23 2019-12-23 디스플레이 장치 및 그의 동작 방법

Country Status (4)

Country Link
US (1) US20230035751A1 (ko)
EP (1) EP4083779A4 (ko)
KR (1) KR20220082890A (ko)
WO (1) WO2021132738A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150044474A (ko) * 2013-10-16 2015-04-27 한양대학교 에리카산학협력단 감성광고 기반의 광고 제공 기능을 구비한 스마트 ｔｖ
KR20160004739A (ko) * 2014-07-04 2016-01-13 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20160084059A (ko) * 2015-01-05 2016-07-13 엘지전자 주식회사 음성 인식 검색 결과를 이용하여 카테고리를 배열하는 디스플레이 디바이스 및 그 제어 방법
US20180025405A1 (en) * 2016-07-25 2018-01-25 Facebook, Inc. Presentation of content items synchronized with media display
KR20180082950A (ko) * 2017-01-11 2018-07-19 삼성전자주식회사 디스플레이 장치 및 그의 서비스 제공 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8978047B2 (en) * 2011-02-03 2015-03-10 Sony Corporation Method and system for invoking an application in response to a trigger event
US20130347018A1 (en) * 2012-06-21 2013-12-26 Amazon Technologies, Inc. Providing supplemental content with active media
US10051329B2 (en) * 2012-12-10 2018-08-14 DISH Technologies L.L.C. Apparatus, systems, and methods for selecting and presenting information about program content
KR102092164B1 (ko) * 2013-12-27 2020-03-23 삼성전자주식회사 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들
US10206014B2 (en) * 2014-06-20 2019-02-12 Google Llc Clarifying audible verbal information in video content
EP3542256A4 (en) * 2016-11-17 2020-07-01 Painted Dog, Inc. MACHINE-BASED VIDEO CONTENT RECOGNITION
KR20200013164A (ko) * 2018-07-19 2020-02-06 삼성전자주식회사 전자 장치, 및 전자 장치의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150044474A (ko) * 2013-10-16 2015-04-27 한양대학교 에리카산학협력단 감성광고 기반의 광고 제공 기능을 구비한 스마트 ｔｖ
KR20160004739A (ko) * 2014-07-04 2016-01-13 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20160084059A (ko) * 2015-01-05 2016-07-13 엘지전자 주식회사 음성 인식 검색 결과를 이용하여 카테고리를 배열하는 디스플레이 디바이스 및 그 제어 방법
US20180025405A1 (en) * 2016-07-25 2018-01-25 Facebook, Inc. Presentation of content items synchronized with media display
KR20180082950A (ko) * 2017-01-11 2018-07-19 삼성전자주식회사 디스플레이 장치 및 그의 서비스 제공 방법

Also Published As

Publication number Publication date
EP4083779A1 (en) 2022-11-02
KR20220082890A (ko) 2022-06-17
EP4083779A4 (en) 2023-09-06
US20230035751A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
WO2017003007A1 (ko) 영상표시장치 및 이동 단말기
WO2014014308A1 (en) Method and system for sharing content, device and computer-readable recording medium for performing the method
WO2014042445A1 (en) Display apparatus and method for controlling display apparatus thereof
WO2017111321A1 (ko) 영상표시장치
WO2021117953A1 (ko) 디스플레이 장치
WO2021132757A1 (ko) 디스플레이 장치
WO2016126048A1 (ko) 디스플레이 장치
WO2018088667A1 (en) Display device
WO2016013705A1 (ko) 원격제어장치 및 그의 동작 방법
WO2021060590A1 (ko) 디스플레이 장치 및 인공 지능 시스템
WO2019135433A1 (ko) 디스플레이 장치 및 디스플레이 장치를 포함하는 시스템
WO2013062213A1 (en) Media card, media apparatus, content server and method for operating the same
WO2016182124A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2016035983A1 (ko) 영상제공장치, 및 그 동작방법
WO2021070976A1 (ko) 소스 기기 및 무선 시스템
WO2019151570A1 (ko) 디스플레이 장치
WO2022014738A1 (ko) 디스플레이 장치
WO2022050785A1 (ko) 디스플레이 기기 및 그의 동작 방법
WO2021137333A1 (ko) 디스플레이 장치
WO2022149620A1 (ko) 디스플레이 장치
WO2021132738A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020171245A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021141161A1 (ko) 디스플레이 장치
WO2020230923A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치 및 그의 동작 방법
WO2020256184A1 (ko) 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19957412

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20227016363

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019957412

Country of ref document: EP

Effective date: 20220725