WO2025005319A1 - 영상표시기기 및 그 제어방법 - Google Patents

영상표시기기 및 그 제어방법 Download PDF

Info

Publication number
WO2025005319A1
WO2025005319A1 PCT/KR2023/008987 KR2023008987W WO2025005319A1 WO 2025005319 A1 WO2025005319 A1 WO 2025005319A1 KR 2023008987 W KR2023008987 W KR 2023008987W WO 2025005319 A1 WO2025005319 A1 WO 2025005319A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
display device
video display
content
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/008987
Other languages
English (en)
French (fr)
Inventor
이재경
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to EP23943812.0A priority Critical patent/EP4727144A4/en
Priority to CN202380099413.7A priority patent/CN121368896A/zh
Priority to PCT/KR2023/008987 priority patent/WO2025005319A1/ko
Publication of WO2025005319A1 publication Critical patent/WO2025005319A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programmes or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H04N21/44226—Monitoring of user activity on external systems, e.g. Internet browsing on social networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for programme selection

Definitions

  • the present disclosure relates to a video display device and a control method thereof, which enable the use of the video display device to be implemented with greater consideration of user convenience.
  • a video display device is, for example, a device that has the function of receiving and processing broadcast images that can be viewed by a user.
  • a video display device displays, for example, a broadcast signal transmitted from a broadcasting station that a user has selected on a display.
  • broadcasting is trending worldwide from analog broadcasting to digital broadcasting.
  • Digital broadcasting refers to broadcasting that transmits digital video and audio signals. Compared to analog broadcasting, digital broadcasting is more resistant to external noise, has less data loss, is advantageous in error correction, has high resolution, and provides clear images. In addition, unlike analog broadcasting, digital broadcasting allows two-way service.
  • video display devices In order to utilize digital broadcasting including various contents, the performance of video display devices has been improved and their functions have been diversified. Through the improved performance of video display devices, not only can video signals be received from broadcasting stations and broadcasts be watched, but various applications can be used to perform various functions through video display devices such as playing games, listening to music, and shopping online.
  • the purpose of the present disclosure is to provide a video display device and a control method thereof that enable a user to easily select desired content from among various contents and play the selected content in an environment intended by the user.
  • a video display device including a display, a communication unit for communicating with at least one external server, a user interface unit for communicating with a remote control device, and a control unit for receiving a user command input through the remote control device, displaying on the display a content list including at least one content that matches a user intention identified from the user command through artificial intelligence, and searching for and displaying a past viewing history for a content selected from the content list, wherein the past viewing history includes information on a viewing time of the selected content and information on an acquaintance who viewed the selected content together.
  • the personal information including the above past viewing history may be recorded in at least one of the above at least one external server and at least one of the storage units within the video display device.
  • the above control unit can control the display of search criteria according to the user's intention when displaying the content list.
  • the above control unit can control the display of the profile image of the acquaintance who watched the selected content together when playing the content.
  • the profile image displayed above may be a profile image that matches the viewing time.
  • the above control unit can control, through artificial intelligence, to synthesize a profile image matching the viewing time based on profile images from a different time than the viewing time.
  • the above control unit can control to access one of the at least one external server through the communication unit and search for at least one content that matches the user's intention.
  • the above user command may be a voice command input via the remote control device.
  • the above control unit can, in response to the user's intention, connect to one of the external servers to download and display the acquaintance's SNS (Social Network Service) information.
  • SNS Social Network Service
  • the above control unit can display a user guide for guiding the occurrence of a specific event, and control the appearance of a guide agent within the user guide to change over time.
  • a method for controlling a video display device including a step of receiving a user command input through a remote control device, a step of displaying a content list including at least one content that matches a user intention identified from the user command through artificial intelligence, and a step of searching and displaying a past viewing history for a content selected from the content list, wherein the past viewing history includes information on a viewing time of the selected content and information on an acquaintance who viewed the selected content together.
  • FIG. 1 is a schematic block diagram of an image display device according to an embodiment of the present disclosure.
  • FIG. 2 is a drawing illustrating a control method of a remote control device that controls a video display device according to one embodiment of the present disclosure.
  • FIG. 3 is a block diagram of a remote control device that controls a video display device according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart regarding the operation of a video display device according to an embodiment of the present disclosure.
  • FIGS. 5 to 9 illustrate screens displayed on a video display device according to an embodiment of the present disclosure.
  • FIG. 10 illustrates an example of image synthesis or generation according to one embodiment of the present disclosure.
  • FIG. 11 illustrates a screen displayed on a video display device according to an embodiment of the present disclosure.
  • these components may be implemented as separate individual hardware modules, or as two or more hardware modules, or as two or more components may be implemented as one hardware module, and in some cases, they may also be implemented as software.
  • the image display device described in this specification is an intelligent image display device that adds a computer support function to the broadcast reception function, for example, and while being faithful to the broadcast reception function, it can be equipped with an Internet function, etc., and can have a more convenient interface such as a manual input device, a touch screen, or a space remote control.
  • it can be connected to the Internet and a computer with the support of a wired or wireless Internet function, and can also perform functions such as e-mail, web browsing, banking, or games.
  • a standardized general-purpose OS can be used for these various functions.
  • the video display device described in the present disclosure can perform various user-friendly functions because various applications can be freely added or deleted, for example, on a general-purpose OS kernel. More specifically, the video display device can be, for example, a network TV, an HBBTV, a smart TV, etc., and in some cases, can also be applied to a smartphone.
  • FIG. 1 is a schematic block diagram of an image display device according to an embodiment of the present disclosure.
  • a video display device (100) may include a broadcast receiving unit (105), an external device interface unit (135), a storage unit (140), a user input interface unit (150), a control unit (170), a display unit (180), an audio output unit (185), a power supply unit (190), and a photographing unit (not shown).
  • the broadcast receiving unit (105) and the external device interface unit (135) may be collectively referred to as a communication unit.
  • the broadcast receiving unit (105) may include a tuner (110), a demodulator (120), and a network interface unit (130). Of course, if necessary, it may be designed to include a tuner (110) and a demodulator (120) but not a network interface unit (130), and conversely, it may be designed to include a network interface unit (130) but not a tuner (110) and a demodulator (120).
  • the tuner (110) selects an RF broadcast signal corresponding to a channel selected by the user or all pre-stored channels among RF (Radio Frequency) broadcast signals received through the antenna. In addition, it converts the selected RF broadcast signal into an intermediate frequency signal or a baseband video or audio signal.
  • the tuner (110) can process both digital broadcast signals and analog broadcast signals.
  • the analog baseband video or audio signal (CVBS/SIF) output from the tuner (110) can be directly input to the control unit (170).
  • the tuner (110) can receive RF broadcast signals of a single carrier according to the ATSC (Advanced Television System Committee) method or RF broadcast signals of multiple carriers according to the DVB (Digital Video Broadcasting) method.
  • ATSC Advanced Television System Committee
  • DVB Digital Video Broadcasting
  • the tuner (110) can sequentially select RF broadcast signals of all broadcast channels stored through the channel memory function among RF broadcast signals received through the antenna and convert them into intermediate frequency signals or baseband video or audio signals.
  • the demodulator (120) receives a digital IF signal (DIF) converted by the tuner (110) and performs a demodulation operation.
  • DIF digital IF signal
  • the demodulator (120) performs, for example, 8-VSB (8-Vestigal Side Band) demodulation.
  • the demodulator (120) may perform channel decoding.
  • the demodulator (120) may be equipped with a Trellis Decoder, a De-interleaver, a Reed-Solomon Decoder, and the like, and may perform Trellis decoding, deinterleaving, and Reed-Solomon decoding.
  • the demodulator (120) performs, for example, COFDMA (Coded Orthogonal Frequency Division Modulation) demodulation.
  • the demodulator (120) may also perform channel decoding.
  • the demodulator (120) may be equipped with a convolution decoder, a deinterleaver, a Reed-Solomon decoder, and the like, and may perform convolution decoding, deinterleaving, and Reed-Solomon decoding.
  • the demodulator (120) can output a stream signal (TS) after performing demodulation and channel decoding.
  • the stream signal can be a signal in which a video signal, an audio signal, or a data signal is multiplexed.
  • the stream signal can be an MPEG-2 TS (Transport Stream) in which a video signal of the MPEG-2 standard and an audio signal of the Dolby AC-3 standard are multiplexed.
  • the MPEG-2 TS can include a 4-byte header and a 184-byte payload.
  • the above-described demodulation unit (120) can be provided separately according to the ATSC method and the DVB method. That is, it can be provided as an ATSC demodulation unit and a DVB demodulation unit.
  • the stream signal output from the demodulator (120) can be input to the control unit (170).
  • the control unit (170) performs demultiplexing, image/audio signal processing, etc., and then outputs the image to the display unit (180) and outputs the audio to the audio output unit (185).
  • the external device interface unit (135) can connect an external device and a video display device (100).
  • the external device interface unit (135) may include an A/V input/output unit (not shown) or a wireless communication unit (not shown).
  • the external device interface unit (135) can be connected to external devices such as a DVD (Digital Versatile Disk), Blu ray, game device, camera, camcorder, computer (laptop), etc., via wired/wireless connection.
  • the external device interface unit (135) transmits a video, audio or data signal input from the outside through the connected external device to the control unit (170) of the video display device (100).
  • the video, audio or data signal processed by the control unit (170) can be output to the connected external device.
  • the external device interface unit (135) may include an A/V input/output unit (not shown) or a wireless communication unit (not shown).
  • the A/V input/output section may include a USB terminal, a CVBS (Composite Video Banking Sync) terminal, a component terminal, an S-video terminal (analog), a DVI (Digital Visual Interface) terminal, an HDMI (High Definition Multimedia Interface) terminal, an RGB terminal, a D-SUB terminal, etc., so as to input video and audio signals from an external device to the video display device (100).
  • a USB terminal a USB terminal
  • CVBS Composite Video Banking Sync
  • component terminal an S-video terminal (analog) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High Definition Multimedia Interface) terminal, an RGB terminal, a D-SUB terminal, etc.
  • the wireless communication unit can perform short-range wireless communication with other electronic devices.
  • the image display device (100) can be connected to a network with other electronic devices according to communication standards such as, for example, Bluetooth, RFID (Radio Frequency Identification), IrDA (Infrared Data Association), UWB (Ultra Wideband), ZigBee, and DLNA (Digital Living Network Alliance).
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • DLNA Digital Living Network Alliance
  • the external device interface unit (135) may be connected to various set-top boxes through at least one of the terminals described above, and may perform input/output operations with the set-top box.
  • the external device interface unit (135) can receive an application or a list of applications in an adjacent external device and transmit it to the control unit (170) or storage unit (140).
  • the network interface unit (130) provides an interface for connecting the video display device (100) to a wired/wireless network including the Internet.
  • the network interface unit (130) may be equipped with, for example, an Ethernet terminal for connection to a wired network, and may use, for example, a WLAN (Wireless LAN) (Wi-Fi), Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), or HSDPA (High Speed Downlink Packet Access) communication standard for connection to a wireless network.
  • WLAN Wireless LAN
  • Wibro Wireless broadband
  • Wimax Worldwide Interoperability for Microwave Access
  • HSDPA High Speed Downlink Packet Access
  • the network interface unit (130) can transmit or receive data to or from other users or other electronic devices via the connected network or another network linked to the connected network. In particular, it can transmit some content data stored in the video display device (100) to a selected user or electronic device among other users or other electronic devices pre-registered in the video display device (100).
  • the network interface unit (130) can access a predetermined web page through the connected network or another network linked to the connected network. That is, it can access a predetermined web page through the network and transmit or receive data with the corresponding server.
  • it can receive content or data provided by a content provider or a network operator. That is, it can receive content such as movies, advertisements, games, VOD, broadcast signals, etc. provided from a content provider or a network provider through the network and information related thereto.
  • it can receive firmware update information and update files provided by the network operator.
  • it can transmit data to the Internet or the content provider or the network operator.
  • the network interface unit (130) can select and receive a desired application from among applications open to the public via the network.
  • the network interface unit (130) can transmit or receive predetermined data with a user terminal connected to the video display device and a network when a game application is executed on the video display device. In addition, it can transmit or receive predetermined data with a server that stores game scores.
  • the storage unit (140) may store programs for each signal processing and control within the control unit (170), and may also store signal-processed images, voices, or data signals.
  • the storage unit (140) may perform a function for temporary storage of video, audio, or data signals input from the external device interface unit (135) or the network interface unit (130). In addition, the storage unit (140) may store information about a specific broadcast channel through a channel memory function.
  • the storage unit (140) can store an application or a list of applications input from the external device interface unit (135) or the network interface unit (130).
  • the storage unit (140) can store unique information and game play information of a user terminal used as a game controller when providing a game application on a video display device.
  • the storage unit (140) may include at least one type of storage medium among, for example, a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, an SD or XD memory, etc.), a RAM, and a ROM (for example, an EEPROM).
  • the image display device (100) may reproduce content files (video files, still image files, music files, document files, application files, etc.) stored in the storage unit (140) and provide them to the user.
  • FIG. 1 illustrates an embodiment in which the storage unit (140) is provided separately from the control unit (170), the scope of the present disclosure is not limited thereto.
  • the storage unit (140) may be included within the control unit (170).
  • the user input interface unit (150) transmits a signal input by the user to the control unit (170) or transmits a signal from the control unit (170) to the user.
  • the user input interface unit (150) may receive and process control signals such as power on/off, channel selection, and screen settings from the remote control device (200) according to various communication methods such as RF (Radio Frequency) communication method and infrared (IR) communication method, or may process control signals from the control unit (170) to be transmitted to the remote control device (200).
  • control signals such as power on/off, channel selection, and screen settings from the remote control device (200) according to various communication methods such as RF (Radio Frequency) communication method and infrared (IR) communication method, or may process control signals from the control unit (170) to be transmitted to the remote control device (200).
  • RF Radio Frequency
  • IR infrared
  • the user input interface unit (150) can transmit a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, a setting value, etc., to the control unit (170).
  • a local key such as a power key, a channel key, a volume key, a setting value, etc.
  • the user input interface unit (150) may transmit a control signal input from a sensing unit (not shown) that senses a user's gesture to the control unit (170), or transmit a signal from the control unit (170) to the sensing unit (not shown).
  • the sensing unit (not shown) may include a touch sensor, a voice sensor, a position sensor, a motion sensor, etc.
  • the control unit (170) can demultiplex an input stream or process demultiplexed signals through a tuner (110), a demodulator (120), or an external device interface unit (135) to generate and output a signal for video or audio output.
  • the image signal processed in the control unit (170) can be input to the display unit (180) and displayed as an image corresponding to the image signal.
  • the image signal processed in the control unit (170) can be input to an external output device through the external device interface unit (135).
  • the voice signal processed in the control unit (170) can be output as audio to the audio output unit (185).
  • the voice signal processed in the control unit (170) can be input to an external output device through the external device interface unit (135).
  • control unit (170) may include a demultiplexer, an image processing unit, etc.
  • control unit (170) can control the overall operation within the video display device (100).
  • control unit (170) can control the tuner (110) to select (tune) an RF broadcast corresponding to a channel selected by the user or a pre-stored channel.
  • control unit (170) can control the video display device (100) by a user command or internal program input through the user input interface unit (150). In particular, it can connect to a network and allow the user to download a desired application or application list into the video display device (100).
  • control unit (170) controls the tuner (110) so that a signal of a selected channel is input according to a predetermined channel selection command received through the user input interface unit (150). Then, the control unit processes the video, audio or data signal of the selected channel.
  • the control unit (170) enables the channel information selected by the user to be output through the display unit (180) or the audio output unit (185) together with the processed video or audio signal.
  • control unit (170) allows a video signal or audio signal from an external device, for example, a camera or camcorder, input through the external device interface unit (135) to be output through the display unit (180) or the audio output unit (185) in accordance with an external device video playback command received through the user input interface unit (150).
  • an external device for example, a camera or camcorder
  • control unit (170) can control the display unit (180) to display an image.
  • the control unit (170) can control the display unit (180) to display a broadcast image input through the tuner (110), an external input image input through the external device interface unit (135), an image input through the network interface unit, or an image stored in the storage unit (140).
  • the image displayed on the display unit (180) can be a still image or a moving image, and can be a 2D image or a 3D image.
  • control unit (170) can control to play content.
  • the content may be content stored in the video display device (100), received broadcast content, or external input content input from outside.
  • the content may be at least one of broadcast video, external input video, audio file, still image, connected web screen, and document file.
  • control unit (170) can control the display unit (180) to display the home screen according to an input for moving to the home screen.
  • the home screen may have a plurality of card objects classified by content source.
  • the card object may include at least one of a card object representing a thumbnail list of broadcast channels, a card object representing a broadcast guide list, a card object representing a broadcast reservation list or a recording list, and a card object representing a media list within the video display device or within a device connected to the video display device.
  • the home screen may further include at least one of a card object representing a list of connected external devices, and a card object representing a list related to calls.
  • the home screen may further include an application menu having at least one executable application item.
  • control unit (170) can control, when there is a card object movement input, to move and display the corresponding card object, or to move and display a card object that is not displayed on the display unit (180) on the display unit (180).
  • control unit (170) can control the display unit (180) to display an image corresponding to a card object when a certain card object is selected from among multiple card objects in the home screen.
  • control unit (170) can control to display an object that shows the received broadcast image and information related to the broadcast image within the card object that displays the broadcast image.
  • the broadcast image can be controlled to have its size fixed by a lock setting.
  • control unit (170) can control to display a setup object for at least one of video settings, audio settings, screen settings, reservation settings, pointer settings of a remote control device, and network settings within the home screen.
  • control unit (170) may also control to display objects for login, help, or exit items in one area of the home screen.
  • control unit (170) can control an object to be displayed in one area of the home screen, indicating the number of total card objects or the number of card objects displayed on the display unit (180) among the total card objects.
  • control unit (170) can control the display unit (180) to display the card object in full screen mode when a card object name within a given card object is selected among the card objects displayed on the display unit (180).
  • control unit (170) can control to focus and display a call-related card object among a plurality of card objects, or to move and display a call-related card object within the display unit (180).
  • control unit (170) can control to display an application or a list of applications that can be downloaded from within the video display device (100) or from an external network.
  • the control unit (170) can control to install and run applications downloaded from an external network along with various user interfaces. In addition, it can control to display an image related to an application being run on the display unit (180) according to the user's selection.
  • a channel browsing processing unit that generates a thumbnail image corresponding to a channel signal or an external input signal.
  • the channel browsing processing unit can receive a stream signal (TS) output from the demodulation unit (120) or a stream signal output from the external device interface unit (135), extract an image from the input stream signal, and generate a thumbnail image.
  • the generated thumbnail image can be input to the control unit (170) as it is or encoded.
  • the generated thumbnail image can be encoded in a stream form and input to the control unit (170).
  • the control unit (170) can display a thumbnail list including a plurality of thumbnail images on the display unit (180) using the input thumbnail images. Meanwhile, the thumbnail images in the thumbnail list can be updated sequentially or simultaneously. Accordingly, the user can easily understand the contents of a plurality of broadcasting channels.
  • the display unit (180) converts image signals, data signals, OSD signals processed by the control unit (170) or image signals, data signals, etc. received from the external device interface unit (135) into R, G, and B signals, respectively, to generate a driving signal.
  • the display unit (180) may be a PDP, LCD, OLED, flexible display, 3D display, etc.
  • the display unit (180) is configured as a touch screen and can be used as an input device in addition to an output device.
  • the audio output unit (185) receives a signal processed by the control unit (170), for example, a stereo signal, a 3.1 channel signal, or a 5.1 channel signal, and outputs it as a voice.
  • the audio output unit (185) can be implemented as various types of speakers.
  • a sensing unit having at least one of a touch sensor, a voice sensor, a position sensor, and a motion sensor as described above may be further provided in the image display device (100).
  • a signal detected by the sensing unit (not shown) may be transmitted to the control unit (170) through the user input interface unit (150).
  • a camera unit (not shown) for filming a user may be further provided. Image information captured by the camera unit (not shown) may be input to the control unit (170).
  • the control unit (170) may detect the user's gesture by using images captured from a shooting unit (not shown) or signals detected from a sensing unit (not shown), individually or in combination.
  • the power supply unit (190) supplies power to the entire video display device (100).
  • control unit (170) that can be implemented in the form of a system on chip (SOC), a display unit (180) for displaying images, and an audio output unit (185) for audio output.
  • SOC system on chip
  • display unit (180) for displaying images
  • audio output unit (185) for audio output.
  • the power supply unit (190) may be equipped with a converter (not shown) that converts AC power into DC power.
  • a converter not shown
  • an inverter capable of PWM operation may be additionally equipped for brightness variable or dimming driving.
  • the remote control device (200) transmits user input to the user input interface unit (150).
  • the remote control device (200) can use Bluetooth, RF (Radio Frequency) communication, IR (Infrared) communication, UWB (Ultra Wideband), ZigBee, etc.
  • the remote control device (200) can receive images, voices or data signals output from the user input interface unit (150) and display them on the remote control device (200) or output voices or vibrations.
  • the above-described video display device (100) may be a digital broadcast receiver capable of receiving at least one of digital broadcasting in the ATSC format (8-VSB format), digital broadcasting in the DVB-T format (COFDM format), and digital broadcasting in the ISDB-T format (BST-OFDM format) as a fixed type.
  • the block diagram of the image display device (100) illustrated in FIG. 1 is a block diagram for one embodiment of the present disclosure.
  • Each component of the block diagram may be integrated, added, or omitted according to the specifications of the image display device (100) actually implemented. That is, two or more components may be combined into one component, or one component may be subdivided into two or more components, as needed.
  • the functions performed by each block are for explaining the embodiment of the present disclosure, and the specific operations or devices thereof do not limit the scope of the rights of the present disclosure.
  • the image display device (100) shown in FIG. 1 does not have the tuner (110) and demodulator (120) shown in FIG. 1, and can receive and play image content through the network interface unit (130) or the external device interface unit (135).
  • the function related to artificial intelligence can be operated through a control unit and a memory.
  • the control unit can include one or more processors.
  • the one or more processors can be a general-purpose processor such as a CPU, an AP, a DSP (Digital Signal Processor), a graphic-only processor such as a GPU, a VPU (Vision Processing Unit), or an artificial intelligence-only processor such as an NPU.
  • the one or more processors can be controlled to process input data according to a predefined operation rule or artificial intelligence model stored in the memory.
  • the one or more processors are artificial intelligence-only processors
  • the artificial intelligence-only processor can be designed with a hardware structure specialized for processing a specific artificial intelligence model.
  • Machine learning refers to a field that defines various problems in the field of artificial intelligence and studies the methodologies for solving them.
  • Machine learning is also defined as an algorithm that improves the performance of a task through constant experience with that task.
  • An artificial neural network is a model used in machine learning, and can refer to a model with problem-solving capabilities that is composed of artificial neurons (nodes) that form a network by combining synapses.
  • An artificial neural network can be defined by the connection pattern between neurons in different layers, the learning process that updates model parameters, and the activation function that generates output values.
  • An artificial neural network may include an input layer, an output layer, and optionally one or more hidden layers. Each layer may include one or more neurons, and the artificial neural network may include synapses connecting neurons. In an artificial neural network, each neuron may output a function value of an activation function for input signals, weights, and biases input through synapses.
  • Model parameters refer to parameters that are determined through learning, including the weights of synaptic connections and the biases of neurons.
  • Hyperparameters refer to parameters that must be set before learning in machine learning algorithms, including learning rate, number of iterations, mini-batch size, and initialization functions.
  • the purpose of learning an artificial neural network can be seen as determining model parameters that minimize a loss function.
  • the loss function can be used as an indicator to determine optimal model parameters during the learning process of an artificial neural network.
  • Machine learning can be classified into supervised learning, unsupervised learning, and reinforcement learning depending on the learning method.
  • Supervised learning refers to a method of training an artificial neural network when labels for training data are given.
  • the labels can refer to the correct answer (or result value) that the artificial neural network should infer when training data is input to the artificial neural network.
  • Unsupervised learning can refer to a method of training an artificial neural network when labels for training data are not given.
  • Reinforcement learning can refer to a learning method that trains an agent defined in a certain environment to select actions or action sequences that maximize cumulative rewards in each state.
  • machine learning implemented with a deep neural network (DNN: Deep Neural Network) that includes multiple hidden layers is also called deep learning, and deep learning is a part of machine learning.
  • DNN Deep Neural Network
  • machine learning is used to mean including deep learning.
  • Object detection models using machine learning include the single-step YOLO (You Only Look Once) model and the two-step Faster R-CNN (Regions with Convolution Neural Networks) model.
  • YOLO You Only Look Once
  • model is a model that can predict objects and the location of those objects within an image by looking at the image only once.
  • the YOLO (You Only Look Once) model divides the original image into grids of the same size. Then, for each grid, the number of bounding boxes specified in a predefined shape centered around the center of the grid is predicted, and the confidence is calculated based on this.
  • the Faster R-CNN (Regions with Convolution Neural Networks) model is a model that can detect objects faster than the RCNN model and the Fast RCNN model.
  • RoIs regions of interest
  • RoI pooling is a process of extracting a feature map with a size of H x W by setting a grid to a predetermined size of H x W on which the region of interest is projected, and extracting the largest value for each cell included in the grid to extract a feature map with a size of H x W.
  • a feature vector is extracted from a feature map having the size of H x W, and object identification information can be obtained from the feature vector.
  • FIG. 2 is a drawing illustrating a control method of a remote control device that controls a video display device according to one embodiment of the present disclosure.
  • a pointer (205) corresponding to a remote control device (200) is displayed on the display unit (180).
  • the user can move or rotate the remote control device (200) up and down, left and right ((b) of FIG. 2), forward and backward ((c) of FIG. 2).
  • the pointer (205) displayed on the display unit (180) of the video display device corresponds to the movement of the remote control device (200).
  • This remote control device (200) can be called a space remote control because the pointer (205) moves and is displayed according to the movement in 3D space, as shown in the drawing.
  • Figure 2 (b) exemplifies that when a user moves a remote control device (200) to the left, the pointer (205) displayed on the display unit (180) of the video display device also moves to the left in response.
  • Information about the movement of the remote control device (200) detected through the sensor of the remote control device (200) is transmitted to the video display device.
  • the video display device can calculate the coordinates of the pointer (205) from the information about the movement of the remote control device (200).
  • the video display device can display the pointer (205) to correspond to the calculated coordinates.
  • FIG. 2 (c) illustrates a case where a user moves the remote control device (200) away from the display unit (180) while pressing a specific button within the remote control device (200).
  • a selection area within the display unit (180) corresponding to the pointer (205) may be zoomed in and displayed in an enlarged manner.
  • a selection area within the display unit (180) corresponding to the pointer (205) may be zoomed out and displayed in a reduced manner.
  • the remote control device (200) moves away from the display unit (180)
  • the selection area may be zoomed out
  • the selection area may be zoomed in.
  • the movement speed or movement direction of the pointer (205) can correspond to the movement speed or movement direction of the remote control device (200).
  • the pointer in the present disclosure means an object displayed on the display unit (180) in response to the operation of the remote control device (200). Accordingly, objects of various shapes other than the arrow shape illustrated in the drawing may be used as the pointer (205).
  • the pointer may be a concept including a point, a cursor, a prompt, a thick outline, etc.
  • the pointer (205) may be displayed corresponding to one point of the horizontal and vertical axes on the display unit (180), and may also be displayed corresponding to multiple points such as lines and surfaces.
  • FIG. 3 is a block diagram of a remote control device that controls a video display device according to an embodiment of the present disclosure.
  • the remote control device (200) may include a wireless communication unit (225), a user input unit (235), a sensor unit (240), an output unit (250), a power supply unit (260), a storage unit (270), and a control unit (280).
  • the wireless communication unit (225) transmits and receives signals with any one of the image display devices according to the embodiments of the present disclosure described above.
  • the image display devices according to the embodiments of the present disclosure one image display device (100) will be described as an example.
  • the remote control device (200) may be equipped with an RF module (221) capable of transmitting and receiving signals with the image display device (100) in accordance with RF communication standards.
  • the remote control device (200) may be equipped with an IR module (223) capable of transmitting and receiving signals with the image display device (100) in accordance with IR communication standards.
  • the remote control device (200) can transmit a signal containing information about the movement of the remote control device (200) to the video display device (100) through the RF module (221).
  • the remote control device (200) can receive a signal transmitted by the video display device (100) through the RF module (221). In addition, the remote control device (200) can transmit commands for power on/off, channel change, volume change, etc. to the video display device (100) through the IR module (223) as needed.
  • the user input unit (235) may be composed of a keypad, a button, a touch pad, or a touch screen.
  • the user can input a command related to the image display device (100) to the remote control device (200) by operating the user input unit (235).
  • the user input unit (235) is equipped with a hard key button, the user can input a command related to the image display device (100) to the remote control device (200) by pushing the hard key button.
  • the user input unit (235) is equipped with a touch screen, the user can input a command related to the image display device (100) to the remote control device (200) by touching a soft key of the touch screen.
  • the user input unit (235) may be equipped with various types of input means that the user can operate, such as a scroll key or a jog key.
  • the user input unit (235) may include a microphone for receiving audio signals such as a user's voice. Voice data collected from the user input unit (235) may be analyzed and processed into a user's control command.
  • the sensor unit (240) may be equipped with a gyro sensor (241) or an acceleration sensor (243).
  • the gyro sensor (241) can sense information about the movement of the remote control device (200).
  • the gyro sensor (241) can sense information about the operation of the remote control device (200) based on the x, y, and z axes.
  • the acceleration sensor (243) can sense information about the moving speed of the remote control device (200).
  • a distance measuring sensor can be additionally provided, and thereby the distance to the display unit (180) can be sensed.
  • the output unit (250) can output a video or audio signal corresponding to the operation of the user input unit (235) or to the signal transmitted from the video display device (100). Through the output unit (250), the user can recognize whether the user input unit (235) is being operated or whether the video display device (100) is being controlled.
  • the output unit (250) may be equipped with an LED module (251) that lights up when the user input unit (235) is operated or a signal is transmitted and received with the image display device (100) through the wireless communication unit (225), a vibration module (253) that generates vibration, an audio output module (255) that outputs audio, or a display module (257) that outputs an image.
  • an LED module 251 that lights up when the user input unit (235) is operated or a signal is transmitted and received with the image display device (100) through the wireless communication unit (225), a vibration module (253) that generates vibration, an audio output module (255) that outputs audio, or a display module (257) that outputs an image.
  • the power supply unit (260) supplies power to the remote control device (200).
  • the power supply unit (260) can reduce power waste by stopping the power supply when the remote control device (200) does not move for a predetermined period of time.
  • the power supply unit (260) can resume the power supply when a predetermined key provided in the remote control device (200) is operated.
  • the storage unit (270) can store various types of programs, application data, etc. required for the control or operation of the remote control device (200). If the remote control device (200) wirelessly transmits and receives signals through the image display device (100) and the RF module (221), the remote control device (200) and the image display device (100) can transmit and receive signals through a predetermined frequency band.
  • the control unit (280) of the remote control device (200) can store and refer to information about the frequency band, etc., that can wirelessly transmit and receive signals between the remote control device (200) and the paired image display device (100).
  • the control unit (280) controls all matters related to the control of the remote control device (200).
  • the control unit (280) can transmit a signal corresponding to a predetermined key operation of the user input unit (235) or a signal corresponding to the movement of the remote control device (200) sensed by the sensor unit (240) to the image display device (100) through the wireless communication unit (225).
  • the sensor unit (240) may further include a voice sensor (245) (e.g., a microphone) for receiving a user's voice.
  • the user's voice input through the voice sensor (245) may be transmitted to the image display device (100) through the wireless communication unit (225).
  • FIG. 4 is a flowchart regarding the operation of an image display device according to an embodiment of the present disclosure.
  • the storage unit (140) of the above video display device (100) may include a personal information DB (145) for storing personal information.
  • the personal information may include personal profile information of a user (or viewer) of the above video display device (100), schedule/event information, viewing history information, personal profile information of each of the user's acquaintances (e.g., friends or family), and profile images (photos or videos) of each of the user and acquaintances.
  • the above personal information DB (145) does not necessarily have to be implemented within the video display device (100), and may be implemented in an external server. That is, the personal information DB (145) may be implemented in at least one of the storage unit (140) and the external server. In this case, the video display device (100) may access the external server to obtain the personal information.
  • the information in the above personal information DB (145) may be input directly by the user or automatically generated by the use of the video display device (100), or may be received from another external server that stores personal information of the user and/or his/her acquaintances, such as a Social Network Service (SNS) [S41].
  • SNS Social Network Service
  • the above profile images may be stored one or more for each of the user and each of the acquaintances. As the above profile images are updated, outdated profile images may not be deleted but may be stored as is. Profile images of the user and each of the acquaintances that were used in the past may be stored by period.
  • the above profile images are images for visually identifying the user and each of the acquaintances, and may be photographs or corresponding images of the user and each of the acquaintances, or may be 2D or 3D avatars, and there is no limitation on their types.
  • the control unit (170) of the above video display device (100) can learn the personal information through artificial intelligence. Therefore, the control unit (170) learns personal information for each of the user and the acquaintance, and when some information is input, it can easily infer who the input information belongs to. In addition, the control unit (170) can also predict past or future personal information (e.g., profile image) that is not recorded in the personal information DB (145) based on the learned personal information.
  • personal information DB (145) e.g., profile image
  • the above control unit (170) can receive a user command through the remote control device (200) [S42].
  • the user command may be a user's voice command input through the voice sensor (245) of the remote control device (200).
  • the user's voice command may be a natural language command.
  • the user command is not limited to the voice command.
  • the user command may be a text command input through a virtual keyboard displayed on the display (180).
  • the above control unit (170) can analyze the user's intention according to the user command through artificial intelligence [S43].
  • the above control unit (170) can transmit the user's intention to an external server for artificial intelligence intention analysis and can also receive the user's intention from the external server [S41].
  • the above user intent analysis may be to extract information related to the meaning of a sentence or text according to the user command.
  • artificial intelligence can understand and infer the structure of sentences, relationships between words, semantic similarities, etc.
  • syntactic parsing To analyze the user's intention based on natural language understanding, syntactic parsing, semantic parsing, named entity recognition, semantic linking, and sentiment analysis can be performed.
  • the above syntax analysis is to analyze the structure of sentences to identify the grammatical roles and relationships of words. Through this, part-of-speech tagging of sentences and syntax tree creation can be performed.
  • the above semantic analysis is intended to understand and infer the meaning of a sentence. It can extract the meaning of words and identify semantically similar words or sentences by identifying relationships and connections within the sentence.
  • the above named entity recognition can recognize and extract specific types of named entities (people, places, dates, etc.) from sentences. This allows for identifying and analyzing important information from sentences.
  • the above semantic connection is intended to analyze the semantic connection between words or entities within a sentence.
  • the above sentiment analysis is intended to analyze whether a sentence or text is positive, negative, or neutral. This allows us to understand and infer the emotions contained in the text.
  • the above control unit (170) can search for content that matches the user's intention [S44].
  • the above control unit (170) can also connect to an external server that provides content for searching and downloading the content.
  • the above control unit (170) can display a list screen of the searched contents on the display (180) [S45].
  • the control unit (170) can play the content selected by the user on the list screen and display it on the display (180). At this time, the control unit (170) can display the profile picture of the user and/or the acquaintance together. The selection of the content on the list screen can be performed through the operation of the remote control device (200).
  • the profile picture displayed above may be downloaded from the personal information DB (145).
  • the profile picture displayed above may be an image synthesis or generated through artificial intelligence based on a profile picture stored in the personal information DB (145) [S46]. This will be explained later.
  • FIGS. 5 to 7 illustrate a screen displayed on an image display device according to an embodiment of the present disclosure.
  • the user can input a natural language voice command, “Find me a popular drama when I was in my 40s,” into the video display device (100) through the voice sensor.
  • the voice sensor may be of the video display device (100) or of the remote control device (200).
  • the above control unit (170) can identify the user's intention of the voice command based on the user's profile information (e.g., current age) and content viewing history.
  • the above control unit (170) can search for at least one content that matches the user's intention and control to display a list (1000) of the searched content on the display (180).
  • the list (1000) can include each thumbnail (C1 to C7) of the searched content.
  • control unit (170) can display search criteria (1100) according to the user's intention together with the content list (1000).
  • One content (e.g., C3 content) from the above content list (1000) can be selected by the user through the remote control device (200).
  • control unit (170) can control the information screen (2000) of the selected content to be displayed on the display (180).
  • the above content information screen (2000) may include at least one piece of information about the selected content, such as the name, poster, synopsis, production company, production year, genre, cast, production crew, and rating.
  • control unit (170) can display a viewing history (2100) in which the user has viewed the selected content and a selection menu (2200) for selecting whether to play the selected content.
  • a viewing history (2100) in which the user has viewed the selected content
  • a selection menu (2200) for selecting whether to play the selected content.
  • control unit (170) can also display schedule/event information corresponding to a time that matches the user's intention.
  • the above viewing history (2100) may include information about when the user viewed the content and with whom the user viewed the content.
  • a front image of the video display device (100) can be captured while the content is being played, and a person in the captured front image can be identified through the artificial intelligence.
  • a profile image of an acquaintance in the personal information DB (145) can be utilized.
  • the control unit (170) can cumulatively store the playback time and information of a person who watched the content together with the user in the personal information DB (145). This can be utilized to create the viewing history (2100).
  • the above selection menu (2200) may include a viewing alone option (2210) and a viewing together option (2220).
  • control unit (170) can play the selected content and display the played content (3000) on the display (180), as shown in (7-1) of FIG. 7.
  • the control unit (170) can, as shown in (7-2) of FIG. 7, reproduce the selected content and display the reproduced content (3000) on the display (180), while also displaying profile images (P1 to P5) of people (i.e., acquaintances) who have viewed the content together in the past.
  • the profile image displayed for each acquaintance may not be the profile image of the current time, but may be the profile image of each acquaintance at a past time with whom the content was viewed together. Accordingly, if the profile image of each acquaintance at the past time is stored in the personal information DB (145), the control unit (170) may call up and display the profile image of each acquaintance at the past time.
  • the control unit (170) can newly synthesize or generate a profile image of the past time (for example, 10 years ago from the present) based on a profile image of the acquaintance at another time (for example, the present time) stored in the personal information DB (145) through the artificial intelligence. That is, the control unit (170) can newly synthesize or generate and display the profile image of the past time by reflecting the time difference (for example, 10 years) between the other time and the past time in the profile image of the present time. That is, the control unit (170) can newly synthesize or generate the profile image of the past time so that the person in the profile image of the past time is the same as the person in the profile image of the present time, but looks 10 years younger.
  • FIG. 8 illustrates a screen displayed on the video display device according to one embodiment of the present disclosure.
  • the user can input a natural language voice command, “I want to see the youngest son of a conglomerate family with Su-ah and his mother,” into the video display device (100) through the voice sensor.
  • “the youngest son of a conglomerate family” means the name of a content.
  • the above control unit (170) can identify the user's intention of the voice command based on the user's personal information.
  • control unit (170) can search for and play content that matches the user's intention and control the display (180) to display the played content (4000).
  • control unit (170) can call up the profile images (P7, P8) of acquaintances (i.e., Sua, Mom) that match the user's intention from the personal information DB (145) and display them together with the reproduced content (4000).
  • the profile images can be the profile images of each acquaintance at the current time.
  • the control unit (170) may newly generate or synthesize a profile image of the present time based on the profile image of the past time and display it. That is, the control unit (170) may newly synthesize or generate a profile image of the present time so that the person in the profile image of the present time is the same as the person in the profile image of the past time, but appears 5 years older.
  • FIG. 9 illustrates a screen displayed on a video display device according to an embodiment of the present disclosure.
  • the user can input a natural language voice command such as “How is Suah doing these days?” into the video display device (100) through the voice sensor.
  • a natural language voice command such as “How is Suah doing these days?”
  • the above control unit (170) can identify the user's intention of the voice command based on the user's personal information.
  • control unit (170) can identify an acquaintance who matches the user's intention and obtain personal information of the identified acquaintance who matches the user's intention from the personal information DB (145). If personal information matching the user's intention is not stored in the personal information DB (145), the control unit (170) can access an external server (e.g., SNS server) that stores personal information matching the user's intention and obtain the personal information.
  • SNS server e.g., SNS server
  • control unit (170) can display a screen (5000) regarding personal information of an acquaintance that matches the user's intention on the display (180).
  • FIG. 10 illustrates an example of image synthesis or generation according to one embodiment of the present disclosure.
  • control unit (170) may change, synthesize, or create a past image (P12) or a future image (P14) of a person based on a present image (P13) of the person through the artificial intelligence.
  • control unit (170) may synthesize or create a present image (P13) or a future image (P14) of a person based on a past image (P12) of the person through the artificial intelligence. This can be implemented by adjusting facial features and skin tones in a person image, making the skin smooth or rough, and removing or creating wrinkles.
  • FIG. 11 illustrates a screen displayed on the video display device according to one embodiment of the present disclosure.
  • control unit (170) when entering the setting menu of the video display device (100), the control unit (170) can display a login screen (or account setting screen) (6000) on the display (180).
  • the above login screen may display at least one icon (6010, 6020) of a preset account and an icon (6030) for adding an account.
  • the above user can log in by selecting his/her account icon from at least one account icon (6010, 6020).
  • the user can log in by creating a new account through the add account icon (6030).
  • control unit (170) may display a user guide (6100) on the display (180) to guide the user's use of the video display device (100).
  • the user guide (6100) may be displayed when the user manipulates a menu and/or when a specific event occurs (e.g., an external device connection event).
  • a guide agent (6110) may be displayed on the user guide (6100).
  • the guide agent (6110) may be, for example, a virtual human.
  • control unit (170) can change, create or synthesize the appearance of the guide agent (6110) so that the appearance of the guide agent (6110) appears to age naturally over time.
  • the changing, creating or synthesizing of the appearance is as described in Fig. 10. Accordingly, the user can feel as if the image display device (100) is a companion device while watching the change in the appearance of the guide agent (6110).
  • the above-described present disclosure can be implemented as a computer-readable code on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer-readable medium include a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (SDD), a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also includes those implemented in the form of a carrier wave (e.g., transmission via the Internet).
  • the computer may include a control unit (170) of an image display device and a control unit (280) of a remote control device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 개시는 다양한 컨텐츠들 중에서 사용자가 원하는 컨텐츠를 손쉽게 선택할 수 있고, 상기 선택된 컨텐츠를 사용자가 의도한 환경에서 재생하도록 하는 영상표시기기 및 그 제어 방법에 관한 것이다. 본 개시는, 디스플레이, 적어도 하나의 외부 서버와 통신하기 위한 통신부, 원격제어장치와 통신하기 위한 사용자 인터페이스부, 및 상기 원격제어장치를 통해 입력되는 사용자 명령을 수신하고, 인공지능을 통해 상기 사용자 명령으로부터 파악되는 사용자 의도에 부합하는 적어도 하나의 컨텐츠를 포함하는 컨텐츠 리스트를 상기 디스플레이에 디스플레이하고, 상기 컨텐츠 리스트에서 선택된 컨텐츠에 대한 과거 시청 이력을 검색하여 디스플레이하되, 상기 과거 시청 이력은 상기 선택된 컨텐츠의 시청 시기 정보 및 상기 선택된 컨텐츠를 함께 시청한 지인 정보를 포함하도록 제어하는 제어부를 포함하는 영상표시기기를 제공할 수 있다.

Description

영상표시기기 및 그 제어방법
본 개시는 사용자의 편의가 더욱 고려되어 영상표시기기의 사용이 구현될 수 있도록 하는 영상표시기기 및 그 제어 방법에 관한 것이다.
영상표시기기는 예를 들어, 사용자가 시청할 수 있는 방송영상을 수신하여 처리하는 기능을 갖춘 장치이다. 영상표시기기는 예를 들어, 방송국에서 송출되는 방송신호 중 사용자가 선택한 방송을 디스플레이에 표시한다. 현재 방송은 전세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다.
디지털 방송은 디지털 영상 및 음성 신호를 송출하는 방송을 의미한다. 디지털 방송은 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송은 아날로그 방송과 달리 양방향 서비스가 가능하다.
다양한 컨텐츠를 포함한 디지털 방송을 이용하기 위하여 영상표시기기의 성능 향상 및 기능의 다양화가 이루어졌고, 향상된 영상표시기기의 성능을 통하여 단순히 방송국으로부터 영상신호를 수신하여 방송을 시청할 뿐만 아니라 각종 어플리케이션을 이용하여 게임 플레이, 음악 감상, 인터넷 쇼핑 등 영상표시기기를 통한 다양한 기능을 수행할 수 있게 되었다.
다양한 컨텐츠들 중에서 사용자가 원하는 컨텐츠를 손쉽게 선택할 수 있고, 상기 선택된 컨텐츠를 사용자가 의도한 환경에서 재생하도록 하는 영상표시기기 및 그 제어 방법의 개발이 계속 요구되고 있다.
본 개시는 다양한 컨텐츠들 중에서 사용자가 원하는 컨텐츠를 손쉽게 선택할 수 있고, 상기 선택된 컨텐츠를 사용자가 의도한 환경에서 재생하도록 하는 영상표시기기 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
상기와 같은 목적을 달성하기 위해 본 개시의 일 측면에 따르면, 디스플레이, 적어도 하나의 외부 서버와 통신하기 위한 통신부, 원격제어장치와 통신하기 위한 사용자 인터페이스부, 및 상기 원격제어장치를 통해 입력되는 사용자 명령을 수신하고, 인공지능을 통해 상기 사용자 명령으로부터 파악되는 사용자 의도에 부합하는 적어도 하나의 컨텐츠를 포함하는 컨텐츠 리스트를 상기 디스플레이에 디스플레이하고, 상기 컨텐츠 리스트에서 선택된 컨텐츠에 대한 과거 시청 이력을 검색하여 디스플레이하되, 상기 과거 시청 이력은 상기 선택된 컨텐츠의 시청 시기 정보 및 상기 선택된 컨텐츠를 함께 시청한 지인 정보를 포함하도록 제어하는 제어부를 포함하는 영상표시기기를 제공할 수 있다.
상기 과거 시청 이력을 포함하는 개인정보는 상기 적어도 하나의 외부 서버 중 한 서버 및 상기 영상표시기기 내의 저장부 중 적어도 하나에 기록될 수 있다.
상기 제어부는, 상기 컨텐츠 리스트를 디스플레이할 때 상기 사용자 의도에 따른 검색 기준을 함께 디스플레이하도록 제어할 수 있다.
상기 제어부는, 상기 선택된 컨텐츠의 재생시, 상기 함께 시청한 지인의 프로필 이미지를 디스플레이하도록 제어할 수 있다.
상기 디스플레이되는 프로필 이미지는 상기 시청 시기에 부합하는 프로필 이미지일 수 있다.
상기 제어부는, 인공지능을 통해 상기 시청 시기와 다른 시기의 프로필 이미지에 기반하여 상기 시청 시기에 부합하는 프로필 이미지를 합성하도록 제어할 수 있다.
상기 제어부는, 상기 통신부를 통해 상기 적어도 하나의 외부 서버 중 한 서버에 접속하여 상기 사용자 의도에 부합하는 적어도 하나의 컨텐츠를 검색하도록 제어할 수 있다.
상기 사용자 명령은 상기 원격제어장치를 통해 입력되는 음성 명령일 수 있다.
상기 제어부는, 상기 사용자 의도에 반응하여 상기 외부 서버 중 한 서버에 접속하여 상기 지인의 SNS(Social Network Service) 정보를 다운로드하여 디스플레이할 수 있다.
상기 제어부는, 특정 이벤트 발생을 안내하기 위한 사용 가이드를 디스플레이하되, 상기 사용 가이드 내의 가이드 에이전트의 외모가 시간 경과에 따라 달라지도록 제어할 수 있다.
또한, 본 개시의 일 측면에 따르면, 원격제어장치를 통해 입력되는 사용자 명령을 수신하는 단계, 인공지능을 통해 상기 사용자 명령으로부터 파악되는 사용자 의도에 부합하는 적어도 하나의 컨텐츠를 포함하는 컨텐츠 리스트를 디스플레이하는 단계, 및 상기 컨텐츠 리스트에서 선택된 컨텐츠에 대한 과거 시청 이력을 검색하여 디스플레이하되, 상기 과거 시청 이력은 상기 선택된 컨텐츠의 시청 시기 정보 및 상기 선택된 컨텐츠를 함께 시청한 지인 정보를 포함하는 단계를 포함하는 영상표시기기의 제어 방법을 제공할 수 있다.
본 개시에 따른 영상표시기기 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 개시의 실시 예들 중 적어도 하나에 의하면, 다양한 컨텐츠들 중에서 사용자가 원하는 컨텐츠를 손쉽게 선택할 수 있고, 상기 선택된 컨텐츠를 사용자가 의도한 환경에서 재생할 수 있다는 장점이 있다.
본 개시의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 개시의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 개시의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 개시의 일실시예에 따른 영상표시기기의 개략적 블록도이다.
도 2는 본 개시의 일실시예에 따른 영상표시기기를 제어하는 원격제어장치의 제어 방법을 도시한 도면이다.
도 3은 본 개시의 일실시예에 따른 영상표시기기를 제어하는 원격제어장치의 블록도이다.
도 4는 본 개시의 일실시예에 따른 영상표시기기의 동작에 관한 순서도이다.
도 5 내지 도 9는 본 개시의 일실시예에 따른 영상표시기기에 디스플레이되는 화면을 도시한다.
도 10은 본 개시의 일실시예에 따른 영상 합성 또는 생성의 예시를 도시한다.
도 11은 본 개시의 일실시예에 따른 영상표시기기에 디스플레이되는 화면을 도시한다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
또한 이들 구성요소들은 각각 별도의 개별 하드웨어 모듈로 구성되거나 둘 이상의 하드웨어 모듈로 구현될 수도 있고, 둘 이상의 구성요소들이 하나의 하드웨어 모듈로 구현될 수도 있으며, 경우에 따라서는 소프트웨어로도 구현될 수 있음은 물론이다.
한편, 본 명세서에서 기술되는 영상표시기기는, 예컨대 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 영상표시기기로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 개시에서 기술되는 영상표시기기는, 예를 들어 범용의 OS 커널 상에, 다양한 어플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 영상표시기기는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 개시의 실시예를 상세하게 설명하지만, 본 개시가 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 개시의 일실시예에 따른 영상표시기기의 개략적 블록도이다.
도 1을 참조하면, 본 개시의 일실시예에 의한 영상표시기기(100)는, 방송 수신부(105), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190), 및 촬영부(미도시)를 포함할 수 있다. 상기 방송수신부(105) 및 상기 외부장치 인터페이스부(135)는 통신부로 통칭될 수 있다.
방송 수신부(105)는, 튜너(110), 복조부(120), 및 네트워크 인터페이스부(130)를 포함할 수 있다. 물론, 필요에 따라, 튜너(110)와 복조부(120)를 구비하면서 네트워크 인터페이스부(130)는 포함하지 않도록 설계하는 것도 가능하며, 반대로 네트워크 인터페이스부(130)를 구비하면서 튜너(110)와 복조부(120)는 포함하지 않도록 설계하는 것도 가능하다.
튜너(110)는, 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다.
예를 들어, 선택된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환한다. 즉, 튜너(110)는 디지털 방송 신호 또는 아날로그 방송 신호를 모두 처리할 수 있다. 튜너(110)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는 제어부(170)로 직접 입력될 수 있다.
또한, 튜너(110)는, ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다.
한편, 튜너(110)는, 안테나를 통해 수신되는 RF 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 RF 방송 신호를 순차적으로 선택하여 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다.
복조부(120)는, 튜너(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다.
예를 들어, 튜너(110)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우, 복조부(120)는 예컨대, 8-VSB(8-Vestigal Side Band) 복조를 수행한다. 또한, 복조부(120)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(120)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.
예를 들어, 튜너(110)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(120)는 예컨대, COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. 또한, 복조부(120)는, 채널 복호화를 수행할 수도 있다. 이를 위해, 복조부(120)는, 컨벌루션 디코더(convolution decoder), 디인터리버, 및 리드-솔로먼 디코더 등을 구비하여, 컨벌루션 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.
복조부(120)는, 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때, 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
한편, 상술한 복조부(120)는, ATSC 방식과, DVB 방식에 따라 각각 별개로 구비되는 것이 가능하다. 즉, ATSC 복조부와, DVB 복조부로 구비되는 것이 가능하다.
복조부(120)에서 출력한 스트림 신호는 제어부(170)로 입력될 수 있다. 제어부(170)는 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이부(180)에 영상을 출력하고, 오디오 출력부(185)로 음성을 출력한다.
외부장치 인터페이스부(135)는 외부 장치와 영상표시기기(100)를 접속할 수 있다. 이를 위해, 외부장치 인터페이스부(135)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.
외부장치 인터페이스부(135)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 유/무선으로 접속될 수 있다. 외부장치 인터페이스부(135)는 연결된 외부 장치를 통하여 외부에서 입력되는 영상, 음성 또는 데이터 신호를 영상표시기기(100)의 제어부(170)로 전달한다. 또한, 제어부(170)에서 처리된 영상, 음성 또는 데이터 신호를 연결된 외부 장치로 출력할 수 있다. 이를 위해, 외부장치 인터페이스부(135)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 영상표시기기(100)로 입력할 수 있도록, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있다.
무선 통신부는, 다른 전자기기와 근거리 무선 통신을 수행할 수 있다. 영상표시기기(100)는 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA (Digital Living Network Alliance) 등의 통신 규격에 따라 다른 전자기기와 네트워크 연결될 수 있다.
또한, 외부장치 인터페이스부(135)는, 다양한 셋탑 박스와 상술한 각종 단자 중 적어도 하나를 통해 접속되어, 셋탑 박스와 입력/출력 동작을 수행할 수도 있다.
한편, 외부장치 인터페이스부(135)는, 인접하는 외부 장치 내의 어플리케이션 또는 어플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
네트워크 인터페이스부(130)는, 영상표시기기(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 네트워크 인터페이스부(130)는, 유선 네트워크와의 접속을 위해, 예를 들어 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해, 예를 들어 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.
네트워크 인터페이스부(130)는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다. 특히, 영상표시기기(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 영상표시기기(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
한편, 네트워크 인터페이스부(130)는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다. 그 외, 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다. 또한, 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있다. 또한, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
또한, 네트워크 인터페이스부(130)는, 네트워크를 통해, 공중에 공개(open)된 어플리케이션들 중 원하는 어플리케이션을 선택하여 수신할 수 있다.
실시 예에 따라, 네트워크 인터페이스부(130)는, 영상표시기기에서 게임 어플리케이션을 실행하는 경우, 상기 영상표시기기와 네트워크 연결된 사용자 단말기와 소정의 데이터를 송신 또는 수신할 수 있다. 또한, 게임 스코어를 저장하는 서버와 소정의 데이터를 송신 또는 수신할 수 있다
저장부(140)는, 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수도 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(130)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 저장부(140)는, 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.
또한, 저장부(140)는, 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(130)로부터 입력되는 어플리케이션 또는 어플리케이션 목록을 저장할 수 있다.
또한, 실시 예에 따라, 저장부(140)는, 영상표시기기에서 게임 어플리케이션을 제공함에 있어서, 게임 컨트롤러로 사용된 사용자 단말기의 고유 정보 및 게임 플레이 정보를 저장할 수 있다.
저장부(140)는, 예를 들어 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상표시기기(100)는, 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 어플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
도 1은 저장부(140)가 제어부(170)와 별도로 구비된 실시예를 도시하고 있으나, 본 개시의 범위는 이에 한정되지 않는다. 저장부(140)는 제어부(170) 내에 포함될 수도 있다.
사용자입력 인터페이스부(150)는, 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달한다.
예를 들어, 사용자입력 인터페이스부(150)는, RF(Radio Frequency) 통신 방식, 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 예를 들어, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
또한, 예를 들어, 사용자입력 인터페이스부(150)는, 사용자의 제스처를 센싱하는 센싱부(미도시)로부터 입력되는 제어 신호를 제어부(170)에 전달하거나, 제어부(170)로부터의 신호를 센싱부(미도시)로 송신할 수 있다. 여기서, 센싱부(미도시)는, 터치 센서, 음성 센서, 위치 센서, 동작 센서 등을 포함할 수 있다.
제어부(170)는, 튜너(110) 또는 복조부(120) 또는 외부장치 인터페이스부(135)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
도 1에서는 도시되어 있지 않으나, 제어부(170)는 역다중화부, 영상처리부 등을 포함할 수 있다.
그 외, 제어부(170)는, 영상표시기기(100) 내의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(170)는, 튜너(110)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시기기(100)를 제어할 수 있다. 특히, 네트워크에 접속하여 사용자가 원하는 어플리케이션 또는 어플리케이션 목록을 영상표시기기(100) 내로 다운받을 수 있도록 할 수 있다.
예를 들어, 제어부(170)는, 사용자입력 인터페이스부(150)를 통하여 수신한 소정 채널 선택 명령에 따라 선택한 채널의 신호가 입력되도록 튜너(110)를 제어한다. 그리고, 선택한 채널의 영상, 음성 또는 데이터 신호를 처리한다. 제어부(170)는, 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
다른 예로, 제어부(170)는, 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는, 영상을 표시하도록 디스플레이부(180)를 제어할 수 있다. 예를 들어, 튜너(110)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상을, 디스플레이부(180)에 표시하도록 제어할 수 있다. 이때, 디스플레이부(180)에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는, 컨텐츠를 재생하도록 제어할 수 있다. 이때의 컨텐츠는, 영상표시기기(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로 부터 입력되는 외부 입력 컨텐츠일 수 있다. 컨텐츠는, 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 중 적어도 하나일 수 있다.
한편, 본 개시의 실시예와 관련하여, 제어부(170)는, 홈 화면으로의 이동 입력에 따라, 디스플레이부(180)에 홈 화면을 표시하도록 제어할 수 있다.
홈 화면은, 컨텐츠 소스 별로 분류된 복수의 카드 오브젝트를 구비할 수 있다. 카드 오브젝트는, 방송 채널의 썸네일 리스트를 나타내는 카드 오브젝트, 방송 가이드 리스트를 나타내는 카드 오브젝트, 방송 예약 리스트 또는 녹화 리스트를 나타내는 카드 오브젝트, 상기 영상표시기기 내 또는 상기 영상표시기기에 접속된 장치 내의 미디어 리스트를 나타내는 카드 오브젝트 중 적어도 하나를 포함할 수 있다. 또한, 접속된 외부 장치 리스트를 나타내는 카드 오브젝트, 및 통화와 관련된 리스트를 나타내는 카드 오브젝트 중 적어도 하나를 더 포함할 수 있다.
또한, 홈 화면은, 실행 가능한 적어도 하나의 어플리케이션 항목을 구비하는 어플리케이션 메뉴를 더 구비할 수 있다.
한편, 제어부(170)는, 카드 오브젝트 이동 입력이 있는 경우, 해당 카드 오브젝트를 이동하여 표시하거나, 디스플레이부(180)에 표시되지 않는 카드 오브젝트를 디스플레이부(180)에 이동 표시하도록 제어할 수 있다.
한편, 제어부(170)는, 홈 화면 내의 복수의 카드 오브젝트 중 소정 카드 오브젝트가 선택되는 경우, 해당 카드 오브젝트에 대응하는 영상을 디스플레이부(180)에 표시하도록 제어할 수 있다.
한편, 제어부(170)는, 방송 영상을 표시하는 카드 오브젝트 내에, 수신되는 방송 영상과, 해당 방송 영상 관련 정보를 나타내는 오브젝트를 표시하도록 제어할 수 있다. 그리고, 이러한 방송 영상은 잠금 설정에 의해 그 크기가 고정되도록 제어할 수 있다.
한편, 제어부(170)는, 홈 화면 내에, 영상표시기기 내의 영상 설정, 오디오 설정, 화면 설정, 예약 설정, 원격제어장치의 포인터 설정, 네트워크 설정 중 적어도 하나의 설정을 위한 셋업 오브젝트를 표시하도록 제어할 수 있다.
한편, 제어부(170)는, 홈 화면의 일 영역에, 로그인, 도움말 또는 나가기 항목에 대한 오브젝트를 표시하도록 제어할 수도 있다.
한편, 제어부(170)는, 홈 화면의 일 영역에, 전체 카드 오브젝트의 개수를 나타내거나 전체 카드 오브젝트 중 디스플레이부(180)에 표시되는 카드 오브젝트의 개수를 나타내는 오브젝트를 표시하도록 제어할 수 있다.
한편, 제어부(170)는, 디스플레이부(180)에 표시되는 카드 오브젝트 중 소정 카드 오브젝트 내의 카드 오브젝트명이 선택되는 경우, 해당 카드 오브젝트를 전체화면으로서 디스플레이부(180)에 표시하도록 제어할 수 있다.
한편, 제어부(170)는, 접속된 외부장치 또는 영상표시기기 내에서 착신 호가 수신되는 경우, 복수의 카드 오브젝트 중 통화 관련 카드 오브젝트를 포커싱하여 표시하거나, 디스플레이부(180) 내로 통화 관련 카드 오브젝트를 이동하여 표시하도록 제어할 수 있다.
한편, 제어부(170)는, 어플리케이션 보기 항목에 진입하는 경우, 영상표시기기(100) 내 또는 외부 네트워크로부터 다운로드 가능한 어플리케이션 또는 어플리케이션 목록을 표시하도록 제어할 수 있다.
제어부(170)는, 다양한 유저 인터페이스와 더불어, 외부 네트워크로부터 다운로드되는 어플리케이션을 설치 및 구동하도록 제어할 수 있다. 또한, 사용자의 선택에 의해, 실행되는 어플리케이션에 관련된 영상이 디스플레이부(180)에 표시되도록 제어할 수 있다.
한편, 도면에 도시하지 않았지만, 채널 신호 또는 외부 입력 신호에 대응하는 썸네일 영상을 생성하는 채널 브라우징 처리부가 더 구비되는 것도 가능하다.
채널 브라우징 처리부는, 복조부(120)에서 출력한 스트림 신호(TS) 또는 외부장치 인터페이스부(135)에서 출력한 스트림 신호 등을 입력받아, 입력되는 스트림 신호로부터 영상을 추출하여 썸네일 영상을 생성할 수 있다. 생성된 썸네일 영상은 그대로 또는 부호화되어 제어부(170)로 입력될 수 있다. 또한, 생성된 썸네일 영상은 스트림 형태로 부호화되어 제어부(170)로 입력되는 것도 가능하다. 제어부(170)는 입력된 썸네일 영상을 이용하여 복수의 썸네일 영상을 구비하는 썸네일 리스트를 디스플레이부(180)에 표시할 수 있다. 한편, 이러한 썸네일 리스트 내의 썸네일 영상들은 차례로 또는 동시에 업데이트될 수 있다. 이에 따라 사용자는 복수의 방송 채널의 내용을 간편하게 파악할 수 있게 된다.
디스플레이부(180)는, 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성한다.
디스플레이부(180)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등이 가능할 수 있다.
한편, 디스플레이부(180)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 출력부(185)는, 제어부(170)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력 받아 음성으로 출력한다. 음성 출력부(185)는 다양한 형태의 스피커로 구현될 수 있다.
한편, 사용자의 제스처를 감지하기 위해, 상술한 바와 같이, 터치 센서, 음성 센서, 위치 센서, 동작 센서 중 적어도 하나를 구비하는 센싱부(미도시)가 영상표시기기(100)에 더 구비될 수 있다. 센싱부(미도시)에서 감지된 신호는 사용자입력 인터페이스부(150)를 통해 제어부(170)로 전달될 수 있다.
한편, 사용자를 촬영하는 촬영부(미도시)가 더 구비될 수 있다. 촬영부(미도시)에서 촬영된 영상 정보는 제어부(170)에 입력될 수 있다.
제어부(170)는, 촬영부(미도시)로부터 촬영된 영상, 또는 센싱부(미도시)로부터의 감지된 신호를 각각 또는 조합하여 사용자의 제스처를 감지할 수도 있다.
전원 공급부(190)는, 영상표시기기(100) 전반에 걸쳐 해당 전원을 공급한다.
특히, 시스템 온 칩(System On Chip, SOC)의 형태로 구현될 수 있는 제어부(170)와, 영상 표시를 위한 디스플레이부(180), 및 오디오 출력을 위한 오디오 출력부(185)에 전원을 공급할 수 있다.
이를 위해, 전원 공급부(190)는, 교류 전원을 직류 전원으로 변환하는 컨버터(미도시)를 구비할 수 있다. 한편, 예를 들어, 디스플레이부(180)가 다수의 백라이트 램프를 구비하는 액정패널로서 구현되는 경우, 휘도 가변 또는 디밍(dimming) 구동을 위해, PWM 동작이 가능한 인버터(미도시)를 더 구비할 수도 있다.
원격제어장치(200)는, 사용자 입력을 사용자입력 인터페이스부(150)로 송신한다. 이를 위해, 원격제어장치(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다.
또한, 원격제어장치(200)는, 사용자입력 인터페이스부(150)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(200)에서 표시하거나 음성 또는 진동을 출력할 수 있다.
상술한 영상표시기기(100)는, 고정형으로서 ATSC 방식(8-VSB 방식)의 디지털 방송, DVB-T 방식(COFDM 방식)의 디지털 방송, ISDB-T 방식(BST-OFDM방식)의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있다.
한편, 도 1에 도시된 영상표시기기(100)의 블록도는 본 개시의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시기기(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 개시의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 개시의 권리범위를 제한하지 아니한다.
한편, 영상표시기기(100)는 도 1에 도시된 바와 달리, 도 1에 도시된 튜너(110)와 복조부(120)를 구비하지 않고, 네트워크 인터페이스부(130) 또는 외부장치 인터페이스부(135)를 통해서, 영상 컨텐츠를 수신하고, 이를 재생할 수도 있다.
본 개시에 따른 인공지능과 관련된 기능은 제어부와 메모리를 통해 동작될 수 있다. 제어부는 하나 또는 복수의 프로세서를 포함할 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로서, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
기계 학습을 이용한 객체 감지 모델은 단일 단계 방식의 YOLO(you Only Look Once) 모델, 이단계 방식의 Faster R-CNN(Regions with Convolution Neural Networks) 모델 등이 있다.
YOLO(you Only Look Once) 모델은 이미지 내에 존재하는 객체와 해당 객체의 위치가 이미지를 한번만 보고 예측할 수 있는 모델이다.
YOLO(you Only Look Once) 모델은 원본 이미지를 동일한 크기의 그리드(grid)로 나눈다. 그리고, 각 그리드에 대해 그리드 중앙을 중심으로 미리 정의된 형태로 지정된 경계 박스의 개수를 예측하고 이를 기반으로 신뢰도가 계산된다.
그 후, 이미지에 객체가 포함되어 있는지, 또는 배경만 단독으로 있는지에 대한 여부가 포함되며, 높은 객체 신뢰도를 가진 위치가 선택되어 객체 카테고리가 파악될 수 있다.
Faster R-CNN(Regions with Convolution Neural Networks) 모델은 RCNN 모델 및 Fast RCNN 모델보다 더 빨리 객체를 감지할 수 있는 모델이다.
Faster R-CNN(Regions with Convolution Neural Networks) 모델에 대해 구체적으로 설명한다.
먼저, CNN(Convolution Neural Network) 모델을 통해 이미지로부터 특징 맵이 추출된다. 추출된 특징 맵에 기초하여, 복수의 관심 영역(Region of Interest, RoI)들이 추출된다. 각 관심 영역에 대해 RoI 풀링이 수행된다.
RoI 풀링은 관심 영역이 투사된 피쳐 맵을 미리 정해 놓은 H x W 크기에 맞게 끔 그리드를 설정하고, 각 그리드에 포함된 칸 별로, 가장 큰 값을 추출하여, H x W 크기를 갖는 피쳐 맵을 추출하는 과정이다.
H x W 크기를 갖는 피쳐 맵로부터 특징 벡터가 추출되고, 특징 벡터로부터 객체의 식별 정보가 얻어질 수 있다.
도 2는 본 개시의 일실시예에 따른 영상표시기기를 제어하는 원격제어장치의 제어 방법을 도시한 도면이다.
도 2의 (a)에 도시된 바와 같이, 디스플레이부(180)에 원격제어장치(200)에 대응하는 포인터(205)가 표시되는 것을 예시한다.
사용자는 원격제어장치(200)를 상하, 좌우(도 2의 (b)), 앞뒤(도 2의 (c))로 움직이거나 회전할 수 있다. 영상표시기기의 디스플레이부(180)에 표시된 포인터(205)는 원격제어장치(200)의 움직임에 대응한다. 이러한 원격제어장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 2의 (b)는 사용자가 원격제어장치(200)를 왼쪽으로 이동하면, 영상표시기기의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격제어장치(200)의 센서를 통하여 감지된 원격제어장치(200)의 움직임에 관한 정보는 영상표시기기로 전송된다. 영상표시기기는 원격제어장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 영상표시기기는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 2의 (c)는, 원격제어장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격제어장치(200)를 디스플레이부(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다. 이와 반대로, 사용자가 원격제어장치(200)를 디스플레이부(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다. 한편, 원격제어장치(200)가 디스플레이부(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격제어장치(200)가 디스플레이부(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
한편, 원격제어장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격제어장치(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 상,하,좌,우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격제어장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격제어장치(200)의 상,하, 좌,우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격제어장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 개시에서의 포인터는, 원격제어장치(200)의 동작에 대응하여, 디스플레이부(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이부(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
도 3는 본 개시의 일실시예에 따른 영상표시기기를 제어하는 원격제어장치의 블록도이다.
도면을 참조하여 설명하면, 원격제어장치(200)는 무선통신부(225), 사용자 입력부(235), 센서부(240), 출력부(250), 전원공급부(260), 저장부(270), 제어부(280)를 포함할 수 있다.
무선통신부(225)는 전술하여 설명한 본 개시의 실시예들에 따른 영상표시기기 중 임의의 어느 하나와 신호를 송수신한다. 본 개시의 실시예들에 따른 영상표시기기들 중에서, 하나의 영상표시기기(100)를 일예로 설명하도록 하겠다.
원격제어장치(200)는 RF 통신규격에 따라 영상표시기기(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비할 수 있다. 또한 원격제어장치(200)는 IR 통신규격에 따라 영상표시기기(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다.
원격제어장치(200)는 영상표시기기(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 RF 모듈(221)을 통하여 전송할 수 있다.
또한, 원격제어장치(200)는 영상표시기기(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있다. 또한, 원격제어장치(200)는 필요에 따라 IR 모듈(223)을 통하여 영상표시기기(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(235)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(235)를 조작하여 원격제어장치(200)으로 영상표시기기(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(235)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)으로 영상표시기기(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(235)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)으로 영상표시기기(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(235)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있다.
사용자 입력부(235)는 사용자 음성과 같은 오디오 신호를 수신하기 위한 마이크로폰을 포함할 수 있다. 사용자 입력부(235)에서 수집한 음성 데이터는 분석되어 사용자의 제어 명령으로 처리될 수 있다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있다.
자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
일예로, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있다. 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 거리측정센서를 더 구비할 수 있으며, 이에 의해, 디스플레이부(180)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(235)의 조작에 대응하거나 영상표시기기(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(235)의 조작 여부 또는 영상표시기기(100)의 제어 여부를 인지할 수 있다.
일예로, 출력부(250)는 사용자 입력부(235)가 조작되거나 무선 통신부(225)을 통하여 영상표시기기(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
전원공급부(260)는 원격제어장치(200)으로 전원을 공급한다. 전원공급부(260)는 원격제어장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다. 전원공급부(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 어플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 영상표시기기(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)과 영상표시기기(100)는 소정 주파수 대역을 통하여 신호를 송수신할 수 있다. 원격제어장치(200)의 제어부(280)는 원격제어장치(200)과 페어링된 영상표시기기(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.
제어부(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 제어부(280)는 사용자 입력부(235)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(225)를 통하여 영상표시기기(100)로 전송할 수 있다.
한편, 상기 센서부(240)는 사용자의 음성을 입력 받기 위한 음성 센서(245)(예를 들면, 마이크)를 더욱 포함할 수 있다. 상기 음성 센서(245)를 통해 입력된 사용자의 음성은 상기 무선통신부(225)를 통해 상기 영상표시기기(100)로 전송될 수 있다.
이하, 도 4를 참조하여, 본 개시의 일실시예에 따른 영상표시기기의 동작에 대해 설명하겠다. 도 4는 본 개시의 일실시예에 따른 영상표시기기의 동작에 관한 순서도이다.
상기 영상표시기기(100)의 상기 저장부(140)는, 개인정보를 저장하기 위한 개인정보DB(145)를 포함할 수 있다. 상기 개인정보는 상기 영상표시기기(100)의 사용자(또는 시청자)의 개인 프로필 정보, 일정/행사 정보, 시청이력 정보, 상기 사용자의 지인(예를 들면, 친구 또는 가족) 각자의 개인 프로필 정보, 상기 사용자 및 지인 각자의 프로필 이미지(사진 또는 동영상)를 저장할 수 있다.
상기 개인정보 DB(145)가 반드시 상기 영상표시기기(100) 내에 구현되어야 하는 것으로 아니고, 외부 서버에 구현될 수도 있다. 즉, 상기 개인정보 DB(145)는 상기 저장부(140) 및 상기 외부 서버 중 적어도 하나에 구현될 수 있다. 이 경우, 상기 영상표시기기(100)는 상기 외부 서버에 접속하여 상기 개인 정보를 획득할 수 있다.
상기 개인정보DB(145) 내의 정보는 사용자가 직접 입력하거나 상기 영상표시기기(100)의 사용에 의해 자동으로 생성된 것일 수도 있고, SNS(Social Network Service) 등과 같이 사용자 및/또는 그 지인의 개인 정보를 저장하고 있는 다른 외부 서버로부터 수신한 것일 수도 있다[S41].
상기 프로필 이미지는 상기 사용자 및 상기 지인 각자마다 하나 이상이 저장될 수 있다. 상기 프로필 이미지가 업데이트됨에 따라 아웃데이트 되는 프로필 이미지는 삭제되는 것이 아니고 그대로 저장되어 있을 수 있다. 과거 사용되었던 상기 사용자 및 상기 지인 각자의 프로필 이미지가 시기 별로 저장되어 있을 수 있다. 상기 프로필 이미지는 상기 사용자 및 상기 지인 각자를 시각적으로 식별하기 위한 이미지로서, 상기 사용자 및 상기 지인 각자의 사진 또는 이에 대응되는 이미지일 수도 있고, 2D 또는 3D의 아바타일 수도 있고, 그 종류에는 제한이 없다.
상기 영상표시기기(100)의 상기 제어부(170)는 인공지능을 통해 상기 개인정보를 학습할 수 있다. 따라서, 상기 제어부(170)는 상기 사용자 및 상기 지인 각자 별로 개인정보를 학습하여, 어떤 정보가 입력되면 상기 입력된 정보는 누구의 것인지 쉽게 추론할 수 있다. 또한, 상기 제어부(170)는 상기 학습된 개인 정보에 기반하여, 상기 개인정보DB(145)에 기록되지 않은 과거 또는 미래의 개인 정보(예를 들면, 프로필 이미지)를 예측할 수도 있다.
상기 제어부(170)는 상기 원격제어장치(200)를 통해 사용자 명령을 수신할 수 있다[S42]. 상기 사용자 명령은 상기 원격제어장치(200)의 상기 음성 센서(245)를 통해 입력되는 사용자의 음성 명령일 수 있다. 상기 사용자의 음성 명령은 자연어 명령일 수 있다. 그러나, 사용자 명령이 상기 음성 명령에 한정되는 것은 아니다. 예를 들면, 상기 사용자 명령은 상기 디스플레이(180)에 디스플레이되는 가상 키보드를 통해 입력되는 텍스트 명령일 수도 있다.
상기 제어부(170)는 인공지능을 통해 상기 사용자 명령에 따른 사용자 의도를 분석할 수 있다[S43]. 상기 제어부(170)는 인공지능 의도 분석을 위한 외부 서버에 전송하고, 상기 외부 서버로부터 상기 사용자 의도를 수신할 수도 있다[S41].
상기 사용자의 의도 분석은 상기 사용자 명령에 따른 문장이나 텍스트의 의미와 관련된 정보를 추출하는 것일 수 있다. 이를 위해 인공지능은 문장의 구조, 단어 간 관계, 의미적 유사성 등을 이해하고 추론할 수 있다.
자연어 이해(Natural Language Understanding)에 따른 사용자의 의도 분석을 위해, 구문 분석(Syntactic Parsing), 의미론적 분석(Semantic Parsing), 개체명 인식(Named Entity Recognition), 의미 연결(Semantic Linking), 감성 분석(Sentiment Analysis) 등이 수행될 수 잇다.
상기 구문 분석은 문장의 구조를 분석하여 단어들의 문법적인 역할과 관계를 파악하기 위한 것이다. 이를 통해 문장의 품사 태깅, 구문 트리 생성 등을 수행할 수 있다.
상기 의미론적 분석은 문장의 의미를 이해하고 추론하기 위한 것이다. 단어들의 의미를 추출하고, 문장 내에서의 관계와 연결성을 파악하여 의미적으로 유사한 단어나 문장을 식별할 수 있다.
상기 개체명 인식은 문장에서 특정한 유형의 개체명(사람, 장소, 날짜 등)을 인식하고 추출할 수 있다. 이를 통해 문장에서 중요한 정보를 식별하고 분석할 수 있다.
상기 의미 연결은 문장 내의 단어나 개체들 간의 의미적인 연결을 분석하기 위한 것이다.
상기 감성 분석은 문장이나 텍스트의 긍정적인지 부정적인지, 또는 중립적인지를 분석하기 위한 것이다. 이를 통해 텍스트에 내포된 감정을 이해하고 추론할 수 있다.
상기 제어부(170)는 상기 사용자 의도에 부합하는 컨텐츠를 검색할 수 있다[S44]. 상기 제어부(170)는 상기 컨텐츠의 검색 및 다운로드를 위해 컨텐츠를 제공하는 외부 서버에 접속할 수도 있다.
상기 제어부(170)는 상기 검색된 컨텐츠의 리스트 화면을 상기 디스플레이(180)에서 디스플레이할 수 있다[S45].
상기 제어부(170)는 상기 리스트 화면에서 상기 사용자에 의해 선택되는 컨텐츠를 재생하여 상기 디스플레이(180)에 디스플레이할 수 있다. 이 때 상기 제어부(170)는 상기 사용자 및/또는 상기 지인의 프로필 사진을 함께 디스플레이할 수 있다. 상기 리스트 화면에서의 상기 컨텐츠의 선택은 상기 원격제어장치(200)의 조작을 통해 행해질 수 있다.
상기 디스플레이되는 프로필 사진은 상기 개인정보 DB(145)에서 다운로드된 것일 수 있다. 또는, 상기 디스플레이되는 프로필 사진은 상기 개인정보 DB(145)에 저장된 프로필 사진에 기반하여 인공 지능을 통해 영상 합성 또는 생성된 것일 수도 있다[S46]. 이에 대해서는 나중에 다시 설명하겠다.
이하, 도 5 내지 도 7을 참조하여, 본 개시의 일실시예에 따른 영상표시기기의 동작에 대해 설명하겠다. 도 5 내지 도 7은 본 개시의 일실시예에 따른 영상표시기기에 디스플레이되는 화면을 도시한다.
도 5에 도시된 바와 같이, 예를 들어, 상기 사용자는 “내가 40대일 때 인기 드라마를 찾아줘”라는 자연어 음성 명령을 상기 음성 센서를 통해 상기 영상표시기기(100)에 입력할 수 있다. 상기 음성 센서는 상기 영상표시기기(100)의 것일 수도 있고, 상기 원격제어장치(200)의 것일 수도 있다.
상기 제어부(170)는 상기 사용자의 프로필 정보(예를 들면, 현재 나이) 및 컨텐츠 시청 이력 등에 기반하여 상기 음성 명령의 사용자 의도를 파악할 수 있다.
상기 제어부(170)는 상기 사용자 의도에 부합하는 적어도 하나의 컨텐츠를 검색하고, 상기 검색된 컨텐츠의 리스트(1000)를 상기 디스플레이(180)에 디스플레이하도록 제어할 수 있다. 상기 리스트(1000)는 상기 검색된 컨텐츠의 각 썸네일(C1 내지 C7)을 포함할 수 있다.
또한, 상기 제어부(170)는 상기 컨텐츠 리스트(1000)와 함께 상기 사용자 의도에 따른 검색 기준(1100)을 디스플레이할 수 있다.
상기 컨텐츠 리스트(1000)에서 한 컨텐츠(예를 들면, C3 컨텐츠)가 상기 사용자에 의해 상기 원격제어장치(200)를 통해 선택될 수 있다.
그러면, 도 6에 도시된 바와 같이, 상기 제어부(170)는 상기 선택된 컨텐츠의 정보 화면(2000)을 상기 디스플레이(180)에 디스플레이하도록 제어할 수 있다.
상기 컨텐츠 정보 화면(2000)에는 상기 선택된 컨텐츠의 이름, 포스터, 개요, 제작회사, 제작년도, 장르, 출연진, 제작진, 등급 등 적어도 하나에 관한 정보가 포함될 수 있다.
또한, 상기 제어부(170)는 상기 사용자가 상기 선택된 컨텐츠를 시청했던 시청 이력(2100) 및 상기 선택된 컨텐츠의 재생 여부를 선택하기 위한 선택 메뉴(2200)를 디스플레이할 수 있다. 비록 도시되지는 않았지만, 상기 시청 이력(2100) 및 상기 선택 메뉴(2200) 이외에도 상기 제어부(170)는 상기 사용자 의도에 부합하는 시기에 해당하는 일정/행사 정보도 디스플레이될 수 있다.
상기 시청 이력(2100)은 상기 사용자가 상기 컨텐츠를 언제 시청하였는지, 누구와 함께 시청하였는지에 관한 정보를 포함할 수 있다.
상기 영상표시기기(100)의 전방을 향하도록 구비된 카메라를 통해 상기 컨텐츠의 재생 중에 상기 영상표시기기(100)의 전방 이미지를 촬영하고, 상기 촬영된 전방 이미지 내의 사람을 상기 인공지능을 통해 식별할 수 있다. 이를 위한 상기 개인정보DB(145)의 지인의 프로필 이미지가 활용될 수 있다. 이를 통해 상기 제어부(170)는 상기 컨텐츠가 재생될 때 그 재생 시기 및 상기 사용자와 함께 시청한 사람의 정보를 상기 개인정보DB(145)에 누적적으로 저장해둘 수 있다. 이는 상기 시청 이력(2100)의 생성에 활용될 수 있다.
한편, 상기 선택 메뉴(2200)는 혼자 시청 옵션(2210) 및 함께 시청 옵션(2220)를 포함할 수 있다.
상기 혼자 시청 옵션(2210)이 상기 원격제어장치(200)의 조작을 통해 상기 사용자에 의해 선택되면, 상기 제어부(170)는, 도 7의 (7-1)에 도시된 바와 같이, 상기 선택된 컨텐츠를 재생하고 상기 재생된 컨텐츠(3000) 상기 디스플레이(180)에 디스플레이할 수 있다.
반면에, 상기 함께 시청 옵션(2220)이 상기 원격제어장치(200)의 조작을 통해 상기 사용자에 의해 선택되면, 상기 제어부(170)는, 도 7의 (7-2)에 도시된 바와 같이, 상기 선택된 컨텐츠를 재생하여 상기 재생된 컨텐츠(3000)를 상기 디스플레이(180)에 디스플레이하면서, 과거에 상기 컨텐츠를 함께 시청했던 사람(즉, 지인)의 프로필 이미지(P1 내지 P5)를 함께 디스플레이할 수 있다.
각 지인을 위해 상기 디스플레이되는 프로필 이미지는 현재 시점의 프로필 이미지가 아니고, 상기 컨텐츠를 함께 시청했던 과거 시점의 각 지인의 프로필 이미지일 수 있다. 따라서, 상기 과거 시점의 각 지인의 프로필 이미지가 상기 개인정보 DB(145)에 저장되어 있는 경우 상기 제어부(170)는 상기 과거 시점의 각 지인의 프로필 이미지를 호출하여 디스플레이할 수 있다.
그런데, 어떤 지인의 상기 과거 시점의 프로필 이미지가 없는 경우 상기 제어부(170)는 상기 개인정보 DB(145)에 저장되어 있는 상기 지인의 다른 시점(예를 들면, 현재 시점)의 프로필 이미지에 기반하여 상기 인공지능을 통해 상기 과거 시점(예를 들면, 현재로부터 10년 전 시점)의 프로필 이미지를 새롭게 합성하거나 생성할 수 있다. 즉, 상기 제어부(170)는 상기 다른 시점과 상기 과거 시점 간의 시간 차(예를 들면, 10년)가 상기 현재 시점의 프로필 이미지에 반영되도록 하여 상기 과거 시점의 프로필 이미지를 새롭게 합성하거나 생성하여 디스플레이할 수 있다. 즉, 상기 제어부(170)는 상기 과거 시점의 프로필 이미지 내의 인물은 상기 현재 시점의 프로필 이미지 내의 인물과 동일하지만 10년 젊게 보이도록 상기 과거 시점의 프로필 이미지를 새롭게 합성하거나 생성할 수 있다.
이상에서는 상기 사용자 명령에 따라 디스플레이된 상기 컨텐츠 리스트(1000)에서 상기 사용자가 한 컨텐츠를 선택하면 상기 영상표시기기(100)는 상기 선택된 컨텐츠에 관한 정보 화면(2000)을 디스플레이한 후에 상기 선택된 컨텐츠를 재생하는 것에 대해 설명하였다. 그런데, 상기 컨텐츠 리스트(1000) 및 상기 컨텐츠 정보 화면(2000) 중 적어도 하나가 디스플레이됨 없이 상기 사용자 명령만으로 컨텐츠가 선택되어 재생될 수 있다. 이에 대해 도 8을 더욱 참조하여 설명하겠다. 도 8은 본 개시의 일실시예에 따른 영상표시기기에 디스플레이되는 화면을 도시한다.
도 8에 도시된 바와 같이, 예를 들어, 상기 사용자는 “재벌집 막내아들을 수아랑 엄마랑 같이 보고 싶어”라는 자연어 음성 명령을 상기 음성 센서를 통해 상기 영상표시기기(100)에 입력할 수 있다. 여기서 “재벌집 막내아들”은 한 컨텐츠의 이름을 의미한다.
상기 제어부(170)는 상기 사용자의 개인 정보에 기반하여 상기 음성 명령의 사용자 의도를 파악할 수 있다.
그리고, 상기 제어부(170)는 상기 사용자 의도에 부합하는 컨텐츠를 검색하여 재생하고 상기 재생된 컨텐츠(4000)를 상기 디스플레이(180)에 디스플레이하도록 제어할 수 있다.
또한, 상기 제어부(170) 상기 사용자 의도에 부합하는 지인(즉, 수아, 엄마)의 프로필 이미지(P7, P8)를 상기 개인정보 DB(145)에서 호출하여 상기 재생된 컨텐츠(4000)와 함께 디스플레이할 수 있다. 상기 프로필 이미지는 현재 시점의 각 지인의 프로필 이미지일 수 있다.
상기 개인정보 DB(145)에 현재 시점의 프로필 이미지는 없고 과거 시점(예를 들면, 현재 시점으로부터 5년 전 시점)의 프로필 이미지만 있는 경우, 상기 제어부(170)는 과거 시점의 프로필 이미지에 기반하여 상기 현재 시점의 프로필 이미지를 새롭게 생성하거나 합성하여 디스플레이할 수도 있다. 즉, 상기 제어부(170)는 상기 현재 시점의 프로필 이미지 내의 인물은 상기 과거 시점의 프로필 이미지 내의 인물과 동일하지만 5년 나이 들어 보이도록 상기 현재 시점의 프로필 이미지를 새롭게 합성하거나 생성할 수 있다.
상기 프로필 이미지가 멀티미디어 컨텐츠의 재생 화면 없이 디스플레이될 수도 있다. 이에 대해 도 9를 더욱 참조하여 설명하겠다. 도 9는 본 개시의 일실시예에 따른 영상표시기기에 디스플레이되는 화면을 도시한다.
도 8에 도시된 바와 같이, 예를 들어, 상기 사용자는 “수아는 요즘 어떻게 지내?”라는 자연어 음성 명령을 상기 음성 센서를 통해 상기 영상표시기기(100)에 입력할 수 있다.
상기 제어부(170)는 상기 사용자의 개인 정보에 기반하여 상기 음성 명령의 사용자 의도를 파악할 수 있다.
그리고, 상기 제어부(170)는 상기 사용자 의도에 부합하는 지인을 식별하고, 상기 식별된 지인의 상기 사용자 의도에 부합하는 개인 정보를 상기 개인정보 DB(145)에서 획득할 수 있다. 상기 개인정보 DB(145)에 상기 사용자 의도에 부합하는 개인 정보가 저장되어 있지 않은 경우, 상기 제어부(170)는 상기 사용자 의도에 부합하는 개인 정보를 저장하는 외부 서버(예를 들면, SNS 서버)에 접속하여 상기 개인 정보를 획득할 수도 있다.
그리고, 상기 제어부(170)는 상기 사용자 의도에 부합하는 지인의 개인 정보에 관한 화면(5000)을 상기 디스플레이(180)에 디스플레이할 수 있다.
앞서 설명한 영상 합성 또는 생성에 대해 도 10을 더욱 참조하여 설명하겠다. 도 10은 본 개시의 일실시예에 따른 영상 합성 또는 생성의 예시를 도시한다.
도 10에 도시된 바와 같이, 상기 제어부(170)는 상기 인공지능을 통해 어떤 사람의 현재 이미지(P13)에 기반하여 그 사람의 과거 이미지(P12) 또는 미래 이미지(P14)를 변경하거나 합성하거나 생성할 수 있다. 또는 상기 제어부(170)는 상기 인공지능을 통해 어떤 사람의 과거 이미지(P12)에 기반하여 그 사람의 현재 이미지(P13) 또는 미래 이미지(P14)를 합성하거나 생성할 수 있다.이는 인물 이미지에서 얼굴 특징과 피부 톤을 조정하고, 피부를 매끄럽게 또는 거칠게 하고, 주름이 없어지게 하거나 생기게 함으로써 구현 가능하다.
이하, 도 11을 참조하여, 상기 영상표시기기에서의 상기 사용자의 로그인 및 상기 사용자를 위한 사용 가이드에 대해 살펴보겠다. 도 11은 본 개시의 일실시예에 따른 영상표시기기에 디스플레이되는 화면을 도시한다.
도 11의 (11-1)에 도시된 바와 같이, 상기 영상표시기기(100)의 설정 메뉴에 진입하면 상기 제어부(170)는 로그인 화면(또는 계정 설정 화면)(6000)을 상기 디스플레이(180)에 디스플레이할 수 있다.
상기 로그인 화면에는 적어도 하나의 기설정된 계정의 아이콘(6010, 6020)과 계정 추가를 위한 아이콘(6030)이 디스플레이될 수 있다.
상기 사용자는 상기 적어도 하나의 계정 아이콘(6010, 6020) 중에서 자신의 계정 아이콘을 선택하여 로그인을 진행할 수 있다.
또는 상기 사용자는 상기 계정 추가 아이콘(6030)을 통해 새로운 계정을 신설함으로써 로그인을 진행할 수도 있다.
한편, 도 11의 (11-2)에 도시된 바와 같이, 상기 제어부(170)는 상기 사용자의 상기 영상표시기기(100)의 사용을 가이드하기 위한 사용 가이드(6100)를 상기 디스플레이(180)에 디스플레이할 수 있다. 상기 사용 가이드(6100)는 상기 사용자의 메뉴 조작시 및/또는 특정 이벤트 발생(예를 들면, 외부 기기 접속 이벤트) 시에 디스플레이될 수 있다. 상기 사용 가이드(6100)에는 가이드 에이전트(6110)가 디스플레이될 수 있다. 상기 가이드 에이전트(6110)는 예를 들면 가상 인간(virtual human)일 수 있다.
그런데, 상기 제어부(170)는 상기 가이드 에이전트(6110)의 외모가 세월이 지남에 따라 자연스럽게 나이들어 보이도록 상기 가이드 에이전트(6110)의 외모를 변경, 생성 또는 합성할 수 있다. 상기 외모의 변경, 생성 또는 합성에 대해서는 도 10에서 설명한 바와 같다. 따라서, 상기 사용자는 상기 가이드 에이전트(6110)의 외모 변천을 보면서 상기 영상표시기기(100)가 반려 기기인 것처럼 느낄 수 있다.
전술한 본 개시는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 이미지 디스플레이 장치의 제어부(170) 및 원격제어장치의 제어부(280)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 개시의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 개시의 등가적 범위 내에서의 모든 변경은 본 개시의 범위에 포함된다.

Claims (20)

  1. 디스플레이;
    적어도 하나의 외부 서버와 통신하기 위한 통신부;
    원격제어장치와 통신하기 위한 사용자 인터페이스부; 및
    상기 원격제어장치를 통해 입력되는 사용자 명령을 수신하고,
    인공지능을 통해 상기 사용자 명령으로부터 파악되는 사용자 의도에 부합하는 적어도 하나의 컨텐츠를 포함하는 컨텐츠 리스트를 상기 디스플레이에 디스플레이하고,
    상기 컨텐츠 리스트에서 선택된 컨텐츠에 대한 과거 시청 이력을 검색하여 디스플레이하되, 상기 과거 시청 이력은 상기 선택된 컨텐츠의 시청 시기 정보 및 상기 선택된 컨텐츠를 함께 시청한 지인 정보를 포함하도록 제어하는 제어부;를 포함하는 영상표시기기.
  2. 제 1 항에 있어서,
    상기 과거 시청 이력을 포함하는 개인정보는 상기 적어도 하나의 외부 서버 중 한 서버 및 상기 영상표시기기 내의 저장부 중 적어도 하나에 기록되어 있는 것을 특징으로 하는 영상표시기기.
  3. 제 1 항에 있어서, 상기 제어부는,
    상기 컨텐츠 리스트를 디스플레이할 때 상기 사용자 의도에 따른 검색 기준을 함께 디스플레이하도록 제어하는 것을 특징으로 하는 영상표시기기.
  4. 제 1 항에 있어서, 상기 제어부는,
    상기 선택된 컨텐츠의 재생시, 상기 함께 시청한 지인의 프로필 이미지를 디스플레이하도록 제어하는 것을 특징으로 하는 영상표시기기.
  5. 제 4 항에 있어서,
    상기 디스플레이되는 프로필 이미지는 상기 시청 시기에 부합하는 프로필 이미지인 것을 특징으로 하는 영상표시기기.
  6. 제 5 항에 있어서, 상기 제어부는,
    인공지능을 통해 상기 시청 시기와 다른 시기의 프로필 이미지에 기반하여 상기 시청 시기에 부합하는 프로필 이미지를 합성하도록 제어하는 것을 특징으로 하는 영상표시기기.
  7. 제 1 항에 있어서, 상기 제어부는,
    상기 통신부를 통해 상기 적어도 하나의 외부 서버 중 한 서버에 접속하여 상기 사용자 의도에 부합하는 적어도 하나의 컨텐츠를 검색하도록 제어하는 것을 특징으로 하는 영상표시기기.
  8. 제 1 항에 있어서,
    상기 사용자 명령은 상기 원격제어장치를 통해 입력되는 음성 명령인 것을 특징으로 하는 영상표시기기.
  9. 제 1 항에 있어서, 상기 제어부는,
    상기 사용자 의도에 반응하여 상기 외부 서버 중 한 서버에 접속하여 상기 지인의 SNS(Social Network Service) 정보를 다운로드하여 디스플레이하도록 제어하는 것을 특징으로 하는 영상표시기기.
  10. 제 1 항에 있어서, 상기 제어부는,
    특정 이벤트 발생을 안내하기 위한 사용 가이드를 디스플레이하되, 상기 사용 가이드 내의 가이드 에이전트의 외모가 시간 경과에 따라 달라지도록 제어하는 것을 특징으로 하는 영상표시기기.
  11. 원격제어장치를 통해 입력되는 사용자 명령을 수신하는 단계;
    인공지능을 통해 상기 사용자 명령으로부터 파악되는 사용자 의도에 부합하는 적어도 하나의 컨텐츠를 포함하는 컨텐츠 리스트를 디스플레이하는 단계; 및
    상기 컨텐츠 리스트에서 선택된 컨텐츠에 대한 과거 시청 이력을 검색하여 디스플레이하되, 상기 과거 시청 이력은 상기 선택된 컨텐츠의 시청 시기 정보 및 상기 선택된 컨텐츠를 함께 시청한 지인 정보를 포함하는 단계;를 포함하는 영상표시기기의 제어 방법.
  12. 제 11 항에 있어서,
    상기 과거 시청 이력을 포함하는 개인정보는 상기 영상표시기기와 통신하는 적어도 하나의 외부 서버 중 한 서버 및 상기 영상표시기기 내의 저장부 중 적어도 하나에 기록되어 있는 것을 특징으로 하는 영상표시기기의 제어 방법.
  13. 제 11 항에 있어서,
    상기 컨텐츠 리스트를 디스플레이할 때 상기 사용자 의도에 따른 검색 기준을 함께 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 영상표시기기의 제어 방법.
  14. 제 11 항에 있어서,
    상기 선택된 컨텐츠의 재생시, 상기 함께 시청한 지인의 프로필 이미지를 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 영상표시기기의 제어 방법.
  15. 제 14 항에 있어서,
    상기 디스플레이되는 프로필 이미지는 상기 시청 시기에 부합하는 프로필 이미지인 것을 특징으로 하는 영상표시기기의 제어 방법.
  16. 제 15 항에 있어서,
    인공지능을 통해 상기 시청 시기와 다른 시기의 프로필 이미지에 기반하여 상기 시청 시기에 부합하는 프로필 이미지를 합성하는 단계;를 포함하는 것을 특징으로 하는 영상표시기기의 제어 방법.
  17. 제 11 항에 있어서,
    상기 적어도 하나의 외부 서버 중 한 서버에 접속하여 상기 사용자 의도에 부합하는 적어도 하나의 컨텐츠를 검색하는 단계;를 포함하는 것을 특징으로 하는 영상표시기기의 제어 방법.
  18. 제 11 항에 있어서,
    상기 사용자 명령은 상기 원격제어장치를 통해 입력되는 음성 명령인 것을 특징으로 하는 영상표시기기의 제어 방법.
  19. 제 11 항에 있어서,
    상기 사용자 의도에 반응하여 상기 외부 서버 중 한 서버에 접속하여 상기 지인의 SNS(Social Network Service) 정보를 다운로드하여 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 영상표시기기의 제어 방법.
  20. 제 11 항에 있어서,
    특정 이벤트 발생을 안내하기 위한 사용 가이드를 디스플레이하는 단계;를 포함하되, 상기 사용 가이드 내의 가이드 에이전트의 외모가 시간 경과에 따라 달라지는 것을 특징으로 하는 영상표시기기의 제어 방법.
PCT/KR2023/008987 2023-06-28 2023-06-28 영상표시기기 및 그 제어방법 Ceased WO2025005319A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP23943812.0A EP4727144A4 (en) 2023-06-28 2023-06-28 IMAGE DISPLAY DEVICE AND SOUND CONTROL METHOD
CN202380099413.7A CN121368896A (zh) 2023-06-28 2023-06-28 图像显示装置及其控制方法
PCT/KR2023/008987 WO2025005319A1 (ko) 2023-06-28 2023-06-28 영상표시기기 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/008987 WO2025005319A1 (ko) 2023-06-28 2023-06-28 영상표시기기 및 그 제어방법

Publications (1)

Publication Number Publication Date
WO2025005319A1 true WO2025005319A1 (ko) 2025-01-02

Family

ID=93938384

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/008987 Ceased WO2025005319A1 (ko) 2023-06-28 2023-06-28 영상표시기기 및 그 제어방법

Country Status (3)

Country Link
EP (1) EP4727144A4 (ko)
CN (1) CN121368896A (ko)
WO (1) WO2025005319A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140125939A (ko) * 2013-04-19 2014-10-30 에스케이플래닛 주식회사 인맥정보 기반의 컨텐츠 추천 시스템 및 방법
KR20190039627A (ko) * 2012-04-05 2019-04-12 페이스북, 인크. 소셜 네트워킹을 통한 텔레비전 및 비디오 프로그램의 공유
JP2020155064A (ja) * 2019-03-22 2020-09-24 キヤノン株式会社 情報処理装置、方法、及びプログラム
KR20210051319A (ko) * 2019-10-30 2021-05-10 엘지전자 주식회사 인공 지능 장치
KR20220150619A (ko) * 2021-05-04 2022-11-11 주식회사 디엔엑스 인공지능 기반의 tv 콘텐츠 중계 서비스 제공 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517769B1 (ko) * 2008-04-24 2015-05-06 삼성전자주식회사 미디어 컨텐츠 재생장치에서 방송 컨텐츠의 추천 방법과 그장치
US10992992B2 (en) * 2019-03-13 2021-04-27 ROVl GUIDES, INC. Systems and methods for reconciling playback using progress point information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190039627A (ko) * 2012-04-05 2019-04-12 페이스북, 인크. 소셜 네트워킹을 통한 텔레비전 및 비디오 프로그램의 공유
KR20140125939A (ko) * 2013-04-19 2014-10-30 에스케이플래닛 주식회사 인맥정보 기반의 컨텐츠 추천 시스템 및 방법
JP2020155064A (ja) * 2019-03-22 2020-09-24 キヤノン株式会社 情報処理装置、方法、及びプログラム
KR20210051319A (ko) * 2019-10-30 2021-05-10 엘지전자 주식회사 인공 지능 장치
KR20220150619A (ko) * 2021-05-04 2022-11-11 주식회사 디엔엑스 인공지능 기반의 tv 콘텐츠 중계 서비스 제공 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4727144A4 *

Also Published As

Publication number Publication date
EP4727144A4 (en) 2026-04-29
EP4727144A1 (en) 2026-04-15
CN121368896A (zh) 2026-01-20

Similar Documents

Publication Publication Date Title
WO2020105948A1 (en) Image processing apparatus and control method thereof
WO2020145596A1 (ko) 추천 컨텐츠 리스트 제공 방법 및 그에 따른 전자 장치
WO2018194273A1 (en) Image display apparatus and method
WO2021261836A1 (en) Image detection apparatus and operation method thereof
WO2012176993A2 (en) Method for displaying program information and image display apparatus thereof
WO2015020406A1 (en) Method of acquiring information about contents, image display apparatus using the method, and server system for providing information about contents
WO2013012107A1 (ko) 전자 기기 및 그 제어 방법
WO2020017930A1 (ko) 추천 채널 리스트 제공 방법 및 그에 따른 디스플레이 장치
WO2015068965A1 (en) Display apparatus and method of controlling the same
WO2015030347A1 (ko) 영상 표시 기기 및 그 동작 방법
WO2020130262A1 (ko) 컴퓨팅 장치 및 그 동작 방법
WO2021132922A1 (en) Computing device and operation method thereof
EP3593539A1 (en) Image display apparatus and method
WO2023068849A1 (ko) 디스플레이 장치 및 그 동작 방법
WO2020213884A1 (ko) 텍스트를 제공하는 전자 장치 및 그 제어 방법.
WO2020145524A1 (ko) 전자 장치 및 이를 이용하는 어시스턴트 서비스를 제공하는 방법
WO2019054792A1 (ko) 컨텐트를 제공하는 방법 및 단말기
WO2021060575A1 (ko) 인공 지능 서버 및 그의 동작 방법
WO2023132534A1 (ko) 전자 장치 및 그 동작 방법
WO2015069082A1 (en) Display apparatus and method of controlling the same
EP3449637A1 (en) Display device for providing scrap function and method of operating the same
WO2017160062A1 (ko) 컨텐트를 인식하는 방법 및 장치
WO2022119288A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2025005319A1 (ko) 영상표시기기 및 그 제어방법
WO2023074918A1 (ko) 디스플레이 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23943812

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023943812

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023943812

Country of ref document: EP

Effective date: 20260109

ENP Entry into the national phase

Ref document number: 2023943812

Country of ref document: EP

Effective date: 20260109

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2023943812

Country of ref document: EP

Effective date: 20260109

ENP Entry into the national phase

Ref document number: 2023943812

Country of ref document: EP

Effective date: 20260109

WWP Wipo information: published in national office

Ref document number: 2023943812

Country of ref document: EP